“在新計(jì)算平臺(tái)上，比如智能手機(jī)和人工智能，應(yīng)用基礎(chǔ)研究成果的產(chǎn)業(yè)化落地周期大幅縮減，很多不超過(guò)五年”。近日，IEEE Fellow、教育部長(zhǎng)江學(xué)者、浙江大學(xué)CAD&CG國(guó)家重點(diǎn)實(shí)驗(yàn)室主任和“浙江大學(xué)—相芯科技智能圖形計(jì)算聯(lián)合實(shí)驗(yàn)室”主任周昆教授，在普華資本主辦的科技創(chuàng)新高峰論壇上表示。

　　在題為《虛擬現(xiàn)實(shí)與腦科學(xué)》的主題演講中，周昆教授回顧了他和團(tuán)隊(duì)過(guò)去幾年在虛擬化身和彩色3D打印方向取得的研究成果，剖析了從現(xiàn)實(shí)世界到虛擬世界(虛擬現(xiàn)實(shí))和從虛擬世界到現(xiàn)實(shí)世界(智能制造)應(yīng)用中的技術(shù)挑戰(zhàn)和解決思路，進(jìn)而介紹了團(tuán)隊(duì)即將開(kāi)展的腦信息學(xué)方向的研究課題，表示腦科學(xué)和人工智能理論基礎(chǔ)研究還有待時(shí)日取得突破。在最后總結(jié)中，周昆教授表示，人工智能計(jì)算平臺(tái)大大加速了應(yīng)用基礎(chǔ)研究成果的產(chǎn)業(yè)化進(jìn)程，同時(shí)也有效推動(dòng)了相關(guān)領(lǐng)域的理論基礎(chǔ)研究。

　　以下為演講主要內(nèi)容(有刪減)：

　　周昆：各位領(lǐng)導(dǎo)、各位朋友，上午好。很高興受邀來(lái)普華資本主辦的科技論壇分享我的科研工作和一些思考。我的演講題目是《虛擬現(xiàn)實(shí)與腦科學(xué)》。

　　主要包括三部分內(nèi)容，第一部分是一個(gè)關(guān)于從現(xiàn)實(shí)世界到虛擬世界的課題，即通常所說(shuō)虛擬現(xiàn)實(shí)，是六年前開(kāi)展的課題;第二部分是一個(gè)從虛擬或者數(shù)字世界到現(xiàn)實(shí)世界的課題，與智能制造有關(guān)，是三年前做的;最后是我們即將要開(kāi)展的研究課題，與腦科學(xué)有關(guān)。

　　一、從現(xiàn)實(shí)到虛擬

　　舉個(gè)例子——虛擬化身。

　　在現(xiàn)實(shí)世界里，我們每一個(gè)人都有音容笑貌，有穿著打扮，這些構(gòu)成了我們的形象。通過(guò)這樣的形象，親朋好友會(huì)對(duì)我們有一個(gè)印象和認(rèn)知。在現(xiàn)實(shí)世界如此，那在數(shù)字世界或網(wǎng)絡(luò)空間里，又是如何?

　　其實(shí)，在微信、QQ等社交網(wǎng)絡(luò)中，我們也有一個(gè)形象。但這個(gè)形象具體是什么?一個(gè)ID字符串還是一張頭像圖片?這就是我們這個(gè)課題想要解決的問(wèn)題——為每個(gè)人構(gòu)造出一個(gè)具有“音容笑貌”的、可以互動(dòng)的虛擬形象，并讓其可以應(yīng)用到多個(gè)領(lǐng)域中，我們稱(chēng)之為虛擬化身。

　　這里涉及到兩方面的核心技術(shù)。首先是虛擬化身的創(chuàng)建。經(jīng)過(guò)大量用戶(hù)調(diào)查和研究，我們發(fā)現(xiàn)，大多數(shù)用戶(hù)想要的虛擬形象必須一眼看過(guò)去“像本人”，同時(shí)又要比本人漂亮，因?yàn)閻?ài)美之心人皆有之，每個(gè)人都想要一個(gè)更好的自己。怎么樣高效快捷地為用戶(hù)創(chuàng)建出這樣的形象是個(gè)難題。其次是虛擬化身的互動(dòng)。在當(dāng)前廣泛普及的智能手機(jī)上，我們希望能夠支持包括視頻、語(yǔ)音和文本在內(nèi)的三種虛擬化身互動(dòng)方式。

　　在虛擬化身創(chuàng)建方面，經(jīng)過(guò)幾年時(shí)間，我們研制了一項(xiàng)通過(guò)單張肖像照片就能全自動(dòng)創(chuàng)建出三維虛擬形象的技術(shù)。我們?cè)O(shè)計(jì)了一種深度學(xué)習(xí)算法，采用大量圖像數(shù)據(jù)訓(xùn)練了一個(gè)端對(duì)端神經(jīng)網(wǎng)絡(luò)模型，能夠從單張照片中提取出用戶(hù)的臉型、五官、頭發(fā)等特征，進(jìn)行全自動(dòng)生成與照片相對(duì)應(yīng)的三維虛擬形象。同時(shí)還提供了多種方式使得用戶(hù)可以對(duì)三維形象的臉型、膚色、服飾等進(jìn)行修改和定制。

　　有了這項(xiàng)技術(shù)，任何用戶(hù)都可以通過(guò)提交一張圖片來(lái)生成一個(gè)虛擬化身，構(gòu)成一個(gè)虛擬化身世界。在這個(gè)世界中，每個(gè)人都有一個(gè)獨(dú)屬于自己的數(shù)字形象，千人千面。

　　在虛擬化身互動(dòng)方面，第一種交互方式是基于視頻。通過(guò)智能手機(jī)拍攝的用戶(hù)視頻，我們可以自動(dòng)計(jì)算出用戶(hù)的頭部運(yùn)動(dòng)和臉部表情運(yùn)動(dòng)，并把這些運(yùn)動(dòng)參數(shù)作用在一個(gè)虛擬化身上，從而實(shí)現(xiàn)虛擬化身的實(shí)時(shí)動(dòng)畫(huà)。第二種方式是語(yǔ)音，通過(guò)輸入一段語(yǔ)音，可以是唱歌、朗誦或者聊天語(yǔ)音，就能生成虛擬化身動(dòng)畫(huà)，實(shí)現(xiàn)真正具有“音容笑貌”的虛擬化身。最后一種方式是文本，通過(guò)輸入一段文字，可以同時(shí)生成與文字相對(duì)應(yīng)的語(yǔ)音和虛擬化身動(dòng)畫(huà)。這項(xiàng)技術(shù)在智能助手、智能客服、聊天機(jī)器人方向有很多應(yīng)用。

　　前面演示的虛擬化身看上去都很漂亮很可愛(ài)，但是和現(xiàn)實(shí)世界中的真人形象相比較還遠(yuǎn)不夠真實(shí)。有些用戶(hù)更想要一個(gè)非常接近真實(shí)自己的虛擬化身，就像照片一樣。我們?cè)谶@方面也研究了一些技術(shù)，例如只需要一張用戶(hù)的肖像照片，我們可以直接生成照片中人物的表情動(dòng)畫(huà)，看上去就像是真實(shí)的人物動(dòng)畫(huà)一樣。這就是虛擬化身的進(jìn)一步發(fā)展，我們稱(chēng)之為虛擬替身。

　　我們?cè)谔摂M化身方向已經(jīng)做了六年的工作，在國(guó)際期刊和會(huì)議上發(fā)表了20多篇論文，在國(guó)際上引領(lǐng)了這個(gè)方向的研究。這些技術(shù)也已經(jīng)廣泛應(yīng)用到視頻直播、短視頻、社交、在線(xiàn)教育等多個(gè)領(lǐng)域，在包括美國(guó)迪士尼、法國(guó)歐萊雅和中國(guó)華為在內(nèi)的400余家企業(yè)得到應(yīng)用，SDK月均訪(fǎng)問(wèn)量超過(guò)8億人次。

　　二、從虛擬到現(xiàn)實(shí)

　　舉個(gè)例子——3D彩色打印。

　　這個(gè)課題研究如何把設(shè)計(jì)師設(shè)計(jì)出來(lái)的三維數(shù)字模型在現(xiàn)實(shí)世界中生產(chǎn)制造出來(lái)，得到與數(shù)字模型完全一樣的真實(shí)物體。注意，數(shù)字模型外表面具有五顏六色的圖案，因此我們也需要在真實(shí)物體表面生成同樣的彩色圖案。

　　與這個(gè)課題緊密相關(guān)的技術(shù)就是3D打印。大家知道，3D打印技術(shù)發(fā)展很快，是個(gè)性化產(chǎn)品定制的賦能技術(shù)，已經(jīng)在機(jī)械制造、醫(yī)療、文化創(chuàng)意等眾多行業(yè)得到應(yīng)用。3D打印技術(shù)的一個(gè)最重要優(yōu)勢(shì)是能夠生產(chǎn)出形狀和拓?fù)涓叨葟?fù)雜的產(chǎn)品。

　　另一方面，當(dāng)前3D彩色打印技術(shù)還非常不成熟。打印成本很高，更重要是打印出來(lái)的色彩很不真實(shí)，完全達(dá)不到目前二維噴墨或激光彩色打印機(jī)的彩色效果。

　　那在現(xiàn)實(shí)生活中，表面色彩豐富的商品和實(shí)物是怎樣制造出來(lái)的呢?這里有很多傳統(tǒng)工藝，包括貼花紙、電鍍、上釉等。但這些傳統(tǒng)工藝都嚴(yán)重依賴(lài)手工操作或一些特殊設(shè)備。如何給一個(gè)復(fù)雜的三維物體表面地上顏料，這是一個(gè)沒(méi)有解決的難題。以瓷器生產(chǎn)為例，目前大多數(shù)生產(chǎn)流程都已實(shí)現(xiàn)半自動(dòng)或全自動(dòng)的批量生產(chǎn)，但“貼花紙”這一步還要全部依賴(lài)手工。

　　2015年，我們發(fā)明了一項(xiàng)新技術(shù)——計(jì)算水轉(zhuǎn)印，用普通二維彩色噴墨打印實(shí)現(xiàn)全彩色3D打印。具體的做法是：給一個(gè)設(shè)計(jì)師設(shè)計(jì)的3D彩色模型，用單色3D打印機(jī)打印出表面沒(méi)有彩色圖案的素模，然后通過(guò)我們發(fā)明的水轉(zhuǎn)印模擬計(jì)算得到對(duì)應(yīng)于彩色模型的二維圖案，再用普通二維噴墨彩色打印機(jī)把這個(gè)圖案打印在水轉(zhuǎn)印膜上，最后通過(guò)水轉(zhuǎn)印操作，把這個(gè)二維圖案轉(zhuǎn)移到三維素模表面，最終得到表面具有彩色圖案的實(shí)物。

　　水轉(zhuǎn)印這項(xiàng)工藝已經(jīng)有幾十年歷史了。將一張涂滿(mǎn)顏料的水轉(zhuǎn)印高分子膜放置在水面上，然后將需要上色的物體浸入水里，在水壓力的作用下，高分子膜上的顏料就會(huì)附著在物體表面上，這就是水轉(zhuǎn)印上色的全過(guò)程。這項(xiàng)工藝在汽車(chē)、電子產(chǎn)品、家具等各領(lǐng)域有大量應(yīng)用。

　　但目前這一工藝還只能處理像大理石、迷彩色等重復(fù)性圖案，無(wú)法進(jìn)行復(fù)雜圖案的精準(zhǔn)上色。我們發(fā)明的技術(shù)為整個(gè)水轉(zhuǎn)印過(guò)程建立了一個(gè)可計(jì)算的模型。通過(guò)計(jì)算和控制水轉(zhuǎn)印的每一道工序，來(lái)最終實(shí)現(xiàn)3D全彩打印的效果。

　　這項(xiàng)成果2015年公布后，成果視頻在Youtube上被觀看了100萬(wàn)余次。國(guó)內(nèi)外各大媒體包括中央電視臺(tái)、新華社、美國(guó)的《Wired》等都進(jìn)行了專(zhuān)題報(bào)道。

　　三、腦信息學(xué)

　　這是我們接下來(lái)將要開(kāi)展的一個(gè)研究課題。前不久，華中科技大學(xué)牽頭聯(lián)合浙江大學(xué)和幾家科研院所一起申請(qǐng)到國(guó)家自然科學(xué)基金委信息科學(xué)部的一個(gè)重大項(xiàng)目。

　　這個(gè)項(xiàng)目旨在研究腦空間信息中腦連接的高分辨光學(xué)成像與可視化，實(shí)際上就是研究腦組織中神經(jīng)元形態(tài)和神經(jīng)元連接結(jié)構(gòu)。整個(gè)項(xiàng)目包含四個(gè)課題，第一和第二課題是做測(cè)量，通過(guò)光學(xué)或其他測(cè)量手段來(lái)獲得腦連接結(jié)構(gòu)和動(dòng)態(tài)數(shù)據(jù)。這些數(shù)據(jù)提供給第三課題來(lái)進(jìn)行信息處理和可視化。最終，第四課題會(huì)形成腦連接數(shù)據(jù)庫(kù)并繪制腦圖譜。浙江大學(xué)負(fù)責(zé)第三課題研究。

　　為什么要做這方面研究?這里借用北京大學(xué)黃鐵軍教授的一張PPT來(lái)說(shuō)明。把大腦的工作機(jī)理搞清楚是一個(gè)非常長(zhǎng)期的目標(biāo)，但是現(xiàn)在我們已經(jīng)有很好的手段可以測(cè)量大腦的結(jié)構(gòu)。如果能弄清楚腦神經(jīng)元連接結(jié)構(gòu)，計(jì)算機(jī)科學(xué)家就可以構(gòu)造和模擬出具有類(lèi)似于腦神經(jīng)元網(wǎng)絡(luò)結(jié)構(gòu)的計(jì)算機(jī)，一方面可以在一些特定功能上使得計(jì)算機(jī)像大腦一樣工作，另一方面也能反過(guò)來(lái)推動(dòng)對(duì)大腦工作機(jī)理的研究。

　　因此，搞清楚腦連接結(jié)構(gòu)是一個(gè)很重要的問(wèn)題。

　　要搞清楚腦連接結(jié)構(gòu)需要非常高精度的測(cè)量，會(huì)產(chǎn)生大量的數(shù)據(jù)。以小鼠為例，一立方厘米腦容量，測(cè)量得到的原始數(shù)據(jù)量可以達(dá)到8TB。而人腦數(shù)據(jù)量會(huì)超過(guò)10PB，相當(dāng)于20萬(wàn)部4K高清電影。

　　如此大量的數(shù)據(jù)必然帶來(lái)很多挑戰(zhàn)，例如標(biāo)準(zhǔn)化、知識(shí)化和可視化。首先，只有建立標(biāo)準(zhǔn)化的處理流程才能支持工業(yè)化大科學(xué)研究，才能支持科研機(jī)構(gòu)和國(guó)家間的數(shù)據(jù)共享和合作;其次，要通過(guò)AI技術(shù)從原始數(shù)據(jù)中抽取出特征，將數(shù)據(jù)知識(shí)化;最后，還需借助可視化工具或軟件來(lái)輔助數(shù)據(jù)分析。這些內(nèi)容也就是我們第三課題將要開(kāi)展的研究工作。

　　四、總結(jié)

　　最后總結(jié)一下在這三項(xiàng)課題研究中我學(xué)習(xí)到的幾點(diǎn)體會(huì)。從計(jì)算機(jī)技術(shù)發(fā)展的角度看，我們所經(jīng)歷的計(jì)算平臺(tái)在過(guò)去幾十年已經(jīng)發(fā)生多次演化，從最早的大型計(jì)算機(jī)，到個(gè)人計(jì)算機(jī)、互聯(lián)網(wǎng)、云計(jì)算、智能手機(jī)，再到今天如火如荼的AI平臺(tái)，每一次計(jì)算平臺(tái)的演化，都帶來(lái)了新的機(jī)遇和挑戰(zhàn)，推動(dòng)了產(chǎn)業(yè)發(fā)展。

　　我的第一點(diǎn)體會(huì)是AI作為新的計(jì)算平臺(tái)將會(huì)比過(guò)去計(jì)算平臺(tái)帶來(lái)更廣泛和更深入的影響，會(huì)賦能到很多行業(yè)和產(chǎn)業(yè)，也將促進(jìn)相關(guān)學(xué)科的研究。前面我們談到的虛擬現(xiàn)實(shí)、智能制造和腦信息學(xué)都是很好的例子。

　　第二點(diǎn)體會(huì)，在新的計(jì)算平臺(tái)上，應(yīng)用基礎(chǔ)研究成果的產(chǎn)業(yè)化落地周期將會(huì)大幅縮短。二十年前我們研究出來(lái)的一些技術(shù)可能要經(jīng)過(guò)10年甚至15年時(shí)間才能真正在產(chǎn)業(yè)界得到廣泛應(yīng)用。在今天，很多應(yīng)用基礎(chǔ)研究成果，特別是AI應(yīng)用研究成果，都能快速在產(chǎn)業(yè)界落地。近幾年涌現(xiàn)的大批技術(shù)驅(qū)動(dòng)型初創(chuàng)企業(yè)很好地說(shuō)明了這一點(diǎn)。如果說(shuō)在云計(jì)算平臺(tái)上，以阿里云為代表中國(guó)企業(yè)已經(jīng)在全球市場(chǎng)上做到了幾分天下，那么在智能手機(jī)和AI計(jì)算平臺(tái)上，中國(guó)科技企業(yè)可能具有更大的機(jī)會(huì)。

　　最后一點(diǎn)體會(huì)，盡管新計(jì)算平臺(tái)極大地促進(jìn)了理論基礎(chǔ)研究，但要實(shí)現(xiàn)重大突破還需要耐心。例如前面提到的要造出真正像大腦一樣工作的計(jì)算機(jī)還需要很長(zhǎng)時(shí)間，也需要國(guó)家和社會(huì)各界的長(zhǎng)期支持。