讓我們想象一下：只要在心里浮現(xiàn)出某個(gè)人物或風(fēng)景，就能從一堆數(shù)碼照片中把它搜索出來(lái)。或者不用動(dòng)筆就能畫出一個(gè)新的廚房設(shè)計(jì)。又或者給心愛的人發(fā)送一張想象中的落日照片。一臺(tái)能讀懂你的心思的電腦會(huì)有很多用處，更不用說對(duì)于那些癱瘓的、無(wú)法正常與人交流的人。如今，科學(xué)家們已經(jīng)創(chuàng)造出了來(lái)解釋和準(zhǔn)確地再現(xiàn)一個(gè)人所看到的或想象的圖像的算法。這項(xiàng)技術(shù)可能還需要幾十年的時(shí)間才能有實(shí)際應(yīng)用，但科學(xué)家們離建立起能夠幫助我們投射內(nèi)心的系統(tǒng)更近了一步。

“我很驚訝它能運(yùn)轉(zhuǎn)得這么好，”來(lái)自印第安納州西拉斐特普渡大學(xué)（Purdue University）的計(jì)算機(jī)科學(xué)家劉中明（音）說。他幫助開發(fā)了一種算法，可以在一定程度上再現(xiàn)觀眾在看電影時(shí)看到的畫面。“這真的很酷。”

使用算法來(lái)解碼心智圖像并不稀奇（mental images, 即我們從記憶中提取曾儲(chǔ)存的視覺信息時(shí)，腦海中重現(xiàn)的影像）。自 2011 年以來(lái)，研究人員通過把當(dāng)下的大腦活動(dòng)與之前觀看圖像時(shí)檢測(cè)到的大腦活動(dòng)相匹配的方法，再現(xiàn)了電影片段、照片，甚至夢(mèng)境圖像。但這些方法都有其局限性：有些只處理很簡(jiǎn)單的圖像類別，比如臉型，而有些則必須從預(yù)先編程的圖像諸如“人”或“鳥”之類的類別中進(jìn)行選擇。

最新的這種算法則可以在線機(jī)動(dòng)生成可辨認(rèn)的圖像，甚至可以重現(xiàn)那些沒親眼見過、想象出來(lái)的畫面。

為了弄清楚一個(gè)人在看什么，研究人員首先進(jìn)行了功能性磁共振成像（fMRI）測(cè)試，它能通過測(cè)量大腦血液流動(dòng)間接監(jiān)控神經(jīng)活動(dòng)。他們找來(lái)三個(gè)被試，讓他們每人觀看了超過 1000 張的圖片，每張圖片看多次，通過這種方式將大腦視覺處理區(qū)域的活動(dòng)繪制成了分辨率為 2 毫米的“地圖”，作為參考。他們的目標(biāo)是，找到大腦看見某圖像時(shí)產(chǎn)生的應(yīng)答活動(dòng)，比如一只獵豹，并最終讓計(jì)算機(jī)繪制出一幅幾乎相同的圖像。

但是，研究小組并不是給實(shí)驗(yàn)對(duì)象一幅接一幅地展示畫，直到電腦正確地模擬出來(lái)，而是建立了代替大腦的系統(tǒng)，深度神經(jīng)網(wǎng)絡(luò)（deep neural network ，DNN），它由幾層簡(jiǎn)單的處理元素組成。該研究的通訊作者、日本京都大學(xué)的神經(jīng)學(xué)家神谷之康（Yukiyasu Kamitani）說：“我們認(rèn)為，深度神經(jīng)網(wǎng)絡(luò)完全可以代表大腦的分層處理系統(tǒng)?！?/p>

“通過使用 DNN，我們可以從大腦視覺系統(tǒng)的不同層次提取信息，”從簡(jiǎn)單的明暗對(duì)比到更有意義的內(nèi)容，比如不同的人臉。

使用“解碼器”，研究人員創(chuàng)造了大腦對(duì)圖像的反應(yīng)，但這些都儲(chǔ)存在深度神經(jīng)網(wǎng)絡(luò) DNN 中。如此一來(lái)，他們便不再需要實(shí)際的 fMRI 數(shù)據(jù)，僅僅需要 DNN 的翻譯。

在猜測(cè)別人在看什么時(shí)，翻譯的內(nèi)容將作為模板，而 fMRI 數(shù)據(jù)則不再重要。系統(tǒng)隨后將嘗試?yán)L制一幅圖，這幅圖會(huì)激發(fā) DNN 以匹配該模板的方式進(jìn)行響應(yīng)。它通過不斷地試錯(cuò)，直到描繪出理想的圖像，無(wú)論是獵豹、鴨子，還是彩色玻璃窗。這個(gè)系統(tǒng)從一些隨機(jī)的東西開始，類似于電視屏幕上的雪花，接著在 200 次的嘗試過程中慢慢地改進(jìn)它的圖像。為了更接近理想圖像，系統(tǒng)計(jì)算了 DNN 活動(dòng)和模板化 DNN 活動(dòng)之間的差異。這些計(jì)算引導(dǎo)系統(tǒng)不斷調(diào)整像素的位置，直到接近理想圖像。

為了使最終的產(chǎn)品更加準(zhǔn)確，研究人員加入了一個(gè)“深度發(fā)生器網(wǎng)絡(luò)”（deep generator network, DGN）。這個(gè)算法已經(jīng)經(jīng)過了預(yù)先訓(xùn)練，可以根據(jù)它的輸入生成逼真的圖像。DGN 讓算法重現(xiàn)的畫看起來(lái)更自然。研究人員在上月末發(fā)表的一篇預(yù)印本論文中稱，一旦添加了這一功能，人們就能第一時(shí)間分辨出兩張照片中的哪一幅是想要被重現(xiàn)的，成功率高達(dá) 99%。

接下來(lái)，科學(xué)家們?cè)噲D解讀出人們想象中的圖片。這一次，他們掃描了三名受試者的大腦，要求他們回憶之前展示過的圖像，包括魚、飛機(jī)和簡(jiǎn)單的彩色圖形。這個(gè)方法不能完好地展示出圖像，但是對(duì)于形狀，生成器創(chuàng)建出一個(gè)可識(shí)別的圖像的概率是 83%。

這是“有趣而細(xì)致的研究”，哥倫比亞大學(xué)扎克曼研究所的計(jì)算神經(jīng)學(xué)家尼克拉斯克里奇斯科特（Nikolaus Kriegeskorte）說。他想知道計(jì)算機(jī)生成圖像的不準(zhǔn)確性在多大程度上是由于大腦活動(dòng)測(cè)量手段的限制，以及它們?cè)诙啻蟪潭壬戏从沉宋覀兊拇竽X對(duì)圖像解讀時(shí)的錯(cuò)誤。他說：“更高分辨率的核磁共振成像和其他腦成像技術(shù)可能會(huì)進(jìn)一步完善結(jié)果?！蓖ㄟ^對(duì)測(cè)量和算法進(jìn)行持續(xù)的改進(jìn)，我們也許有一天能通過大腦中的心像進(jìn)行交流。