多倫多大學(xué)的計(jì)算成像研究人員用他們獨(dú)特的相機(jī)捕捉到了奇怪的信號(hào)。多倫多計(jì)算機(jī)成像小組在實(shí)驗(yàn)室中使用單光子雪崩二極管 (SPAD) 相機(jī)檢測(cè)到無(wú)法解釋的 80 千赫 (kHz) 閃爍。

他們利用強(qiáng)大的自由運(yùn)行成像傳感器，探測(cè)到來(lái)自不同光源的每個(gè)光子，并記錄其精確的到達(dá)時(shí)間，精確到萬(wàn)億分之一秒。在獲取到每個(gè)像素的所有數(shù)據(jù)后，研究團(tuán)隊(duì)?wèi)?yīng)用了一種算法，可以在從幾秒到皮秒的極短時(shí)間內(nèi)創(chuàng)建重建任意特定時(shí)刻光的視頻。

多倫多大學(xué)計(jì)算機(jī)科學(xué)教授 Kyros Kutulakos 說(shuō)：“你可以按照你想要的時(shí)間尺度放大并播放視頻：每秒 30 幀、一千幀、一百萬(wàn)幀、十億幀。您不必提前知道您想要觀察某個(gè)現(xiàn)象的時(shí)間尺度?！?/p>

在此之前，研究人員可以捕捉到幾納秒內(nèi)穿過(guò)場(chǎng)景的光，但無(wú)法同時(shí)對(duì)極快和極慢的事件進(jìn)行成像。

Kutulakos 的同事、助理教授David Lindell 解釋說(shuō)，現(xiàn)有技術(shù)專(zhuān)門(mén)針對(duì)特定的時(shí)間范圍。傳統(tǒng)高速攝像機(jī)的速度可達(dá)到每秒約 100 萬(wàn)幀——足以捕捉到飛馳的子彈——但要達(dá)到每秒數(shù)十億或數(shù)萬(wàn)億幀的速度則需要非常專(zhuān)業(yè)的攝像機(jī)，而這些攝像機(jī)無(wú)法捕捉持續(xù)時(shí)間超過(guò)一微秒左右的事件。

通過(guò)自由運(yùn)行的成像傳感器，可以檢測(cè)來(lái)自不同光源的每個(gè)光子并記錄精確的到達(dá)時(shí)間。（視頻所有權(quán)：多倫多大學(xué)）

多倫多大學(xué)團(tuán)隊(duì)使用 MATLAB 獲取單個(gè)光子的時(shí)間戳數(shù)據(jù)并控制其成像技術(shù)裝置中的移動(dòng)組件，該團(tuán)隊(duì)將其稱(chēng)為“時(shí)間顯微鏡”。

單像素 SPAD 有一個(gè) 60 毫米乘 60 毫米的檢測(cè)頭，中間有一個(gè)微型傳感器。當(dāng) SPAD 檢測(cè)到奇怪的 80 kHz 信號(hào)時(shí)，研究人員起初懷疑他們是否只是遇到了一些偽影。經(jīng)過(guò)仔細(xì)檢查，研究小組發(fā)現(xiàn)了問(wèn)題的根源。

“事實(shí)證明，我們實(shí)驗(yàn)室用 T8 LED替代了熒光燈泡。它們實(shí)際上以 80 千赫的頻率閃爍，”Kutulakos說(shuō)?！拔覀兩踔敛恢腊l(fā)生了這樣的事。”

在最近于巴黎舉行的國(guó)際計(jì)算機(jī)視覺(jué)會(huì)議 (ICCV) 上，該團(tuán)隊(duì)關(guān)于被動(dòng)超寬帶單光子成像的論文獲得了一項(xiàng)享有盛譽(yù)的獎(jiǎng)項(xiàng)，該獎(jiǎng)項(xiàng)在全球計(jì)算機(jī)視覺(jué)專(zhuān)家提交的數(shù)千篇論文中僅有兩篇獲得。

該技術(shù)的潛在應(yīng)用包括新型 3D 成像和激光雷達(dá)系統(tǒng)以及科學(xué)成像——例如，捕捉多個(gè)時(shí)間尺度上的生物事件或?qū)εc快速射電爆發(fā)同時(shí)發(fā)生的短脈沖光進(jìn)行天文觀測(cè)。

▼

每秒數(shù)十億幀

人類(lèi)將光視為一種連續(xù)的體驗(yàn)：我們可以想象使用快速相機(jī)來(lái)拍攝慢動(dòng)作鏡頭。如果我們有越來(lái)越高速的攝像機(jī)，也許我們可以簡(jiǎn)單地不斷地減慢播放速度。

“但到了某個(gè)時(shí)候，就會(huì)出現(xiàn)轉(zhuǎn)變，”Lindell說(shuō)?！肮獠皇沁B續(xù)的；它是離散的。我們捕捉光的方式是每次捕捉一個(gè)光子?！?/p>

單光子雪崩二極管在過(guò)去十年內(nèi)才開(kāi)始廣泛應(yīng)用。Kutulakos 指出，該設(shè)備成本高昂，意味著很少有計(jì)算機(jī)科學(xué)和計(jì)算機(jī)視覺(jué)實(shí)驗(yàn)室能夠使用它們。最近的傳感器發(fā)展促使多倫多大學(xué)的研究小組對(duì)其他領(lǐng)域的科學(xué)家?guī)资陙?lái)一直在探討的問(wèn)題提出新的問(wèn)題。

例如，專(zhuān)門(mén)研究伽馬射線(xiàn)天文學(xué)的天文學(xué)家部署了探測(cè)器來(lái)拾取單個(gè)粒子并對(duì)其進(jìn)行時(shí)間戳。但這些天文學(xué)家對(duì)變星的周期性照明更感興趣，而不是描述恒星亮度的精確時(shí)間變函數(shù)，因?yàn)檫@是物理學(xué)所要求的，Kutulakos 解釋道。

在多倫多計(jì)算成像組實(shí)驗(yàn)室，博士后 Sotiris Nousias 和博士生 Mian Wei 首次使用 SPAD 捕獲發(fā)光二極管光子的時(shí)序信息。

“我們讓 LED 閃爍，并觀察輸出流，”Nousias 說(shuō)道?！拔覀冇^察到，水流實(shí)際上具有與閃爍相同的模式，然后努力尋找數(shù)學(xué)聯(lián)系。這就是我們開(kāi)展該項(xiàng)目的靈感?！?/p>

Nousias 和 Wei 是 ICCV 論文的共同第一作者，他們想知道如果他們能夠接觸到所有光子，他們可以獲得什么信息。科學(xué)家傾向于以特殊的同步方式操作 SPAD。相反，該團(tuán)隊(duì)以異步模式操作傳感器。從此，研究人員試圖將離散光子到達(dá)與描述光強(qiáng)度隨時(shí)間變化的底層連續(xù)函數(shù)聯(lián)系起來(lái)。

Kutulakos 說(shuō)：“我們正在被動(dòng)收集光子并嘗試重建環(huán)境中所有光源的貢獻(xiàn)，無(wú)論強(qiáng)度變化是快還是慢。”

在一項(xiàng)實(shí)驗(yàn)中，研究團(tuán)隊(duì)同時(shí)捕捉到不同的光線(xiàn)，然后以不同的速度播放它們。SPAD 觀察到白色表面上的一個(gè)點(diǎn)。來(lái)自 3 兆赫頻閃脈沖激光器、40 兆赫頻閃脈沖激光器和光柵掃描激光投影儀的光線(xiàn)穿過(guò)擴(kuò)散器并撞擊白點(diǎn)。頭頂上方閃爍著智能燈泡。

他們從相機(jī)中提取了時(shí)間信息流，指示光子何時(shí)撞擊傳感器并提取強(qiáng)度信息。該團(tuán)隊(duì)使用MATLAB 來(lái)引導(dǎo)光束并獲取圖像，以確保像素及時(shí)對(duì)齊，并實(shí)現(xiàn)整個(gè)數(shù)據(jù)采集端的自動(dòng)化。

“我們已經(jīng)研究單光子傳感器很多年了，我們擁有的 MATLAB 采集管道仍然有效，”Lindell 說(shuō)?！八耆煽俊！?/p>

具體來(lái)說(shuō)，他們依靠 Image Processing Toolbox、Computer Vision Toolbox、Signal ProcessingToolbox、Data Acquisition Toolbox 和 Parallel Computing Toolbox 來(lái)完成該項(xiàng)目。Nousias 補(bǔ)充說(shuō)，他們還制作了自定義圖形界面來(lái)控制一些實(shí)驗(yàn)中的掃描鏡。

事實(shí)證明，現(xiàn)代 SPAD 能夠進(jìn)行的計(jì)算成像遠(yuǎn)遠(yuǎn)超出了研究人員之前的想象。

Kutulakos 說(shuō)：“我們從未想過(guò)能夠看到激光脈沖在環(huán)境中異步閃爍?！?/p>

捕捉白色表面上單點(diǎn)上的多個(gè)光源的實(shí)驗(yàn)裝置。（視頻所有權(quán)：多倫多大學(xué)）

▼穿越時(shí)空

研究團(tuán)隊(duì)的重建使他們能夠?qū)⒆⒁饬性趶募す馔队皟x閃爍到近九個(gè)數(shù)量級(jí)的一秒采樣率，以及來(lái)自 3 兆赫激光的納秒級(jí)單個(gè)脈沖上。他們的方法還使他們能夠重現(xiàn)視線(xiàn)之外的激光電視投影儀播放的視頻。在這種情況下，它是僅通過(guò)光柵掃描信號(hào)重現(xiàn)的經(jīng)典黑白米高梅咆哮獅子。

另一個(gè)裝置以白色背景為背景，展示了一個(gè)淡粉色手持電池供電的風(fēng)扇。為了演示被動(dòng)超寬帶攝像技術(shù)，他們用激光脈沖照射旋轉(zhuǎn)的風(fēng)扇。與模糊風(fēng)扇的主動(dòng)成像技術(shù)不同，他們的技術(shù)可以清晰地凍結(jié)風(fēng)扇葉片在與頻閃燈不同的時(shí)間尺度上的運(yùn)動(dòng)。當(dāng)紅色波前掃過(guò)看似凍結(jié)的風(fēng)扇葉片時(shí)，這一場(chǎng)景在千兆赫尺度附近仍然清晰可見(jiàn)。

“可以把它想象成一臺(tái)速度非?？斓臄z像機(jī)，”Nousias 說(shuō)道。“使用移動(dòng)相機(jī)，你可以拍攝快照。但在我們的例子中，我們拍攝快照的快照。我們正在飛速穿越時(shí)間。”

當(dāng)團(tuán)隊(duì)八年前開(kāi)始為該項(xiàng)目使用成像設(shè)備時(shí)，他們就已經(jīng)熟悉 MATLAB 了?！八泄ぞ叨挤浅Ｈ菀准?，并讓我們能夠快速訪問(wèn)數(shù)據(jù)，”Nousias 說(shuō)?！叭绻霈F(xiàn)問(wèn)題，我們必須重新獲取數(shù)據(jù)，這樣就很容易實(shí)現(xiàn)可視化，從而節(jié)省我們的時(shí)間?！?/p>

Wei 還對(duì) MATLAB 的支持表示感謝?！爱?dāng)你獲得新設(shè)備時(shí)，如果你沒(méi)有必要的支持來(lái)進(jìn)行接口，那么你就必須利用不同的 GUI 來(lái)獲取你想要的數(shù)據(jù)，”他說(shuō)?！癕ATLAB為我們提供了一種方便的方式來(lái)控制所有組件來(lái)進(jìn)行數(shù)據(jù)采集?！?/p>

Lindell 也很同意?！拔覀兪褂玫脑O(shè)備非常多樣化。我們利用現(xiàn)有的庫(kù)構(gòu)建了一個(gè)單一的編程接口，”他說(shuō)?！叭绻覀儧](méi)有 MATLAB，我們就不得不費(fèi)盡心思使用人們用其他編程語(yǔ)言構(gòu)建的不同第三方庫(kù)或擴(kuò)展?！?/p>

被動(dòng)式超寬帶攝像技術(shù)可以定格風(fēng)扇葉片在與頻閃燈不同的時(shí)間尺度上的運(yùn)動(dòng)。當(dāng)紅色波前掃過(guò)看似凍結(jié)的風(fēng)扇葉片時(shí)，葉片在千兆赫尺度附近仍然可見(jiàn)。（視頻所有權(quán)：多倫多大學(xué)）

Wei 估計(jì)，如果沒(méi)有技術(shù)計(jì)算軟件，集成每個(gè)新組件可能需要幾天到幾周的時(shí)間。他說(shuō)：“再次檢查各個(gè)部件是否按預(yù)期運(yùn)行會(huì)耗費(fèi)更多時(shí)間。”

“因?yàn)槲覀兊脑O(shè)置，我們可以說(shuō)，‘好吧，我有這個(gè)新的 Windows 機(jī)器。我會(huì)采用之前運(yùn)行的代碼，然后將其移植過(guò)來(lái)，”Wei 繼續(xù)道?！艾F(xiàn)在其他人也可以使用他們的代碼并運(yùn)行該系統(tǒng)。”

▼動(dòng)態(tài)成像的可能性

獲得國(guó)際計(jì)算機(jī)視覺(jué)會(huì)議最佳論文獎(jiǎng)代表了多倫多計(jì)算成像組研究人員的一項(xiàng)重大職業(yè)成就。Lindell說(shuō)，會(huì)議組織者從提交的 8,068 篇論文中僅選出了兩篇。

他說(shuō)：“在深度學(xué)習(xí)占據(jù)主導(dǎo)地位的時(shí)代，這是一個(gè)很好的提醒，我們?nèi)匀恍枰M(jìn)行研究來(lái)幫助我們理解基本的物理現(xiàn)象以及如何使用新興技術(shù)感知這些現(xiàn)象。”

研究人員希望他們的突破能夠激發(fā)新的進(jìn)步。一個(gè)值得探索的領(lǐng)域是閃光激光雷達(dá)，該技術(shù)利用漫射脈沖激光而不是掃描脈沖激光產(chǎn)生高分辨率深度圖像。通常，這涉及將光發(fā)送到場(chǎng)景中，測(cè)量光返回所需的時(shí)間，并使用該時(shí)間信息來(lái)測(cè)量距離。

“需要注意的是，你需要將光源與系統(tǒng)同步才能使該機(jī)制發(fā)揮作用，”魏解釋道?！拌b于我們具有異步測(cè)量信號(hào)的能力，我們有興趣了解是否可以使用異步光源來(lái)制作閃光激光雷達(dá)?！?/p>

在生物學(xué)中，蛋白質(zhì)折疊或結(jié)合等事件可以在從納秒到毫秒的時(shí)間尺度上發(fā)生。Lindell 說(shuō)，研究小組一直在與大學(xué)的生物學(xué)專(zhuān)家討論他們的成像技術(shù)。

他說(shuō)：“這些事件在這些時(shí)間尺度上發(fā)生的事實(shí)讓我們很感興趣，而且以人們迄今為止無(wú)法做到的方式觀察它們的潛力也很誘人?！?/p>

計(jì)算重聚焦可能有應(yīng)用于其他科學(xué)領(lǐng)域。自從 20 年前射電望遠(yuǎn)鏡首次探測(cè)到這一現(xiàn)象以來(lái)，天體物理學(xué)家一直想了解快速射電暴的成因是什么。這些神秘的能量爆炸發(fā)生在天空中，僅持續(xù)幾毫秒，但每次都極其強(qiáng)大。計(jì)算重聚焦可以使人們?cè)?a href="http://m.sdkjxy.cn/v/tag/4854/" target="_blank">光學(xué)領(lǐng)域探測(cè)到快速射電暴。

Nousias 說(shuō)：“我們不知道這些事情什么時(shí)候會(huì)發(fā)生?！蹦阈枰O(jiān)測(cè)天空，然后在納秒時(shí)間尺度上返回?cái)?shù)據(jù)進(jìn)行觀察。現(xiàn)在我們有了實(shí)現(xiàn)這一目標(biāo)的工具?！?/p>

Kutulakos 預(yù)計(jì)，他們的SPAD 方法可以幫助檢測(cè)標(biāo)準(zhǔn)檢查遺漏的工程機(jī)械零部件中的問(wèn)題或缺陷。當(dāng)發(fā)動(dòng)機(jī)出現(xiàn)故障時(shí)，振動(dòng)可能表明存在問(wèn)題，但如果沒(méi)有更多信息，則可能難以找到確切的來(lái)源。他說(shuō)道，通過(guò)將攝像頭對(duì)準(zhǔn)發(fā)動(dòng)機(jī)并收集所有數(shù)據(jù)，你就可以在大海里撈到針。

該團(tuán)隊(duì)還與其他微電子研究人員合作，擴(kuò)展相機(jī)的功能。單像素相機(jī)使團(tuán)隊(duì)能夠從重復(fù)運(yùn)動(dòng)（例如旋轉(zhuǎn)的風(fēng)扇葉片）中制作視頻，但真正動(dòng)態(tài)的事件需要二維傳感器。

下一步，該團(tuán)隊(duì)計(jì)劃致力于改進(jìn)他們的技術(shù)。Lindell 指出，重建信號(hào)仍然相當(dāng)耗時(shí)，而且計(jì)算效率低下。因此，他們正在致力于實(shí)時(shí)捕捉所有時(shí)間尺度上的事件。

“我認(rèn)為，當(dāng)我們將這臺(tái)相機(jī)對(duì)準(zhǔn)實(shí)驗(yàn)室周?chē)踔潦彝鈺r(shí)，會(huì)產(chǎn)生意想不到的結(jié)果，”Lindell 說(shuō)?！拔液芨吲d看到我們的發(fā)現(xiàn)。這將會(huì)是一種捕捉世界的新方式?！?/p>