據(jù)麥姆斯咨詢報道，近日，南京大學(xué)電子科學(xué)與工程學(xué)院萬青教授、萬昌錦副教授課題組在Nature Communications期刊上發(fā)表了題為“Vertically integrated spiking cone photoreceptor arrays for color perception”的論文，構(gòu)建了能夠?qū)B續(xù)光進(jìn)行頻率編碼的垂直集成的尖峰視錐感受器陣列，取得了可見光范圍單個尖峰小于400 pW的功耗（與人眼視錐感受器功耗相當(dāng)），實現(xiàn)了高生物相似性的顏色感知能力的模擬。該成果將為低功耗的動態(tài)視覺處理系統(tǒng)提供基礎(chǔ)元件，并為高智能仿生機(jī)器人的發(fā)展提供重要參考價值。

顏色視覺是一種感知由不同波長組成的光之間差異的能力，為生物體提供了實質(zhì)性的環(huán)境適應(yīng)能力。光線穿過角膜和晶狀體，在眼睛后部的視網(wǎng)膜上形成倒像。視網(wǎng)膜包含兩種類型的光感受器細(xì)胞：視桿細(xì)胞和視錐細(xì)胞。顏色信息在日光下被視錐細(xì)胞檢測到，并被傳輸?shù)酱竽X進(jìn)行顏色感知。與數(shù)碼相機(jī)通過濾波器和基于集中、順序和二進(jìn)制運算處理來獲得顏色信息不同，生物視覺系統(tǒng)中形成的顏色視覺依賴于視錐感受器，它們選擇性地對三種波長的光產(chǎn)生響應(yīng)，并將其編碼為用于事件驅(qū)動、時間相關(guān)和并行處理的尖峰序列。

因此，電荷耦合器件（CCD）或互補(bǔ)金屬氧化物半導(dǎo)體（CMOS）等圖像傳感器的特征尺寸和響應(yīng)時間對圖像分割和物體識別等智能任務(wù)的效率至關(guān)重要，這不可避免地需要巨大的吞吐量和能耗。人們的眼睛有三種類型、約600萬個視錐細(xì)胞，每個視錐細(xì)胞消耗大約數(shù)百皮瓦（pW）的能量，使人們能夠在非常緊湊的結(jié)構(gòu)中辨別100多萬種顏色，其性能勝過大多數(shù)數(shù)字傳感器。因此，開發(fā)生物相似性的人工光感受器，特別是視錐型感受器，將催生一種具有精妙視覺感知和極高能效的視覺系統(tǒng)，并將促進(jìn)假體、神經(jīng)機(jī)器人和半機(jī)械人等相關(guān)領(lǐng)域的發(fā)展。

硬件尖峰視錐感受器（SCP）能夠?qū)τ刹煌ㄩL組成的光產(chǎn)生不同的響應(yīng)，并以一定的頻率將其編碼為尖峰。最初，研究人員致力于模擬視覺神經(jīng)系統(tǒng)中基本突觸功能和開發(fā)光敏突觸器件，旨在模擬關(guān)于光的短期/長期記憶。最近，人工尖峰感受器引起了人們的極大興趣，因為頻率中隱含的信息是非常節(jié)能的，并且對噪聲具有很強(qiáng)的魯棒性?；?a href="http://m.sdkjxy.cn/tags/光學(xué)傳感器/" target="_blank">光學(xué)傳感器和振蕩神經(jīng)元串聯(lián)的尖峰感受器在復(fù)雜背景下表現(xiàn)出高效的邊緣圖像分割，是一種新穎可行的尖峰視錐感受器方法。然而，為了追求更小的占位面積，需要一種無電容器和更緊湊的配置。此外，高生物相似性仍然具有挑戰(zhàn)性，并且關(guān)于能量消耗、尖峰頻率的范圍、對不同波長光的選擇性等基本特性尚未很好地實現(xiàn)。

基于此，這項研究工作提出了一種基于金屬氧化物的垂直集成的尖峰視錐感受器（VISCP）陣列，它可以根據(jù)輸入波長以一定的頻率將連續(xù)光直接轉(zhuǎn)換為尖峰序列。這種尖峰視錐感受器在可見光下具有超低功耗，每個尖峰的功耗小于400 pW，這非常接近生物視錐細(xì)胞。該VISCP通過三種波長的光進(jìn)行了驗證，不僅能夠分辨這些光的不同組合并表現(xiàn)出高選擇性（>1.5個數(shù)量級）。由于這種高選擇性，這也有利于色盲測試模擬的演示。研究人員使用色盲測試的手寫數(shù)字作為測試數(shù)據(jù)集，可以觀察到具備和不具備分辨混合顏色能力的器件之間在識別精度上的差異。本研究的成果將使硬件尖峰神經(jīng)網(wǎng)絡(luò)具有生物相似性的視覺感知，并為動態(tài)視覺傳感器的開發(fā)提供巨大潛力。

在生物視覺系統(tǒng)中，光感受器（視桿細(xì)胞和視錐細(xì)胞）將外部光刺激轉(zhuǎn)化為尖峰電位，最終在大腦中形成視覺，如圖1a所示。這些光感受器細(xì)胞體在眼盤的頂端區(qū)域精確地排列成簇，并將軸突投射到大腦的視葉中（圖1b）。受視錐細(xì)胞的啟發(fā)，研究人員提出了一種具有ITO/Ta2O5/Ag/IGZO/ITO器件結(jié)構(gòu)的VISCP（圖1c–e），對多種顏色光的響應(yīng)在圖1f中進(jìn)行了概念性說明。VISCP由基于IGZO的光敏電阻器和基于Ta2O5的尖峰編碼器構(gòu)成，能夠根據(jù)光強(qiáng)將連續(xù)光直接轉(zhuǎn)換為尖峰序列。

圖1 垂直集成的尖峰視錐感受器（VISCP）及其生物對應(yīng)物

研究人員對光敏電阻器和尖峰編碼器進(jìn)行了電學(xué)表征，如圖2所示。

圖2 光敏電阻器和尖峰編碼器的電學(xué)表征

垂直集成的ITO/Ta2O5/Ag/IGZO/ITO器件集成了尖峰編碼和光傳感特性，可以模擬視錐細(xì)胞的功能。VISCP的等效電路如圖3a所示。在頂部和底部ITO電極上分別施加恒定電壓（VBias = 0.5 V）和接地電壓，輸出電壓（VOUT）在Ag電極上進(jìn)行測量。該器件以單片方式將連續(xù)光編碼成具有一定頻率水平的尖峰序列，如圖3b所示。VISCP中輸出尖峰的頻率與光強(qiáng)和波長呈正相關(guān)（圖3c）。圖3d顯示了在固定光強(qiáng)為0.5 nW/μm2的三種波長下的尖峰響應(yīng)的實驗觀察。當(dāng)波長為360、405和532 nm時，VISCP的尖峰頻率分別為1200、7和0.1 Hz。憶阻器的有效輸入取決于基于IGZO的光敏電阻的電阻，該電阻與波長和光強(qiáng)有關(guān)，并調(diào)制尖峰頻率。對于360 nm的波長，當(dāng)光強(qiáng)從0.5 nW/μm2減小到0.03 nW/μm2時，頻率從1200 Hz減小到37 Hz，如圖3e所示。綜上，VISCP在明亮環(huán)境下具有顏色選擇性，而在黑暗環(huán)境下則無效，這與生物視錐細(xì)胞相似。

圖3 光照射下的VISCP的尖峰編碼行為和顏色選擇性

生物視覺系統(tǒng)的顏色感知取決于視錐細(xì)胞對紅、綠、藍(lán)比例的響應(yīng)。VISCP尖峰頻率隨著波長從532 nm（λ1）減小到405 nm（λ2）和360 nm（λ3）而增加。研究人員利用這三種波長作為偽彩色，并進(jìn)行了混合顏色測試（如圖4a所示）。響應(yīng)紅色、橙色、橄欖色和綠色光的尖峰頻率呈指數(shù)增長，如圖4b所示。紅光的尖峰頻率最低，其值為0.2 Hz，而在綠光照射下，頻率達(dá)到最高的1200 Hz。相鄰顏色之間的尖峰頻率差異超過一個數(shù)量級，表明VISCP在分辨混合顏色方面具有良好的選擇性。一般來說，紅綠色盲很難分辨紅色和綠色，特別是對于含有紅色或綠色的混合顏色，如橙色和橄欖色。如圖4c所示，研究人員模擬了正常色覺個體和色盲個體的行為。圖4d顯示了具有和不具有混合顏色選擇性的器件在30個訓(xùn)練周期內(nèi)的識別精度。雖然處理后的數(shù)字比原始MNIST數(shù)字更復(fù)雜，并且識別精度相對較低，但具有混合顏色選擇性的VISCP“眼睛”能夠以約83.2%的準(zhǔn)確率從包含混合顏色的背景中識別目標(biāo)數(shù)字。然而，不具有混合顏色選擇性的“眼睛”顯示出很大的困難，僅實現(xiàn)了75.5%的低準(zhǔn)確率。這些結(jié)果成功地模擬了人類對顏色的感知，包括感知、頻率編碼和識別。

圖4 混合顏色圖像識別

綜上所述，在這項工作中，垂直集成的尖峰視錐感受器（VISCP）能夠?qū)⒐鈫纹D(zhuǎn)換為尖峰，代表了人工視覺系統(tǒng)中的一大進(jìn)步，具有高生物相似性。更重要的是，與三種波長的光相對應(yīng)的大響應(yīng)范圍使分辨“顏色”成為可能。在可見光的響應(yīng)中，實現(xiàn)了每個尖峰的超低功耗≤400 pW。作為概念驗證，這些器件被用于模擬顏色感知。與沒有此類選擇性的器件相比，具有混合顏色選擇性的器件對色盲測試MNIST手寫數(shù)字顯示出更高的識別精度。這些結(jié)果揭示了提出的器件在構(gòu)建具有高能效和高生物相似性的人工視覺系統(tǒng)方面的巨大潛力。借助于必要的外圍電路，未來的改進(jìn)可以致力于制造具有處理高分辨率圖像甚至視頻能力的大規(guī)模陣列。通過與尖峰神經(jīng)網(wǎng)絡(luò)的進(jìn)一步集成，能效和準(zhǔn)確性可能會得到提高。此外，通過將器件轉(zhuǎn)換為柔性/可拉伸形式，就像視網(wǎng)膜中的生物視錐細(xì)胞一樣，可以實現(xiàn)更具生物相似性的系統(tǒng)。

審核編輯：劉清