AlphaGo與人類圍棋專家的經(jīng)典對決早已成為往事，但每每提及人工智能發(fā)展史，又很難略過此事。

事實上，AlphaGo所依賴的硬件平臺功耗達2.3MW之多，而人腦卻只有20W的功耗。而且，20W功耗里面的大部分是用于維持神經(jīng)細胞的生命活動，真正用來支持圍棋活動的只是其中一小部分。

研究表明，人腦維持這種低功耗計算的重要原因之一，在于其事件驅(qū)動的脈沖信息處理模式，支持該計算模式的重要單元便是脈沖神經(jīng)元。

而憶阻器作為一種新原理器件，為構(gòu)建緊湊高效的脈沖神經(jīng)元提供了新的物理基礎(chǔ)，被認為是后摩爾時代構(gòu)建類腦計算硬件的理想元器件之一。最近幾年，類腦感知計算更是發(fā)展成一個具有蓬勃潛力的前沿型技術(shù)。

近日，復(fù)旦大學芯片與系統(tǒng)前沿技術(shù)研究院劉明院士團隊，為實現(xiàn)多模態(tài)的神經(jīng)形態(tài)感知提供了一種新型硬件方案。該方案除能用于壓力-溫度感知以外，還可擴展應(yīng)用于濕度-溫度、視覺-觸覺、以及視覺-溫度等多模態(tài)信息的融合感知。

張續(xù)猛是劉明團隊的博士后，也是此次論文的共同通訊作者。他表示，該技術(shù)正是當前智能機器人以及人機交互等領(lǐng)域所亟需的。

概括來說，此次工作為類腦感知計算前沿領(lǐng)域，提供了一種硬件實現(xiàn)的新方法，并利用新原理器件解決了如下問題：基于傳統(tǒng)CMOS（互補金屬氧化物半導(dǎo)體，Complementary Metal Oxide Semiconductor）技術(shù)的感知端電路的結(jié)構(gòu)復(fù)雜難題，以及所產(chǎn)生的模擬感知信號與神經(jīng)形態(tài)處理器所處理的脈沖信號的不兼容難題。

為類腦感知計算提供硬件實現(xiàn)新方法

課題組表示：“對于此次工作的意義，可以較為直接地從論文題目中得到：異質(zhì)集成多模態(tài)感知脈沖神經(jīng)元陣列。這里有三個關(guān)鍵詞：脈沖神經(jīng)元、多模態(tài)感知和異質(zhì)集成?！?/p>

首先是脈沖神經(jīng)元，為什么要強調(diào)脈沖？隨著大數(shù)據(jù)和人工智能時代的到來，數(shù)據(jù)量的爆炸式增長，對現(xiàn)有計算系統(tǒng)的算力提出了更高要求。為了延續(xù)算力的提升，近存計算、存算一體等新型架構(gòu)在被提出之后，也展現(xiàn)出了一定效果。

然而，這種數(shù)據(jù)驅(qū)動的人工智能能耗巨大，不具備可持續(xù)的發(fā)展性。而NbOx基閾值轉(zhuǎn)變憶阻器，又是構(gòu)建脈沖神經(jīng)元電路的典型神經(jīng)元器件。

因此，該團隊利用憶阻器構(gòu)建的脈沖感知神經(jīng)元電路，旨在為實現(xiàn)高效的脈沖計算模式，提供更緊湊的硬件方案，從而突破傳統(tǒng)CMOS神經(jīng)元電路的集成墻瓶頸問題。

接下來，再看多模態(tài)感知這一特點。眾所周知，人體在感知和識別物體的時候，通常涉及多種感知信號的協(xié)同作用即多模態(tài)感知。例如，當人們相互交流時，嘴型、體態(tài)、微表情、以及聲音等多種信息，能讓人們能更清楚地理解彼此的表達以及潛在的意義。 論文中，課題組以裝有水的杯子為例對多模態(tài)感知進行了說明：通常對于只有壓力信息的單模態(tài)感知來講，我們只能知道杯子的形狀、以及杯中的水量，并不能獲悉杯中的水溫。如果想同時得知杯子形狀、水量以及水溫，那么就得引入另一個溫度模態(tài)的信息。 在該研究工作中，利用神經(jīng)元電路中憶阻器的本征溫度響應(yīng)感知溫度信息，從而無需引入額外的溫度傳感器。同時，把壓力傳感器的電阻作為神經(jīng)元電路的突觸電阻，使得該神經(jīng)元單元更加緊湊，從而促進集成度的提高。

（來源：Advanced Materials）

此外，該神經(jīng)元電路能直接將模擬的多模態(tài)信息輸出為脈沖序列，避免了額外的脈沖轉(zhuǎn)換電路的引入，可適用于緣端低功耗的智能感知應(yīng)用，例如智能機器人等。

最后，再來看一下異質(zhì)集成。異質(zhì)集成是一種集成技術(shù)，廣義上指將多種基于不同材料體系的功能器件集成在一起，以實現(xiàn)更高效、更強大的應(yīng)用，這在集成芯片領(lǐng)域是一個熱門方向。

常見手段主要有硅基光電異質(zhì)集成，依托硅材料與不同種類光電材料的異質(zhì)集成，以充分發(fā)揮各種材料的優(yōu)異特性。

得益于室溫制備工藝，課題組將依托不同材料體系的傳感器和憶阻器集成到一起，并初步驗證了兩者集成在一起的可行性，這為實現(xiàn)憶阻器和傳感器的結(jié)合、進而為未來智能機器人與環(huán)境的高效交互提供了技術(shù)支撐。

近日，相關(guān)論文以“A Heterogeneously Integrated Spiking Neuron Array for Multimode-Fused Perception and Object Classification”為題，發(fā)表在 Advanced Materials 上。

▲圖 | 相關(guān)論文（來源：Advanced Materials）

中科院微電子所博士生朱佳雪為第一作者，復(fù)旦大學芯片院劉琦教授和張續(xù)猛博士擔任共同通訊作者。

關(guān)于該論文，期刊方面一共分配了4位審稿人，有3位審稿人直接給出正面評價。其中一位評價稱：“這樣的多功能設(shè)備當然很有趣，并且作者還說明了該設(shè)備可能啟發(fā)的新型應(yīng)用程序?！?/p>

（來源：Advanced Materials）

“不再是冷冰冰的機器”

據(jù)悉，該研究是課題組在傳入神經(jīng)方面的延續(xù)性成果，傳入神經(jīng)處理的感知信號大多來自其它傳感器，其工作重點在于實現(xiàn)傳感器產(chǎn)生的模擬信號到脈沖信號的轉(zhuǎn)換。

根據(jù)已有報道以及該團隊的探索發(fā)現(xiàn)，此次使用的NbOx 基神經(jīng)元器件還具有溫度響應(yīng)特性。從另一方面來講，它本身也可作為溫度傳感器，從而在構(gòu)建溫度感知神經(jīng)元單元時，無需引入額外的溫度感知模塊。

基于該發(fā)現(xiàn)和想法，張續(xù)猛與劉琦老師以及朱佳雪博士進行反復(fù)討論，最終確定利用上述溫度響應(yīng)的同時，再引入另一傳感參數(shù)，以實現(xiàn)多模態(tài)感知系統(tǒng)，以便緩解當前單一模態(tài)信息感知方法信息魯棒性差、無法識別多模態(tài)物體的問題。

（來源：Advanced Materials）

確立目標以后，課題組經(jīng)歷了應(yīng)用案例探討、實施方案確定、陣列的集成優(yōu)化、案例驗證四個主要階段。在具體應(yīng)用案例上，他們從實際應(yīng)用需求出發(fā)，旨在讓這種多模態(tài)硬件和信息處理方案，更適用于日常場景。

最終，受生物軀體感知系統(tǒng)的啟發(fā)，該團隊將應(yīng)用場景定位于：壓力和溫度這兩種模態(tài)信息的感知。然后，以該應(yīng)用為目標，不斷優(yōu)化實驗方案，逐步解決了從單路輸出脈沖信號中解耦多模態(tài)信息的關(guān)鍵問題。

在具體方案確定后，便是神經(jīng)元陣列的異質(zhì)集成。張續(xù)猛說：“這里還要感謝復(fù)旦大學王明老師在傳感器制備、以及陣列集成方案方面，所給予的技術(shù)支持和寶貴意見?！?/p>

最后一步，便是利用制備的神經(jīng)元陣列進行應(yīng)用案例的驗證，這一階段涉及到陣列中多模態(tài)信號的獲取以及數(shù)據(jù)集的采集。期間，他們利用采集的數(shù)據(jù)集，結(jié)合脈沖神經(jīng)網(wǎng)絡(luò)進行訓練和識別，最終在多模態(tài)信息感知上，驗證了神經(jīng)元陣列的合理性和有效性。

（來源：Advanced Materials）

談及應(yīng)用前景，該小組舉例稱通過將該技術(shù)引入到機器人的手臂上，可以使得服務(wù)類機器人對于手中的飲品物態(tài)（重量、溫度）進行多維度的信息獲取，從而判斷手中的飲品是否可以移交以及當前的物態(tài)是否會對人體造成傷害。

另外，該技術(shù)也能豐富機器人的交互能力，通過控制手的力道和溫度，來讓人機交互更人性化，而不再是冷冰冰的機器。

（來源：Advanced Materials）

將研發(fā)一體化的異質(zhì)集成芯片

張續(xù)猛表示，論文在返修期間剛好遇上2022年上半年的上海疫情，為了補充實驗數(shù)據(jù)，朱佳雪博士被封閉在校內(nèi)，工作在實驗室、睡在實驗室，也算是一段特殊的人生經(jīng)歷。

再就是本工作的順利完成，也得益于王睿博士的加入，王睿和朱佳雪的相互扶持和鼓勵，也促成了研究的順利完成。同時，王睿的研究課題也在臨近時間完結(jié)發(fā)表，造就了一段學術(shù)伉儷的“人間佳話”。

盡管如此，張續(xù)猛坦言此次工作只是類腦感知技術(shù)向應(yīng)用推進的浩瀚歷史海洋中的一葉扁舟。由于這篇論文只是概念性的驗證，距離實際應(yīng)用還有較大差距，同時也涉及到器件、電路以及系統(tǒng)集成等多方面的挑戰(zhàn)。

后面，他們會繼續(xù)在上述三方面開展研究，旨在實現(xiàn)集傳感、信息處理、任務(wù)決策、以及行為控制于一體的異質(zhì)集成芯片，并將在機器人上實現(xiàn)功能演示。

同時，他們將繼續(xù)以產(chǎn)業(yè)應(yīng)用需求為目標，不斷優(yōu)化和推進實現(xiàn)方案，以求實現(xiàn)成果轉(zhuǎn)化。“希望該領(lǐng)域衍生的技術(shù)可以在不久的將來回饋社會，提升人們的生活品質(zhì)。”張續(xù)猛最后表示。

論文鏈接： https://doi.org/10.1002/adma.202200481

審核編輯 ：李倩