眾所周知，目前將深度神經(jīng)網(wǎng)絡和生物神經(jīng)網(wǎng)絡進行匹配的研究正處于瓶頸期。而近期，IBM公司Irem Boybat等人在《Nature Communication》中發(fā)表的文章，有望改善此難題：他們設計了多記憶突觸結構(multi-memristive synaptic architecture)，能夠在不增加功率密度的情況下提高突觸的精度，并在一個擁有100多萬臺相變存儲器(PCM)器件的脈沖神經(jīng)網(wǎng)絡(SNN)中對多記憶突觸結構進行了實驗演示。

我們?nèi)祟惖拇竽X可以用低于20瓦的能量來驅動，再想想我們的筆記本電腦，大約需要消耗80瓦的能量。在能源效率和體積方面，我們的大腦比最先進的超級計算機要多出幾個數(shù)量級。自然，最先進的神經(jīng)網(wǎng)絡與生物的神經(jīng)網(wǎng)絡是完全無法抗衡的。造成這個結果的其中一個原因是現(xiàn)今的計算機的架構還是依照馮·諾依曼的思想，即內(nèi)存和處理工作是分開的。這意味著數(shù)據(jù)需要不斷來回穿梭，產(chǎn)生熱量并且需要大量的能量——這是一個效率瓶頸。當然，大腦是不存在這個問題的。那么這便是改善該問題的一個突破口。

多記憶突觸(Multi-Memristive Synapse)

多記憶突觸的結構如下圖所示：

多記憶突觸概念

a.一個多記憶突觸的突觸凈權重(net synaptic weight)是由多記憶設備(multiple memristive devices)電導累加和()表示。為了實現(xiàn)突觸效能(synaptic efficacy)，所有設備都使用電壓讀取信號(read voltage signal)，V。通過每個設備產(chǎn)生的電流被匯總起來，由此產(chǎn)生突觸輸出(synaptic output)。

b.為了捕捉突觸可塑性(synaptic plasticity)，在任何突觸更新時，都只選擇一個裝置。而突觸的更新是通過改變被選擇設備的電導率來決定的。這個過程是由對所選設備應用恰當?shù)?a href="http://m.sdkjxy.cn/v/tag/1315/" target="_blank">編程脈沖(programming pulse)來實現(xiàn)的。

c.采用一種基于計數(shù)的仲裁機制(counter-based arbitration scheme)來選擇用來編程以實現(xiàn)突觸可塑性的設備。此處使用一個最大值等于(表示一個突觸的)設備數(shù)量的全局選擇計數(shù)器。在任何突觸更新的情況下，被選擇計數(shù)器指向的設備將被編程。隨后，選擇計數(shù)器增加一個固定的量。除了選擇計數(shù)器之外，設置獨立的增強計數(shù)器和衰減計數(shù)器用來控制增強或衰減事件發(fā)生的頻率。

基于PCM設備的多記憶突觸

基于相變存儲器(PCM)的突觸

a.PCM器件由夾在頂部和底部電極之間的相變材料層組成。增強脈沖(potentiation pulses)的應用可以逐漸增加晶區(qū)(crystalline region)。衰弱脈沖(depression pulse)會產(chǎn)生一個非晶區(qū)，不論設備的原始狀態(tài)如何都會導致電導的驟然下降。

b.平均電導會隨著不同電流振幅(current amplitude)的脈沖數(shù)而產(chǎn)生變化。每條曲線都是9700個設備電導測量值的平均。插圖顯示了本研究中使用的一種特征化PCM裝置的透射電子顯微圖。

c.當重復增強和衰弱脈沖時觀察得到的平均累積電導變化。設備的初始電導為~5μS。

d.當脈沖為=100μA時，給9700臺設備測量電導值的平均和標準誤差(1σ)，相應的模型也對應相同的設備數(shù)量。插圖顯示了在第20個增強脈沖后電導的分布，以及由模型所得到的對應分布。

e.左圖顯示了在同一個PCM設備上應用1000次的單個脈沖所引起的電導變化的典型分布。該脈沖作為第四個增強脈沖，應用到設備上。用同樣的測量方式在不同的1000臺PCM設備上重復，并在插圖顯示這1000個設備的平均和標準誤差。右圖顯示了單個脈沖在1000個設備上引起的電導變化的典型分布。該脈沖作為第四個增強脈沖應用到設備上。同樣的測量在1000個電導變化中重復進行，插圖顯示了1000個電導變化中的平均和標準誤差。可以看出，設備間和設備內(nèi)的可變性是可以比較的。

基于PCM的多記憶突觸

a.對第1、3和7PCM設備進行實驗，得到突觸的平均累積電導變化。測量是基于1000個突觸，每個設備的電導都初始化為~5μS。對于增強實驗，脈沖值選擇μA，而衰弱實驗中，脈沖值選擇=450μA。

b.分別用10、30和70個增強脈沖對第1、3和7個PCM突觸進行應用后，得到累積電導變化的分布。均值和方差幾乎與每個突觸設備數(shù)量呈線性關系，可引出一種改良的權重更新解決方案。

手寫體數(shù)字分類的仿真效果

多記憶突觸在神經(jīng)網(wǎng)絡中的應用

a.利用反向傳播訓練人工神經(jīng)網(wǎng)絡進行手寫數(shù)字分類。在輸入層和隱藏層中使用偏置神經(jīng)元(bias neurons)(白色)。利用PCM器件的非線性電導響應，建立了一種多模態(tài)突觸模型，用于表征這些模擬中的突觸權重。增加多記憶突觸裝置的數(shù)量(包括有差別結構和無差別結構)可以提高測試的準確性。對五種不同的初始化權重進行了重復模擬。誤差條(error bars)表示標準偏差。虛線顯示了在雙精度浮點軟件上實驗得到的測試精度。

b.使用基于STDP的學習規(guī)則對手寫數(shù)字分類任務進行了脈沖神經(jīng)網(wǎng)絡(SNN)的訓練。同樣地，在該模擬中一個多記憶突觸模型表示突觸權重(設備存在有差別和無差別)。網(wǎng)絡的分類精度隨著每個突觸的設備數(shù)量而增加。對五種不同的初始化權重進行了重復模擬。誤差條(error bars)表示標準偏差。虛線顯示了在雙精度浮點軟件上實驗得到的測試精度。

時間相關性檢測的實驗結果

多記憶突觸在神經(jīng)網(wǎng)絡中的實驗演示

a.通過無監(jiān)督學習訓練了脈沖神經(jīng)網(wǎng)絡，完成時間相關檢測任務。我們的網(wǎng)絡由1000個多PCM突觸(在硬件上)組成，連接到一個Integrate-And-Fire(I&F)神經(jīng)元上。突觸接收到由泊松分布產(chǎn)生的基于事件的數(shù)據(jù)流，作為前突觸(presynaptic)輸入峰值。100個突觸接收到相關數(shù)據(jù)流，相關系數(shù)為0.75，而其他突觸則接收到不相關的數(shù)據(jù)流。相關的和非相關的數(shù)據(jù)流都有相同的速率。由此產(chǎn)生的后突觸(postsynaptic)輸出在神經(jīng)元膜上累積。基于輸入峰值和神經(jīng)元峰值的時間，使用指數(shù)STDP規(guī)則進行權重更新的計算。如果期望的權重變化大于(小于)閾值，則應用具有固定振幅的增強(衰弱)脈沖。

b.在實驗結束時，顯示了由N = 1、3和7個PCM設備組成的突觸權重。可以看出，接受相關輸入的突觸的權重往往大于接受不相關輸入的突觸的權重。隨著N的增加，權重分布更加清晰。

c.在實驗的前300個步驟中，是六個突觸權重的變化。隨著每個突觸的設備數(shù)量的增加，權重也逐漸增加。

d.在最后的實驗中，顯示的是由144000多元PCM突觸(每個突觸有7臺設備)組成的一個SNN的突觸權重分布。14400個突觸接收到相關的輸入數(shù)據(jù)流，相關系數(shù)為0.75。這次大規(guī)模實驗共使用了1008000個PCM設備。下方板顯示了PCM設備模型預測的突觸權重分布。