在過去十年左右的時間里，研究人員已經(jīng)開發(fā)了多種基于人工神經(jīng)網(wǎng)絡（ANN）的計算模型。盡管已發(fā)現(xiàn)許多這些模型在特定任務上表現(xiàn)良好，但它們并不總是能夠識別可應用于新問題的迭代，順序或算法策略。

過去的研究發(fā)現(xiàn)，添加外部存儲器組件可以提高神經(jīng)網(wǎng)絡獲取這些策略的能力。但是，即使使用外部存儲器，它們也容易出錯，對提供給他們的數(shù)據(jù)變化敏感，并且需要大量的訓練數(shù)據(jù)才能很好地發(fā)揮作用。

達姆施塔特技術大學的研究人員最近推出了一種新的基于記憶增強的基于ANN的體系結構，該體系結構可以學習解決問題的抽象策略。這種結構在將算法計算與依賴于數(shù)據(jù)的操作分開，將算法處理的信息流劃分為兩個不同的“流”。

研究人員在論文中寫道：“擴展具有外部記憶的神經(jīng)網(wǎng)絡已經(jīng)提高了他們學習這種策略的能力，但是它們?nèi)匀蝗菀壮霈F(xiàn)數(shù)據(jù)變化，難以學習可擴展和可轉(zhuǎn)移的解決方案，并且需要大量的訓練數(shù)據(jù)。” “我們提出了神經(jīng)哈佛計算機，這是一種基于內(nèi)存的基于網(wǎng)絡的體系結構，該體系結構通過將算法操作與數(shù)據(jù)操作解耦而采用抽象，通過拆分信息流和分離的模塊來實現(xiàn)?！?/p>

神經(jīng)哈佛計算機或NHC將輸入算法的信息流分為兩個不同的流，即數(shù)據(jù)流（包含特定于數(shù)據(jù)的操作）和控制流（包含算法操作）。最終，它可以區(qū)分與數(shù)據(jù)相關的模塊和算法模塊，從而創(chuàng)建兩個獨立但又耦合的存儲器。

NHC具有三個主要的算法模塊，分別稱為控制器，存儲器和總線。這三個組件具有不同的功能，但彼此交互以獲取可應用于將來任務的抽象。研究人員在論文中解釋說：“這種抽象機制和進化訓練使學習健壯和可擴展的算法解決方案成為可能?！?/p>

研究人員通過使用NHC訓練和運行11種不同的算法來評估NHC。然后，他們測試了這些算法的性能，以及它們的泛化和抽象能力。研究人員發(fā)現(xiàn)，NHC可以可靠地運行所有11種算法，同時還可以使它們在比最初訓練要完成的任務復雜的任務上表現(xiàn)出色?！霸?1種復雜程度各異的算法中，我們證明NHC可靠地學習了具有強大概括性和抽象性的算法解決方案，可以完美地概括和擴展到任意任務配置和復雜性，而這些復雜性和復雜性遠遠超出了訓練期間所看到的，并且與數(shù)據(jù)無關表示法和任務領域”，

該研究人員小組最近進行的研究證實了使用外部存儲組件來增強復雜程度不同的任務中基于神經(jīng)網(wǎng)絡的體系結構的性能和可推廣性的潛力。將來，NHC體系結構可用于合并和改進不同ANN的功能，從而幫助開發(fā)可識別有用策略的模型，從而基于新數(shù)據(jù)做出準確的預測。
責任編輯：YYX