考慮下圖的動物。 如果您識別出它，快速激活大腦中一系列的神經(jīng)元，就會將其圖像與其名稱和您知道的其他信息（棲息地，大小，飲食，壽命等）聯(lián)系起來。 但是，如果像我一樣，您以前從未見過這種動物，那么現(xiàn)在您的腦子里就會遍歷以往見過的各種動物，比如尾巴，耳朵，爪子，鼻子和其他所有特征，以確定該奇怪生物屬于哪個。 您的生物神經(jīng)網(wǎng)絡(luò)正在重新處理您過去的經(jīng)驗和記憶以應(yīng)對新情況和事物。

經(jīng)過數(shù)百萬年的進化磨礪，我們的大腦是非常高效的處理機器，將我們從感官輸入中接收到的大量信息分類，并將已知的信息與它們各自的類別聯(lián)系起來。

順便說一下，那張照片是一只印度靈貓，是一種瀕臨滅絕的物種，與貓，狗和嚙齒動物無關(guān)。 應(yīng)該將其放在自己的單獨類別中去。 現(xiàn)在，您有了一個新的存儲類來放置它，下次再見到你可能一眼辨認(rèn)出來。

盡管我們還沒有學(xué)到很多關(guān)于大腦如何工作的知識，但我們正處于（或者可能仍處于起步階段）創(chuàng)建自己的人類大腦版本的時代。 經(jīng)過數(shù)十年的研究和開發(fā)，研究人員已經(jīng)設(shè)法創(chuàng)建了深度神經(jīng)網(wǎng)絡(luò)，有時在特定任務(wù)中與人類的表現(xiàn)相匹配或超越。

但是，關(guān)于人工智能的討論中反復(fù)出現(xiàn)的主題之一是，深度學(xué)習(xí)中使用的人工神經(jīng)網(wǎng)絡(luò)，是否類似于我們大腦的生物神經(jīng)網(wǎng)絡(luò)。 許多科學(xué)家認(rèn)同，人工神經(jīng)網(wǎng)絡(luò)是對大腦結(jié)構(gòu)的非常粗略的模仿，有些人認(rèn)為，人工神經(jīng)網(wǎng)絡(luò)是統(tǒng)計推理引擎，不能反映大腦的許多功能。 他們相信，大腦包含許多超越生物神經(jīng)元的聯(lián)系和奇觀。

最近發(fā)表在同行評審雜志《神經(jīng)元》上的一篇論文挑戰(zhàn)了人腦功能的傳統(tǒng)觀點。 這篇論文的標(biāo)題為“直接適應(yīng)自然：生物和人工神經(jīng)網(wǎng)絡(luò)的進化觀點”，討論了與許多科學(xué)家的看法，相反的人腦是一種蠻力大數(shù)據(jù)處理器，其參數(shù)適合于許多實例。 這種描述通常是針對深度神經(jīng)網(wǎng)絡(luò)的。

這份引人深思的論文由普林斯頓大學(xué)的研究人員撰寫，對神經(jīng)網(wǎng)絡(luò)，人工神經(jīng)網(wǎng)絡(luò)及其生物學(xué)對應(yīng)物之間的類比，以及創(chuàng)建功能更強大的人工智能系統(tǒng)的未來方向提供了不同的見解。

人工智能的可解釋性挑戰(zhàn)

神經(jīng)科學(xué)家通常認(rèn)為，大腦的復(fù)雜功能可以分解為簡單的，可解釋的模型。

例如，我可以解釋我對靈貓圖片的分析所經(jīng)歷的復(fù)雜的心理過程（當(dāng)然，在我知道它的名字之前），例如：“它絕對不是鳥，因為它沒有羽毛和翅膀。 當(dāng)然不是魚。 毛茸茸的外套可能是哺乳動物。 耳朵尖的人可能是貓，但脖子有點長，而且身體形狀有些怪異。 鼻子有點像嚙齒動物，但腿比大多數(shù)嚙齒動物都要長……”，最后我得出的結(jié)論是，它可能是一種深奧的貓。 （以我的辯護，如果您堅持的話，那是貓科動物的遠親。）

但是，人工神經(jīng)網(wǎng)絡(luò)通常被視為無法解釋的黑匣子。 他們沒有提供有關(guān)決策過程的豐富解釋。 當(dāng)涉及由數(shù)百個（或數(shù)千個層）和數(shù)百萬個（或數(shù)十億個）或參數(shù)組成的復(fù)雜深度神經(jīng)網(wǎng)絡(luò)時，更加如此。

在訓(xùn)練階段，深度神經(jīng)網(wǎng)絡(luò)會檢查數(shù)百萬張圖像及其相關(guān)標(biāo)簽，然后盲目地將其數(shù)百萬個參數(shù)調(diào)整為從這些圖像中提取的模式。 然后，這些調(diào)整后的參數(shù)使它們可以確定新圖像屬于哪個類別。 他們不了解我剛才提到的更高層次的概念（脖子，耳朵，鼻子，腿等），只是在尋找圖像像素之間的一致性。

《直接適應(yīng)自然》的作者承認(rèn)，生物和人工神經(jīng)網(wǎng)絡(luò)在其電路結(jié)構(gòu)、學(xué)習(xí)規(guī)則和目標(biāo)功能方面存在很大差異。

研究人員寫道：“但是，鑒于網(wǎng)絡(luò)的輸入或環(huán)境，所有網(wǎng)絡(luò)都使用迭代優(yōu)化過程來追求目標(biāo)，這一過程我們稱為‘直接擬合’。” “直接擬合”一詞的靈感來自于進化過程中觀察到的盲擬合過程，這是一種優(yōu)雅而漫不經(jīng)心的優(yōu)化過程，在此過程中，不同的生物通過長期進行的一系列隨機遺傳轉(zhuǎn)化來適應(yīng)其環(huán)境。

作者寫道，這個框架削弱了傳統(tǒng)實驗方法的假設(shè)，并出乎意料地與發(fā)展心理學(xué)和生態(tài)心理學(xué)中長期存在的爭論產(chǎn)生了聯(lián)系。

人工智能界面臨的另一個問題是可解釋性和泛化性之間的權(quán)衡。 科學(xué)家和研究人員一直在尋找可以在更大范圍內(nèi)推廣AI功能的新技術(shù)和結(jié)構(gòu)。 經(jīng)驗表明，對于人工神經(jīng)網(wǎng)絡(luò)，規(guī)?？梢蕴岣叻夯阅芰?。 處理硬件的進步和大型計算資源的可用，性使研究人員能夠在合理的時間內(nèi)創(chuàng)建和訓(xùn)練大型神經(jīng)網(wǎng)絡(luò)。 事實證明，這些網(wǎng)絡(luò)在執(zhí)行復(fù)雜任務(wù)（例如計算機視覺和自然語言處理）方面具有顯著的優(yōu)勢。

然而，人工神經(jīng)網(wǎng)絡(luò)的問題在于，它們變得越大，就會導(dǎo)致它們變得越不透明。 由于其邏輯分布在數(shù)以百萬計的參數(shù)中，因此與為每個特征分配一個系數(shù)的簡單回歸模型相比，它們變得難以解釋。 簡化人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)（例如，減少層次或變量的數(shù)量）將使解釋它們?nèi)绾螌⒉煌妮斎胩卣饔成涞狡浣Y(jié)果變得更加容易。 但是，較簡單的模型也無法處理自然界中復(fù)雜而混亂的數(shù)據(jù)。

我們認(rèn)為神經(jīng)計算是建立在蠻力直接擬合基礎(chǔ)上的，蠻力直接擬合依賴于過度參數(shù)化的優(yōu)化算法來提高預(yù)測能力（泛化），而無需明確建模世界的基本生成結(jié)構(gòu)。

人工智能的泛化問題

假設(shè)您要創(chuàng)建一個AI系統(tǒng)來檢測圖像和圖片中的椅子。 理想情況下，您將為算法提供一些椅子圖像，并且能夠檢測所有類型的正常以及古怪和時髦的圖像。

這是人工智能長期以來追求的目標(biāo)之一，創(chuàng)建可以很好地“外推”的模型。 這意味著，在給出問題域的一些示例的情況下，該模型應(yīng)該能夠提取基本規(guī)則，并將其應(yīng)用于以前從未見過的大量新穎示例中。

當(dāng)處理簡單的（大多數(shù)是人工的）問題域時，可能可以通過將深層神經(jīng)網(wǎng)絡(luò)調(diào)整為一小組訓(xùn)練數(shù)據(jù)來達到推斷水平。 例如，在具有有限特征（例如銷售預(yù)測和庫存管理）的域中，可以達到這種概括水平。 （但是正如我們在這些頁面中所看到的，當(dāng)環(huán)境發(fā)生根本性變化時，即使是這些簡單的圖像，AI模型也可能會崩潰。）

但是，當(dāng)涉及到諸如圖像和文本之類的雜亂無章的數(shù)據(jù)時，小數(shù)據(jù)方法往往會失敗。 在圖像中，每個像素有效地變成一個變量，因此分析一組100×100像素圖像成為10，000個維的問題，每個維都有成千上萬個可能性。

普林斯頓大學(xué)的研究人員寫道：“在參數(shù)空間的不同部分，存在復(fù)雜的非線性和變量之間的相互作用的條件下，進行有限的數(shù)據(jù)推斷必然會失敗?！?/p>

許多認(rèn)知科學(xué)家認(rèn)為，人類的大腦可以依賴內(nèi)隱生成規(guī)則，而不需要接觸來自環(huán)境的豐富數(shù)據(jù)。另一方面，人們普遍認(rèn)為，人工神經(jīng)網(wǎng)絡(luò)不具備這樣的能力。

將神經(jīng)網(wǎng)絡(luò)直接擬合到問題域

本質(zhì)上，有了足夠的樣本，您將能夠捕獲夠大的問題域。 這樣就可以通過簡單的計算在樣本之間進行內(nèi)插，而無需提取抽象規(guī)則來預(yù)測超出訓(xùn)練示例范圍的場景。

隨著計算硬件的發(fā)展，過去十年來，非常大的數(shù)據(jù)集的可用性使人們可以創(chuàng)建直接擬合的人工神經(jīng)網(wǎng)絡(luò)。 互聯(lián)網(wǎng)擁有來自各個領(lǐng)域的各種數(shù)據(jù)。 科學(xué)家從Wikipedia，社交媒體網(wǎng)絡(luò)，圖像存儲庫等創(chuàng)建大量的深度學(xué)習(xí)數(shù)據(jù)集。 物聯(lián)網(wǎng)（IoT）的出現(xiàn)也使從物理環(huán)境（道路，建筑物，天氣，身體等）的豐富采樣成為可能。

在許多類型的應(yīng)用程序（即監(jiān)督學(xué)習(xí)算法）中，收集的數(shù)據(jù)仍然需要大量的體力勞動才能使每個樣本與其結(jié)果相關(guān)聯(lián)。 但是，盡管如此，大數(shù)據(jù)的可用性使直接擬合法可以應(yīng)用于無法由少量樣本和一般規(guī)則表示的復(fù)雜域。

超越系統(tǒng)：神經(jīng)網(wǎng)絡(luò)

然而，不可否認(rèn)的一件事是，人類實際上確實從其環(huán)境中提取規(guī)則，并發(fā)展出用于處理和分析新信息的抽象思想和概念。 這種復(fù)雜的符號操作使人類能夠比較和繪制不同任務(wù)之間的類比，并執(zhí)行有效的轉(zhuǎn)移學(xué)習(xí)。 理解和運用因果關(guān)系仍然是人腦的獨特特征。

這些功能不是從單個神經(jīng)網(wǎng)絡(luò)的激活和交互中產(chǎn)生的，而是跨許多思想和世代積累的知識的結(jié)果。

Hasson和Nastase承認(rèn)，這是直接擬合模型不足的領(lǐng)域。 從科學(xué)上講，這稱為系統(tǒng)1和系統(tǒng)2思維。 系統(tǒng)1是指可以通過死記硬背來學(xué)習(xí)的任務(wù)，例如識別人臉，行走，跑步，駕駛。 您可以在不知不覺中執(zhí)行其中的大多數(shù)功能，同時還可以執(zhí)行其他一些任務(wù)（例如，與他人同時走路和說話，開車和收聽廣播）。 但是，系統(tǒng)2需要專注和有意識的思考（您可以在慢跑時解決微分方程嗎？）。

那么，我們需要開發(fā)具有系統(tǒng) 2功能的AI算法嗎？ 這是研究界爭論不休的領(lǐng)域。 包括深度學(xué)習(xí)先驅(qū)Yoshua Bengio在內(nèi)的一些科學(xué)家認(rèn)為，基于純神經(jīng)網(wǎng)絡(luò)的系統(tǒng)最終將導(dǎo)致系統(tǒng)2級人工智能。 該領(lǐng)域的新研究表明，先進的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)體現(xiàn)了以前被認(rèn)為是深度學(xué)習(xí)無法使用的符號操作能力。

專家稱：盡管人類的思想激勵著我們接觸恒星，但這是建立在系統(tǒng)1的數(shù)十億個直接擬合參數(shù)的基礎(chǔ)上的。因此，直接擬合插值不是最終目標(biāo)，而是起點 理解高階認(rèn)知架構(gòu)的要點。 系統(tǒng)2不會從其他基質(zhì)中產(chǎn)生。

另一種觀點是創(chuàng)建混合系統(tǒng)，將經(jīng)典的符號人工智能與神經(jīng)網(wǎng)絡(luò)結(jié)合起來。 在過去的一年中，該領(lǐng)域備受關(guān)注，并且有幾個項目表明基于規(guī)則的AI和神經(jīng)網(wǎng)絡(luò)可以相互補充，以創(chuàng)建比其各個部分的總和更強大的系統(tǒng)。

專家表示：“將網(wǎng)絡(luò)集成到體內(nèi)，以使其能夠與世界上的對象進行交互，對于促進在新環(huán)境中的學(xué)習(xí)非常必要?！?“尋求一種語言模型來從文本語料庫中的相鄰單詞中學(xué)習(xí)單詞的含義，會使網(wǎng)絡(luò)處于高度限制性和狹窄的環(huán)境中。 如果網(wǎng)絡(luò)具有身體并且可以通過與單詞相關(guān)的方式與對象和人進行交互，則可能會更好地理解上下文中單詞的含義。 與直覺相反，在神經(jīng)網(wǎng)絡(luò)上強加這些“限制”（例如，身體）會迫使神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)更多有用的表示?！保ū疚淖畛跤葿en Dickson在TechTalks上發(fā)表）。