阿基米德基于對物體體積的抽象理解，悟到了物體的體積與物體浮力之間的關(guān)系。這就是抽象推理的魔力。基于神經(jīng)網(wǎng)絡(luò)的機器學習模型取得了驚人的成績，但是測量其推理抽象概念的能力卻是非常困難的。雖然人工智能已經(jīng)可以在策略游戲的對戰(zhàn)中戰(zhàn)勝人類，但是卻在一些簡單任務(wù)方面“無能為力”，特別是需要在新環(huán)境中發(fā)現(xiàn)并重新構(gòu)建抽象概念。

舉個例子，如果你只訓練AI計算三角形的屬性，那么，你訓練的AI系統(tǒng)永遠無法計算正方形或者其他沒有訓練過的形狀的屬性。

又比如下邊這道簡單的IQ測試題。

IQ測試給了DeepMind靈感，是不是也能用其測量AI的推理能力呢？

在以往解決通用學習系統(tǒng)努力的基礎(chǔ)上，DeepMind最新論文提出了一種如何測量機器模型認知能力的方法，并表達了關(guān)于泛化的一些重要見解。

要構(gòu)建更好、更智能的系統(tǒng)，使得神經(jīng)網(wǎng)絡(luò)能夠處理抽象概念，需要對其進行改進。

此方法的靈感來源于IQ測試。

創(chuàng)建抽象推理數(shù)據(jù)集

標準的人類智商測試中，通常要求測試者通過應(yīng)用他們?nèi)粘＝?jīng)驗學習的原則來解釋感知上簡單的視覺場景。

例如，人類測試者可能已經(jīng)通過觀察植物或建筑物的增長，通過在數(shù)學課上學習加法，或通過跟蹤銀行余額獲取利息增長的情況來了解“漸進”（一些屬性能夠增加的概念）。

然后把這些感性認識上升到理性認識，從而對測試題進行推斷預測，例如圖形的數(shù)量、大小，甚至沿著序列增加顏色強度。

現(xiàn)在機器學習仍然無法理解一些看似簡單的“日常體驗”，這意味著，人類無法輕易地衡量AI將知識從現(xiàn)實世界轉(zhuǎn)移到視覺推理測試的能力。

基于此認知，DeepMind設(shè)計一個實驗，希望使人類視覺推理測試得到很好的利用。這一研究不是從日常生活到視覺推理問題(如人類測試)的知識轉(zhuǎn)移，而是研究知識從一組受控的視覺推理問題轉(zhuǎn)移到另一組問題。

為實現(xiàn)這一目標，DeepMind構(gòu)建了一個用于創(chuàng)建矩陣問題的生成器，涉及一組抽象因子，包括“漸進”之類的關(guān)系以及“顏色”和“大小”等屬性。 雖然問題生成器使用了一小組潛在因子，但它仍然會產(chǎn)生大量獨特的問題。

接下來，DeepMind約束生成器可用的因子或組合，以便創(chuàng)建用于訓練和測試模型的不同問題集，以度量模型可以推廣到留存的測試集的程度。

例如，創(chuàng)建了一組謎題訓練集，其中只有在應(yīng)用于線條顏色時才會遇到漸進關(guān)系，而在應(yīng)用于形狀大小時會遇到測試集。如果模型在該測試集上表現(xiàn)良好，它將提供推斷和應(yīng)用抽象概念的能力的證據(jù)，即使在之前從未見過進展的情況下也是如此。

有希望的抽象推理證據(jù)

在機器學習評估中應(yīng)用的典型的泛化機制中，訓練和測試數(shù)據(jù)來自于相同的基礎(chǔ)分布，測試的所有網(wǎng)絡(luò)都表現(xiàn)出良好的泛化誤差，其中一些在略高于75％的情況下實現(xiàn)了令人印象深刻的絕對性能。性能最佳的網(wǎng)絡(luò)明確地計算了不同圖像面板之間的關(guān)系，并且并行地評估了每個潛在答案的適用性。DeepMind將此架構(gòu)稱為Wild RelationNetwork（WReN）。

當需要在先前看到的屬性值之間使用屬性值“插值”來推理，以及在不熟悉的組合中應(yīng)用已知的抽象關(guān)系時，模型的泛化效果顯著。然而，在“外推”機制中，同樣的網(wǎng)絡(luò)表現(xiàn)得糟糕得多，在這種情況下，測試集中的屬性值并不與訓練中看到的值處于相同的范圍內(nèi)。

這種事情發(fā)生在當訓練集中有深顏色的物體而測試集中是淺顏色的物體的謎題中。當模型被訓練來應(yīng)用以前所見的關(guān)系(比如形狀的數(shù)量)到一個新的屬性(如大小)時，泛化性能也會更糟。

最后，當訓練模型不僅預測正確的答案，而且還預測答案的“原因”（即應(yīng)該考慮解決這個難題的特定關(guān)系和屬性)時，DeepMind稱觀察到了改進的泛化性能。

有趣的是，在中性分割中（the neutral split），模型的準確性與它推斷矩陣下正確關(guān)系的能力密切相關(guān)：當解釋正確時，模型會選擇當時正確的答案的概率為87%，但當它的解釋錯誤時，性能下降到只有32%。這表明，當模型正確地推斷出任務(wù)背后的抽象概念時，能夠獲得更好的性能。

更微妙的泛化方法

目前的文獻關(guān)注于基于神經(jīng)網(wǎng)絡(luò)的機器學習方法的優(yōu)缺點，通常是基于它們的能力或泛化的失敗。DeepMind的結(jié)果表明，得出關(guān)于泛化的普遍結(jié)論可能是沒有幫助的：測試的神經(jīng)網(wǎng)絡(luò)在某些泛化狀態(tài)下表現(xiàn)得很好，而在其他狀態(tài)下表現(xiàn)得很差。

它們的成功是由一系列因素決定的，包括所使用的模型的架構(gòu)，以及模型是否被訓練為其選擇的答案提供可解釋的“原因”。在幾乎所有的情況下，當需要推斷出超出其經(jīng)驗的輸入或處理完全陌生的屬性時，系統(tǒng)表現(xiàn)很差；在這個至關(guān)重要的研究領(lǐng)域為未來的工作創(chuàng)造一個清晰的重點。