深度學習算法近年來取得了長足的進展，也給整個人工智能領域送上了風口。但深度學習系統(tǒng)中分類器和特征模塊都是自學習的，神經(jīng)網(wǎng)絡的可解釋性成為困擾研究者的一個問題，人們常常將其稱為黑箱。但理解深度神經(jīng)網(wǎng)絡的工作原理，對于解釋其決策方式，并建立更強大的系統(tǒng)至關重要。

近日，DeepMind 發(fā)布了其關于神經(jīng)網(wǎng)絡可解釋性的最新研究成果，他們通過刪除網(wǎng)絡中的某些神經(jīng)元組，從而判定其對于整個網(wǎng)絡是否重要。核心發(fā)現(xiàn)有如下兩點：

可解釋的神經(jīng)元（例如“貓神經(jīng)元”）并不比難以解釋的神經(jīng)元更重要。

泛化性良好的網(wǎng)絡對于刪除神經(jīng)元的操作更具適應性。

深度神經(jīng)網(wǎng)絡由許多獨立的神經(jīng)元組成，這些神經(jīng)元以復雜且反直覺的方式結合起來，進而解決各種具有挑戰(zhàn)性的任務。這種復雜性賦予了神經(jīng)網(wǎng)絡強大的功能，但也使其成為一個令人困惑且不透明的黑箱。

理解深度神經(jīng)網(wǎng)絡的工作原理，對于解釋其決策、建立更強大的系統(tǒng)至關重要。想象一下，在不了解各個齒輪如何裝配的情況下，制造一塊鐘表的難度會有多大。在神經(jīng)科學和深度學習領域中，理解神經(jīng)網(wǎng)絡的一種方法是研究單個神經(jīng)元的作用，特別是那些容易解釋的神經(jīng)元。

我們即將在第六屆國際學習表征會議（ICLR）上發(fā)表關于單一方向泛化重要性的研究，它采用了一種受實驗神經(jīng)科學啟發(fā)的方法——探索損傷的影響——來確定深層神經(jīng)網(wǎng)絡中的小組神經(jīng)元的重要性，以及更容易解釋的神經(jīng)元的重要性是否更高。

通過刪除單個神經(jīng)元和神經(jīng)元組，我們測量了破壞網(wǎng)絡對性能的影響。在實驗中，我們有兩個驚人的發(fā)現(xiàn)：

之前的許多研究都試圖去理解容易解釋的個體神經(jīng)元（例如“貓神經(jīng)元”，或者說深層網(wǎng)絡中只有對貓的圖像有反應的神經(jīng)元），但是我們發(fā)現(xiàn)這些可解釋的神經(jīng)元并不比難以解釋的神經(jīng)元更重要。

與只能對已經(jīng)見過的圖像進行分類的網(wǎng)絡相比，對未見過的圖像也能正確分類的網(wǎng)絡對神經(jīng)元缺失有著更好的彈性。換句話說，泛化性良好的網(wǎng)絡比泛化性差的網(wǎng)絡對單方向的依賴性要小很多。

▌“貓神經(jīng)元”或許更容易解釋，但是它們的重要性并不會更高

在神經(jīng)科學和深度學習中，容易解釋的神經(jīng)元（“選擇性”神經(jīng)元）已經(jīng)被廣泛分析，它們只對單一輸入類別的圖像（例如狗）有積極回應。在深度學習中，這導致了研究者對貓神經(jīng)元（cat neurons）、情感神經(jīng)元（sentiment neurons）和括號神經(jīng)元（parentheses neurons）的重視。然而，與大多數(shù)具有低選擇性、更令人費解、難以解釋的活性的神經(jīng)元相比，這些為數(shù)不多的具有高選擇性神經(jīng)元的相對重要性仍然未知。

與那些對看似隨機的圖像集作出積極或消極回應的令人困惑的神經(jīng)元相比，具有清晰回應模式（比如只對“狗”積極回應，對其他一切類別消極回應）的神經(jīng)元更容易解釋。

為了評估神經(jīng)元的重要性，我們測量了刪除神經(jīng)元后，神經(jīng)網(wǎng)絡在圖像分類任務中的性能變化。如果一個神經(jīng)元是非常重要的，刪除它應該會產(chǎn)生嚴重的后果，而且網(wǎng)絡性能會大大降低，而刪除一個不重要的神經(jīng)元應該沒有什么影響。神經(jīng)科學家通常進行類似的實驗，盡管他們不能達到這些實驗所必需的細粒度精度，但是在人工神經(jīng)網(wǎng)絡中則很容易實現(xiàn)。

刪除神經(jīng)元對簡單神經(jīng)網(wǎng)絡影響的概念圖。顏色越深，代表神經(jīng)元越活躍。你可以在原網(wǎng)頁上嘗試單擊隱藏層神經(jīng)元刪除它們，并查看輸出神經(jīng)元的活動變化。請注意，僅刪除一個或兩個神經(jīng)元對輸出的影響很小，而刪除大多數(shù)神經(jīng)元的影響很大，并且某些神經(jīng)元比其他神經(jīng)元更重要！

令人驚訝的是，我們發(fā)現(xiàn)選擇性和重要性之間沒有什么關系。換句話說，“貓神經(jīng)元”并不比令人困惑的神經(jīng)元更重要。這一發(fā)現(xiàn)與神經(jīng)科學最近的研究成果相呼應，后者已經(jīng)證明，令人困惑的的神經(jīng)元實際上可以提供相當多的信息。為了理解深度神經(jīng)網(wǎng)絡，我們的研究不能只局限于最容易解釋的神經(jīng)元。

雖然“貓神經(jīng)元”可能更容易記解釋，但它們并不比令人困惑且沒有明顯偏好的神經(jīng)元更加重要。

▌泛化能力更強的網(wǎng)絡更不容易崩潰

雖然我們希望創(chuàng)建智能系統(tǒng)，但是只有當這個系統(tǒng)能夠泛化到新的場景時，我們才能稱之為智能系統(tǒng)。例如，如果一個圖像分類網(wǎng)絡只能對它見過的特定的狗的圖像進行分類，卻認不出同一只狗的最新圖像時，這個網(wǎng)絡就是無用的。這些系統(tǒng)只有在對新的實例進行智能分類時，才算是有作用的。

伯克利、Google Brain、DeepMind 最近合作發(fā)表的一篇論文在 ICLR 2017 上獲得了最佳論文。該論文表明，深度網(wǎng)絡可以簡單地記住每一幅圖像，而不是以更人性化的方式學習（例如，理解“狗”的抽象概念）。

然而，關于神經(jīng)網(wǎng)絡是否學習到了決定泛化能力的解，我們一直沒有明確的答案。通過逐步刪除越來越大的神經(jīng)元群，我們發(fā)現(xiàn)，相比簡單地記憶先前在訓練中看到的圖像的網(wǎng)絡，泛化良好的網(wǎng)絡對刪除神經(jīng)元的魯棒性強得多。換句話說，泛化能力更強的網(wǎng)絡更不容易崩潰（盡管這種情況可能發(fā)生）。

隨著越來越多的神經(jīng)元群被刪除，泛化良好的網(wǎng)絡的性能下降速度明顯更慢。

通過這種方式測量神經(jīng)網(wǎng)絡的魯棒性，我們可以評估這個網(wǎng)絡是否在利用我們不希望的記憶能力在“作弊”。理解網(wǎng)絡在記憶時如何是變化的，將有助于我們建立泛化能力更好的新網(wǎng)絡。

▌受神經(jīng)科學啟發(fā)的分析方法

這些發(fā)現(xiàn)證明了，使用實驗神經(jīng)科學啟發(fā)的技術可以幫助我們理解神經(jīng)網(wǎng)絡的能力。使用這些方法，我們發(fā)現(xiàn)高選擇性的獨立神經(jīng)元并不比非選擇性神經(jīng)元更重要，并且泛化良好的網(wǎng)絡比簡單地記憶訓練數(shù)據(jù)的網(wǎng)絡對獨立神經(jīng)元的依賴性更小。這些結果暗示，獨立神經(jīng)元的重要性可能遠不如我們認為的那么重要。

通過解釋所有神經(jīng)元的作用，而不僅僅是那些容易理解的神經(jīng)元，我們希望更好地理解神經(jīng)網(wǎng)絡的內(nèi)部工作原理，并且利用這種理解來構建更智能和更通用的系統(tǒng)。