一直以來，AI 進(jìn)行圖像識別都是一個難以清楚解釋的過程，而如今麻省理工學(xué)院林肯實驗室情報和決策技術(shù)小組（Intelligence and Decision Technologies Group）的一項研究試圖讓 AI 的決策過程更加可被解釋。

這個小組在今年夏天的 CVPR 上發(fā)表了一篇論文《設(shè)計透明：彌合視覺推理的表現(xiàn)與可解釋性》（Transparency by Design: Closing the Gap Between Performance and Interpretability in Visual Reasoning），論文中提出的系統(tǒng)可以執(zhí)行與人類一樣的推理步驟來進(jìn)行與圖像識別相關(guān)的任務(wù)，同時能以圖像形式呈現(xiàn)其決策的過程。

圖 |TbD-net的決策過程 （來源：MIT）

了解神經(jīng)網(wǎng)絡(luò)如何做出決策一直是 AI 研究人員長期面對的問題。神經(jīng)網(wǎng)絡(luò)是以人的大腦為參照開發(fā)的 AI 系統(tǒng)，旨在復(fù)制人類學(xué)習(xí)的方式。簡單的神經(jīng)網(wǎng)絡(luò)有一個輸入層、一個輸出層，兩者之間還有一個將輸入轉(zhuǎn)換為正確的輸出結(jié)果的層。然而一些深度神經(jīng)網(wǎng)絡(luò)非常復(fù)雜，無法遵循這種簡單的轉(zhuǎn)換過程。所以逐漸地，神經(jīng)網(wǎng)絡(luò)的設(shè)置層越來越多，決策過程成為了一個“黑箱”問題，內(nèi)部流程非常不透明，以至于該網(wǎng)絡(luò)的開發(fā)者可能都無法完全掌握。

與此同時，了解 AI 的決策過程非常重要。例如，對用在自動駕駛汽車中的神經(jīng)網(wǎng)絡(luò)來說，行人和路牌之間存在什么樣的差異？神經(jīng)網(wǎng)絡(luò)的哪個決策階段能夠發(fā)現(xiàn)兩者的區(qū)別？只有了解這一過程能夠更好地糾正神經(jīng)網(wǎng)絡(luò)的一些錯誤。但目前最先進(jìn)的神經(jīng)網(wǎng)絡(luò)也缺乏有效的機制能讓人理解其推理過程。

對此，麻省理工學(xué)院林肯實驗室情報和決策技術(shù)小組開發(fā)了一個神經(jīng)網(wǎng)絡(luò)，可以執(zhí)行類似人類的推理步驟來回答與圖像相關(guān)的問題。該模型被命名為 Transparency by Design Network（簡稱：TbD-net），

同時，TbD-net 在解決問題時能夠用熱力圖來展示其進(jìn)行視覺分析的過程，即當(dāng)系統(tǒng)識別圖像時，會對識別的部分進(jìn)行突出顯示，這達(dá)到了將決策過程可視化的效果。這種將決策過程可視化的形式讓研究人員能夠了解這一過程并對其進(jìn)行分析。

（來源：麻省理工科技評論）

對于 TbD-net 的工作流程，該網(wǎng)絡(luò)內(nèi)有眾多模塊組成的集合，這是該系統(tǒng)中的一個關(guān)鍵部分，這些模塊是專門用于執(zhí)行特定子任務(wù)的小型神經(jīng)網(wǎng)絡(luò)。在 TbD-net 執(zhí)行圖像識別任務(wù)時，它會將問題分解為子任務(wù)并分配適當(dāng)?shù)哪K，這些子任務(wù)會被分別完成之后再進(jìn)行組合。

這些模塊就像流水線上的工人一樣，每個模塊基于前一個模塊的識別結(jié)果進(jìn)行工作，一起生成了最終的結(jié)論。TbD-net 利用的 AI 技術(shù)能像理解人類語言一樣，將句子分解為多個子任務(wù)。而 TbD-net 能夠在處理圖像時進(jìn)行類似的處理過程，分不同階段對圖像進(jìn)行識別。

對于 TbD-net，如果你問它“那個巨大的金屬立方體是什么顏色？”那么第一個模塊會框定一個大大的物體；第二模塊會識別哪些對象是金屬；第三模塊會在前面得出的結(jié)果中找出標(biāo)準(zhǔn)立方體；最后，負(fù)責(zé)顏色識別的模塊會最終得出對象的顏色。

（來源：麻省理工科技評論）

TbD-net 研究人員之一的Majumdar 說：“將一系列復(fù)雜的推理分解為一系列較小的問題，每個子問題都可以分別解決再進(jìn)行組合，是一種強大而直觀的推理手段?！?/p>

研究人員讓 TbD-ne t 經(jīng)過 7 萬圖片和 70 萬個問題的訓(xùn)練后，再用 1.5 萬張圖片和 15 萬個問題對其進(jìn)行測試，結(jié)果顯示其準(zhǔn)確度達(dá)到 98.7％，優(yōu)于其他基于神經(jīng)模塊網(wǎng)絡(luò)的系統(tǒng)。

更重要的是，研究人員能夠在這個結(jié)果的基礎(chǔ)之上繼續(xù)優(yōu)化，通過查看模型的決策過程，他們可以找到問題的所在并進(jìn)行有針對性的優(yōu)化，最終準(zhǔn)確度達(dá)到了 99.1％。

除了對神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化，這篇論文的作者同時認(rèn)為，了解神經(jīng)網(wǎng)絡(luò)的推理過程可能對獲得用戶信任大有幫助。用戶要能夠了解這一推理過程，才能夠理解模型為何會作出錯誤的預(yù)測。

（來源：麻省理工科技評論）

過去的幾個月中，許多公司、政府機構(gòu)和獨立研究人員試圖解決人工智能中所謂的“黑箱”問題，都取得了不同程度的效果。

2017 年，美國國防高級研究計劃局（DARPA） 曾推出 DARPA XAI 項目，旨在研究“玻璃箱”模型，在不犧牲性能的情況下讓AI 推理過程更加透明。今年 8 月，IBM 的科學(xué)家們提出了一份 AI 的“情況說明書”，提供有關(guān)模型漏洞、偏見、對抗性攻擊易感性和其他特征的信息。微軟、埃森哲和 Facebook 也開發(fā)了自動化工具來檢測和減少 AI 算法中的偏差。

IBM 研究院的 AI 基金會負(fù)責(zé)人 Aleksandra Mojsilovic 在今年 8 月時曾說道：“AI 系統(tǒng)具有改變我們生活和工作方式的巨大潛力，但透明度問題必須得到解決，這樣才能讓 AI 得到更多的信任，”