杜克大學(xué)計算機(jī)科學(xué)教授辛西婭·魯丁說，但這就是問題所在。“我們可以輸入醫(yī)學(xué)圖像，然后觀察另一端的結(jié)果（‘這是惡性病變的照片’，但是很難知道兩者之間發(fā)生了什么。”

這就是所謂的“黑匣子”問題。機(jī)器的想法-網(wǎng)絡(luò)的隱藏層-甚至對于制造它的人來說都是難以理解的。

“深度學(xué)習(xí)模型的問題在于它們是如此復(fù)雜，以至于我們實際上并不知道他們正在學(xué)習(xí)什么?！倍趴舜髮W(xué)魯丁實驗室的學(xué)生?！八麄兘?jīng)?？梢岳梦覀儾幌Ｍ麄兊玫降男畔?。他們的推理過程可能是完全錯誤的?！?/p>

魯?。≧udin），陳（Chen）和杜克大學(xué)（Duke）的本科畢業(yè)生貝jie杰（Yijie Bei）提出了解決此問題的方法。通過修改這些預(yù)測背后的推理過程，研究人員可以更好地對網(wǎng)絡(luò)進(jìn)行故障排除或了解它們是否值得信賴。

大多數(shù)方法試圖通過找出指向圖像的關(guān)鍵特征或像素來揭示導(dǎo)致計算機(jī)視覺系統(tǒng)正確答案的原因：“這種胸部X射線的生長被歸類為惡性的，因為對于該模型，這些領(lǐng)域?qū)τ诜伟┑姆诸愔陵P(guān)重要?！边@樣的方法并不能揭示網(wǎng)絡(luò)的原因，而只是揭示了它所處的位置。

公爵隊嘗試了另一種方法。他們的方法不是嘗試事后考慮網(wǎng)絡(luò)的決策，而是訓(xùn)練網(wǎng)絡(luò)通過表達(dá)對概念的理解來展示其工作。他們的方法通過揭示網(wǎng)絡(luò)需要多少來思考不同的概念來幫助破譯它所看到的內(nèi)容而起作用。魯丁說：“它弄清楚了在網(wǎng)絡(luò)層中如何表示不同的概念。”

例如，給定一個圖書館的圖像，該方法可以確定神經(jīng)網(wǎng)絡(luò)的不同層是否以及依賴于它們對“書”的心理表達(dá)來識別場景的程度和程度。

研究人員發(fā)現(xiàn)，只需對神經(jīng)網(wǎng)絡(luò)進(jìn)行少量調(diào)整，就可以像原始網(wǎng)絡(luò)一樣準(zhǔn)確地識別圖像中的對象和場景，同時在網(wǎng)絡(luò)的推理過程中獲得實質(zhì)性的可解釋性。魯丁說：“該技術(shù)的應(yīng)用非常簡單。”

該方法控制信息流經(jīng)網(wǎng)絡(luò)的方式。它涉及用新部分替換神經(jīng)網(wǎng)絡(luò)的一個標(biāo)準(zhǔn)部分。新部分僅約束網(wǎng)絡(luò)中的單個神經(jīng)元響應(yīng)人類所理解的特定概念而觸發(fā)。這些概念可以是日常物品的類別，例如“書”或“自行車”。但是它們也可以是一般特征，例如“金屬”，“木材”，“冷”或“溫暖”。通過一次只讓一個神經(jīng)元控制一個概念的信息，就很容易理解網(wǎng)絡(luò)的“思維方式”。

責(zé)任編輯：lq