在機器學(xué)習(xí)領(lǐng)域里，有個黑匣子，研究員通常不知道模型究竟是如何運行，做出決策的。這也成為了他們一直想要弄明白的課題之一。

當(dāng)?shù)貢r間4月14日，非營利組織OpenAI推出了一款名為“顯微鏡”（Microscope）的神經(jīng)元可視化工具，包含了9個當(dāng)下流行的神經(jīng)網(wǎng)絡(luò)。正如它的名稱一樣，這套新工具可以像實驗室中的顯微鏡一樣，幫助AI研究人員更好地理解擁有成千上萬神經(jīng)元的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和行為。

神經(jīng)元可視化

OpenAI成立于2015年底，是一個非營利的人工智能研究組織，旨在通過促進(jìn)和發(fā)展友好的人工智能，而使人類整體受益，創(chuàng)始人中有硅谷“鋼鐵俠”馬斯克。

OpenAI在自己的官方博客上稱，“顯微鏡”對幾種常見模型里每一個重要層和神經(jīng)元都做了可視化，對神經(jīng)網(wǎng)絡(luò)的可解釋性進(jìn)行了研究?！帮@微鏡”讓分析這些神經(jīng)網(wǎng)絡(luò)內(nèi)部特征變得更加容易，也能幫助研究員朝著理解這些復(fù)雜系統(tǒng)的發(fā)現(xiàn)前進(jìn)。

神經(jīng)元可視化圖例

據(jù)OpenAI介紹，“顯微鏡”的模型由神經(jīng)網(wǎng)絡(luò)層的“節(jié)點”圖組成，這些圖通過“邊”相互連接。每個操作包含數(shù)百個“單元”，大致類似于神經(jīng)元。在機器學(xué)習(xí)和認(rèn)知科學(xué)領(lǐng)域，神經(jīng)網(wǎng)絡(luò)是一種模仿生物神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和功能的數(shù)學(xué)模型。神經(jīng)網(wǎng)絡(luò)由大量的人工神經(jīng)元聯(lián)結(jié)進(jìn)行計算。我們的神經(jīng)元可以給一些輸入，然后輸出一個結(jié)果，在機器學(xué)習(xí)中，神經(jīng)元也起到相同的作用，它是一個數(shù)學(xué)函數(shù)的占位符，它的工作就是對輸入使用一個函數(shù)，然后給一個輸出結(jié)果。

“顯微鏡”包含的初始模型包括了機器學(xué)習(xí)領(lǐng)域里重要，且經(jīng)過廣泛研究的計算機視覺模型。例如，2012年ImageNet挑戰(zhàn)賽冠軍AlexNet， AlexNet在研究中被引用了5萬次以上；還有2014年ImageNet贏家GoogleNet，以及ResNet v2。OpenAI表示每種模型的可視化都帶有一些場景，并且圖像在OpenAI Lucid庫中可用，也可以在Creative Commons授權(quán)許可下重復(fù)使用。

“我們希望任何想知道神經(jīng)網(wǎng)絡(luò)如何運行的人，都可以使用這個工具。這個工具的主要價值在于可以提供持久的共享成果，從而促進(jìn)對這些模型的研究。我們還希望有相關(guān)專業(yè)知識的研究人員，例如神經(jīng)科學(xué)家能夠輕松使用這些模型，同時還能從模型中找到價值?！監(jiān)penAI稱。

除了“顯微鏡”的神經(jīng)元可視化外，近年來，機器學(xué)習(xí)領(lǐng)域里也有人試圖將機器學(xué)習(xí)模型的活動可視化。Facebook在去年秋天推出了Captum，使用可視化技術(shù)來解釋機器學(xué)習(xí)模型做出的決策。2019年3月，OpenAI和Google還發(fā)布了激活地圖集技術(shù)，將機器學(xué)習(xí)算法做出的決策進(jìn)行了可視化。