我的這篇文章不是第一篇（也不會是最后一篇）討論人工智能界如何按自身規(guī)律發(fā)展的文章。正如不久前漢娜·克納（Hannah Kerner）的話：“很多AI研究人員認(rèn)為現(xiàn)實世界中的問題無關(guān)緊要。社區(qū)過度關(guān)注新方法，卻忽略了真正要緊的事情?！?/p>

許多大型會議公然忽視了應(yīng)用型論文，這些文章聚焦于使用目前的技術(shù)解決現(xiàn)實世界中的問題，其中很多文章還關(guān)注在此過程中面臨的挑戰(zhàn)。程序是虛無縹緲的，目標(biāo)檢測額外精準(zhǔn)10%，遠(yuǎn)比減少癌癥死亡的1%更有價值。

人工智能界忽略了一個顯而易見的事實：深度學(xué)習(xí)是一門實驗科學(xué)。雖然神經(jīng)網(wǎng)絡(luò)脈絡(luò)清晰，但它是一個難以解釋的龐大的非線性系統(tǒng)。盡管越來越多的研究致力于闡釋神經(jīng)網(wǎng)絡(luò)，但神經(jīng)網(wǎng)絡(luò)依然像以前一樣神秘。科學(xué)方法是我們理解神經(jīng)網(wǎng)絡(luò)的唯一可靠工具，因為它植根于實驗。

而矛盾之處在于，盡管神經(jīng)網(wǎng)絡(luò)的本質(zhì)是實驗，但是這個領(lǐng)域卻拒絕純粹的實驗。一般，一篇神經(jīng)網(wǎng)絡(luò)的論文首先介紹其新穎之處，然后嘗試形式證明，接著做消融研究，最后得出結(jié)論。這是根據(jù)實驗得出的結(jié)論。

想象一下，如果土木工程師們決定創(chuàng)造與眾不同的橋梁設(shè)計，卻選擇在桌子大小的樂高復(fù)制品上進行驗證。沒有使用真實建筑材料進行昂貴的仿真模擬或試驗，你敢相信新提出的設(shè)計方案嗎？你會特別信任這些實驗，然后投資數(shù)百萬美元來實現(xiàn)它們嗎？不管你敢不敢，反正我是不敢。

簡化的世界模型對于快速構(gòu)建原型和嘗試想法非常有用。但為了實際驗證，你需要在真實的世界中進行嘗試。這是一個兩步走的過程。

現(xiàn)代AI研究停滯在前半段——基準(zhǔn)這一問題上，實際的使用案例是后半段。ImageNet、COCO、CIFAR-10，這些都是人工智能的樂高。它們讓我們實驗新的想法，摒棄不佳的構(gòu)思，它們是很好的工具。然而，它們只是達到目的的一種手段，而不是目的本身。

這并不是說當(dāng)前的研究是錯的，關(guān)鍵問題在于學(xué)術(shù)界與現(xiàn)實世界之間的脫節(jié)。

看看這個圖表：該圖介紹了COCO目標(biāo)檢測基準(zhǔn)的最新進展，每一個小點都是一個不同的模型——一種新技術(shù)或現(xiàn)有技術(shù)的融合，領(lǐng)跑者用藍(lán)色標(biāo)出。

COCO測試開發(fā)排行榜上帶有編碼的論文

該圖表顯示了從2016年1月的28.8點到2020年7月的55.1點的軌跡。取得的進步是無可否認(rèn)的，從圖中可以看出，EfficientDet D7x是目前最好的目標(biāo)檢測技術(shù)。但是，問你一個問題：你會在應(yīng)用程序中使用哪一個模型？

你很可能無法作答，因為你不知道我說的是哪個應(yīng)用程序，也不知道它有哪些要求。它需要實時運行嗎？它能在移動設(shè)備上運行嗎？它需要識別多少類？用戶對錯誤檢測的容忍度有多大……

依據(jù)答案，以上這些都不值得考慮，甚至連EfficientDet D7x都不值得考慮。如果模型必須在手機上實時運行，那么即使略微調(diào)整這些模型，也執(zhí)行不了。更糟糕的是，不能保證這些模型能在連續(xù)幀之間產(chǎn)生一致的檢測結(jié)果。我甚至不能說出一個要求最高檢測質(zhì)量的應(yīng)用程序的名字，除了高準(zhǔn)確度之外，沒有其他要求。

換句話說，科研界所追求的度量標(biāo)準(zhǔn)只用于研究其本身。

早在2015年，研究發(fā)現(xiàn)，神經(jīng)網(wǎng)絡(luò)的深度增加超過12層會對性能造成損害。在著名的殘差網(wǎng)絡(luò)（ResNet）論文（https://arxiv.org/abs/1512.03385）中，何凱明博士以及其他幾位學(xué)者假設(shè)通過跳過連接，連接非連續(xù)層可以擴大容量，因為它可以提升梯度流。

第一年，ResNet在幾個基準(zhǔn)競賽中取得了優(yōu)異的成績，如ILSVRC和COCO。但你現(xiàn)在應(yīng)該已經(jīng)意識到了這只暗示ResNet是一個重要貢獻，但這不是證據(jù)。

ResNet在人工智能歷史上的地位的確切證據(jù)是建立在其大量工作上的。ResNet的驚人之處在于它解決不相關(guān)問題的數(shù)量，而不在它獲勝的競爭。它真正的貢獻在于這個跳過連接的想法，而不是架構(gòu)本身。

這篇有關(guān)Focal Loss（https://arxiv.org/abs/1708.02002）的論文同樣經(jīng)受住了時間的考驗，確實改進了他人的研究。這篇關(guān)于Attention的論文（https://arxiv.org/abs/1706.03762）也遵循同樣的路線。每天都有一篇新文章討論Attention是如何提高某些基準(zhǔn)的，以及聚集損失讓Attention變得更好。

重要的不是競賽，而是之后的影響。事實上，2012年ILSVRC的冠軍是AlexNet，而2015年的冠軍是ResNet。你能說出2013年和2014年的獲勝者嗎？2016年、2017年和2018年的挑戰(zhàn)是什么？你能確保每年都舉辦ILSVRC嗎？

你可能會問：為什么沒有更好的基準(zhǔn)或更有用的度量標(biāo)準(zhǔn)？我們?nèi)绾魏饬亢罄^影響？

遺憾的是，我們做不到。我們可以使用引用或下載的計數(shù)，Reddit的訪問量或者GitHub的星號標(biāo)注。然而，這些度量標(biāo)準(zhǔn)都是有瑕疵的。為了進行公平的比較，我們需要考慮到每一個細(xì)節(jié)，同時從等式中將所有的偏差進行標(biāo)準(zhǔn)化處理，這太難了。

例如，為了比較Attention和ResNet的影響力，我們需要考慮正確使用這些概念，權(quán)衡它們的相對影響，并將時間和影響范圍進行標(biāo)準(zhǔn)化處理。很明顯，量化這些屬性的工作量巨大，可能與所有基準(zhǔn)或度量標(biāo)準(zhǔn)一樣有缺陷。諸如雜志的影響因素之類的想法甚至沒有觸及這個問題的表面。

有些目標(biāo)是無法量化的。誰是最有聲望的人？是西方音樂史上最具影響力的作曲家巴赫，還是最具影響力的劇作家莎士比亞？比較他們的作品毫無意義，更不用說他們的領(lǐng)域了。

這就走進了死胡同。我們可以測量精確度，可以測量速度，但是無法判定影響力。我們都承認(rèn)我們需要更先進的科學(xué)，但是我們?nèi)绾螖喽ㄒ环N科學(xué)比另一種科學(xué)更好呢？我們?nèi)绾魏饬垦芯亢同F(xiàn)實之間的脫節(jié)？我們希望能和人工智能一起前進，但是我們既不知道前進的方向，也不知道已經(jīng)走了多遠(yuǎn)。

這不僅僅是人工智能的問題。我們想要更健全的政府，更完善的醫(yī)療服務(wù)，更優(yōu)質(zhì)的教育，但是怎樣才能真正量化這些呢？到目前為止，最失敗的方法（也是最普遍的方法）是替代度量，比如COCO AP的得分。

我們無法衡量人工智能的進步，但我們可以測量目前的目標(biāo)檢測方法有多精準(zhǔn)。目標(biāo)檢測也是AI的一部分，所以，如果能在這方面取得一些進展，我們也可以期待在人工智能方面取得進展。

在我們確定使用COCO之前，我們一直使用ImageNet前5名的結(jié)果，所以面臨一個更具挑戰(zhàn)性的問題。我們無法通過訓(xùn)練檢測模型來提高AP，但是可以教會它們減少邊界盒坐標(biāo)的L2損失。損失是不可微度量的替代。L2損失不是AP，但低L2損失與高AP相關(guān)，所以它是有效的。

從前，識字率是許多國家衡量教育進步的主要指標(biāo)。幾十年后，在識字率非常高的情況下，更高的學(xué)業(yè)完成率便是衡量教育進步的重點。然后是更高的大學(xué)入學(xué)率。我不知道學(xué)位與教育之間的關(guān)系是否像我們想象的那樣緊密，也不知道高中教的知識是不是他們應(yīng)該教的，但這是我們今天追求的指標(biāo)。

從某種意義上說，對于這些問題，沒有什么解決方法是對的。因此，根據(jù)定義，所有的路線都是錯誤的。只有盡可能多的嘗試各種途徑，我們才有可能選擇一條相對正確的道路。使用AI術(shù)語，我們需要使用更大的批量抓取，并對盡可能多的分布進行采樣。

這意味著我們必須將關(guān)注范圍擴大到“準(zhǔn)確性”和“速度”之外，還要包括“穩(wěn)健性”或“連貫性”等內(nèi)容。最重要的是，我們需要從精心挑選的基準(zhǔn)轉(zhuǎn)向現(xiàn)實世界。

以我研究乳腺癌檢測算法的案例為例，研究員很容易錯將這個領(lǐng)域當(dāng)成已解決的領(lǐng)域。最近的研究已經(jīng)在這個主題上取得了超人的成績，但是，這些算法卻無法應(yīng)用于任何一家醫(yī)院。原因很簡單，它并不起作用。

這聽起來有些夸張，但其實非常簡單：即使是同一種東西，即乳房x光片，如果你在數(shù)據(jù)集a上訓(xùn)練算法，算法不會在數(shù)據(jù)集B上工作。

目前沒有已知的技術(shù)可以在不進行微調(diào)的情況下，在數(shù)據(jù)集上進行訓(xùn)練，并在其他數(shù)據(jù)集上運行良好。你必須針對每臺機器/每家醫(yī)院建立數(shù)據(jù)集，以獲得有用的結(jié)果。度量標(biāo)準(zhǔn)合理，這個領(lǐng)域就解決了。實際上，這連開始都難。

最重要的是，算法無法為他們的答案提供幫助。站在醫(yī)生的角度想想：你會因為機器是這樣顯示的，就告訴患者他們得了癌癥嗎？你不會，你會再次查看這些圖像。

如果人們不信任人工智能，那么就永遠(yuǎn)不會使用它。

到目前為止，已發(fā)表的論文的主要評判標(biāo)準(zhǔn)是AUC評分。它告訴你該算法對乳房x光片的良惡性分類有多合理，不會告訴你它對其他數(shù)據(jù)集有多穩(wěn)健，或者所有都是可解釋的。換句話說，它從不回答“它有用嗎”這類問題。

發(fā)展人工智能沒有正確的道路，但肯定有非常錯誤的道路?；ú涣颂嗟臅r間，你就能發(fā)現(xiàn)大多數(shù)文獻有多不適用，以及真正緊迫的問題是如何堂而皇之的被人們忽視了。

正如我在開頭所說的，這篇文章并不要指責(zé)當(dāng)前的研究不好，而是說問題的關(guān)鍵在于當(dāng)前學(xué)術(shù)界和現(xiàn)實世界之間脫節(jié)——我們過于狹隘地關(guān)注準(zhǔn)確性。

發(fā)展人工智能不是為了紙上談兵，推動社會發(fā)展是真正重要的事，我們希望通過改善人工智能來實現(xiàn)這一點。但只有當(dāng)我們正視現(xiàn)實的社會問題時，我們才能正確地做到這一點。社會的問題遠(yuǎn)比精確的目標(biāo)檢測更復(fù)雜