研究想法能否成功要看是否具備合適的軟硬件，而不是這個想法是否比其他研究方向優(yōu)秀。

天時、地利、人和，三者不得，雖勝有殃。

——《孫子兵法》

一件事的成敗總會牽涉多個因素，例如兵法中的「天時」、「地利」、「人和」。在計算機科學(xué)歷史上，也有類似的現(xiàn)象，如「硬件」、「軟件」、「算法」三要素對研究想法成敗的影響。

近日，谷歌大腦研究員 Sara Hooker 寫了一篇論文，她用「硬件彩票」（hardware lottery）來描述：一個研究想法的成功是因為具備了合適的軟硬件，而不是這個想法比其他研究方向更加優(yōu)秀。早期計算機科學(xué)史的許多例子表明，硬件彩票通過把成功的研究想法看作失敗，而拖慢了研究進度。而領(lǐng)域?qū)Ｓ糜布某霈F(xiàn)使研究想法偏離慣常路徑的成本增加，這就讓這一現(xiàn)象更加顯著。

論文地址：

https://arxiv.org/pdf/2009.06489v1.pdf

這篇論文指出，算力進步帶來的收獲可能更加不均勻，某些研究方向走上了快車道，而有的則困難重重。

人工智能領(lǐng)域，硬件決定 idea 的成敗

歷史告訴我們，科學(xué)進展并非是一帆風(fēng)順的。知識傳統(tǒng)和可用工具會使科學(xué)家對特定想法形成不同的認知，這為判斷研究想法是否有潛力增加了噪聲。這篇論文指出，在人工智能研究領(lǐng)域中，工具對于判斷研究想法的成敗起到了絕大部分的作用。

這篇論文用「硬件彩票」來描述這一現(xiàn)象：一個研究想法的成功是因為它可以與當(dāng)時的軟硬件兼容，而不是因為這個想法比其他研究方向優(yōu)秀。在早期計算機科學(xué)史上，軟硬件選擇常常對決定研究想法的成敗起到?jīng)Q定性作用。

隨著我們進入軟件、硬件和機器學(xué)習(xí)研究社區(qū)更加緊密合作的新時代，這些經(jīng)驗愈發(fā)凸顯。過去幾十年，人們將硬件、軟件和算法看作割裂的選項，但促使近期三者更加緊密協(xié)作的催化劑就包括正在改變的硬件、深度學(xué)習(xí)架構(gòu)「規(guī)模越大性能越好」的理念，以及將機器學(xué)習(xí)部署到邊緣設(shè)備的需求。

軟硬件和機器學(xué)習(xí)算法之間更緊密合作的核心是新一代領(lǐng)域?qū)Ｓ糜布?，它們針對深?a href="http://m.sdkjxy.cn/tags/神經(jīng)網(wǎng)絡(luò)/" target="_blank">神經(jīng)網(wǎng)絡(luò)的商用進行了優(yōu)化。盡管領(lǐng)域?qū)Ｓ糜布橹髁魃疃壬窠?jīng)網(wǎng)絡(luò)研究帶來了重要的效率提升，但這也使得研究想法偏離既有路徑的成本增加。更加碎片化的硬件市場意味著基于算力進展獲得的收益將變得更加不均衡。盡管深度神經(jīng)網(wǎng)絡(luò)已經(jīng)有了明確的商用場景，但目前已經(jīng)出現(xiàn)了早期信號，提醒我們要實現(xiàn) AI 的下一個突破可能需要完全不同的算法、硬件和軟件組合。

硬件、軟件、算法：三個獨立的部落

對于首批計算機的創(chuàng)造者而言，程序是機器。早期的機器是單獨使用的，且不會適應(yīng)新的任務(wù)，原因在于電子器件成本高且缺乏跨任務(wù)的軟件。

查爾斯 · 巴貝奇的差分機僅用于計算多項式函數(shù) （1817）。美國第一部大尺度自動數(shù)位電腦馬克一號（Mark I）是可編程計算器（1944）。Rosenblatt 的感知器用來計算 step-wise 單層網(wǎng)絡(luò)（1958）。甚至常被認為是首批可編程機器的雅卡爾織布機重新穿孔的成本也很高，因此它通常只穿孔一次 （1804）。

這些早期計算機的專用性是出于當(dāng)時的需要，而不是計算機設(shè)計師認為一次性的定制硬件更好。但是，需要指出的是，人類智能本身就是算法和機器的結(jié)合。我們一生中不會長出多個大腦。而人類智能的概念本質(zhì)上與 1400g 腦組織和大腦中 850 億神經(jīng)元之間的連接密切相關(guān)。當(dāng)我們談?wù)撊祟愔悄軙r，你腦海中浮現(xiàn)出的圖像可能是粉色帶褶皺的一團（