人工智能（AI）是當(dāng)今最熱門的主題之一。從字面上來說，最近的進(jìn)展是不言而喻的-向GPT-3打個(gè)招呼，它會(huì)打招呼。人工智能發(fā)現(xiàn)的藥劑指日可待。在政策制定者試圖通過具有數(shù)百年歷史的法律來理解今年的技術(shù)時(shí)，公司聘用的博士學(xué)位比以往任何時(shí)候都多。對(duì)于研究人員和投資者而言，激動(dòng)人心的時(shí)刻，對(duì)于政客和律師而言，可能并不那么多。

今年，內(nèi)森·貝納希（Nathan Benaich）和伊恩·霍加斯（Ian Hogarth）第三次合作編寫關(guān)于AI的業(yè)務(wù)狀況報(bào)告，其中涵蓋了最新的研究，行業(yè)，人才和政策新聞。最后但并非最不重要的一點(diǎn)是，作者對(duì)2021年做出了預(yù)測(cè)。

您可以在此處 （https://www.stateof.ai/） 閱讀完整的報(bào)告。

在本文中，我總結(jié)了報(bào)告的主要主題和發(fā)現(xiàn)，然后就此事發(fā)表了自己的看法。。

報(bào)告摘要

研究（幻燈片10-62）

該報(bào)告從技術(shù)方面開始：只有15%的AI論文公開了其代碼的開源性，PyTorch擁有大部分的“研究市場(chǎng)份額”，并且有幾所大學(xué)集團(tuán)達(dá)到了十億參數(shù)大關(guān)。此外，它還談到了大型模型的經(jīng)濟(jì)和環(huán)境成本。即使硬件在改進(jìn)，深度學(xué)習(xí)成本也呈指數(shù)增長(zhǎng)。當(dāng)前的SOTA模型需要數(shù)百萬(wàn)美元的培訓(xùn)費(fèi)用，更不用說調(diào)整了。

在應(yīng)用方面，自然語(yǔ)言處理（NLP）在今年引起了大多數(shù)關(guān)注。除了自然語(yǔ)言處理之外，人工智能還在推動(dòng)生物學(xué)和醫(yī)學(xué)界不斷發(fā)展的紙張繁榮。除了這兩個(gè)領(lǐng)域之外，圖神經(jīng)網(wǎng)絡(luò)（GNN）和強(qiáng)化學(xué)習(xí)（RL）今年也取得了突破性進(jìn)展。

當(dāng)然，COVID-19也已在AI社區(qū)中留下了自己的印記，并致力于該疾病的幾乎所有方面。

人才（幻燈片63-81）

在論文數(shù)量不斷增長(zhǎng)的同時(shí)，離開學(xué)術(shù)界前往大型科技公司的教授數(shù)量也在不斷增長(zhǎng)，而大學(xué)正在遭受打擊。為了反擊，大學(xué)將重點(diǎn)放在專門的AI研究所和資助計(jì)劃上。

國(guó)際人才流失更大。今年，有許多科學(xué)家從亞洲移居到美國(guó)進(jìn)行研究，其中大多數(shù)人畢業(yè)后仍留在美國(guó)。美國(guó)對(duì)外國(guó)人才的依賴是公然的。在美國(guó)工作的AI研究人員中有70%沒有接受過美國(guó)培訓(xùn)。這轉(zhuǎn)化為出版結(jié)果。中國(guó)研究人員約占NeurIPS口頭報(bào)告的29%（接受率為0.5%）。

盡管存在COVID，但AI人才需求仍然很高，并且AI課程的注冊(cè)人數(shù)一直在增長(zhǎng)。

工業(yè)（幻燈片82-129）

最大的亮點(diǎn)是基于AI的藥物。我們已經(jīng)接近AI藥物進(jìn)入市場(chǎng)的地步。這與生物學(xué)/醫(yī)學(xué)論文的繁榮并駕齊驅(qū)。然而，鄙視的一點(diǎn)是法規(guī)和程序。當(dāng)前的批準(zhǔn)方法既不是針對(duì)AI發(fā)現(xiàn)的產(chǎn)品，也不是針對(duì)AI主導(dǎo)的產(chǎn)品，也不是針對(duì)持續(xù)改進(jìn)的工作流程。

自動(dòng)駕駛汽車（AV）行業(yè)面臨類似的問題。盡管投入了數(shù)十億美元，但無人駕駛汽車的立法比自動(dòng)駕駛汽車本身滯后得多。部分資金將用于內(nèi)部硬件，特別是定制的LiDAR技術(shù)，另一筆資金將用于自動(dòng)駕駛汽車堆棧，而剩下的仍然很大程度上是手工制作的。

同時(shí)，對(duì)計(jì)算的需求激發(fā)了新的計(jì)算平臺(tái)提供商和專門的AI硬件，例如Graphcore的M2000，Nvidia的DGX-A100和Google的TPUv4。同時(shí)，改進(jìn)的ML基礎(chǔ)架構(gòu)和操作方面的工作也在飛速發(fā)展。

幻燈片113至129專門介紹行業(yè)成功案例。

政治（幻燈片130–170）

今年以AI的道德問題成為主流為標(biāo)志，包括但不限于性別/種族偏見，警察和軍事用途，面部識(shí)別，監(jiān)視和偽造品。特別是，軍方對(duì)AI技術(shù)的興趣令人震驚，但并非出乎意料。

諸如NeurIPS，ICLR和Google之類的會(huì)議已經(jīng)采用了新的道德規(guī)范，并且一些公司傾向于公平和隱私的理想。但是，要實(shí)現(xiàn)真正的變革，還有很長(zhǎng)的路要走。芯片生產(chǎn)和IP所有權(quán)似乎是各國(guó)政府更加關(guān)注的問題。

政治上的流行語(yǔ)是AI民族主義：投資成為AI領(lǐng)導(dǎo)人和全國(guó)性AI政策的國(guó)家-主權(quán)問題。

預(yù)測(cè)（幻燈片172）

Benaich和Hogarth以2021年的預(yù)測(cè)結(jié)束了報(bào)告。它們?nèi)缦拢ɑ脽羝?72）：

1）建立更大語(yǔ)言模型的競(jìng)賽仍在繼續(xù)，我們看到了第一個(gè)10萬(wàn)億參數(shù)模型。

2）基于注意力的神經(jīng)網(wǎng)絡(luò)從NLP遷移到計(jì)算機(jī)視覺，以實(shí)現(xiàn)最先進(jìn)的結(jié)果。

3）一家大型公司AI實(shí)驗(yàn)室因其母公司更改策略而關(guān)閉。

4）為響應(yīng)美國(guó)國(guó)防部的活動(dòng)和對(duì)美國(guó)軍事AI初創(chuàng)公司的投資，在接下來的12個(gè)月里，一波以中國(guó)和歐洲國(guó)防為重點(diǎn)的AI初創(chuàng)公司合計(jì)籌集了超過1億美元。

5）一家領(lǐng)先的人工智能先行藥物發(fā)現(xiàn)初創(chuàng)公司（例如Recursion，Exscientia）進(jìn)行首次公開募股或以超過$ 10B的價(jià)格被收購(gòu)。

6）DeepMind在AlphaFold之外在結(jié)構(gòu)生物學(xué)和藥物發(fā)現(xiàn)方面取得了重大突破。

7）Facebook通過3D計(jì)算機(jī)視覺在增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)方面取得了重大突破。

8）NVIDIA最終并沒有完成對(duì)Arm的收購(gòu)。

盡管這些預(yù)測(cè)是針對(duì)明年的，但其中一些已經(jīng)成為現(xiàn)實(shí)。關(guān)于（1），微軟宣布其DeepSpeed庫(kù)已經(jīng)具有“萬(wàn)億參數(shù)模型”的功能。盡管到目前為止尚未發(fā)布任何版本，但顯然要出現(xiàn)10萬(wàn)億美元的模型之路。關(guān)于（2），圖像值16x16字朝此方向邁進(jìn)。

關(guān)于（6），除了AlphaFold，我們還有……AlphaFold 2！它的最新版本對(duì)生物學(xué)的影響與2012年AlexNet對(duì)計(jì)算機(jī)視覺的影響相同或更大。當(dāng)前的媒體報(bào)道似乎是一致的。我堅(jiān)信作者將在2021年將其標(biāo)記為正確。

報(bào)告內(nèi)容

接下來，我按照幻燈片順序?qū)⒆约旱挠^點(diǎn)添加到報(bào)告結(jié)果中，并與最近發(fā)生的事件進(jìn)行一些關(guān)聯(lián)。請(qǐng)記住，該報(bào)告已于10月發(fā)布。從那以后，發(fā)生了很多事情。

研究（幻燈片10-62）

· 僅有15%的AI論文發(fā)布了他們的代碼（幻燈片11）：我想知道其他計(jì)算機(jī)科學(xué)領(lǐng)域的百分比率。此外，并非所有代碼都一樣。在代碼方面，由預(yù)先存在的組件構(gòu)成的新體系結(jié)構(gòu)不如全新實(shí)現(xiàn)重要。新穎的損失或優(yōu)化器功能可以像嵌入式代碼片段一樣短。總而言之，我同意AI并不像我們想象的那樣開放，但相對(duì)于計(jì)算機(jī)科學(xué)的其他領(lǐng)域，它仍然是相當(dāng)開放的

· PyTorch在行業(yè)使用方面將超過TensorFlow（幻燈片13、14）：雖然我相信這是事實(shí)，但數(shù)據(jù)具有誤導(dǎo)性。只有30%的論文陳述了他們的框架。許多可能仍受TensorFlow約束。此外，我發(fā)現(xiàn)沒有顯示Keras數(shù)據(jù)很奇怪（幻燈片14）。

· AI競(jìng)賽非常耗費(fèi)資源（幻燈片16-24）：最近，蒂姆尼特·格布魯（Timnit Gebru）被Google開除，因?yàn)樗恼撐牟莞甯攀隽擞?xùn)練大型語(yǔ)言模型的金錢和生態(tài)成本。根據(jù)她的論文，在NAS上訓(xùn)練的0.2bi參數(shù)的Transformer大約需要100萬(wàn)美元。GPT-3擁有175bi。數(shù)學(xué)看起來對(duì)地球沒有任何好處。

· 這次軍備競(jìng)賽不會(huì)帶我們到任何地方（幻燈片16-24）：我認(rèn)為，爭(zhēng)取NLP突破的競(jìng)賽根本不會(huì)帶來真正的突破。GPT-3在類固醇上幾乎是GPT-2。考慮到上面提到的Microsoft DeepSpeed，我們將繼續(xù)看到媒體上出現(xiàn)models腫的模型，并且通過這種努力在理解上不會(huì)有有意義的結(jié)果。

· 大學(xué)跟不上，還是可以？（幻燈片22）：任何AI部門都無法跟上大型技術(shù)。大學(xué)需要玩另一種游戲。小型模型研究可能以對(duì)數(shù)成本帶來盡可能多的性能。但是，目前，公司是有關(guān)高效學(xué)習(xí)的領(lǐng)先研究者。例如，MobileNet / EfficientDet是Google的，ShuffleNet是Face ++的。

· Transformer很顯眼（幻燈片29）：這些模型基于注意力機(jī)制，這是眾所周知的耗電和耗資源的問題，因?yàn)榻o定N個(gè)元素序列，該機(jī)制為N2。有效關(guān)注是一個(gè)熱門話題，但尚未有解決方案被宣布為贏家。上面提到的大多數(shù)AI成本都可以追溯到此機(jī)制。

· 生物學(xué)正在經(jīng)歷其“人工智能時(shí)刻”（幻燈片30）：的確如此。有了AlphaFold 2，我們可能會(huì)在這十年中看到生物學(xué)方面的重大突破，就像我們?cè)?010年代通過AlexNet和Computer Vision看到的那樣。

· 基于AI的篩查乳房X線照片（幻燈片34）：這是一篇引起爭(zhēng)議的文章。它聲稱具有超人的性能，但缺乏可解釋性，到目前為止，尚未發(fā)布任何代碼或數(shù)據(jù)集供第三方檢查和復(fù)制。這篇廣為宣傳的文章引起了全球研究人員的熱烈響應(yīng)，共同表示“透明性和可重復(fù)性在人工智能研究中的重要性?！弊鳛橐粋€(gè)社區(qū)，我們必須努力打破AI成為愚蠢的準(zhǔn)確性競(jìng)賽的障礙。醫(yī)生如何信任黑匣子算法？

人才（幻燈片63-81）

· 人才外流（幻燈片64）：雖然這是關(guān)于人工智能和2020年的，但我不禁要提到這種觀點(diǎn)以美國(guó)為中心。所有提到的大學(xué)都位于美國(guó)。大腦一直在運(yùn)動(dòng)，特別是從發(fā)展中國(guó)家到富裕國(guó)家。恰好這次大學(xué)是“窮國(guó)”，公司是“富國(guó)”。

· 離職與企業(yè)家精神下降有關(guān)（幻燈片66）：我認(rèn)為這種聯(lián)系很差。市場(chǎng)上公司充斥著人才，缺乏人才，這對(duì)于更多公司來說是一個(gè)糟糕的環(huán)境?；脽羝?3同意，因?yàn)榇蠖鄶?shù)博士都是外國(guó)人，而且外國(guó)人更可能加入大公司而不是自己創(chuàng)業(yè)。

· 在NeurIPS（幻燈片70）上受中國(guó)教育的研究人員的貢獻(xiàn)：與中國(guó)成為AI領(lǐng)導(dǎo)者的計(jì)劃有關(guān)。

· 在美國(guó)工作的大多數(shù)頂級(jí)AI研究人員都沒有在美國(guó)接受培訓(xùn)（幻燈片71-75）：這些幻燈片指出了一個(gè)簡(jiǎn)單的事實(shí)：美國(guó)高度依賴外國(guó)人才。大多數(shù)學(xué)生會(huì)獲得博士學(xué)位并留在科技公司工作。仇外法律對(duì)美國(guó)不利。但是…

· 特朗普對(duì)美國(guó)不利（幻燈片76）：特朗普試圖將移民拒之門外，卻一無所獲，但無疑提高了人們對(duì)美國(guó)對(duì)外國(guó)人才依賴的認(rèn)識(shí)，其他尋求人工智能優(yōu)勢(shì)的國(guó)家可能會(huì)抓住這樣的機(jī)會(huì)吸引人才來他們的大學(xué)。

工業(yè)（幻燈片82–129）

· AI優(yōu)先藥物發(fā)現(xiàn)（幻燈片83-92）：顯然，與自動(dòng)駕駛汽車上的所有投資相比，藥物的投資收益更快。此外，與自動(dòng)駕駛汽車相比，更好的藥物和更大的疾病覆蓋率可能對(duì)人類更有益。

· 影音公司尚處于起步階段（幻燈片93-96）：立法目前還為時(shí)過早，而且離世界范圍還很遠(yuǎn)。如果今天發(fā)布的AV完美無缺，那么幾乎在任何地方都將禁止它，或者無論如何都需要駕駛員。

· 當(dāng)甚至十億美元還不夠的時(shí)候（幻燈片97-106）：還會(huì)投入更多，而這仍然不夠。AV是一個(gè)時(shí)間問題，而不是金錢問題。人工智能還不夠成熟，我們的法律也沒有為此做好準(zhǔn)備。當(dāng)前的視覺研究忽略了我們的世界是連續(xù)的。我們不需要從單個(gè)圖像中檢測(cè)路標(biāo)。我們需要更好地匯總多個(gè)框架的結(jié)果。恕我直言，公司只是在向LiDAR和受監(jiān)管的死胡同問題上傾銷資金。

· 計(jì)算進(jìn)展（幻燈片107-111）：新穎的硬件總是不錯(cuò)的。但是，我不知道堆棧的其余部分是否會(huì)保持下去。大型數(shù)據(jù)集+大型計(jì)算的問題在于準(zhǔn)時(shí)準(zhǔn)備下一批。計(jì)算越快（越大），就越難以所需的速度（+數(shù)據(jù)擴(kuò)充）來獲取訓(xùn)練數(shù)據(jù)。

政治（幻燈片130–170）

· 道德風(fēng)險(xiǎn)（幻燈片131）：這需要特別注意。Timnit Gebru的最近解雇凸顯了整個(gè)行業(yè)在對(duì)待道德方面有多么錯(cuò)誤。要求大型AI技術(shù)領(lǐng)導(dǎo)AI倫理學(xué)研究就像要求石油公司領(lǐng)導(dǎo)應(yīng)對(duì)全球變暖的斗爭(zhēng)。她的解雇表明，只要公司不損害其商業(yè)模式，他們就會(huì)發(fā)揮自己的作用。這并不奇怪?？紤]到美國(guó)大學(xué)與公司資金的緊密聯(lián)系，很難指望它們也參與其中。

· 人臉識(shí)別是一個(gè)主要問題（幻燈片132-140）：當(dāng)前的法律是為人類而設(shè)計(jì)的。如何將其推廣到可以識(shí)別人群中所有個(gè)體的系統(tǒng)？我們有資格獲得匿名身份嗎？在什么程度上？公司應(yīng)該被封鎖但允許執(zhí)法嗎？從某種意義上說，超級(jí)英雄具有相似之處。我們的法律將如何適用于超人或閃電俠？我們真的可以期望普通人法律同樣適用于超人能力嗎？

· 語(yǔ)音和文字呢？（幻燈片132–140）：人臉識(shí)別關(guān)系到我們的存在，但是我們?cè)?a href="http://m.sdkjxy.cn/v/tag/107/" target="_blank">手機(jī)上說的一切呢？我們所說的一切都可以被處理，監(jiān)視和曲解。通過臉上的法律和無視其他媒體將無視房間里的大象：我們所做的一切都受到監(jiān)控。

· AI民族主義（幻燈片161-167）：大多數(shù)發(fā)達(dá)國(guó)家都醒悟了AI及其存在的威脅。人工智能的霸權(quán)很容易轉(zhuǎn)化為軍事和經(jīng)濟(jì)上的統(tǒng)治，并影響主權(quán)。中國(guó)顯然已經(jīng)處于領(lǐng)先地位，因?yàn)樗呀?jīng)在AI領(lǐng)導(dǎo)領(lǐng)域努力了很長(zhǎng)時(shí)間，并且正在大力投資人才。如上所述，我認(rèn)為，中國(guó)吸引外國(guó)人才離開美國(guó)是時(shí)間問題。印度也是如此。

人工智能是有史以來的最高點(diǎn)。結(jié)果從未如此出色。從來沒有這么多論文。Alphas ， Formers，木偶。將自己淹沒在消融研究中，而看不見還有什么是很容易的。除了準(zhǔn)確之外，模型還應(yīng)該是經(jīng)濟(jì)的，包容的和可解釋的。僅出于準(zhǔn)確性的考慮而犧牲這些屬性是自戀的。它只對(duì)作者有幫助。高精度是第一步，而不是最后一步。

最重要的是，人工智能不是自然資源。它不屬于一個(gè)國(guó)家，也不屬于一個(gè)土地，計(jì)算機(jī)也不屬于。爭(zhēng)取人工智能至上的競(jìng)賽與其他地緣政治斗爭(zhēng)不同。這是一場(chǎng)由計(jì)算硬件和操作它的人才以及人才流推動(dòng)的智力競(jìng)賽。
責(zé)編AJX