高級人工智能所需算力每三個半月就會翻一番

算法、數(shù)據(jù)和算力被視為推動人工智能發(fā)展的三大要素，其中算力更是被形容為支撐人工智能走向應用的“發(fā)動機”。人工智能研究組織OpenAI最近指出，“高級人工智能所需的計算能力每三個半月就會翻一番”。

近日，臉譜（Facebook）人工智能副總裁杰羅姆·佩森蒂在接受《連線》雜志采訪時認為，AI科研成本的持續(xù)上漲，或導致我們在該領域的研究碰壁，現(xiàn)在已經(jīng)到了一個需要從成本效益等方面考慮的地步，我們需要清楚如何從現(xiàn)有的計算力中獲得最大的收益。

那么，為何人工智能需要如此強大的計算能力？計算能力是否會限制人工智能的發(fā)展？我們能否不斷滿足人工智能持續(xù)擴大的計算需求？

人工智能“動腦” 背后算力消耗驚人

“2016年3月，谷歌人工智能阿爾法圍棋（AlphaGo）戰(zhàn)勝韓國棋手李世石時，人們慨嘆人工智能的強大，而其背后巨大的‘付出’卻鮮為人知——數(shù)千臺服務器、上千塊CPU、高性能顯卡以及對弈一場棋所消耗的驚人電量。”遠望智庫人工智能事業(yè)部部長、圖靈機器人首席戰(zhàn)略官譚茗洲在接受科技日報記者采訪時表示。

“相比云計算和大數(shù)據(jù)等應用，人工智能對計算力的需求幾乎無止境?！敝袊こ淘涸菏俊⒗顺奔瘓F首席科學家王恩東指出。

據(jù)介紹，人工智能最大的挑戰(zhàn)之一是識別度不高、準確度不高，提高準確度就要提高模型的規(guī)模和精細度，提高線下訓練的頻次，這需要更強的計算力。準確度也是算出來的，比如大型互聯(lián)網(wǎng)公司或者知名人工智能創(chuàng)業(yè)公司，有能力部署規(guī)模比較大的人工智能計算平臺，算法的模型已經(jīng)達到千億參數(shù)、萬億的訓練數(shù)據(jù)集規(guī)模。

“現(xiàn)在人工智能運用的深度學習框架，多數(shù)依賴大數(shù)據(jù)進行科研訓練，形成有效模型，這些都需要較高的計算力。”譚茗洲指出，當前隨著人工智能算法模型的復雜度和精度愈來愈高，互聯(lián)網(wǎng)和物聯(lián)網(wǎng)產生的數(shù)據(jù)呈幾何倍數(shù)增長，在數(shù)據(jù)量和算法模型的雙層疊加下，人工智能對計算的需求越來越大。無疑，人工智能走向深度學習，計算力已成為評價人工智能研究成本的重要指標。可以說，計算力即是生產力。

數(shù)據(jù)搬運頻繁 “內存墻”問題凸顯

人工智能為何如此耗費算力？具體而言，在經(jīng)典的馮·諾伊曼計算機架構中，存儲單元和計算單元涇渭分明。運算時，需要將數(shù)據(jù)從存儲單元讀取到計算單元，運算后會把結果寫回存儲單元。在大數(shù)據(jù)驅動的人工智能時代，AI運算中數(shù)據(jù)搬運更加頻繁，需要存儲和處理的數(shù)據(jù)量遠遠大于之前常見的應用。當運算能力達到一定程度，由于訪問存儲器的速度無法跟上運算部件消耗數(shù)據(jù)的速度，因此再增加運算部件也無法得到充分利用，就形成了所謂的馮·諾伊曼“瓶頸”或“內存墻”問題。這就如同一臺馬力強勁的發(fā)動機，卻因為輸油管的狹小而無法產生應有的動力。

顯然，頻繁的數(shù)據(jù)搬運導致的算力瓶頸，已經(jīng)成為對更為先進算法探索的限制因素。而算力瓶頸對更先進、復雜度更高的AI模型的研究將產生更大影響。

王恩東曾指出：“計算力的提升對體系結構提出挑戰(zhàn)。在半導體技術逐步接近極限的情況下，計算機發(fā)展迎來體系結構創(chuàng)新的黃金期，計算力的提升將更多通過體系結構創(chuàng)新來滿足?！?/p>

據(jù)了解，最先進的自然語言處理模型XLNet約有4億模型參數(shù)。據(jù)估算，人腦中細胞間互聯(lián)軸突個數(shù)在百萬億到千萬億數(shù)量級。顯然AI在認知問題上離我們追求的所謂通用人工智能還有巨大差距，而要達到通用人工智能的水平，預計研究所需要的計算能力和計算系統(tǒng)的能源效率將比現(xiàn)在至少提高幾個數(shù)量級。因此人工智能要進一步突破，必須采用新的計算架構，解決存儲單元和計算單元分離帶來的算力瓶頸。

譚茗洲說，目前人工智能的無用計算較多?，F(xiàn)在人工智能還像不斷灌水一樣，處在輸入數(shù)據(jù)、調整參數(shù)的階段，是個“黑盒子”模式，特別在圖片視頻方面消耗很多能量，而其中真正的有效計算卻不多，非常浪費能源。今后AI有待在“可解釋性”上進行突破，搞清是什么原因導致后面的結果，這樣可以精準運用數(shù)據(jù)和算力，大大減少運算量。這也是目前重要的研究課題，將大大推動深度學習的發(fā)展。

計算儲存一體化 或成下一代系統(tǒng)入口

“雖然目前階段計算力還談不上限制人工智能的發(fā)展，但計算力確實提高了參與人工智能研究的門檻?！弊T茗洲指出。

除了研發(fā)資金的增長，在計算力爆發(fā)之前的很長一段時間，產生數(shù)據(jù)的場景隨著互聯(lián)網(wǎng)的發(fā)展?jié)B透到生活、生產的各個角落，并且隨著通訊技術的進步，尤其是5G的商用，使得產生數(shù)據(jù)的基礎場景覆蓋面和深度達到新的層次，數(shù)據(jù)的生產也將達到一個新的數(shù)量級。

2020年伊始，阿里達摩院發(fā)布《2020十大科技趨勢》報告顯示，在人工智能方面，計算存儲一體化，類似于人腦，將數(shù)據(jù)存儲單元和計算單元融為一體，能顯著減少數(shù)據(jù)搬運，極大提高計算并行度和能效。

然而，計算存儲一體化的研究無法一蹴而就。這個報告提出策略，對于廣義上計算存儲一體化計算架構的發(fā)展，近期策略的關鍵在于通過芯片設計、集成、封裝技術拉近存儲單元與計算單元的距離，增加帶寬，降低數(shù)據(jù)搬運的代價，緩解由于數(shù)據(jù)搬運產生的瓶頸；中期規(guī)劃是通過架構方面的創(chuàng)新，設存儲器于計算單元中或者置計算單元于存儲模塊內，可以實現(xiàn)計算和存儲你中有我，我中有你；遠期展望是通過器件層面的創(chuàng)新，實現(xiàn)器件既是存儲單元也是計算單元，不分彼此，融為一體，成為真正的計算存儲一體化。近年來，一些新型非易失存儲器，如阻變內存，顯示了一定的計算存儲融合的潛力。

據(jù)介紹，計算存儲一體化正在助力、推動算法升級，成為下一代AI系統(tǒng)的入口。存內計算提供的大規(guī)模更高效的算力，使得AI算法設計有更充分的想象力，不再受到算力約束。從而將硬件上的先進性，升級為系統(tǒng)、算法的領先優(yōu)勢，最終加速孵化新業(yè)務。

而除了計算存儲一體化的趨勢，量子計算或是解決AI所需巨額算力的另一途徑。目前量子計算機的發(fā)展已經(jīng)超越傳統(tǒng)計算機的摩爾定律，以傳統(tǒng)計算機的計算能力為基本參考，量子計算機的算力正迅速發(fā)展。

譚茗洲表示，未來人工智能的突破，除了不斷提升技術本身之外，還需要全球各國協(xié)同創(chuàng)新，融合發(fā)展，探索新的合作模式，如采取共享思維，調動世界各方面的計算資源集中發(fā)力，以降低計算的巨大成本。

延伸閱讀

人工智能計算力展現(xiàn)五大發(fā)展趨勢

互聯(lián)網(wǎng)數(shù)據(jù)中心（IDC）與浪潮聯(lián)合發(fā)布的《2019—2020中國人工智能計算力發(fā)展評估報告》指出，全球新創(chuàng)建的數(shù)據(jù)量將從2018年的33ZB增長到2025年的175ZB。隨著數(shù)據(jù)持續(xù)爆炸性增長及算法的不斷演進，未來算力仍有很大的發(fā)展空間。

該報告公布的最新中國人工智能計算力城市排名顯示：排在前5位的城市依次為北京、杭州、深圳、上海、廣州；排名6—10位的城市是合肥、蘇州、重慶、南京、西安。

報告還提出了未來人工智能計算力發(fā)展的5個重要趨勢，一是到2022年，人工智能推理市場占比將超過訓練市場；二是預計到2023年，中國人工智能基礎架構市場未來5年復合增長率將達到33.8%，是中國整體基礎架構市場增速的3倍以上；三是5G和物聯(lián)網(wǎng)將推動邊緣、端側人工智能基礎架構的快速發(fā)展；四是人工智能與云的融合將進一步加速，未來5年AIaaS（人工智能基礎設施即服務）市場規(guī)模的年復合增長率預計達到66%；五是隨著計算力的提升，越來越多的企業(yè)將參與到人工智能開源軟件的研發(fā)和行業(yè)性能評測基準的建設中。

責任編輯：ct