人工智能 （AI） 在相對(duì)較短的時(shí)間內(nèi)從科幻小說(shuō)變成了我們生活中不可或缺的一部分。當(dāng)您想到 AI 時(shí)，您可能會(huì)想到能夠在國(guó)際象棋、圍棋或“危險(xiǎn)”中超越人類的自動(dòng)駕駛汽車(chē)或計(jì)算機(jī)?，F(xiàn)實(shí)情況是，你會(huì)發(fā)現(xiàn)人工智能應(yīng)用無(wú)處不在——在定制的谷歌新聞源、潘多拉播放列表、Netflix 推薦、智能揚(yáng)聲器語(yǔ)音識(shí)別、智能助手中的自然語(yǔ)言處理、車(chē)輛中的計(jì)算機(jī)視覺(jué)、智能工廠——還有無(wú)數(shù)更多的例子。當(dāng)您從亞馬遜購(gòu)物時(shí)，機(jī)器學(xué)習(xí) （ML） 會(huì)在幕后工作，從提出購(gòu)買(mǎi)建議到將點(diǎn)擊發(fā)貨時(shí)間縮短到僅 15 分鐘。

隨著人工智能應(yīng)用程序?qū)οM(fèi)者越來(lái)越重要，數(shù)十億美元現(xiàn)在在商業(yè)世界中處于危險(xiǎn)之中。例如，97% 的手機(jī)用戶使用人工智能語(yǔ)音助手。Siri 或 Cortana 誤解的語(yǔ)音命令對(duì)我們來(lái)說(shuō)可能是一個(gè)小麻煩，但在語(yǔ)音助手市場(chǎng)上的失敗代表了蘋(píng)果、亞馬遜和谷歌之間的競(jìng)爭(zhēng)中損失了數(shù)十億美元的份額 。還有更嚴(yán)重的挑戰(zhàn)——錯(cuò)誤的自動(dòng)駕駛算法或醫(yī)療保健行業(yè)的誤診可能導(dǎo)致致命后果和法律影響。

讓 AI 結(jié)果具有相關(guān)性、可靠性和易于獲得性是一場(chǎng)競(jìng)賽。只有那些在最好的機(jī)器/深度學(xué)習(xí)基礎(chǔ)設(shè)施上訓(xùn)練過(guò)的人工智能模型，來(lái)自最大的數(shù)據(jù)集，才能生存下來(lái)。

ML/深度學(xué)習(xí)：不是您的平均計(jì)算工作量

機(jī)器學(xué)習(xí)——尤其是它的子集——深度學(xué)習(xí)系統(tǒng)——構(gòu)成了人工智能基礎(chǔ)設(shè)施的基礎(chǔ)。拋開(kāi)復(fù)雜的數(shù)學(xué)問(wèn)題不談，最簡(jiǎn)單的 ML 算法通過(guò)對(duì)答案進(jìn)行重復(fù)“猜測(cè)”來(lái)實(shí)現(xiàn)一個(gè)目標(biāo)（例如，成功識(shí)別手寫(xiě)符號(hào)），并通過(guò)檢查預(yù)期答案來(lái)從每個(gè)不準(zhǔn)確的猜測(cè)中學(xué)習(xí)，直到猜測(cè)以非常高的準(zhǔn)確度匹配預(yù)期的答案。這種反饋結(jié)構(gòu)稱為神經(jīng)網(wǎng)絡(luò)，訓(xùn)練神經(jīng)網(wǎng)絡(luò)是機(jī)器/深度學(xué)習(xí)的過(guò)程。圖 1 顯示了一個(gè)用于手寫(xiě)識(shí)別的相對(duì)簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)示例。

圖1 用于手寫(xiě)識(shí)別的神經(jīng)網(wǎng)絡(luò)示例［6］

深度神經(jīng)網(wǎng)絡(luò)使用更多層來(lái)獲得復(fù)雜目標(biāo)的準(zhǔn)確答案。深度學(xué)習(xí)過(guò)程使用不斷增加的訓(xùn)練數(shù)據(jù)集來(lái)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)。目標(biāo)越復(fù)雜，神經(jīng)網(wǎng)絡(luò)中的層數(shù)就越多，神經(jīng)網(wǎng)絡(luò)就越難訓(xùn)練。例如，百度的中文語(yǔ)音識(shí)別模型使用約 12，000 小時(shí)的語(yǔ)音訓(xùn)練數(shù)據(jù)，需要數(shù)十 exaflops 的計(jì)算，這需要長(zhǎng)達(dá)六周的時(shí)間才能完成。圖像識(shí)別工作負(fù)載的計(jì)算要求呈指數(shù)級(jí)增長(zhǎng)。

傳統(tǒng)的中央處理器 （CPU） 專為通用控制數(shù)據(jù)流而設(shè)計(jì)，對(duì)于 AI/ML 計(jì)算密集型工作負(fù)載效率不高。由于摩爾定律失效，供應(yīng)商無(wú)法跟上 CPU 的速度或大到足以處理 AI/ML 工作負(fù)載的速度。

分布式機(jī)器學(xué)習(xí)：摩爾定律的治愈方法

設(shè)計(jì)用于處理 AI/ML 工作負(fù)載的現(xiàn)代服務(wù)器遵循分散式架構(gòu) - 一個(gè)由多個(gè)專用加速器包圍的通用 CPU，用于處理從 ML 到加密、安全、存儲(chǔ)和網(wǎng)絡(luò)的任務(wù)。加速器可以是圖形處理單元 （GPU）、定制的現(xiàn)場(chǎng)可編程門(mén)陣列 （FPGA） 或定制的專用集成電路的組合。開(kāi)放計(jì)算項(xiàng)目 （OCP） ［10］ 最近發(fā)布了 OCP 加速器模塊 （OAM）的通用外形規(guī)格，以簡(jiǎn)化服務(wù)器設(shè)計(jì)并實(shí)現(xiàn)模塊化服務(wù)器架構(gòu)。

分散式架構(gòu)通過(guò)使用多個(gè)優(yōu)化的數(shù)據(jù)處理器提供原始 exaflops。然而，為了實(shí)現(xiàn)更大規(guī)模的機(jī)器學(xué)習(xí)，處理單元需要相互充分連接。在 2018 年分布式計(jì)算原理研討會(huì)上的演講展示了使用 TensorFlow在 ResNet-152 圖像分類方面的速度提高了近 10 倍。

圖 2中顯示的 ResNet-152 圖像分類示例 還強(qiáng)調(diào)了連接性在現(xiàn)代高度分布式機(jī)器學(xué)習(xí)系統(tǒng)中的重要性，其中多達(dá) 90% 的時(shí)間可能用于節(jié)點(diǎn)通信。

圖 2 分布式機(jī)器學(xué)習(xí)的好處 - 19 天到 2.4 天

審核編輯：郭婷