在過(guò)去的十年中，神經(jīng)網(wǎng)絡(luò)已經(jīng)從有趣的研究發(fā)展到廣泛用于語(yǔ)言翻譯、關(guān)鍵詞識(shí)別和對(duì)象識(shí)別。

長(zhǎng)期以來(lái)，神經(jīng)網(wǎng)絡(luò)僅限于具有運(yùn)行神經(jīng)網(wǎng)絡(luò)所需的計(jì)算資源的數(shù)據(jù)中心，最初是在微處理器上，然后越來(lái)越多地在GPU上，這些GPU具有運(yùn)行神經(jīng)網(wǎng)絡(luò)所需的更多MAC。

英偉達(dá)最近宣布，其推理產(chǎn)品的銷量首次超過(guò)了其培訓(xùn)產(chǎn)品的銷量。

隨著推理轉(zhuǎn)移到功耗和成本預(yù)算受限的邊緣（數(shù)據(jù)中心以外的任何地方），客戶正在尋找能夠以他們所能承受的價(jià)格和功耗提供所需吞吐量的推理加速器。

本博客討論了如何對(duì)推理加速器進(jìn)行基準(zhǔn)測(cè)試，以找到最適合您的神經(jīng)網(wǎng)絡(luò)的推理加速器;以及客戶在學(xué)習(xí)曲線上通常如何發(fā)展他們對(duì)基準(zhǔn)測(cè)試的思考。神經(jīng)網(wǎng)絡(luò)推理令人興奮但很復(fù)雜，因此最初非常令人困惑。當(dāng)客戶解決問(wèn)題時(shí)，指示燈會(huì)逐步亮起。

首先，讓我們回顧一下推理加速器的常見(jiàn)元素及其運(yùn)行的神經(jīng)網(wǎng)絡(luò)。

所有推理加速器的通用元素

所有推理加速器都具有以下共同點(diǎn)：

MAC（很多）

片上靜態(tài)存儲(chǔ)器

片外內(nèi)存內(nèi)存

控制邏輯

所有單元之間的片上互連

元素的數(shù)量和組織在推理加速器之間差異很大;組織 MAC 的方法;MAC 與 SRAM/DRAM 的比率;數(shù)據(jù)如何在它們之間流動(dòng)對(duì)于確定加速器的實(shí)際加速程度至關(guān)重要。

所有神經(jīng)網(wǎng)絡(luò)模型的通用元素

所有神經(jīng)網(wǎng)絡(luò)都包含以下元素：

數(shù)值選擇：32 位浮點(diǎn)數(shù)（模型訓(xùn)練時(shí)使用的），

16 位浮點(diǎn)、16 位整數(shù)或 8 位整數(shù)

輸入數(shù)據(jù)：圖像、音頻、文本等

從幾十層到幾百層，每個(gè)層處理前一層的激活，并將輸出激活傳遞到下一層

模型每一層的權(quán)重

TOPS - 推理基準(zhǔn)測(cè)試的第一階段

剛接觸神經(jīng)網(wǎng)絡(luò)性能評(píng)估的客戶幾乎總是從問(wèn)“您的芯片/模塊/板有多少 TOPS 開(kāi)始？因?yàn)樗麄兗僭O(shè) TOPS 和吞吐量相關(guān) - 但他們沒(méi)有。

TOPS 是每秒萬(wàn)億次操作的首字母縮寫，可用 MAC 的數(shù)量（以千為單位）乘以 MAC 運(yùn)行的頻率，以千兆赫茲為單位，乘以 2（一個(gè) MAC = 兩個(gè)操作）。因此，簡(jiǎn)單來(lái)說(shuō)，1GHz 的 1K MAC = 2 TOPS。

更多的 MAC 意味著更多的 TOPS。

重要的是內(nèi)存組織和互連是否可以保持MAC“饋送”，以便它們得到高度利用，從而在模型上產(chǎn)生高吞吐量。

ResNet-50 - 推理基準(zhǔn)測(cè)試的第二階段

一旦客戶意識(shí)到重要的指標(biāo)是吞吐量，他們通常會(huì)繼續(xù)問(wèn)：“對(duì)于 ResNet-50，您的芯片/模塊/電路板的吞吐量（以推理/秒為單位）是多少？

MLPerf最近發(fā)布了眾多制造商提交的ResNet-50基準(zhǔn)測(cè)試。

ResNet-50 是一種流行的 CNN（卷積神經(jīng)網(wǎng)絡(luò)），用于對(duì)圖像進(jìn)行分類，多年來(lái)一直廣泛用于基準(zhǔn)測(cè)試。

問(wèn)題是，沒(méi)有客戶真正使用ResNet-50。

客戶詢問(wèn) ResNet-50 是因?yàn)樗麄冋J(rèn)為其型號(hào)上的芯片/模塊/電路板的吞吐量與 ResNet-50 吞吐量相關(guān)。

這個(gè)假設(shè)的兩個(gè)主要缺陷是：

ResNet-50 使用 224x224 圖像，但大多數(shù)客戶希望處理大 16+ 倍的百萬(wàn)像素圖像。對(duì)于 224x224 圖像，ResNet-50 可能在芯片/模塊/板上運(yùn)行良好，但對(duì)于百萬(wàn)像素圖像可能不行，因?yàn)檩^大的圖像會(huì)比較小的圖像對(duì)內(nèi)存子系統(tǒng)施加更大的壓力。對(duì)于 200 萬(wàn)像素圖像，中間激活可以是 64Mb，而對(duì)于 224x224 圖像，中間激活最多為幾兆字節(jié)。

批量大?。褐圃焐滔Ｍ麨榛鶞?zhǔn)測(cè)試引用他們所能引用的最大數(shù)字，因此他們的 ResNet-50 基準(zhǔn)測(cè)試編號(hào)通常針對(duì)他們可以運(yùn)行的最大批量大小。但對(duì)于邊緣應(yīng)用程序，幾乎所有應(yīng)用程序都需要批量大小 = 1 才能將延遲降至最低。考慮一輛車：如果您正在尋找行人等物體，則需要盡快意識(shí)到它們。因此，大批量大小可能會(huì)最大化吞吐量，但在邊緣需要的是最小延遲，即批量大小為 1。

ResNet-50 對(duì)于現(xiàn)實(shí)世界的模型來(lái)說(shuō)不是一個(gè)糟糕的基準(zhǔn)，如果它在批量大小 = 1 的百萬(wàn)像素圖像上運(yùn)行。但它不是通常使用的良好基準(zhǔn)。

真實(shí)世界模型和圖像 - 推理基準(zhǔn)測(cè)試的第三階段

客戶在學(xué)習(xí)曲線中達(dá)到的下一個(gè)階段是，他們應(yīng)該找到一個(gè)與他們相似的開(kāi)源神經(jīng)網(wǎng)絡(luò)模型：相似類型的模型（CNN或RNN或LSTM），相似的圖像大?。ɑ蚱渌斎腩愋停嗨频膶訑?shù)和類似的操作。

例如，對(duì) CNN 感興趣的客戶最常問(wèn)：“對(duì)于 200 萬(wàn)像素（或 1 或 4）的 YOLOv2（或 YOLOv3），您的每秒幀數(shù)是多少？

真正有趣的是，盡管大多數(shù)客戶都想知道YOLOv2 / v3，但幾乎沒(méi)有制造商為其提供基準(zhǔn)測(cè)試（一個(gè)例外是Nvidia Xavier，它將YOLOv3基準(zhǔn)為608x608或1/3百萬(wàn)像素）。

YOLOv3 是一個(gè)非常緊張的基準(zhǔn)測(cè)試，是對(duì)推理加速器魯棒性的一個(gè)很好的測(cè)試：6200 萬(wàn)個(gè)權(quán)重;100+層;以及 》3000 億 MAC 來(lái)處理單個(gè) 200 萬(wàn)像素的圖像。對(duì)該模型進(jìn)行基準(zhǔn)測(cè)試可顯示加速器是否可以同時(shí)獲得高 MAC 利用率、管理存儲(chǔ)讀/寫而不會(huì)使 MAC 停止，以及互連是否可以在不停止計(jì)算的情況下有效地在內(nèi)存和 MAC 之間移動(dòng)數(shù)據(jù)。

當(dāng)然，重要的不僅僅是吞吐量，還有實(shí)現(xiàn)吞吐量的成本和功率。

售價(jià) 2000 美元和 75 瓦的 Nvidia Tesla T4 可能具有您想要的吞吐量，但可能遠(yuǎn)遠(yuǎn)超出您的預(yù)算。

客戶考慮的另一件事是他們計(jì)劃運(yùn)行的模型類型的吞吐量效率、吞吐量/$和吞吐量/瓦特

第 4 階段：對(duì)吞吐量、功耗和成本的實(shí)際模型進(jìn)行基準(zhǔn)測(cè)試

客戶對(duì)基準(zhǔn)推理的學(xué)習(xí)曲線的最后階段是使用訓(xùn)練硬件/軟件（通常來(lái)自 Nvidia 或數(shù)據(jù)中心）開(kāi)發(fā)自己的模型，然后在可能的目標(biāo)推理加速器上對(duì)該模型進(jìn)行基準(zhǔn)測(cè)試。

通過(guò)這種方式，客戶可以真正分辨出哪個(gè)加速器將為他們提供最佳的吞吐效率。

終點(diǎn)似乎很明顯，但一切都是事后諸葛亮。神經(jīng)網(wǎng)絡(luò)推理非常復(fù)雜，所有客戶都要經(jīng)歷學(xué)習(xí)曲線才能得出正確的結(jié)論。

審核編輯：郭婷