圖 CPU，GPU，NPU對(duì)比，來(lái)自網(wǎng)絡(luò)

純GPU能做自動(dòng)駕駛嗎？

[首發(fā)于智駕最前沿微信公眾號(hào)]從技術(shù)上來(lái)說(shuō)，純GPU可以實(shí)現(xiàn)一定程度的自動(dòng)駕駛，但存在明顯短板，難以滿足高級(jí)別自動(dòng)駕駛的需求。

GPU能夠處理自動(dòng)駕駛所需的并行計(jì)算任務(wù)（如傳感器數(shù)據(jù)融合、圖像識(shí)別等），但其設(shè)計(jì)初衷是圖形渲染，存在以下局限性：

能效比低：GPU的通用計(jì)算單元在處理AI任務(wù)時(shí)功耗較高，不適合車載電池供電場(chǎng)景。

實(shí)時(shí)性挑戰(zhàn)：自動(dòng)駕駛需毫秒級(jí)響應(yīng)，GPU的通用架構(gòu)可能導(dǎo)致延遲波動(dòng)不確定。

成本高：高端GPU價(jià)格昂貴，且需額外散熱設(shè)計(jì)。

早期一些自動(dòng)駕駛測(cè)試車輛曾嘗試使用純GPU方案。比如某款基于英偉達(dá)GTX1080GPU的測(cè)試車，在處理單路攝像頭數(shù)據(jù)時(shí)，目標(biāo)檢測(cè)延遲約80毫秒，而車輛以60公里/小時(shí)行駛時(shí)，80毫秒內(nèi)會(huì)前進(jìn)1.33米，這在突發(fā)狀況下會(huì)帶來(lái)安全隱患。

特斯拉早期也使用GPU（NVIDIA PX2），后轉(zhuǎn)向自研NPU（FSD芯片）以優(yōu)化能效。

在數(shù)據(jù)處理能力方面，L4級(jí)自動(dòng)駕駛汽車每秒產(chǎn)生的數(shù)據(jù)量約5-10GB，純GPU處理時(shí)，需要多顆GPU協(xié)同工作。某測(cè)試顯示，用4顆英偉達(dá)TITAN X GPU處理8路攝像頭和1路激光雷達(dá)數(shù)據(jù)，功耗達(dá)到320W，這會(huì)使電動(dòng)汽車?yán)m(xù)航減少約30%。

另外，在運(yùn)行復(fù)雜深度學(xué)習(xí)模型時(shí)，純GPU的效率偏低。以ResNet-152模型為例，在GPU上處理一幀4K圖像需要28毫秒，而同樣的任務(wù)在專用NPU上只需8毫秒，差距明顯。

所以，純GPU可以實(shí)現(xiàn)低級(jí)別自動(dòng)駕駛的基本功能，但在延遲、功耗和效率上的表現(xiàn)，難于滿足L3及以上級(jí)別自動(dòng)駕駛的要求，至少性價(jià)比不高。

GPU、NPU、TPU的根本原理對(duì)比

GPU最初是為圖形渲染設(shè)計(jì)的，其核心是由大量流處理器組成的并行計(jì)算單元。以英偉達(dá)GTX 1080為例，有2560個(gè)流處理器，這些處理器以線程塊為單位工作，支持浮點(diǎn)、整數(shù)等多種計(jì)算類型。

在處理圖形數(shù)據(jù)時(shí)，GPU能同時(shí)對(duì)millions個(gè)像素進(jìn)行計(jì)算，完成紋理映射、光照計(jì)算等操作。在深度學(xué)習(xí)中，它可以并行處理矩陣運(yùn)算，但由于架構(gòu)是通用設(shè)計(jì)，在執(zhí)行神經(jīng)網(wǎng)絡(luò)計(jì)算時(shí)，有30%-40%的硬件資源處于閑置狀態(tài)。

圖 GPU架構(gòu)圖，來(lái)自網(wǎng)絡(luò)

注意到GPU的控制單元control，如果不需要控制，是不是就可以降低很多能耗和閑置算力呢？答案是的。

NPU是專門為神經(jīng)網(wǎng)絡(luò)計(jì)算設(shè)計(jì)的芯片，內(nèi)部集成了大量MAC（乘加單元）。比如華為昇騰310B，含有2048個(gè)MAC單元，這些單元以陣列形式排列，直接針對(duì)矩陣乘法和累加操作進(jìn)行優(yōu)化。

NPU采用數(shù)據(jù)流架構(gòu)，數(shù)據(jù)在存儲(chǔ)單元和計(jì)算單元之間的傳輸路徑固定且簡(jiǎn)短。在處理卷積運(yùn)算時(shí)，數(shù)據(jù)從緩存進(jìn)入MAC陣列后，直接完成計(jì)算并輸出結(jié)果，中間環(huán)節(jié)比GPU少60%以上。

TPU是谷歌為機(jī)器學(xué)習(xí)定制的芯片，采用脈動(dòng)陣列架構(gòu)。以TPU v2為例，其脈動(dòng)陣列規(guī)模為512x512，數(shù)據(jù)進(jìn)入陣列后，像脈搏一樣在單元間流動(dòng)，每個(gè)單元完成一次乘加操作后，將結(jié)果傳遞給下一個(gè)單元。

這種架構(gòu)下，數(shù)據(jù)一旦進(jìn)入陣列，就會(huì)在內(nèi)部持續(xù)流轉(zhuǎn)并完成計(jì)算，減少了外部存儲(chǔ)訪問(wèn)次數(shù)。在處理大型矩陣乘法時(shí)，TPU的數(shù)據(jù)復(fù)用率比GPU高3倍以上。

圖 NPU和TPU共有的特點(diǎn)，計(jì)算單元陣列，來(lái)自網(wǎng)絡(luò)

只不過(guò)TPU（脈動(dòng)陣列就是谷歌為TPU提出來(lái)的）和部分NPU是脈動(dòng)陣列，大部分NPU是MAC陣列。

脈動(dòng)陣列是一種特殊的陣列結(jié)構(gòu)，設(shè)計(jì)靈感源于人體血液循環(huán)系統(tǒng)。其核心概念是讓數(shù)據(jù)在運(yùn)算單元的陣列中流動(dòng)，減少訪存次數(shù)。整個(gè)陣列以“節(jié)拍”方式運(yùn)行，每個(gè)處理單元（PE，Processing Element）在每個(gè)計(jì)算周期處理一部分?jǐn)?shù)據(jù)，并將其傳達(dá)給下一個(gè)互連的PE。以矩陣乘法為例，在4x4的脈動(dòng)網(wǎng)中，參與運(yùn)算的矩陣元素按照特定順序在陣列單元間流動(dòng)，每個(gè)單元完成一次乘加操作后，將結(jié)果傳遞給下一個(gè)單元，數(shù)據(jù)一旦進(jìn)入陣列，就會(huì)在內(nèi)部持續(xù)流轉(zhuǎn)并完成計(jì)算。這種結(jié)構(gòu)下，數(shù)據(jù)在陣列中像脈搏跳動(dòng)一樣流動(dòng)，極大提升了數(shù)據(jù)復(fù)用率，減少了外部存儲(chǔ)訪問(wèn)次數(shù)，在處理大型矩陣乘法時(shí)，其數(shù)據(jù)復(fù)用率比傳統(tǒng)架構(gòu)高3倍以上。例如谷歌的TPU采用脈動(dòng)陣列架構(gòu)，像TPUv2的脈動(dòng)陣列規(guī)模為512x512，在執(zhí)行大型矩陣乘法等運(yùn)算時(shí)，能高效利用數(shù)據(jù)，減少數(shù)據(jù)在芯片內(nèi)外搬運(yùn)的開(kāi)銷。

MAC（乘加單元，Multiplier-Accumulator Unit）陣列則主要由大量乘加單元集成以陣列形式排列構(gòu)成。乘加單元是完成一次乘法運(yùn)算和一次加法運(yùn)算的基本硬件單元。比如華為昇騰310B的NPU中，含有2048個(gè)MAC單元，這些單元針對(duì)神經(jīng)網(wǎng)絡(luò)計(jì)算中的矩陣乘法和累加操作進(jìn)行了專門優(yōu)化。在處理卷積運(yùn)算時(shí)，數(shù)據(jù)從緩存進(jìn)入MAC陣列，乘加單元對(duì)輸入數(shù)據(jù)和權(quán)重?cái)?shù)據(jù)進(jìn)行乘加運(yùn)算，直接完成計(jì)算并輸出結(jié)果。MAC陣列通常采用數(shù)據(jù)流驅(qū)動(dòng)架構(gòu)，深度優(yōu)化數(shù)據(jù)在存儲(chǔ)單元與計(jì)算單元間的流轉(zhuǎn)路徑，通過(guò)硬件化的激活函數(shù)單元、池化單元等，直接加速神經(jīng)網(wǎng)絡(luò)關(guān)鍵操作，減少數(shù)據(jù)搬運(yùn)次數(shù)，提升計(jì)算效率，中間環(huán)節(jié)相比傳統(tǒng)通用架構(gòu)減少60%以上。

脈動(dòng)陣列和MAC陣列最主要的區(qū)別是控制時(shí)序。脈動(dòng)陣列的控制時(shí)序具有嚴(yán)格的周期性，數(shù)據(jù)按固定節(jié)拍在單元間流動(dòng)，每個(gè)處理單元的運(yùn)算與數(shù)據(jù)傳輸精準(zhǔn)同步，像脈搏跳動(dòng)般有序；而MAC陣列的控制時(shí)序更靈活，各單元可相對(duì)獨(dú)立地響應(yīng)指令，無(wú)需嚴(yán)格遵循統(tǒng)一的數(shù)據(jù)流節(jié)拍，更側(cè)重高效執(zhí)行乘加操作。

圖 脈動(dòng)陣列進(jìn)矩陣乘法的動(dòng)圖，來(lái)自網(wǎng)絡(luò)

圖 MAC單元陣列，來(lái)自網(wǎng)絡(luò)

總結(jié)起來(lái)一句話，陣列形式的NPU和TPU，之所以在神經(jīng)網(wǎng)絡(luò)的推理計(jì)算上，比GPU更經(jīng)濟(jì)（響應(yīng)時(shí)間，造價(jià)，能耗都更經(jīng)濟(jì)），就是因?yàn)殛嚵信帕械暮?jiǎn)單計(jì)算單元，就在扮演神經(jīng)網(wǎng)絡(luò)的神經(jīng)元，而它們之間聯(lián)系的數(shù)據(jù)通路，就在扮演神經(jīng)網(wǎng)絡(luò)的權(quán)重。就像很多文章說(shuō)的，NPU和TPU內(nèi)部物理結(jié)構(gòu)，就是在模擬神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)。

圖 神經(jīng)網(wǎng)絡(luò)推理圖，來(lái)自網(wǎng)絡(luò)

相信很多讀者會(huì)問(wèn)兩個(gè)問(wèn)題。

第一、NPU如何處理比它的原生陣列更大的神經(jīng)網(wǎng)絡(luò)？

從硬件架構(gòu)層面來(lái)看，NPU要處理比其陣列規(guī)模大的神經(jīng)網(wǎng)絡(luò)，確實(shí)面臨諸多挑戰(zhàn)，但并非完全不可行。NPU內(nèi)部集成的MAC（乘加單元）陣列是其進(jìn)行神經(jīng)網(wǎng)絡(luò)計(jì)算的核心組件，像華為昇騰310B的NPU就含有2048個(gè)MAC單元。這些單元以陣列形式排列，直接針對(duì)神經(jīng)網(wǎng)絡(luò)計(jì)算中的矩陣乘法和累加操作進(jìn)行優(yōu)化，在處理卷積運(yùn)算等神經(jīng)網(wǎng)絡(luò)常見(jiàn)操作時(shí)，數(shù)據(jù)從緩存進(jìn)入MAC陣列后，能直接完成計(jì)算并輸出結(jié)果，中間環(huán)節(jié)比GPU等傳統(tǒng)架構(gòu)減少60%以上。

然而，如果神經(jīng)網(wǎng)絡(luò)的規(guī)模超出了MAC陣列的原生處理能力，例如在面對(duì)參數(shù)規(guī)模達(dá)到數(shù)十億甚至上百億的超大規(guī)模神經(jīng)網(wǎng)絡(luò)時(shí)，單個(gè)NPU的MAC陣列在一個(gè)計(jì)算周期內(nèi)難以完成所有數(shù)據(jù)的并行處理。因?yàn)镸AC陣列的規(guī)模限制了其同時(shí)處理的數(shù)據(jù)量，就好比一條車道有限的公路，車流量過(guò)大時(shí)就會(huì)擁堵。以某款面向智能安防的NPU為例，其MAC陣列設(shè)計(jì)用于處理中等規(guī)模的圖像識(shí)別神經(jīng)網(wǎng)絡(luò)，當(dāng)嘗試運(yùn)行一個(gè)專為超高清視頻分析設(shè)計(jì)的大規(guī)模神經(jīng)網(wǎng)絡(luò)時(shí)，原本能實(shí)時(shí)處理的圖像幀率從30幀/秒驟降至5幀/秒以下，延遲大幅增加，無(wú)法滿足實(shí)際應(yīng)用的實(shí)時(shí)性需求。

辦法就是分幀，把大網(wǎng)絡(luò)切成NPU一次能處理的小塊，但是會(huì)有性能問(wèn)題。

第二、要處理比它的原生陣列小，但形狀不一致的神經(jīng)網(wǎng)絡(luò)怎么辦？畢竟神經(jīng)網(wǎng)絡(luò)每一層的神經(jīng)元數(shù)量都可以不一樣。

答案是填充padding，空著的神經(jīng)元和權(quán)重填充0（或者特殊的信號(hào)表示忽略）。目的是在乘加運(yùn)算時(shí)不發(fā)生作用，因?yàn)槌?還是0，加0還是0，且沒(méi)有別的計(jì)算。

TPU是類似的。

三者的對(duì)比表如下：

原理差異：

lGPU：通過(guò)大規(guī)模并行線程處理浮點(diǎn)運(yùn)算，但需軟件層優(yōu)化AI任務(wù)。

lNPU：硬件級(jí)支持矩陣乘加（MAC）操作，直接映射神經(jīng)網(wǎng)絡(luò)計(jì)算圖。

lTPU：采用脈動(dòng)陣列減少數(shù)據(jù)搬運(yùn)開(kāi)銷，專為TensorFlow優(yōu)化。

三者相比，GPU通用性強(qiáng)但針對(duì)性不足，NPU專注于神經(jīng)網(wǎng)絡(luò)計(jì)算效率，TPU在特定機(jī)器學(xué)習(xí)任務(wù)（針對(duì)tensorflow優(yōu)化）上有更高的計(jì)算密度。

如果進(jìn)一步講，GPU更適合訓(xùn)練，因?yàn)槟Ｐ陀?xùn)練時(shí)需要反向傳播算法，計(jì)算需要從兩個(gè)方向進(jìn)行，變換計(jì)算方向是需要額外控制器的。但NPU（TPU）更適合對(duì)訓(xùn)練好的模型進(jìn)行推理，推理只需要悶著頭朝一個(gè)方向走就行了。

為什么thor要保留GPU，又有NPU

英偉達(dá)Thor是一款面向自動(dòng)駕駛的計(jì)算芯片，其包含多種PU，是超異構(gòu)融合芯片的典型。

圖 雷神索爾Thor芯片的框架和功能，其中ISP不是網(wǎng)絡(luò)服務(wù)商，而是ImageSignalProcessor，圖像信號(hào)處理器

它保留GPU同時(shí)配備NPU，主要有以下幾方面原因。

從功能分工來(lái)看，自動(dòng)駕駛系統(tǒng)中有不同類型的計(jì)算任務(wù)。NPU適合處理神經(jīng)網(wǎng)絡(luò)相關(guān)任務(wù)，比如用YOLOv8模型檢測(cè)行人，Thor的NPU處理單幀圖像耗時(shí)約5毫秒；而GPU則負(fù)責(zé)傳感器數(shù)據(jù)預(yù)處理，比如將激光雷達(dá)的點(diǎn)云數(shù)據(jù)從極坐標(biāo)轉(zhuǎn)換為笛卡爾坐標(biāo)，Thor的GPU處理100萬(wàn)個(gè)點(diǎn)云數(shù)據(jù)耗時(shí)約3毫秒。

在數(shù)據(jù)交互上，兩者需要協(xié)同工作。攝像頭采集的原始圖像先由GPU進(jìn)行畸變校正，校正后的圖像再傳給NPU進(jìn)行目標(biāo)識(shí)別。測(cè)試顯示，這種協(xié)同模式比單一處理器處理的效率提升40%，因?yàn)楸苊饬藬?shù)據(jù)在不同芯片間的頻繁傳輸。

另外，考慮到軟件兼容性，目前有大量傳統(tǒng)算法基于GPU開(kāi)發(fā)，比如SLAM（同步定位與地圖構(gòu)建）中的部分模塊。保留GPU可以直接運(yùn)行這些算法，無(wú)需重新開(kāi)發(fā)，節(jié)省了至少18個(gè)月的適配時(shí)間。

從成本角度，Thor的GPU和NPU集成在同一芯片上，相比分開(kāi)設(shè)計(jì)，硬件成本降低25%，同時(shí)減少了50%的電路板空間占用。

GPU、NPU在能耗和造價(jià)的對(duì)比

在相同AI算力下，NPU的能耗明顯低于GPU。

英偉達(dá)Jetson AGX Xavier（GPU方案）的AI算力為32TOPS，功耗30W，能效比1.07TOPS/W。華為昇騰310B（NPU方案）算力22TOPS，功耗8W，能效比2.75TOPS/W，是前者的2.5倍。

特斯拉FSD芯片中的NPU部分，算力144TOPS，功耗25W，能效比5.76TOPS/W。而要達(dá)到相近的AI算力，需要4顆Jetson AGX Xavier，總功耗120W，是特斯拉NPU的4.8倍。

在實(shí)際車載場(chǎng)景中，某L4級(jí)自動(dòng)駕駛測(cè)試車采用純GPU方案（總功耗150W），相比采用NPU+GPU混合方案（總功耗60W），每100公里多消耗8度電，按電動(dòng)車百公里平均15度電計(jì)算，續(xù)航減少約53公里。

單顆芯片成本方面，英偉達(dá)Jetson AGX Xavier的批量采購(gòu)價(jià)約800美元/顆，華為昇騰310B約300美元/顆。

若要實(shí)現(xiàn)144TOPS的AI算力，純GPU方案需要5顆Jetson AGX Xavier，總成本4000美元；而采用特斯拉FSD芯片（含NPU），單顆成本約500美元，成本僅為純GPU方案的12.5%。

加上周邊電路和散熱系統(tǒng)，純GPU方案的硬件總成本約5500美元，NPU+GPU混合方案約1200美元，前者是后者的4.6倍。

從量產(chǎn)角度看，當(dāng)產(chǎn)量達(dá)到10萬(wàn)臺(tái)時(shí)，NPU的單位研發(fā)成本可分?jǐn)傊撩颗_(tái)30美元，而GPU由于架構(gòu)復(fù)雜，分?jǐn)偤笕孕?0美元/臺(tái)。

數(shù)據(jù)來(lái)源：NPU的能效比可達(dá)GPU的10倍以上，且制程要求更低（如14nmNPU媲美7nmGPU）

總結(jié)

純GPU可以實(shí)現(xiàn)低級(jí)別自動(dòng)駕駛，但在處理速度、能耗等方面存在明顯不足，無(wú)法滿足高級(jí)別自動(dòng)駕駛的需求。

從原理上看，GPU通用但效率低，NPU專為神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)，TPU在特定場(chǎng)景計(jì)算密度高，三者架構(gòu)差異導(dǎo)致適用場(chǎng)景不同。

英偉達(dá)Thor同時(shí)保留GPU和NPU，是因?yàn)閮烧吣芊止f(xié)作，提高整體效率，還能兼容現(xiàn)有軟件，降低成本。

能耗和造價(jià)數(shù)據(jù)顯示，NPU的能效比是GPU的2.5-5倍以上，相同算力下，NPU方案的硬件成本僅為純GPU方案的12.5%-40%。

綜合來(lái)看，自動(dòng)駕駛需要NPU，因?yàn)樗茉诘凸南赂咝幚砩窠?jīng)網(wǎng)絡(luò)任務(wù)，而GPU雖然在部分通用計(jì)算上有作用，但單獨(dú)使用無(wú)法滿足高級(jí)別自動(dòng)駕駛的要求。未來(lái)，NPU+GPU的混合方案會(huì)成為主流，既保證處理效率，又兼顧兼容性和成本。

審核編輯 黃宇