|底層智能駕駛芯片成為國(guó)內(nèi)競(jìng)爭(zhēng)焦點(diǎn)

汽車(chē)智能化的趨勢(shì)日益明顯，底層智能駕駛芯片成為國(guó)內(nèi)公司競(jìng)爭(zhēng)的焦點(diǎn)。成立于2022年1月的奕行智能定位于汽車(chē)AI計(jì)算芯片公司，其核心團(tuán)隊(duì)擁有多年的車(chē)載芯片和AI行業(yè)經(jīng)驗(yàn)，現(xiàn)已經(jīng)完成了累計(jì)數(shù)億元的融資。目前其產(chǎn)品主要聚焦于智能汽車(chē)的AI場(chǎng)景。今年奕行智能計(jì)劃推出兩款基于AI計(jì)算架構(gòu)的端側(cè)算力產(chǎn)品，明年將計(jì)劃推出更大規(guī)模的大算力芯片產(chǎn)品。

劉琿指出，智能汽車(chē)對(duì)應(yīng)的AI應(yīng)用場(chǎng)景非常豐富，而智能駕駛又是車(chē)上AI應(yīng)用場(chǎng)景中對(duì)模型泛化和通用性要求最高。在智駕領(lǐng)域里能夠把通用做好的產(chǎn)品除英偉達(dá)以外并不多，因此圍繞通用性這個(gè)需求特點(diǎn)智駕芯片的市場(chǎng)機(jī)遇還是比較大的。智駕場(chǎng)景從當(dāng)前輔助駕駛階段，到正在落地的開(kāi)放道路的部分自動(dòng)駕駛，再到更遠(yuǎn)未來(lái)全局智能交通系統(tǒng)驅(qū)動(dòng)的高階無(wú)人駕駛。在一次次重構(gòu)中，不僅革新人們的出行方式，更是在推動(dòng)底層的軟硬件迭代和重構(gòu)。

比如在智駕領(lǐng)域的算法從過(guò)去基于CNN算法的多個(gè)不同任務(wù)的感知的網(wǎng)絡(luò)向以Transformer為基礎(chǔ)框架的BEV大模型演進(jìn)。在特斯拉證明BEV的可行并成功量產(chǎn)后，BEV技術(shù)正被各大車(chē)廠(chǎng)作為今明兩年重大落地的新一代算法模型。然而B(niǎo)EV作為新一代自動(dòng)駕駛感知算法，在傳統(tǒng)AI加速芯片部署上會(huì)存在一定難度。“Transformer的算法特點(diǎn)讓過(guò)去圍繞CNN模型定制的AI芯片很難高效部署”，Transformer模型對(duì)訪(fǎng)存要求相對(duì)傳統(tǒng)CNN算法會(huì)高出很多，同時(shí)Transformer內(nèi)的非線(xiàn)性層有非常高的精度要求，相應(yīng)需要更多的浮點(diǎn)計(jì)算資源。其次Attention模塊是一個(gè)matmul-softmax-matmul的結(jié)構(gòu)，在序列長(zhǎng)度比較大時(shí)，Reduce維度的計(jì)算對(duì)Vector（向量）計(jì)算資源要求非常多。此外BEV模型里Grid Sample算法里還有一些類(lèi)似聚合、分散的特殊算子。所有這些計(jì)算需求在傳統(tǒng)的AI芯片在硬件上難以滿(mǎn)足，使得對(duì)于BEV這種復(fù)雜的大模型部署難以高性?xún)r(jià)比的方式量產(chǎn)落地。

劉琿還提到另一個(gè)挑戰(zhàn)，作為一個(gè)端側(cè)設(shè)備，車(chē)載芯片的成本和功耗都是有約束的，怎么在算力紅線(xiàn)下，提高NPU的硬件效率和可編程性顯得尤為重要。從提高效率層面需要NPU硬件與編譯器協(xié)同設(shè)計(jì)，通過(guò)更好的優(yōu)化和部署計(jì)算任務(wù)來(lái)更高效地填滿(mǎn)硬件，從而提升硬件的利用率，同時(shí)還要考慮如何更加方便快捷調(diào)用每一單位的算力。因此這就需要提升NPU的可編程性，包括從硬件體系架構(gòu)上打造充分可編程的硬件和軟件上構(gòu)造抽象層次更高的編程界面。

從高緯度來(lái)看，自動(dòng)駕駛應(yīng)用場(chǎng)景不斷演進(jìn)，對(duì)AI計(jì)算架構(gòu)的需求也在不斷演進(jìn)。早期ADAS的應(yīng)用場(chǎng)景簡(jiǎn)單，算法模型較單一，所以與算法綁定高度定制的AI核被市場(chǎng)接受，能夠快速解決應(yīng)用場(chǎng)景有與無(wú)的問(wèn)題；第二個(gè)階段（也就是現(xiàn)階段）是NOA應(yīng)用啟動(dòng)時(shí)代，模型種類(lèi)及數(shù)量的增多，加之泛化要求變高，使得通用型較強(qiáng)的GPGPU在率先布局NOA應(yīng)用的高端車(chē)上成為主要的解決方案。但隨著時(shí)間推移，NOA應(yīng)用普及及車(chē)廠(chǎng)對(duì)降本增效的訴求愈發(fā)強(qiáng)烈，因此，第三階段在滿(mǎn)足第二階段和成本效益的情況下，能夠兼顧通用性和能效的GP-DSA架構(gòu)將會(huì)成為產(chǎn)業(yè)主流。劉琿認(rèn)為，“從中長(zhǎng)期來(lái)看，一個(gè)在領(lǐng)域內(nèi)通用性更強(qiáng)，又能比GPGPU效率更高、能進(jìn)化的DSA的AI計(jì)算架構(gòu)會(huì)越來(lái)越有希望。”

從全球視野來(lái)看，目前有很多大廠(chǎng)已經(jīng)開(kāi)始布局定制開(kāi)發(fā)自己的AI計(jì)算架構(gòu)與硬件內(nèi)核。值得關(guān)注的是幾家頭部大廠(chǎng)如Google、Meta、Tesla以及頭部的獨(dú)角獸公司如Tenstorrent等都不約而同的采用RISC-V指令集來(lái)構(gòu)建整個(gè)AI計(jì)算體系。與這些公司類(lèi)似，奕行智能在國(guó)內(nèi)率先把RISC-V用在百Tops以上的大算力AI并行計(jì)算領(lǐng)域，通過(guò)在內(nèi)核上構(gòu)建強(qiáng)大的指令和數(shù)據(jù)并行，使奕行智能的整個(gè)計(jì)算架構(gòu)的性能達(dá)到行業(yè)領(lǐng)先的水平。劉琿表示，使用RISC-V并非要替代作為自動(dòng)駕駛芯片主處理器的ARM內(nèi)核，而是結(jié)合RISC-V的架構(gòu)開(kāi)放性和可擴(kuò)展性將其用在AI計(jì)算領(lǐng)域，通過(guò)結(jié)合RISC-V通用性與DSA核架構(gòu)的效率，使其能在兩者上有較好的兼顧。同時(shí)結(jié)合微架構(gòu)上的創(chuàng)新，使得整個(gè)內(nèi)核能在相比GPU更小的算力能獲得數(shù)倍于GPU的智駕網(wǎng)絡(luò)推理性能。

（圖片來(lái)源知乎）

在大模型芯片部署中，編譯器是AI模型能夠以最高性能和最低功耗高效運(yùn)行的關(guān)鍵，AI領(lǐng)域應(yīng)用的大量出現(xiàn)也促進(jìn)著領(lǐng)域編譯的發(fā)展。“解決Memory Bound需要硬件微架構(gòu)與軟件編譯器聯(lián)合優(yōu)化?！跋裨S多其他的科技指標(biāo)一樣，AI芯片的計(jì)算性能也有理論上的極限，從Roofline Model可以看出平均帶寬需求和峰值計(jì)算能力像天花板一樣是整個(gè)系統(tǒng)計(jì)算的能力上限，以計(jì)算強(qiáng)度上限Imax為界，劃分出AI芯片的兩個(gè)瓶頸區(qū)域，即圖中橘色的內(nèi)存受限區(qū)（Memory Bound）和圖中藍(lán)色的計(jì)算受限區(qū)（Compute Bound）。劉琿提到要想讓增加的算力真正能提高系統(tǒng)性能必須讓算法所處的區(qū)域落在計(jì)算受限區(qū)域，這需要通過(guò)軟硬協(xié)同設(shè)計(jì)的方式來(lái)達(dá)成，這就像暢通的交通除了需要基于交通流量合理設(shè)計(jì)的硬件基礎(chǔ)設(shè)施，也需要有基于硬件基礎(chǔ)設(shè)施合理設(shè)計(jì)的交通調(diào)度系統(tǒng)。

最后，劉琿也提到GPU架構(gòu)把大的計(jì)算任務(wù)切分給多個(gè)小核并且軟件基于Kernel執(zhí)行數(shù)據(jù)來(lái)回在DDR與片內(nèi)交互，這樣導(dǎo)致的問(wèn)題是更多的數(shù)據(jù)交互的開(kāi)銷(xiāo)和功耗。奕行智能的AI芯片與之不同的是針對(duì)智駕模型的微架構(gòu)設(shè)計(jì)優(yōu)化以更少的數(shù)據(jù)交互開(kāi)銷(xiāo)來(lái)完成計(jì)算任務(wù)并使大部分的計(jì)算駐留片上完成，從而獲得更加好的PPA。

“大模型”時(shí)代的到來(lái)，讓AI產(chǎn)業(yè)與包括汽車(chē)在內(nèi)的傳統(tǒng)行業(yè)或新興產(chǎn)業(yè)產(chǎn)生了更多交集，AI進(jìn)一步的發(fā)展和成熟更是為自動(dòng)駕駛技術(shù)帶來(lái)了巨大的推動(dòng)力。未來(lái)奕行將持續(xù)在AI計(jì)算架構(gòu)這塊領(lǐng)域上進(jìn)行更多的創(chuàng)新與探索，幫助更多合作伙伴解決當(dāng)前自動(dòng)駕駛在AI模型的推理性能、能效、模型泛化的支持、AI編程的易用性、硬件操作的自由度以及成本上等多個(gè)維度的核心痛點(diǎn)，加快AI技術(shù)在自動(dòng)駕駛領(lǐng)域的落地應(yīng)用與創(chuàng)新發(fā)展。

編輯：黃飛