汽車行業(yè)“智能化”發(fā)展趨勢(shì)下，得益于硬件平臺(tái)和軟件算法逐步成熟，新車搭載各種L2級(jí)別的輔助駕駛功能成為吸引消費(fèi)者的重要配置，另一方面，在“軟件定義汽車”的新時(shí)代，自動(dòng)駕駛更是成為了影響車企未來發(fā)展的重要戰(zhàn)略。

自動(dòng)駕駛領(lǐng)域市場(chǎng)參與者眾多，包括傳統(tǒng)車企、造車新勢(shì)力、互聯(lián)網(wǎng)/科技公司等。隨著入局者的增加，高階自動(dòng)駕駛進(jìn)入了競(jìng)爭(zhēng)白熱化階段。智能汽車車載傳感器數(shù)量越來越多，自動(dòng)駕駛神經(jīng)網(wǎng)絡(luò)模型算法復(fù)雜度越來越高，相關(guān)功能也越來越豐富，自動(dòng)駕駛的研發(fā)也面臨巨大的挑戰(zhàn)。

開發(fā)工具鏈的效率決定了整個(gè)智駕系統(tǒng)開發(fā)的效率，對(duì)于一家賦能全棧式自動(dòng)駕駛能力的智能駕駛計(jì)算芯片公司而言，為客戶提供易操作、廣適配、高效率的工具鏈產(chǎn)品，幫助客戶建立從開發(fā)到量產(chǎn)的軟硬件全解耦軟件工具體系顯得尤為重要。黑芝麻智能深知軟硬協(xié)同的重要性，為幫助客戶更好地基于黑芝麻智能華山系列芯片進(jìn)行產(chǎn)品開發(fā)，提升研發(fā)效率，降低開發(fā)門檻和綜合成本，加速產(chǎn)品量產(chǎn)，黑芝麻智能推出山海開發(fā)工具鏈平臺(tái)。

軟硬協(xié)同，深度優(yōu)化，靈活部署

整體來看，黑芝麻智能山海開發(fā)工具鏈配合華山系列自動(dòng)駕駛計(jì)算芯片，能提供全面的開發(fā)包及算法開發(fā)所需的軟件工具，滿足模型量化、優(yōu)化、編譯、仿真、部署、調(diào)試等各個(gè)開發(fā)環(huán)節(jié)的需要，并納入深度學(xué)習(xí)參考模型庫轉(zhuǎn)換用例，大幅降低算法開發(fā)門檻，幫助客戶進(jìn)行靈活的模型遷移、部署和整合。

黑芝麻智能山海開發(fā)工具鏈

黑芝麻智能山海開發(fā)工具鏈平臺(tái)支持Tensorflow，Pytorch等主流訓(xùn)練框架和模型格式，支持動(dòng)態(tài)異構(gòu)多核任務(wù)分配，通過基于ONNX面向Caffe訓(xùn)練的深度學(xué)習(xí)模型自動(dòng)轉(zhuǎn)換方法來進(jìn)行擴(kuò)展，提供適配芯片架構(gòu)的AI編譯器的自動(dòng)優(yōu)化，支持客戶自定義算子開發(fā)。能夠助力客戶快速移植模型和優(yōu)化部署落地的一體化流程，提升自動(dòng)駕駛開發(fā)者業(yè)務(wù)模型的開發(fā)及部署效率，黑芝麻智能山海開發(fā)工具鏈平臺(tái)目前擁有50+ AI參考模型庫及轉(zhuǎn)換用例，可大幅降低開發(fā)者算法開發(fā)門檻。例如車道線檢測(cè)、目標(biāo)檢測(cè)等等一些模型結(jié)構(gòu)，使用這些模型結(jié)構(gòu)可以在華山系列芯片上更好地去發(fā)揮性能及快速部署落地。

量產(chǎn)級(jí)算法典型實(shí)踐

黑芝麻智能剪枝算法，提高模型效率

神經(jīng)網(wǎng)絡(luò)在訓(xùn)練完畢后，絕大多數(shù)權(quán)重是非零的。如果網(wǎng)絡(luò)中某些部分的權(quán)重為零，我們稱之為稀疏（sparsity）。剪枝（pruning）是指人為地將部分非零的權(quán)重歸零的過程。通過稀疏的網(wǎng)絡(luò)可以被壓縮，省去不必要的計(jì)算，讓網(wǎng)絡(luò)變得更小，運(yùn)算更高效。更具體地說，在計(jì)算機(jī)視覺（CV）領(lǐng)域中，稀疏的網(wǎng)絡(luò)有如下優(yōu)勢(shì)：更少的卷積（convolution）計(jì)算、更小的網(wǎng)絡(luò)權(quán)重、更低的數(shù)據(jù)讀入寫出（data I/O）成本。

針對(duì)華山系列芯片的硬件特性，黑芝麻智能開發(fā)了一套自研的剪枝工具BST-DAL，支持在任何預(yù)訓(xùn)練模型上進(jìn)行剪枝，可顯著提高模型在華山系列芯片上的運(yùn)行速度。用戶只需修改幾行代碼，提供一些基本的剪枝超參數(shù)，就可實(shí)現(xiàn)在自己的原始訓(xùn)練環(huán)境中剪枝。黑芝麻智能自研的剪枝工具相比于眾多開源項(xiàng)目，擁有更快的收斂速度、更高的精度、更適應(yīng)芯片特性的剪枝算法、更簡(jiǎn)便的API及更友好的用戶體驗(yàn)。黑芝麻智能的剪枝算法能使模型在保證精度的前提下，將芯片上的運(yùn)行幀率大幅提高。

黑芝麻智能量化算法，提升計(jì)算效率和性能

通過量化能將神經(jīng)網(wǎng)絡(luò)模型的參數(shù)（權(quán)重和激活值）映射到較低的精度表示，從而降低計(jì)算和存儲(chǔ)成本，提高模型在硬件上的推理效率，在不顯著影響模型性能的前提下，減小計(jì)算和內(nèi)存需求，這一技術(shù)可以通過后訓(xùn)練量化或者量化感知訓(xùn)練來實(shí)現(xiàn)。

現(xiàn)在市面上不同車型搭載不同硬件平臺(tái)，它們有不同的計(jì)算和存儲(chǔ)特性，部分硬件平臺(tái)可能還有特殊的定制要求或功能限制，很多通用的量化算法無法最大程度地利用硬件的優(yōu)勢(shì)，滿足這些定制化需求。

黑芝麻智能針對(duì)特定硬件的約束和特性開發(fā)自研量化算法，以最大限度地提高計(jì)算效率和性能；同時(shí)根據(jù)硬件的位寬等特性，設(shè)計(jì)出更合適的量化策略，以平衡性能和資源消耗，靈活地控制量化的精度，使得在硬件資源受限的情況下，仍能保持模型的性能，滿足定制化的硬件需求，確保量化后的模型在特定硬件上能夠良好運(yùn)行。

黑芝麻智能量化算法

華山二號(hào)A1000硬件特性

?權(quán)重按通道量化，部分激活可按通道量化；

?支持混合精度，利用多引擎的特性，提升算子位寬提升精度；

?硬件支持的是對(duì)稱量化和2的冪次方的量化；

?支持RGB/BGR/NV12/YUV444/GRAY等輸入的模型量化。

離線量化算法(Post-Training Quantization)

?可以進(jìn)行逐層調(diào)優(yōu)，包括最小-最大值、KL散度、百分位點(diǎn)等多種調(diào)優(yōu)方式；

?支持權(quán)重均衡，提升量化效果；

?自研算法優(yōu)化了int16 Conv的計(jì)算邏輯，保持精度的同時(shí)提高了效率；

?精細(xì)調(diào)優(yōu): 支持逐層的自動(dòng)化精度調(diào)優(yōu)來搜尋量化模型的最優(yōu)解；

?支持通過導(dǎo)入帶有量化參數(shù)的JSON文件的形式進(jìn)行自定義量化；

?提供量化后模型的評(píng)估階段，提供可視化工具，幫助分析和理解量化效果。

量化感知訓(xùn)練(Quant-Aware Training)

?支持量化感知訓(xùn)練，量化感知訓(xùn)練與硬件對(duì)齊，進(jìn)一步優(yōu)化量化效果。

目前，黑芝麻智能山海開發(fā)工具鏈在60余家車廠及Tier 1生態(tài)用戶中得到廣泛應(yīng)用，助力合作伙伴的研發(fā)團(tuán)隊(duì)提升開發(fā)效率，為客戶提供輕松快速開發(fā)和部署算法的指導(dǎo)，全面的工具鏈SDK和應(yīng)用程序，幫助客戶輕松部署優(yōu)化模型。

賦能客戶 智駕未來

“目前國(guó)外芯片廠商，普遍存在底層開放度不足或迭代較慢的情況，例如面對(duì)新的算法需求，底層計(jì)算能力的拓展需要依賴國(guó)外技術(shù)團(tuán)隊(duì)支持，響應(yīng)速度較慢。此外，對(duì)底層bug的修復(fù)流程也比較冗長(zhǎng)，面對(duì)客戶對(duì)時(shí)間和質(zhì)量的高要求，軟硬一體迭代效率不盡如人意”。百度智能駕駛事業(yè)群組ASD硬件平臺(tái)部總經(jīng)理趙姝巖在談到與國(guó)外芯片企業(yè)合作時(shí)說到，“而跟黑芝麻智能合作，在提供芯片的同時(shí)，為了更好的調(diào)用芯片能力，黑芝麻智能為我們還提供開放的山海開發(fā)工具鏈，極大的縮短了我們域控平臺(tái)開發(fā)時(shí)間，為客戶項(xiàng)目按時(shí)交付贏得寶貴時(shí)間，我們自主+自主開放的合作模式，一定會(huì)贏取更多客戶，"趙姝巖總經(jīng)理無不對(duì)黑芝麻智能的合作充滿信心。

在黑芝麻智能主辦的“2023智能汽車芯片高峰論壇”上，億咖通科技高級(jí)副總裁張容波說到 “吉咖智能自主研發(fā)了行泊一體式智能駕駛平臺(tái)，集成兩塊黑芝麻智能華山二號(hào)A1000芯片，具備最高超100TOPS的算力。平臺(tái)最高可支持30個(gè)以上傳感器接入；通過不同數(shù)量的傳感器和算力單元的組合，可實(shí)現(xiàn)不同成本需求下的駕駛輔助能力組合；具備影子模式和OTA能力，配合自動(dòng)駕駛云，實(shí)現(xiàn)用戶駕駛習(xí)慣學(xué)習(xí)、自動(dòng)駕駛能力持續(xù)進(jìn)化。” 正是黑芝麻智能華山系列芯片與山海工具鏈的軟硬協(xié)同，為吉咖智能提供了具備行業(yè)競(jìng)爭(zhēng)力的智能駕駛方案，搭載該方案的吉利領(lǐng)克08車型已于8月8月開啟預(yù)售后，不到3天訂單就突破1萬臺(tái)。

基于黑芝麻智能華山系列芯片——億咖通智能駕駛解決方案

邊緣計(jì)算場(chǎng)景離不開算法的支持，華山SOM作為華山二號(hào)A1000芯片的衍生產(chǎn)品，天然支持黑芝麻智能山海開發(fā)工具鏈平臺(tái)。得益于不斷優(yōu)化的AI工具鏈，華山SOM上已成功移植了目標(biāo)檢測(cè)、點(diǎn)云、語義分割、雙目、人體姿態(tài)、人臉識(shí)別等多類算法模型，實(shí)現(xiàn)了包括ADAS、BSD、DMS、環(huán)視等在內(nèi)的車載應(yīng)用。對(duì)于新領(lǐng)域新算法需要的的新算子，黑芝麻智能可進(jìn)行定制化開發(fā)，并提供第三方算法移植的技術(shù)支持?！盎谌A山系列芯片與山海工具鏈，圓周率科技能夠?yàn)榭蛻舳ㄖ苹谔厥鈶?yīng)用場(chǎng)景的產(chǎn)品，快速覆蓋汽車、機(jī)器人及其他邊緣計(jì)算應(yīng)用，為公司搶占新產(chǎn)品市場(chǎng)助力提效，我們基于華山SOM設(shè)計(jì)了商用車產(chǎn)品，45天左右就實(shí)現(xiàn)了樣件階段的全部功能，而且中間還包含了春節(jié)放假的時(shí)間。這當(dāng)然離不開團(tuán)隊(duì)和客戶的大力支持，但同時(shí)也證明產(chǎn)品本身的成熟度已經(jīng)完全可以滿足市場(chǎng)的需求。”圓周率科技COO朱華偉對(duì)此表示。

黑芝麻智能智能致力于通過顛覆式的技術(shù)創(chuàng)新，為客戶提供最優(yōu)的產(chǎn)品。隨著“芯片+開發(fā)工具鏈”產(chǎn)品矩陣逐步拓展和完善，黑芝麻智能將持續(xù)為行業(yè)帶來創(chuàng)新、高效、安全和可落地的方案。在汽車產(chǎn)業(yè)智能化的時(shí)代浪潮中，黑芝麻智能期待攜手更多產(chǎn)業(yè)鏈伙伴合作，共同用創(chuàng)新描繪汽車產(chǎn)業(yè)的新面貌。

審核編輯：彭菁