“賽靈思從2004年就開(kāi)始進(jìn)入到了汽車(chē)這個(gè)行業(yè)，首先是在歐美發(fā)展，在歐洲許多大的Tier1(一級(jí)供貨商)，像是BOSCH、Continental等廠商都是我們的客戶。到現(xiàn)在，與我們合作的品牌已經(jīng)擴(kuò)展到了29家。在進(jìn)軍中國(guó)的這一兩年的內(nèi)，也可看到有很多中國(guó)的品牌已經(jīng)在使用賽靈思了?！睂?duì)于未來(lái)的預(yù)期，孫蕾蕾表示：“我們相信未來(lái)的5年是一個(gè)非常重要的環(huán)節(jié)，有很多汽車(chē)行業(yè)對(duì)FPGA非常感興趣，并且對(duì)將來(lái)Level3、Level4就是自動(dòng)駕駛的部分也保持著高度的期待，所以未來(lái)5年是非常重要的一個(gè)環(huán)節(jié)?！?/p>

發(fā)力ADAS/自動(dòng)駕駛市場(chǎng)

前面我們提到，賽靈思有針對(duì)自動(dòng)駕駛中央控制器的Zynq UltraScale+ MPSoC、針對(duì)車(chē)載前置攝像頭的Zynq-7000 / Zynq UltraScale+ MPSoC 和針對(duì)多傳感器融合系統(tǒng)的 Zynq UltraScale+ MPSoC。

其實(shí)，Zynq系列采用單一芯片即可完成ADAS 解決方案的開(kāi)發(fā)，雖然相對(duì)于專(zhuān)用的ASIC芯片來(lái)說(shuō)，在性能和功耗上則處于弱勢(shì)，不過(guò)賽靈思的SoC平臺(tái)則大幅提升了性能和應(yīng)用范圍，便于各種捆綁式應(yīng)用，能實(shí)現(xiàn)不同產(chǎn)品系列間的可擴(kuò)展性，可幫助系統(tǒng)廠商加快在環(huán)繞視覺(jué)、3D 環(huán)繞視覺(jué)、后視攝像頭、動(dòng)態(tài)校準(zhǔn)、行人檢測(cè)、后視車(chē)道偏離警告和盲區(qū)檢測(cè)等ADAS 應(yīng)用的開(kāi)發(fā)時(shí)間。并且可以讓 OEM和 Tier1 在平臺(tái)上添加自己的IP 以及賽靈思自己的擴(kuò)展。

不過(guò)，根據(jù)賽靈思的ADAS/自動(dòng)駕駛應(yīng)用路線圖來(lái)看，目前在ADAS/自動(dòng)駕駛領(lǐng)域，基于賽靈思芯片方案的客戶的量產(chǎn)產(chǎn)品還比較少。即便是L1/L2階段的ADAS方案，相應(yīng)的客戶產(chǎn)品也要等到2019/2020年才會(huì)量產(chǎn)，L3階段的客戶產(chǎn)品也要等到2021/2022年才能量產(chǎn)。而基于賽靈思最新的XA ACAP方案的L4級(jí)別的客戶產(chǎn)品更是要等到2023/2024年才能量產(chǎn)。當(dāng)然，在現(xiàn)階段，賽靈思已經(jīng)與不少汽車(chē)廠商在合作研發(fā)L3/L4級(jí)的產(chǎn)品，不過(guò)由于汽車(chē)的產(chǎn)品的周期較長(zhǎng)，這也使基于賽靈思L3/L4方案的客戶的產(chǎn)品最終量產(chǎn)時(shí)間會(huì)看上去比較晚。

賽靈思機(jī)器學(xué)習(xí)產(chǎn)品高級(jí)市場(chǎng)經(jīng)理羅霖透露：“我們客戶做的基于賽靈思芯片方案的全高清的環(huán)視系統(tǒng)，2017年已經(jīng)量產(chǎn)；今年2018年量產(chǎn)的主要是車(chē)載前視的攝像頭，然后這面包括有單目的，也有雙目的，可實(shí)現(xiàn)主要是像車(chē)道偏離的檢測(cè)、前向防控的檢測(cè)和行人防控的監(jiān)測(cè)。當(dāng)然還有面向司機(jī)的一些疲勞狀態(tài)的監(jiān)測(cè)，今年我們有些客戶也會(huì)進(jìn)入量產(chǎn)?！?/p>

“而L1/L2階段的產(chǎn)品，客戶會(huì)把前視的攝像頭跟77GHz毫米波雷達(dá)融合在一起，包括有ACC、AEB、LK還有PJA的應(yīng)用，采用的是我們大一點(diǎn)的XA Zynq系列跟我們XA MPSoC的系列產(chǎn)品。L3階段的產(chǎn)品將會(huì)多攝像頭跟多傳感器融合的平臺(tái)，可以實(shí)現(xiàn)自動(dòng)泊車(chē)、人與車(chē)的智能交互等?！?/p>

總的來(lái)說(shuō)，雖然賽靈思是一家老牌的ADAS領(lǐng)域的半導(dǎo)體供應(yīng)商，但是在目前的ADAS/自動(dòng)駕駛市場(chǎng)，賽靈思還是相對(duì)落后于后起之秀英偉達(dá)、以及英特爾的Mobileye。

為此，今年3月，賽靈思北京發(fā)布了全新的高度集成的多核異構(gòu)計(jì)算平臺(tái)ACAP。唐曉蕾表示，ACAP是賽靈思開(kāi)創(chuàng)的一個(gè)超越傳統(tǒng)的CPU、GPU，超越FPGA的一個(gè)全新的計(jì)算類(lèi)別的產(chǎn)品。ACAP也可以提供非常強(qiáng)大的計(jì)算力，可以支持L4級(jí)自動(dòng)駕駛。

不過(guò)，由于ACAP才剛剛發(fā)布沒(méi)多久，要到實(shí)際的商用和客戶產(chǎn)品落地可能還需要非常長(zhǎng)的一個(gè)周期。因此，為了加速自身在ADAS/自動(dòng)駕駛領(lǐng)域的布局，賽靈思選擇了直接收購(gòu)此前已有投資并深度合作的深鑒科技。

加碼ADAS/自動(dòng)駕駛市場(chǎng)，深鑒科技與賽靈思將走向融合

深鑒科技早在2017年就發(fā)布了深度學(xué)習(xí)開(kāi)發(fā)SDK DNNDK（Deep Neural Network Development Kit）；人臉檢測(cè)識(shí)別模組（前端）；人臉?lè)治鼋鉀Q方案（后端）；視頻結(jié)構(gòu)化解決方案（人車(chē)交通分析）；深鑒ARISTOTLE架構(gòu)平臺(tái)；語(yǔ)音識(shí)別加速方案等6款產(chǎn)品。在AI芯片方面，深鑒科技也推出了“聽(tīng)濤”和“觀海”，將于今年面市，正在在量產(chǎn)之中。

深鑒的核心技術(shù)之一就是神經(jīng)網(wǎng)絡(luò)壓縮算法，能夠在保證基本不損失算法精度的前提下，將網(wǎng)絡(luò)模型的計(jì)算量和規(guī)模壓縮數(shù)倍至數(shù)十倍。

在賽靈思機(jī)器學(xué)習(xí)產(chǎn)品高級(jí)市場(chǎng)經(jīng)理羅霖看來(lái)，賽靈思之所以選擇收購(gòu)深鑒科技，也主要是看中了深鑒科技的神經(jīng)網(wǎng)絡(luò)壓縮算法?！吧铊b科技優(yōu)化好的CNN的IP，它具有一個(gè)功能非常強(qiáng)大的計(jì)算半圓的陣列和非常靈活的數(shù)據(jù)控制流。這樣的話，可以比較通用地支持各種各樣類(lèi)型的神經(jīng)網(wǎng)絡(luò)。同時(shí)的話，它的IP也具有擴(kuò)展性，它可以支持賽靈思小型的器件，也可以支持我們很大的器件。更重要的一點(diǎn)的是，它還提供了一個(gè)全棧的SDK，這個(gè)SDK你可以理解為它是一套工具鏈，這個(gè)工具鏈的輸入是客戶在GPU上訓(xùn)練好的浮點(diǎn)的模型，然后我們可以把這個(gè)模型進(jìn)行壓縮，同時(shí)的話，把這個(gè)浮點(diǎn)的模型進(jìn)行定點(diǎn)化，然后再進(jìn)行編譯，同時(shí)用他的API，然后可以快速地部署到我們（賽靈思）的平臺(tái)上面來(lái)，所以這是一個(gè)非常簡(jiǎn)單、應(yīng)用非常高效的工具鏈，可以大大地提高客戶把深度學(xué)習(xí)移植到ABJ上面的一個(gè)效率?！?/p>

根據(jù)賽靈思公布的數(shù)據(jù)顯示，賽靈思的嵌入的SoC借助于深鑒科技的庫(kù)跟工具鏈優(yōu)化之后，跟英偉達(dá)TX2的性能功耗對(duì)比，實(shí)現(xiàn)了平均5倍以上的提升。

羅霖表示：“這樣的對(duì)比結(jié)果，就是說(shuō)我們可以用一個(gè)相當(dāng)于英偉達(dá)TX2的1/5功耗的SOC，實(shí)現(xiàn)跟它同樣的性能，然后成本也大概只有它的1/5?！?/p>

對(duì)此，羅霖還例舉了與兩家國(guó)際著名的汽車(chē)OEM客戶合作的成功案例?！捌渲幸患宜麄兒茉敿?xì)地評(píng)估了我們的一些IP跟工具，尤其是深鑒的神經(jīng)網(wǎng)絡(luò)壓縮工具，大家可以看一下這個(gè)網(wǎng)絡(luò)。比如YOLOV2，它原來(lái)的計(jì)算量是198G ops，精度可以達(dá)到80.4，然后經(jīng)過(guò)壓縮過(guò)后，我們把模型壓縮到原來(lái)的7%，然后精度的損失只有1.2%，就是說(shuō)在損失很小精度的情況下，我們大大地降低了計(jì)算量。所以他們非常地滿意。”

另外一家汽車(chē)廠商要用一個(gè)Link器件同時(shí)做12路視頻的檢測(cè)，賽靈思用自己的方案結(jié)合深鑒科技的壓縮算法也幫他們做了演示，實(shí)現(xiàn)12路30fps顯示，以及對(duì)于包括有車(chē)、行人跟自行車(chē)的檢測(cè)的效果，客戶對(duì)于結(jié)果也是非常地滿意。

從羅霖當(dāng)天的介紹來(lái)看，賽靈思收購(gòu)深鑒科技之后，將會(huì)將深鑒科技的DPU IP與賽靈思的系統(tǒng)級(jí)的開(kāi)發(fā)工具SoC進(jìn)行一個(gè)深度的集成。

大家可以看一下這張示意圖。最下面是硬件平臺(tái)，包括有它的IP，上面運(yùn)行Linux，這中間的話是賽靈思提供的API，包括平臺(tái)性的API，主要是跟下面的硬件跟操作系統(tǒng)打交道；這上面的話，是應(yīng)用級(jí)的API，用戶在開(kāi)發(fā)深度學(xué)習(xí)應(yīng)用的時(shí)候，只需要通過(guò)C或者C++去調(diào)用用戶級(jí)的API就行了，這樣的話，用戶完成這個(gè)開(kāi)發(fā)過(guò)后，一編譯，就可以生成在賽靈思的板子上可以跑的一個(gè)設(shè)計(jì)。

羅霖表示：“在深度學(xué)習(xí)方面，其實(shí)賽靈思在這方面確實(shí)已經(jīng)有一定的積累了，我們內(nèi)部也有團(tuán)隊(duì)在開(kāi)發(fā)這方面的東西。深鑒科技它們也積累很長(zhǎng)時(shí)間?？赡苡行〇|西原理上差不多，但是大家是各有千秋的，未來(lái)我們可能會(huì)把這兩方面的優(yōu)點(diǎn)結(jié)合在一起。關(guān)鍵是提高易用性，讓客戶用起來(lái)更容易，開(kāi)發(fā)效率更高?！?/p>

值得注意的是，今年6月份，深鑒科技正式宣布進(jìn)軍自動(dòng)駕駛市場(chǎng)，深鑒科技CEO姚頌當(dāng)時(shí)稱，深鑒自主研發(fā)的ADAS輔助駕駛系統(tǒng)（Advanced Driver Assistance Systems）——DPhiAuto，目前已獲得日本與歐洲一線車(chē)企廠商和汽車(chē)產(chǎn)業(yè)鏈一級(jí)制造供應(yīng)商（Tier 1）的訂單，即將實(shí)現(xiàn)量產(chǎn)。

根據(jù)官方介紹，深鑒科技基于FPGA的車(chē)載深度學(xué)習(xí)處理器平臺(tái)DPhiAuto，是面向高級(jí)輔助駕駛和自動(dòng)駕駛的嵌入式AI計(jì)算平臺(tái)， 可為高級(jí)輔助駕駛系統(tǒng)提供車(chē)輛檢測(cè)、行人檢測(cè)、車(chē)道線檢測(cè)、語(yǔ)義分割、交通標(biāo)志識(shí)別、可行駛區(qū)域檢測(cè)等深度學(xué)習(xí)算法功能，是一套針對(duì)計(jì)算機(jī)視覺(jué)環(huán)境感知的軟硬件協(xié)同產(chǎn)品。

那么在ADAS/自動(dòng)駕駛領(lǐng)域，賽靈思在收購(gòu)深鑒科技之后，雙方的產(chǎn)品線將會(huì)做出怎樣的調(diào)整呢？

“從深鑒科技變成賽靈思的一部分之后，我們會(huì)做很多融合的動(dòng)作，它們是我們的一部分。所以在整個(gè)產(chǎn)品規(guī)劃說(shuō)，我們會(huì)做一個(gè)整體規(guī)劃?！辈贿^(guò)，對(duì)于具體的產(chǎn)品規(guī)劃，賽靈思大中華區(qū)銷(xiāo)售副總裁唐曉蕾并未透露，只表示：“整體的roadmap現(xiàn)在都在規(guī)劃的階段，所以暫時(shí)我們不能透露出來(lái)?！?/p>

“賽靈思面向ADAS/自動(dòng)駕駛、機(jī)器學(xué)習(xí)方面做了很多的研發(fā)的，做了很多優(yōu)化，可實(shí)現(xiàn)時(shí)延，功耗、成本、靈活性、拓展性跟上市時(shí)間的一個(gè)最佳的平衡。同時(shí)，為了降低嵌入視覺(jué)深度學(xué)習(xí)的開(kāi)發(fā)難度，我們提供各種軟件定義的編程的工具、庫(kù)跟框架，幫助客戶提高開(kāi)發(fā)的效率。最后，我們將會(huì)與大中華區(qū)的ADAS/自動(dòng)駕駛的合作伙伴緊密合作，提供TurnKeysolution給我們最終的客戶?！绷_霖最后總結(jié)道。