智能雙目立體視覺(jué)系統(tǒng)

據(jù)麥姆斯咨詢(xún)報(bào)道，物聯(lián)網(wǎng)及雙目視覺(jué)專(zhuān)家江蘇鉅芯集成電路技術(shù)股份有限公司，近日在2017年香港秋季電子展發(fā)布了一款智能雙目立體視覺(jué)系統(tǒng)，以及業(yè)內(nèi)首顆智能雙目立體視覺(jué)芯片eagleye100。該系統(tǒng)具有全球最小的基線(xiàn)長(zhǎng)度（Baseline，雙目的目距），僅為8cm，其實(shí)時(shí)高精度的探測(cè)距離達(dá)到100m，深度分辨率最高可達(dá)720P，高速深度計(jì)算的輸出延時(shí)小于3ms，是一款小尺寸、遠(yuǎn)距離、高精度的實(shí)時(shí)智能雙目立體視覺(jué)系統(tǒng)。目前的主要目標(biāo)應(yīng)用包括：ADAS（先進(jìn)駕駛輔助系統(tǒng)）和自動(dòng)駕駛、無(wú)人機(jī)、工業(yè)自動(dòng)化、AR（增強(qiáng)現(xiàn)實(shí)）/VR（虛擬現(xiàn)實(shí)）、倉(cāng)儲(chǔ)機(jī)器人、掃地機(jī)器人、園藝機(jī)器人等各類(lèi)智能機(jī)器人等。

鉅芯智能雙目立體視覺(jué)芯片eagleye100

香港秋季電子展的鉅芯展位圍滿(mǎn)了咨詢(xún)雙目立體視覺(jué)技術(shù)的人群

“鉅芯的雙目技術(shù)領(lǐng)先整個(gè)產(chǎn)業(yè)一代，我們專(zhuān)注于將FPGA（現(xiàn)場(chǎng)可編程門(mén)陣列）和外圍電路集成為專(zhuān)用雙目視覺(jué)芯片eagleye100，大大降低了成本，提高了集成度和可靠性，”江蘇鉅芯集成電路技術(shù)股份有限公司董事長(zhǎng)兼總經(jīng)理黃保黔介紹道，“系統(tǒng)最大100m的高精度實(shí)時(shí)探測(cè)距離，已經(jīng)比肩或超過(guò)國(guó)際市場(chǎng)上的主要領(lǐng)導(dǎo)廠(chǎng)商，國(guó)內(nèi)友商的最大探測(cè)距離一般為50～80m。對(duì)于一輛以80km/h行駛的車(chē)輛來(lái)說(shuō)，20m的探測(cè)距離優(yōu)勢(shì)，就能為司機(jī)和ADAS系統(tǒng)帶來(lái)約1秒的反應(yīng)時(shí)間，有效提高道路交通的安全性。”

鉅芯智能雙目立體視覺(jué)系統(tǒng)與市場(chǎng)主流廠(chǎng)商的參數(shù)對(duì)比

雙目視覺(jué)將成為未來(lái)機(jī)器視覺(jué)技術(shù)的風(fēng)向標(biāo)

無(wú)論是汽車(chē)、無(wú)人機(jī)、機(jī)器人還是AR/VR等智能移動(dòng)機(jī)械或設(shè)備，要實(shí)現(xiàn)自主運(yùn)行和導(dǎo)航，首先要解決的便是感知周?chē)沫h(huán)境，尤其是3D深度信息，實(shí)現(xiàn)即時(shí)定位和地圖構(gòu)建（SLAM）。因此，SLAM是實(shí)現(xiàn)智能機(jī)械自主運(yùn)行、壁障和路徑規(guī)劃的基礎(chǔ)。目前主流的SLAM方案主要包括，激光雷達(dá)（LiDAR）和視覺(jué)類(lèi)，而視覺(jué)類(lèi)又可分為單目視覺(jué)和雙目（多目）視覺(jué)方案。激光雷達(dá)的優(yōu)點(diǎn)是測(cè)量距離遠(yuǎn)、精度高、速度快，但其最大的缺點(diǎn)是目前的成本太高昂，另外，其體積和重量較大，對(duì)物體的識(shí)別率較差。低成本的微型固態(tài)激光雷達(dá)目前還沒(méi)有大規(guī)模量產(chǎn)。

視覺(jué)類(lèi)SLAM主要包括單目和雙目?jī)煞N方案，兩者的共同特點(diǎn)，是通過(guò)攝像頭采集圖像數(shù)據(jù)，然后利用圖像數(shù)據(jù)得到距離信息。但是，單目方案的測(cè)距原理，是先通過(guò)圖像與樣本數(shù)據(jù)匹配進(jìn)行目標(biāo)識(shí)別，再通過(guò)目標(biāo)在圖像中的大小去估算目標(biāo)距離。因此，單目方案需要建立并不斷維護(hù)一個(gè)龐大的樣本特征數(shù)據(jù)庫(kù)，不斷進(jìn)行機(jī)器學(xué)習(xí)和訓(xùn)練，以保證首先對(duì)目標(biāo)進(jìn)行準(zhǔn)確識(shí)別，對(duì)不規(guī)則物體或缺乏樣本數(shù)據(jù)的物體，單目方案就無(wú)能為力了。

“相比于單目視覺(jué)，雙目視覺(jué)系統(tǒng)模擬了人眼及眾多生物的視覺(jué)處理方式，利用雙攝像頭從不同角度對(duì)同一目標(biāo)成像，從而獲取視差信息，利用三角測(cè)距原理，僅通過(guò)計(jì)算左右“兩眼”獲取的兩幅圖像對(duì)應(yīng)點(diǎn)間的位置偏差，就可以實(shí)時(shí)還原視覺(jué)場(chǎng)景中每一點(diǎn)的真實(shí)三維幾何信息，”黃總介紹道，“因此，雙目視覺(jué)方案沒(méi)有識(shí)別率的問(wèn)題，也無(wú)需建立和維護(hù)龐大的樣本庫(kù)，分辨率和精度也更高。”

雙目視覺(jué)有望在自動(dòng)駕駛領(lǐng)域彎道超車(chē)

2016 年以前，基本上所有的高端車(chē)型都配備了 Mobileye（今年3月被英特爾以153億美元收購(gòu)）的單目視覺(jué)系統(tǒng)，比如沃爾沃、奔馳、寶馬等。但近幾年，包括2016款奔馳S級(jí)和E級(jí)、2016款寶馬7系、2017款寶馬5系、斯巴魯以及捷豹路虎的多款車(chē)型，都已經(jīng)從單目改成了雙目方案。此外，在搭載Mobileye單目ADAS系統(tǒng)的特斯拉Model S發(fā)生事故之后，特斯拉也選擇放棄了與Mobileye的合作，轉(zhuǎn)而采用了雙目或多目ADAS方案。

同時(shí)，近年各國(guó)政府對(duì)于汽車(chē)主動(dòng)安全功能的重視程度不斷提升，這也為雙目ADAS方案供應(yīng)商帶來(lái)了極大利好。

不同國(guó)家/地區(qū)的車(chē)用主動(dòng)安全功能的啟用時(shí)間

在歐美日相繼將主動(dòng)安全功能加入新車(chē)安全評(píng)價(jià)標(biāo)準(zhǔn)后，中國(guó)新車(chē)評(píng)價(jià)規(guī)程（C-NCAP）也宣布將在2018年把車(chē)道偏離預(yù)警、碰撞預(yù)警和AEB（自動(dòng)緊急制動(dòng)）等功能列為加分項(xiàng)，并在2020年將這些指標(biāo)列為重要評(píng)測(cè)項(xiàng)。屆時(shí)沒(méi)有這些功能的新車(chē)C-NCAP得分將會(huì)較現(xiàn)在大幅下降。

鉅芯智能雙目視覺(jué)ADAS道路測(cè)試

鉅芯雙目視覺(jué)深度圖與現(xiàn)場(chǎng)實(shí)景圖對(duì)比

對(duì)象監(jiān)測(cè)跟蹤

鉅芯智能雙目視覺(jué)系統(tǒng)，能夠?qū)崟r(shí)監(jiān)測(cè)并跟蹤汽車(chē)、行人、自行車(chē)以及各種異形車(chē)輛，實(shí)時(shí)精確探測(cè)汽車(chē)與目標(biāo)之間的距離，并計(jì)算可能的碰撞時(shí)間，實(shí)現(xiàn)車(chē)輛的AEB、ACC、LDW、TSR等先進(jìn)的駕駛輔助功能。

對(duì)象監(jiān)測(cè)跟蹤

可行駛區(qū)域監(jiān)測(cè)

可行駛區(qū)域檢測(cè)是ADAS及自動(dòng)駕駛領(lǐng)域中的下一代功能。目前全球所有該功能的演示都是簡(jiǎn)單的高速場(chǎng)景，都還無(wú)法做到復(fù)雜場(chǎng)景下準(zhǔn)確的全范圍可行駛區(qū)域檢測(cè)。鉅芯智能雙目視覺(jué)系統(tǒng)在復(fù)雜場(chǎng)景下具備明顯優(yōu)勢(shì)，能夠結(jié)合場(chǎng)景理解和像素級(jí)深度，實(shí)時(shí)檢測(cè)全類(lèi)別的障礙物，輸出車(chē)輛當(dāng)前的可行駛區(qū)域，實(shí)現(xiàn)全范圍AEB。

車(chē)道分隔物監(jiān)測(cè)

可行駛區(qū)域監(jiān)測(cè)

高精度地圖生成

鉅芯智能雙目視覺(jué)系統(tǒng)能夠自動(dòng)檢測(cè)并識(shí)別車(chē)道線(xiàn)、柵欄、路肩、交通標(biāo)志的空間位置及尺寸，自動(dòng)移除車(chē)輛、行人等道路動(dòng)態(tài)對(duì)象，生成厘米級(jí)高精度矢量地圖（車(chē)道寬度10cm內(nèi)誤差）。

高精度地圖生成

雙目視覺(jué)逐漸成為無(wú)人機(jī)標(biāo)配

一直以來(lái)，無(wú)人機(jī)的距離感知和智能壁障都是很大的難題。之前的無(wú)人機(jī)大多采用超聲波雷達(dá)、紅外探測(cè)等方式來(lái)實(shí)現(xiàn)障礙物探測(cè)和距離感知，但是這些方案往往功耗較大，而無(wú)人機(jī)對(duì)重量和續(xù)航又比較敏感，因此很難進(jìn)行長(zhǎng)距離的探測(cè)。而雙目視覺(jué)系統(tǒng)的原理優(yōu)勢(shì)，令其在光線(xiàn)良好的情況下，具有比上述方案更廣闊的距離探測(cè)能力，以及更直觀的成像，能夠提供更智能的飛行操作。因此，大疆、昊翔、零度、極飛、博瑞空間以及飛馬等無(wú)人機(jī)主流廠(chǎng)商都在近期相繼推出了基于雙目視覺(jué)系統(tǒng)的產(chǎn)品。

鉅芯智能雙目視覺(jué)系統(tǒng)在無(wú)人機(jī)應(yīng)用中，能夠通過(guò)實(shí)時(shí)高速計(jì)算，提供基于深度視覺(jué)的自身位置和姿態(tài)計(jì)算，實(shí)現(xiàn)精準(zhǔn)的懸停和定高飛行；還能夠探測(cè)無(wú)人機(jī)周?chē)膭?dòng)態(tài)及靜態(tài)障礙物，包括電線(xiàn)、樹(shù)枝等細(xì)小的障礙物，提供實(shí)時(shí)的可飛行區(qū)域探測(cè)，實(shí)現(xiàn)無(wú)人機(jī)SLAM和自動(dòng)壁障功能。

鉅芯雙目視覺(jué)系統(tǒng)無(wú)人機(jī)應(yīng)用主要參數(shù)（可根據(jù)需求定制）

敬請(qǐng)期待下篇：“鉅芯智能雙目視覺(jué)芯片在無(wú)人機(jī)中的應(yīng)用”。

關(guān)于鉅芯

江蘇鉅芯集成電路技術(shù)股份有限公司是一家科技創(chuàng)新型的半導(dǎo)體集成電路設(shè)計(jì)公司，是一個(gè)年輕、有活力、又擁有成熟技術(shù)沉淀的優(yōu)秀團(tuán)隊(duì)。公司核心骨干來(lái)自歐美著名廠(chǎng)商，包括芯片設(shè)計(jì)、芯片制造企業(yè)的技術(shù)精英。公司始創(chuàng)于2006年，先后在無(wú)錫和上海形成兩個(gè)研發(fā)中心，在深圳形成了較為成熟的市場(chǎng)體系。通過(guò)幾年的技術(shù)整合和技術(shù)積累，鉅芯已完成了幾大領(lǐng)域的芯片設(shè)計(jì)與研發(fā)，目前致力于雙目視覺(jué)芯片、多媒體處理芯片、MCU微控制芯片、RF射頻芯片、電源驅(qū)動(dòng)芯片的設(shè)計(jì)與開(kāi)發(fā)以及系統(tǒng)集成與系統(tǒng)平臺(tái)的建設(shè)與開(kāi)發(fā)。