綠色立體盒是對(duì)地面真實(shí)汽車(chē)的探測(cè)。黃色為激光雷達(dá)顯示點(diǎn)云。粉色點(diǎn)云由獨(dú)立訓(xùn)練的深度估算器生成，位于綠盒之外，因此非常不準(zhǔn)確。通過(guò)端到端的深度估算和三維目標(biāo)物體檢測(cè)，得到了更準(zhǔn)確的藍(lán)色點(diǎn)云。（圖片來(lái)源：論文《用于基于圖像的3D目標(biāo)物體檢測(cè)的端到端“虛擬激光雷達(dá)”》）

據(jù)麥姆斯咨詢(xún)報(bào)道，特斯拉創(chuàng)始人埃隆·馬斯克（Elon Musk）反對(duì)自動(dòng)駕駛車(chē)輛采用激光雷達(dá)（LiDAR）的態(tài)度眾所周知，他認(rèn)為依賴(lài)激光雷達(dá)就像行走依賴(lài)拐杖一樣，因此他從未打算在特斯拉中使用激光雷達(dá)。然而目前這個(gè)觀點(diǎn)仍具有爭(zhēng)議性，未來(lái)表現(xiàn)如何還有待歷史來(lái)評(píng)判。

特斯拉現(xiàn)在推崇一種稱(chēng)為“虛擬激光雷達(dá)”或“偽激光雷達(dá)”（pseudo-LiDAR）的技術(shù)。該技術(shù)涉及到構(gòu)建工具來(lái)進(jìn)行攝像頭圖像采集（三維立體或二維）并計(jì)算出圖像中每個(gè)像素的距離信息。激光雷達(dá)則是通過(guò)計(jì)算光脈沖抵達(dá)目標(biāo)物體并返回所需的時(shí)間來(lái)確定與每個(gè)像素之間的距離。

在今年2月份的Scaled Machine Learning大會(huì)上，特斯拉就分享了如何僅用幾個(gè)攝像頭獲得傳統(tǒng)激光雷達(dá)精度的技術(shù)。通過(guò)將視覺(jué)傳感器（攝像頭）收到的視覺(jué)信息進(jìn)行3D渲染、用人工智能（AI）軟件將車(chē)道線(xiàn)、交通、行人等信息與進(jìn)行匹配，最終使車(chē)輛作出決策。目前，特斯拉將計(jì)算機(jī)視覺(jué)提升到了前所未有的水平，不僅能夠分析圖像，而且還能夠分析圖像中的單個(gè)像素。隨著時(shí)間推移，這樣做也許能夠復(fù)制傳統(tǒng)激光雷達(dá)的大部分功能，這意味著可以利用已經(jīng)為激光雷達(dá)處理開(kāi)發(fā)的所有軟件解決方案，或?qū)⑦M(jìn)一步提高特斯拉在3D物體探測(cè)方面的技術(shù)水平。

另一方面，人類(lèi)可以通過(guò)大腦來(lái)估算距離。我們知道目標(biāo)物體有多大，知道它們是如何移動(dòng)的，因此我們知道距離它們有多遠(yuǎn)。同時(shí)，人類(lèi)還擁有一些“天賦”，如人眼的立體視覺(jué)特性，但只適用于中等距離。還有一個(gè)天賦是“運(yùn)動(dòng)視差”，視線(xiàn)在視野中橫向移動(dòng)時(shí)見(jiàn)到的物體的運(yùn)動(dòng)方向和速度具有差異性，這也為我們提供了判斷遠(yuǎn)近的信息。

這么看來(lái)，人的大腦就可以完全勝任這項(xiàng)任務(wù)了，事實(shí)上，開(kāi)車(chē)時(shí)閉上一只眼睛也能夠估算距離。目前，人們正在嘗試通過(guò)神經(jīng)網(wǎng)絡(luò)來(lái)構(gòu)建機(jī)器學(xué)習(xí)技術(shù)，從而判斷與圖像之間的距離。這就是“虛擬激光雷達(dá)”技術(shù)。

最早提出“虛擬激光雷達(dá)”概念的，要追溯到2018年一篇來(lái)自康奈爾大學(xué)的技術(shù)論文，該論文提出了一種新方法來(lái)縮短純視覺(jué)技術(shù)架構(gòu)與激光雷達(dá)間的性能差距。

該論文通過(guò)改變立體攝像頭目標(biāo)檢測(cè)系統(tǒng)的3D信息呈現(xiàn)形式，將基于圖像的立體視覺(jué)數(shù)據(jù)轉(zhuǎn)換為類(lèi)似激光雷達(dá)生成的3D點(diǎn)云，通過(guò)數(shù)據(jù)轉(zhuǎn)換切換成最終的視圖格式。

在那之后的兩年，康奈爾大學(xué)等又陸續(xù)發(fā)表了基于該方法的視覺(jué)深度估計(jì)、目標(biāo)識(shí)別、3D Packing等論文。有研究者發(fā)現(xiàn)，采用其新方法之后，該攝像頭在目標(biāo)物體檢測(cè)方面的性能已接近激光雷達(dá)。以鳥(niǎo)瞰圖來(lái)分析攝像頭捕捉到的圖像，可以將目標(biāo)檢測(cè)準(zhǔn)確率提升2倍，從而使立體攝像頭成為激光雷達(dá)的可行替代方案，且其成本要低很多。

訓(xùn)練“虛擬激光雷達(dá)”并不是非常困難的，但通常，訓(xùn)練需要提供足夠多的標(biāo)記圖像。一輛測(cè)試車(chē)上可能裝有昂貴的激光雷達(dá)，因此可以開(kāi)車(chē)四處獲取與激光雷達(dá)“地面真實(shí)”距離數(shù)據(jù)相結(jié)合的訓(xùn)練數(shù)據(jù)。通過(guò)激光雷達(dá)計(jì)算出的真實(shí)距離來(lái)顯示神經(jīng)網(wǎng)絡(luò)中的大量圖像，這樣它就能很好地自行計(jì)算出距離。這種技術(shù)是“無(wú)監(jiān)督學(xué)習(xí)”的變體，因?yàn)椴恍枰崆皩?duì)數(shù)據(jù)進(jìn)行人工標(biāo)記，比監(jiān)督學(xué)習(xí)成本低很多，因此，如果神經(jīng)網(wǎng)絡(luò)發(fā)展得好，那就應(yīng)該是這樣的。同時(shí)，還可以訓(xùn)練模擬器數(shù)據(jù)來(lái)改善模型。

另一種有效的訓(xùn)練方法是依賴(lài)于現(xiàn)實(shí)世界中以可預(yù)測(cè)的方式改變距離的物體。例如，當(dāng)你看到物體沿著物理學(xué)允許的路徑移動(dòng)時(shí)，你的估算很可能是正確的。但是，如果你看到物體以不可能的運(yùn)動(dòng)方式在某個(gè)空間移動(dòng)，你就知道那是錯(cuò)誤的。

神經(jīng)網(wǎng)絡(luò)的問(wèn)題在于傾向于看單幀圖像，而不是像人類(lèi)那樣看運(yùn)動(dòng)圖像。實(shí)際上，單看靜止圖像，人類(lèi)會(huì)出現(xiàn)較多錯(cuò)誤。相信隨著時(shí)間的推移，機(jī)器學(xué)習(xí)技術(shù)會(huì)克服這一點(diǎn)。問(wèn)題是，我們必須獲得高可靠性才能脫穎而出。同時(shí)還需要具有對(duì)從未見(jiàn)過(guò)的事物進(jìn)行處理的能力，而這個(gè)能力對(duì)于神經(jīng)網(wǎng)絡(luò)技術(shù)來(lái)說(shuō)將是巨大的挑戰(zhàn)。例如，你在開(kāi)車(chē)，前方道路上有一物體，你需要盡可能快速并準(zhǔn)確地知道它離你有多遠(yuǎn)。如果該物體是汽車(chē)，你已知汽車(chē)的大小，所以能很快判斷它的距離。同理，一輛汽車(chē)如果發(fā)生側(cè)翻，但是訓(xùn)練數(shù)據(jù)庫(kù)可能從未遇到過(guò)此類(lèi)事件。對(duì)于某一隨機(jī)物體，你想知道是遠(yuǎn)處的大型物體的還是附近的小型物體？唯一的方法就是看它與道路幾何形狀的關(guān)系。這個(gè)情況更復(fù)雜。

如果可以解決以上問(wèn)題，那么他們一定擁有一款可以捕獲攝像頭圖像，并且也能夠生成激光雷達(dá)生成的“3D點(diǎn)云”的工具，而且由于攝像頭價(jià)格便宜，因此它的成本要低得多。同時(shí)，在遠(yuǎn)距離范圍內(nèi)，該工具也能夠做到這一點(diǎn)。通常激光雷達(dá)的探測(cè)距離只有約120 m，好一點(diǎn)的大概能到240 m。眾所周知，人類(lèi)肉眼看到的距離能夠達(dá)到1600 m。

然而諷刺的是，致力于激光雷達(dá)技術(shù)的開(kāi)發(fā)人員已經(jīng)建立了依賴(lài)于這些點(diǎn)云的系統(tǒng)，并花費(fèi)了大量時(shí)間對(duì)其進(jìn)行完善。如果“虛擬激光雷達(dá)”系統(tǒng)可用于生成高質(zhì)量點(diǎn)云，則人們可以立即使用它。那些一直希望使用“虛擬激光雷達(dá)”技術(shù)的人在使用這種形式的數(shù)據(jù)方面沒(méi)有類(lèi)似的經(jīng)驗(yàn)。相反，他們還計(jì)劃將視覺(jué)系統(tǒng)的其它元素（將圖像分為不同的對(duì)象，并對(duì)它們進(jìn)行分類(lèi)）與距離估算結(jié)合在一起。但是目前來(lái)說(shuō)，他們可能還沒(méi)有足夠的能力來(lái)實(shí)現(xiàn)他們期待的突破。

另一方面，使用激光雷達(dá)的公司會(huì)說(shuō)“太好了，終于可以用便宜的技術(shù)代替昂貴的激光雷達(dá)了?！钡牵绻菬嶂杂诩す饫走_(dá)的廠商（如福特、Cruise、Waymo和Aurora），他們可能會(huì)覺(jué)得浪費(fèi)了一大筆錢(qián)。

很明顯的一點(diǎn)是，你需要了解到道路上所有物體的距離，并且必須正確且快速地完成距離估算。新聞已多次報(bào)道特斯拉自動(dòng)駕駛汽車(chē)撞向卡車(chē)、防護(hù)欄以及前方車(chē)道上的熄火車(chē)輛，因?yàn)檫@些車(chē)輛被一輛突然駛離的汽車(chē)擋住了。當(dāng)?shù)缆飞系恼系K物突然被車(chē)上的傳感器感應(yīng)到時(shí)，你需要知道它距離你有多遠(yuǎn)，并且數(shù)據(jù)具有高可靠性，這樣你就可以啟動(dòng)緊急制動(dòng)。激光雷達(dá)幾乎都是這樣運(yùn)行的，但計(jì)算機(jī)視覺(jué)卻不行。“虛擬激光雷達(dá)”技術(shù)是解決該問(wèn)題的關(guān)鍵。但目前，大多數(shù)公司還是計(jì)劃使用激光雷達(dá)來(lái)解決此問(wèn)題，他們知道激光雷達(dá)是有效的，而且他們希望看到它變得越來(lái)越便宜。

當(dāng)然，如果特斯拉可以?xún)?nèi)部解決此問(wèn)題，就不會(huì)與其他人分享了（盡管公開(kāi)演示可能會(huì)引發(fā)其他公司開(kāi)發(fā)同樣的技術(shù)）。目前特斯拉的感知研發(fā)團(tuán)隊(duì)也在嘗試開(kāi)發(fā)一種工具使距離估算與圖像分類(lèi)進(jìn)行匹配，而不是生成激光雷達(dá)樣式的點(diǎn)云。這項(xiàng)技術(shù)并不是“虛擬激光雷達(dá)”，但如果可靠性高，將同樣有效。