[首發(fā)于智駕最前沿微信公眾號(hào)]目前的自動(dòng)駕駛技術(shù)正處于一個(gè)關(guān)鍵的十字路口，新技術(shù)層出不窮。雖然現(xiàn)有的視覺(jué)感知和規(guī)劃算法已經(jīng)能夠處理大部分常規(guī)路況，但在面對(duì)復(fù)雜的人類社交行為和從未見(jiàn)過(guò)的突發(fā)狀況時(shí)，傳統(tǒng)系統(tǒng)依舊會(huì)表現(xiàn)得過(guò)于死板。為了解決這些難題，有技術(shù)方案嘗試將大語(yǔ)言模型的理解能力與自動(dòng)駕駛的控制邏輯結(jié)合起來(lái)，這便誕生了VLA模型，即“視覺(jué)-語(yǔ)言-動(dòng)作”模型。

為什么自動(dòng)駕駛需要一顆懂語(yǔ)言的大腦？

在過(guò)去很長(zhǎng)一段時(shí)間里，自動(dòng)駕駛系統(tǒng)的邏輯更像是查字典。攝像頭和雷達(dá)捕捉到畫(huà)面，算法識(shí)別出障礙物，然后根據(jù)預(yù)設(shè)的代碼尋找對(duì)應(yīng)的操作。比如看到紅燈就停，看到前車減速就跟著減速。這種方式在規(guī)則明確的環(huán)境下表現(xiàn)優(yōu)異，可一旦進(jìn)入邊緣場(chǎng)景中，它就顯得捉襟見(jiàn)肘。當(dāng)路邊有個(gè)交警揮手讓繞行，或者遇到一輛逆行的自行車，傳統(tǒng)系統(tǒng)可能因?yàn)闆](méi)有匹配到完全一致的預(yù)設(shè)案例，而選擇原地停車甚至報(bào)錯(cuò)。

VLA模型的出現(xiàn)改變了這種單向的邏輯。它引入了語(yǔ)言作為思考的中介。這里的語(yǔ)言不僅僅是用來(lái)和乘客對(duì)話的，它更像是一種通用的邏輯框架。大語(yǔ)言模型在訓(xùn)練過(guò)程中吸收了整個(gè)人類文明積累的常識(shí)和推理能力，這使得它不僅能識(shí)別出交警，還能理解交警的手勢(shì)代表著一種指揮。這種對(duì)場(chǎng)景深度語(yǔ)義的理解，是單純的視覺(jué)算法很難具備的，它為自動(dòng)駕駛補(bǔ)齊了最重要的一塊短板，即對(duì)物理世界常識(shí)的掌握。

這種模型打破了感知與控制之間的壁壘。以往，車上的傳感器負(fù)責(zé)看，而駕駛算法負(fù)責(zé)開(kāi)，兩者之間隔著復(fù)雜的參數(shù)轉(zhuǎn)換。但在VLA模型中，視覺(jué)信息被轉(zhuǎn)化成了一種模型能讀懂的特征向量，并與語(yǔ)言指令交織在一起。這意味著汽車在做出轉(zhuǎn)彎或剎車決定時(shí)，不再僅是因?yàn)榭吹搅四承┫袼攸c(diǎn)的變化，而是因?yàn)樗斫饬水?dāng)前的交通邏輯。這種跨維度的融合，讓自動(dòng)駕駛系統(tǒng)從一個(gè)只會(huì)執(zhí)行指令的工具，進(jìn)化成了一個(gè)擁有基礎(chǔ)判斷力的智能體。

視覺(jué)、語(yǔ)言與動(dòng)作是如何實(shí)時(shí)互動(dòng)的？

要理解VLA的原理，可以把它想象成一個(gè)極速運(yùn)轉(zhuǎn)的翻譯機(jī)。它的輸入端非常豐富，包含了攝像頭采集的高清圖像、激光雷達(dá)生成的點(diǎn)云數(shù)據(jù)，甚至是導(dǎo)航地圖里的路名和交規(guī)限制。這些原本形態(tài)各異的數(shù)據(jù)，會(huì)被轉(zhuǎn)化為一種統(tǒng)一的數(shù)字語(yǔ)言，輸入到大模型的中心處理器中。與此同時(shí)，人類的駕駛意圖也會(huì)作為一種引導(dǎo)信號(hào)加入其中，讓模型知道接下來(lái)的目標(biāo)是什么。

在這個(gè)中心處理器里，視覺(jué)數(shù)據(jù)和語(yǔ)言知識(shí)會(huì)進(jìn)行深度的對(duì)齊。模型會(huì)自動(dòng)在海量的記憶中搜索，在類似的畫(huà)面下，人類的規(guī)則和常識(shí)會(huì)怎么做？這種搜索并不是簡(jiǎn)單的匹配，而是一種基于概率和邏輯的推理。比如當(dāng)視覺(jué)系統(tǒng)發(fā)現(xiàn)前方路面有大量的積水，而導(dǎo)航顯示這里是低洼地段，語(yǔ)言模型中的常識(shí)就會(huì)提示水深可能導(dǎo)致熄火或高速通過(guò)會(huì)產(chǎn)生水滑等。于是，模型會(huì)產(chǎn)生一個(gè)對(duì)應(yīng)的動(dòng)作決策。

最關(guān)鍵的一步是動(dòng)作的輸出。VLA模型不會(huì)直接給出一個(gè)模糊的建議，而是會(huì)把推理的結(jié)果轉(zhuǎn)化成汽車能聽(tīng)懂的控制指令，比如具體的轉(zhuǎn)向角度、剎車力度或者加速百分比。為了讓這些指令更加精準(zhǔn)，還會(huì)給模型喂入大量的專家駕駛數(shù)據(jù)，讓它學(xué)習(xí)老司機(jī)在面對(duì)復(fù)雜情況時(shí)的處理習(xí)慣。通過(guò)這種方式，視覺(jué)的捕捉、語(yǔ)言的思考和動(dòng)作的執(zhí)行會(huì)被緊密地鎖在一個(gè)循環(huán)里，實(shí)現(xiàn)了真正意義上的端到端控制。

這種新技術(shù)能解決哪些駕駛難題？

VLA模型最大的優(yōu)勢(shì)在于能處理那些極其罕見(jiàn)的特例場(chǎng)景。在自動(dòng)駕駛領(lǐng)域，這些被稱為長(zhǎng)尾場(chǎng)景，比如路面突然掉落的異形貨物、正在追逐打鬧的小狗或者是正在施工且沒(méi)有標(biāo)準(zhǔn)標(biāo)識(shí)的臨時(shí)路段等都屬于這類場(chǎng)景。傳統(tǒng)的系統(tǒng)很難覆蓋所有的突發(fā)情況，而VLA則可以憑借其強(qiáng)大的泛化能力，利用已有的常識(shí)進(jìn)行推斷。即使它從來(lái)沒(méi)見(jiàn)過(guò)掉落的浴缸，它也能通過(guò)視覺(jué)識(shí)別出這是一個(gè)不可逾越的固體，并結(jié)合安全邏輯選擇最穩(wěn)妥的繞行路徑。

除了處理突發(fā)狀況，VLA還賦予了汽車更強(qiáng)的人機(jī)交互和解釋能力?，F(xiàn)在的端到端自動(dòng)駕駛像個(gè)黑盒，乘客不知道它為什么突然急剎，也不知道它為什么要換道。但基于VLA系統(tǒng)的車輛可以實(shí)時(shí)將駕駛邏輯轉(zhuǎn)化為自然的語(yǔ)言。它能告訴乘客前方路口有行人視線盲區(qū)，我正在減速觀察，或者左側(cè)車輛變道意圖明顯，我選擇了避讓。這種透明度不僅能緩解乘客的焦慮，也讓整個(gè)駕駛過(guò)程變得更加符合人類的社交習(xí)慣。

此外，這種模型還支持更加復(fù)雜的語(yǔ)音指令。你不需要再通過(guò)固定的菜單去設(shè)置導(dǎo)航，甚至可以給它一些模糊的指令，比如在不違規(guī)的前提下盡量開(kāi)得快一點(diǎn)或者找一個(gè)風(fēng)景好且方便靠邊停的地方。VLA能夠理解這些充滿主觀色彩的詞匯，并將其轉(zhuǎn)化為具體的駕駛行為。它能根據(jù)路況的復(fù)雜程度和道路的限速信息，在安全和效率之間找到一個(gè)平衡點(diǎn)。這種對(duì)復(fù)雜意圖的精準(zhǔn)執(zhí)行，是傳統(tǒng)算法難以企及的。

走向大規(guī)模應(yīng)用還需要跨越哪些門檻？

雖然VLA前景廣闊，但要把這種龐大的模型塞進(jìn)量產(chǎn)車?yán)?，依然面臨著巨大的挑戰(zhàn)。計(jì)算效率的問(wèn)題是不可避免的，大模型需要海量的算力支持，而車載芯片的資源是有限的。如果模型處理一幀畫(huà)面的時(shí)間太長(zhǎng)，就會(huì)導(dǎo)致駕駛指令的延遲，這在高速行駛中是非常危險(xiǎn)的。因此，如何對(duì)VLA模型進(jìn)行瘦身和加速，在不犧牲智能的前提下提高運(yùn)行速度，是目前行業(yè)攻關(guān)的核心方向。

還有就是安全性的邊界問(wèn)題，大語(yǔ)言模型有時(shí)會(huì)產(chǎn)生幻覺(jué)，即說(shuō)出一些邏輯不通或者脫離現(xiàn)實(shí)的話。如果這種現(xiàn)象發(fā)生在駕駛控制上，后果將不堪設(shè)想。因此，在VLA模型的輸出端，必須加上一套堅(jiān)固的安全護(hù)欄。這套護(hù)欄通常由基礎(chǔ)的物理定律和嚴(yán)苛的交通規(guī)則組成，無(wú)論大模型的決策多么智能，只要觸碰了安全紅線，系統(tǒng)就會(huì)強(qiáng)行介入并進(jìn)行修正。

數(shù)據(jù)的質(zhì)量和多樣性也決定了VLA模型的天花板。要讓汽車真正像人一樣思考，就需要給它喂入更高質(zhì)量的、帶有詳細(xì)語(yǔ)言標(biāo)注的駕駛數(shù)據(jù)。這不僅要包括汽車跑出來(lái)的軌跡，還要包括人類在開(kāi)車時(shí)當(dāng)下的心理活動(dòng)和判斷邏輯。隨著數(shù)據(jù)規(guī)模的不斷擴(kuò)大和訓(xùn)練方法的持續(xù)演進(jìn)，VLA模型將會(huì)變得越來(lái)越成熟。它不再只是一個(gè)輔助工具，而是會(huì)逐漸演變成一個(gè)真正理解物理世界、能夠獨(dú)立應(yīng)對(duì)復(fù)雜環(huán)境的數(shù)字化老司機(jī)，徹底改變我們的出行方式。