[首發(fā)于智駕最前沿微信公眾號(hào)]對于自動(dòng)駕駛大模型的訓(xùn)練，不知道是否有人感覺，訓(xùn)練的數(shù)據(jù)越多，模型就會(huì)越聰明。這個(gè)說法只能說在一定程度上是對的，但如果把這個(gè)結(jié)論簡單理解為無限堆訓(xùn)練數(shù)據(jù)就能讓模型越聰明，那只會(huì)偏離實(shí)際情況。

自動(dòng)駕駛大模型的訓(xùn)練數(shù)據(jù)，不能只單純看數(shù)量，而是要看數(shù)量、質(zhì)量、結(jié)構(gòu)等多個(gè)方面。

數(shù)據(jù)越多，模型真的就越強(qiáng)嗎？

在模型訓(xùn)練的早期階段，增加數(shù)據(jù)量確實(shí)會(huì)明顯提升性能。模型性能一般會(huì)隨著數(shù)據(jù)規(guī)模增長而持續(xù)改善，甚至呈現(xiàn)出規(guī)模定律。

簡單說，就是投入越多、數(shù)據(jù)越大、參數(shù)越多，模型就越聰明。

圖片源自：網(wǎng)絡(luò)

之所以出現(xiàn)這個(gè)現(xiàn)象，是因?yàn)樽詣?dòng)駕駛本質(zhì)是在學(xué)習(xí)駕駛經(jīng)驗(yàn)，數(shù)據(jù)越多，模型見過的道路情況就越豐富，對常見場景的理解也會(huì)更穩(wěn)定。像是常規(guī)的跟車、變道、紅綠燈識(shí)別等高頻場景只要數(shù)據(jù)量夠大，模型一般都能學(xué)得比較可靠。

但隨著訓(xùn)練數(shù)據(jù)的增加，這種提升是逐漸變緩的。當(dāng)數(shù)據(jù)規(guī)模達(dá)到一定程度之后，再增加同類型的數(shù)據(jù)，收益會(huì)明顯下降。換句話說，如果新增的數(shù)據(jù)只是重復(fù)已有場景，本質(zhì)上是在讓自動(dòng)駕駛大模型“刷題”，而不是學(xué)習(xí)新的能力。

為什么“多”不等于“有效”？

自動(dòng)駕駛數(shù)據(jù)有一個(gè)很典型的特征，就是分布極不均衡。絕大多數(shù)數(shù)據(jù)來自日常的正常駕駛，很多內(nèi)容都是與直行、跟車、停車相關(guān)，而真正決定安全性能的，恰恰是那些極少出現(xiàn)的特殊情況，也就是常說的長尾場景。

這些場景包括突發(fā)橫穿、異常行為車輛、復(fù)雜施工、極端天氣等，這類數(shù)據(jù)天然稀缺。即使采集了海量數(shù)據(jù)，絕大部分仍然是“普通樣本”，而關(guān)鍵的長尾樣本占比很低。

這就讓自動(dòng)駕駛大模型訓(xùn)練數(shù)據(jù)呈現(xiàn)出一個(gè)矛盾，那就是數(shù)據(jù)量在增加，但有效信息并沒有同步增加。

其實(shí)只要適當(dāng)增加少量長尾數(shù)據(jù)，就可能對模型在對應(yīng)邊緣場景下的表現(xiàn)帶來明顯提升，而盲目增加常規(guī)數(shù)據(jù)，大模型的能力提升其實(shí)很有限。

數(shù)據(jù)質(zhì)量，比數(shù)量更關(guān)鍵

如果說數(shù)據(jù)量決定了大模型“上限”，那么數(shù)據(jù)質(zhì)量決定的是其“底線”。

自動(dòng)駕駛訓(xùn)練數(shù)據(jù)對質(zhì)量的要求非常高，不只是清晰與否的問題，而是包括標(biāo)注準(zhǔn)確性、時(shí)間同步、多傳感器對齊等一整套細(xì)節(jié)。如果這些環(huán)節(jié)出現(xiàn)問題，模型學(xué)到的就不是正確的駕駛邏輯，而是帶偏差的經(jīng)驗(yàn)。

圖片源自：網(wǎng)絡(luò)

舉個(gè)簡單的例子，如果同一幀中，攝像頭和激光雷達(dá)的數(shù)據(jù)沒有對齊，那么模型看到的“位置關(guān)系”就是錯(cuò)的。這種錯(cuò)誤不會(huì)在訓(xùn)練時(shí)暴露，但會(huì)在真實(shí)道路中放大。

再說說標(biāo)注，如果目標(biāo)類別、位置或運(yùn)動(dòng)狀態(tài)標(biāo)錯(cuò)，模型就會(huì)在這些邊界條件下產(chǎn)生系統(tǒng)性誤判。

所以在自動(dòng)駕駛大模型訓(xùn)練中會(huì)看到一個(gè)現(xiàn)象，那就是清洗一批“臟數(shù)據(jù)”，比新增同規(guī)模數(shù)據(jù)更有價(jià)值。

真正難的是“覆蓋”和“結(jié)構(gòu)”

自動(dòng)駕駛模型并不是在做簡單的識(shí)別，而是在學(xué)習(xí)一個(gè)動(dòng)態(tài)系統(tǒng)，其中包括感知、預(yù)測和決策。因此，數(shù)據(jù)不僅要多，還要“覆蓋得對”。

有效的數(shù)據(jù)通常需要滿足多樣性、時(shí)序性、多態(tài)性等多個(gè)關(guān)鍵特征。

圖片源自：網(wǎng)絡(luò)

多樣性就是要覆蓋不同天氣、光照、道路類型和交通密度，否則模型只是在特定環(huán)境下有效。

時(shí)序性則強(qiáng)調(diào)的是大模型訓(xùn)練數(shù)據(jù)同一場景下時(shí)刻的要求，單幀數(shù)據(jù)只能描述“此刻是什么”，但駕駛決策依賴的是“接下來會(huì)發(fā)生什么”，所以必須有連續(xù)幀來學(xué)習(xí)運(yùn)動(dòng)關(guān)系。

多模態(tài)則是指攝像頭、激光雷達(dá)、毫米波雷達(dá)等信息需要融合，否則感知能力會(huì)有明顯短板。

這些要求也體現(xiàn)出自動(dòng)駕駛大模型訓(xùn)練的一個(gè)要求，那就是數(shù)據(jù)不能只是簡單堆積，而是需要結(jié)構(gòu)化設(shè)計(jì)。

數(shù)據(jù)閉環(huán)，比數(shù)據(jù)規(guī)模更重要

在實(shí)際量產(chǎn)的系統(tǒng)中，真正能拉開差距的，不是“誰的數(shù)據(jù)多”，而是“誰的數(shù)據(jù)用得更有效”。

圖片源自：網(wǎng)絡(luò)

數(shù)據(jù)閉環(huán)對于自動(dòng)駕駛大模型來說非常重要，所謂數(shù)據(jù)閉環(huán)，就是指自動(dòng)駕駛系統(tǒng)在道路行駛過程中運(yùn)行的一整套邏輯，即車輛在道路上運(yùn)行→發(fā)現(xiàn)問題→回傳數(shù)據(jù)→針對性訓(xùn)練→再部署驗(yàn)證。

數(shù)據(jù)閉環(huán)強(qiáng)調(diào)的不是數(shù)據(jù)規(guī)模，而是“針對性采集”。尤其是長尾問題，需要通過閉環(huán)機(jī)制不斷補(bǔ)齊，否則再多的歷史數(shù)據(jù)也覆蓋不到。

也正因?yàn)槿绱?，一些技術(shù)方案并不會(huì)被動(dòng)依賴自然采集，而是會(huì)通過影子模式、仿真生成等方式，主動(dòng)挖掘或構(gòu)造稀缺場景。

最后的話

回到最初的問題，自動(dòng)駕駛模型訓(xùn)練數(shù)據(jù)并不是越多越好，若單純增加數(shù)量，并不能持續(xù)提升能力。只有在數(shù)據(jù)質(zhì)量和結(jié)構(gòu)合理的前提下，規(guī)模越大才越有價(jià)值。

若想真正提升模型上限，其實(shí)需要關(guān)注幾個(gè)方面，即：

數(shù)據(jù)是否覆蓋關(guān)鍵場景，尤其是長尾；

數(shù)據(jù)是否干凈、標(biāo)注準(zhǔn)確、時(shí)序完整；

數(shù)據(jù)是否形成閉環(huán)，可不斷補(bǔ)齊缺失能力；

自動(dòng)駕駛行業(yè)其實(shí)已經(jīng)從“拼數(shù)據(jù)量”逐漸轉(zhuǎn)向“拼數(shù)據(jù)效率”。誰能更快發(fā)現(xiàn)問題、采到關(guān)鍵數(shù)據(jù)、形成有效訓(xùn)練，誰的系統(tǒng)就更接近真實(shí)可用。如果只靠堆數(shù)據(jù)，而忽略結(jié)構(gòu)和質(zhì)量，模型很容易在看似訓(xùn)練充分的情況下，在關(guān)鍵時(shí)刻失效。這也是自動(dòng)駕駛一直沒有完全落地的核心原因之一。

審核編輯 黃宇