自動駕駛比下圍棋難很多

整整十年前的2016年3月，通過自我對弈進(jìn)行強化學(xué)習(xí)的AlphaGo，在一場五番棋比賽中4:1擊敗頂尖職業(yè)棋手李世石，成為第一個不借助讓子而擊敗圍棋職業(yè)九段棋手的圍棋AI，立下了人工智能行業(yè)的里程碑。AlphaGo成功地讓世界看到了AI的潛力，帶來了AI產(chǎn)業(yè)的爆發(fā)，很多科技巨頭進(jìn)行戰(zhàn)略轉(zhuǎn)向，開始押注人工智能，包括小馬智行在內(nèi)的很多AI公司也成立于2016年。

當(dāng)時業(yè)界有人樂觀地認(rèn)為：通過人工標(biāo)注的數(shù)據(jù)，AI可以擁有人類的感知能力，從而即將很快地實現(xiàn)人類的駕駛能力，實現(xiàn)L4級自動駕駛。然而，開車遠(yuǎn)比識別照片里的貓要復(fù)雜：

一方面，圖像識別的成功率，99%已經(jīng)足夠好、足夠商用，但1%的錯誤在L4級自動駕駛場景中意味著闖紅燈、碰撞，意味著違章與事故，是完全不可接受的——尤其是，人開車犯錯不是新聞，但AI開車犯錯一定是新聞，公眾對于AI司機(jī)的要求是顯著高于人類司機(jī)的。

另一方面，開車是與周圍交通參與者強交互的場景，并不是簡單的遵循一些特定的規(guī)則——哪怕感知結(jié)果絕對準(zhǔn)確，最終的駕駛決策和行為也不一定能足夠的安全、絲滑。

因此，直到2019年，行業(yè)內(nèi)也并沒有企業(yè)能做到真正在公開城市道路實現(xiàn)完全無安全員的、有一定規(guī)模車隊的自動駕駛。為何要強調(diào)“有一定規(guī)模”？因為規(guī)模才代表著統(tǒng)計學(xué)上的安全性足夠高。少數(shù)車輛能無安全員上路可以靠賭概率、拼運氣，只有規(guī)?；囮犇芘可下非也⒉粫?jīng)常出事故，才能證明系統(tǒng)整體上的安全性，才能證明統(tǒng)計上安全性足夠高。

兩條路線的分叉：模仿學(xué)習(xí) vs 強化學(xué)習(xí)

這時，行業(yè)內(nèi)對于如何實現(xiàn)真正的無人駕駛，開始有明顯不同的技術(shù)發(fā)展路線：

部分企業(yè)強調(diào)收集更多的人類駕駛數(shù)據(jù)從而提升模型性能，通過“影子模式”收集海量人類駕駛數(shù)據(jù)，尤其是人類與AI行為有差異的數(shù)據(jù)，很像后來大語言模型的scaling law “大力出奇跡”，通過更多駕駛數(shù)據(jù)來覆蓋長尾場景，等待“aha moment”的到來。

而小馬智行選擇了另一條路，因為小馬智行的技術(shù)團(tuán)隊在那時已經(jīng)意識到，開得和人不一樣不代表開得不對、而開得“很像人”但仍有細(xì)微差異的行為可能是大錯特錯的，L4級自動駕駛的目標(biāo)不應(yīng)該是跟人的決策與行為做對比，目標(biāo)應(yīng)該是單純的“開得好”——具體來說是統(tǒng)計意義上的安全性、舒適性、通行效率足夠高。

并且，由于L4級自動駕駛是無法靠人類兜底和接管的，與L2/L2++輔助駕駛有本質(zhì)不同，哪怕99.99%的場景已經(jīng)開得比人好，剩下的0.01%如果開得危險，也是依然是不可接受的。對L4級自動駕駛來說，堵住模型的下限和突破模型的上限一樣重要，這與大語言模型偶爾“幻覺”一下的損害完全不同，與L2級輔助駕駛責(zé)任永遠(yuǎn)在駕駛員也完全不同。

而一旦模型的學(xué)習(xí)目標(biāo)從“像人開得一樣”變成“開得好”，這意味著一種范式的變化——從模仿學(xué)習(xí)到強化學(xué)習(xí)。AlphaGo在棋盤上自我對弈實現(xiàn)強化學(xué)習(xí)，以“獲勝”為學(xué)習(xí)目標(biāo)增強棋藝，而非“下得像人”。

小馬智行從2020年起花數(shù)年時間逐步完善了能讓AI通過強化學(xué)習(xí)增強模型開車能力的這套體系，使AI可以在“虛擬駕?！敝蟹磸?fù)開車、訓(xùn)練車端模型的駕駛能力，這也就是如今我們所說的“PonyWorld世界模型”。

世界模型是什么？如何提升精度？

不是逼真的游戲引擎，而是一整套體系

兩種技術(shù)方向在過去的若干年一直是并行發(fā)展，但到2024-2025年，Waymo、小馬智行等頭部企業(yè)先后在多個城市開展了大規(guī)模的無人駕駛Robotaxi車隊商業(yè)化運營，行業(yè)內(nèi)也逐步意識到單純地增加人類駕駛數(shù)據(jù)無法無限提升自動駕駛的模型能力，L2級輔助駕駛不能靠收集人類駕駛數(shù)據(jù)持續(xù)不斷提升安全性變成L4級無人駕駛，越來越多的企業(yè)（包括做輔助駕駛的算法公司、車企）開始將技術(shù)路線切換到強化學(xué)習(xí)和世界模型方案。在2026年，必須通過強化學(xué)習(xí)、世界模型（仿真訓(xùn)練環(huán)境）才能實現(xiàn)滿足L4級要求的自動駕駛，已經(jīng)成為中美行業(yè)共識，小馬智行無疑走在了前面。

然而，行業(yè)內(nèi)很多企業(yè)和公眾將世界模型簡單的理解為可以生成虛擬數(shù)據(jù)的仿真環(huán)境，仿佛一個足夠逼真的游戲引擎就能教會AI開車。而小馬智行的世界模型，從來就不是一個單一模塊，而是一套貫穿云端與車端的完整體系，從2020 年開始構(gòu)建，逐步實裝，每一層都已經(jīng)在真實的量產(chǎn)系統(tǒng)里運轉(zhuǎn)：

要能定義什么是“開得好”，也就是強化學(xué)習(xí)的獎勵函數(shù)——這不是一些簡單的規(guī)則可以定義的，本身也需要是神經(jīng)網(wǎng)絡(luò)訓(xùn)練的。

對物理世界的建模足夠精準(zhǔn)，包括能精準(zhǔn)體現(xiàn)自車車輛的運動學(xué)模型和周圍交通參與者的運動學(xué)模型。

最重要的是，自動駕駛是強交互的，世界模型不僅需要能生成corner case的數(shù)據(jù)，還能讓長尾場景乃至所有虛擬場景中的交通參與者與AI司機(jī)自車之間有符合人類行為分布的交互能力。比如當(dāng) AI 開的車突然變道，而隔壁車道有車，隔壁車道的行為會被 AI 的行為所影響，有一定概率減速避讓，也有一定概率加速博弈不給 AI 留變道空間。這些行為的不同概率的分布都應(yīng)該能體現(xiàn)在世界模型生成的場景中。

精度決定一切：世界模型好不好，看AI會不會“越學(xué)越錯”

只有當(dāng)世界模型做到了這三點（當(dāng)然，每一項都很難），才能足以讓AI司機(jī)可以在這個環(huán)境中得到正向的訓(xùn)練結(jié)果，否則AI模型的駕駛能力可能是在虛幻的場景中“自嗨”、越學(xué)越錯，甚至還不如引入海量人類駕駛數(shù)據(jù)的模仿學(xué)習(xí)。而這個世界模型“模擬世界”的能力，我們稱其為“精度”。當(dāng)初版世界模型上線、其訓(xùn)練的車端模型也上車之后，隨著世界模型精度的提升，持續(xù)訓(xùn)練的強化學(xué)習(xí)車端模型也會跟隨者提升性能。提升小馬智行自動駕駛能力的過程，本質(zhì)上變成了提升世界模型精度的過程。在過去的幾年，我們先后通過幾個方面的努力，來提升精度。

收集“高端對弈局”來提升世界模型精度

如前文所說，世界模型需要能模擬其他交通參與者對AI的反應(yīng)——這是個很有趣的問題，當(dāng)AI不再通過模仿學(xué)習(xí)，而是通過強化學(xué)習(xí)來提升駕駛能力，其仿真環(huán)境依然需要模仿人類（或AI）對于AI司機(jī)的交互與博弈。因此，世界模型不僅要能模擬人和人之間的交互，還需要能模擬人和AI之間的交互，尤其是當(dāng)AI司機(jī)的開車行為并不完全“像人”的時候，這就更加重要。

人會如何對特定能力的AI司機(jī)做出反應(yīng)？這個行為并不能憑空遐想，只有讓AI司機(jī)上路才知道。因此世界模型精度的提升與對齊，最核心的是需要AI司機(jī)實際路測——收集的并不是普通的人類駕駛數(shù)據(jù)，而是AI司機(jī)的駕駛數(shù)據(jù)。當(dāng)AI的能力尤其是安全性已經(jīng)超過人類，那只有AI司機(jī)的駕駛數(shù)據(jù)可以用于提升世界模型了，因為其他交通參與者對AI司機(jī)的反應(yīng)會與對其他人類不同，只通過人類駕駛數(shù)據(jù)訓(xùn)練的世界模型，永遠(yuǎn)缺失這塊最重要的精度數(shù)據(jù)。

從小馬智行歷史數(shù)據(jù)來看，其安全性提升最快的年份，并不是開始無安全員路測之前的那段時間，而是有一定規(guī)模的全無人的測試車上路后。因為那時候的AI司機(jī)已經(jīng)超越人類水平，收集到的數(shù)據(jù)可以更好的提升世界模型的精度，從而進(jìn)一步提升車端模型的能力。

世界模型的數(shù)據(jù)飛輪：高精度模型和高精度數(shù)據(jù)互為促進(jìn)

到了這一步，一個更深層的結(jié)構(gòu)性壁壘就浮現(xiàn)出來了。當(dāng) AI 的駕駛能力已經(jīng)超越了普通人類司機(jī)之后，人類的駕駛數(shù)據(jù)就不再能有效提升世界模型的精度了。這就好比讓一個圍棋九段棋手反復(fù)觀看業(yè)余愛好者的棋譜——他不會因此變得更強。而 AI 目前已經(jīng)是十段甚至更高的段位，要讓 AI 繼續(xù)進(jìn)步，他需要面對自己從未遇到過的、超出已有經(jīng)驗范圍的全新棋局。

對于自動駕駛世界模型來說，這個“十段級的新棋局”只有一個來源：L4 級全無人車隊在真實世界商業(yè)運營中產(chǎn)生的數(shù)據(jù)。這些數(shù)據(jù)的獨特價值在于：它們來自 AI 自身在真實交通環(huán)境中的獨立駕駛。AI 會遇到人類司機(jī)根本不會遇到的場景——因為人類司機(jī)的反應(yīng)模式不同，周圍交通參與者與他們的博弈方式也不同。無人車引發(fā)的交通交互模式，本身就是獨一無二的。只有在真實世界中大規(guī)模運營 L4 無人車隊的公司，才能持續(xù)產(chǎn)出這種高價值數(shù)據(jù)。

這構(gòu)成了一個自我強化的飛輪：

大規(guī)模 L4 無人車隊運營 → 產(chǎn)生真實世界高價值數(shù)據(jù) → 世界模型提升精度 → 車端模型持續(xù)增強 → 支撐更大規(guī)模的 L4 部署 → 產(chǎn)生更多高精度數(shù)據(jù) → ……

這個飛輪一旦轉(zhuǎn)起來，它產(chǎn)出的數(shù)據(jù)是獨占的，它的進(jìn)化方向是自我引導(dǎo)的，它的效率是隨規(guī)模遞增的。

沒有大規(guī)模 L4 全無人車隊運營能力的公司，這個飛輪根本無從啟動。不是靠砸更多錢買 GPU 能追上的，不是靠招更多標(biāo)注員能追上的，也不是靠在 L2 數(shù)據(jù)上訓(xùn)練更多輪次能追上的。

這是一道結(jié)構(gòu)性的護(hù)城河。

Intention：給車端模型裝上“意圖層”

行業(yè)里有一種曾經(jīng)比較火熱的技術(shù)路線，試圖在感知和動作之間塞入一個語言模型——讓 AI 先用文字描述它看到的場景，比如"前方路口有三輪車橫穿，我需要減速"，然后再基于這段文字描述來生成駕駛動作——也就是VLA。

但這違背了駕駛的第一性原理。真正的老司機(jī)在緊急避險時，腦海中絕不會先默念一段臺詞。人類駕駛的核心是即時的空間感知與潛意識的肌肉記憶。而語言，是對復(fù)雜 4D 物理時空極度"有損壓縮"的低維產(chǎn)物——用一段主謂賓去描述車輛、行人、車道線之間毫秒級的動態(tài)博弈關(guān)系，不僅遲鈍，而且信息丟失嚴(yán)重。

小馬智行選擇了更直接的路徑：傳感器數(shù)據(jù)直接映射為駕駛動作，中間不經(jīng)過語言層。 跳過這個多余的中間商，不僅大幅節(jié)省了算力消耗，更讓系統(tǒng)把省下來的每一分計算資源都花在了真正重要的事情上——理解物理世界、預(yù)演未來、做出決策。當(dāng)前小馬智行第七代Robotaxi，車上全套計算平臺僅1016 TOPS，其中主系統(tǒng)由3顆英偉達(dá) DRIVE Orin-X芯片構(gòu)成，冗余系統(tǒng)由1顆 DRIVE Orin-X芯片構(gòu)成。冗余系統(tǒng)可獨立完成行駛?cè)蝿?wù)，在主系統(tǒng)故障時依然可以正常行駛，擇機(jī)在安全的位置靠邊停車。

而沒有這個“中間商”之后，收集物理數(shù)據(jù)與提升世界模型的物理精度也會變得更為直接和高效率——很多人認(rèn)為車端模型無論是VLA還是其他架構(gòu)，與訓(xùn)練模型的架構(gòu)是否為世界模型不矛盾，這只對了一半——當(dāng)車端模型的效率足夠高，訓(xùn)練和迭代效率也會顯著提升。

為了更好的迭代，小馬智行在車端模型的訓(xùn)練過程中引入了Intention（意圖） 語義層。

起初，車端模型的輸入是傳感器數(shù)據(jù)，輸出是駕駛動作（方向盤角度、油門、剎車）。它可以開得很好，但它的決策過程人類無法直接閱讀。

在后來的版本中，模型在做出每一個駕駛動作的同時，其內(nèi)部會生成結(jié)構(gòu)化的意圖表達(dá)，翻譯成人類可以懂的語言就是“我選擇在路口前減速等待，因為右前方有一個行人正在走向斑馬線，我預(yù)判他大概率會橫穿”。這些意圖信息不是事后用另一個模型"解釋"出來的，也不是在推理過程中額外插入的一個語言模型——那樣就變成了“語言中間商”。它們是在訓(xùn)練階段就與駕駛動作一起被聯(lián)合學(xué)習(xí)的。Intention 作為模型內(nèi)部的一個結(jié)構(gòu)化表征，讓模型“想”的和“做”的，從訓(xùn)練之初就是對齊的。

可解釋性帶來的三重價值：

第一，可審計。當(dāng)一次駕駛行為需要被回溯分析時——無論是監(jiān)管審查、事故調(diào)查還是內(nèi)部質(zhì)量復(fù)盤——工程師不再需要面對一個天文數(shù)字維度的神經(jīng)網(wǎng)絡(luò)去猜測“它當(dāng)時在想什么”。Intention 層提供了一份人類可讀的決策摘要。

第二，可調(diào)試。當(dāng)模型在某個場景中犯了錯，工程團(tuán)隊可以直接查看它的意圖表達(dá)：是感知層面就沒有識別到障礙物？還是識別到了但意圖生成環(huán)節(jié)對風(fēng)險的評估出了偏差？還是意圖正確但最終的動作執(zhí)行出了問題？故障定位的精度從“某處出了問題”提升到“具體哪一層、因為什么原因出了問題”。

第三，可迭代。這一點至關(guān)重要，它直接關(guān)聯(lián)到后面將要展開的進(jìn)化飛輪——當(dāng)系統(tǒng)能夠清晰地表達(dá)自己的意圖時，它也就具備了自我診斷的基礎(chǔ)能力?！拔以谶@類場景下的意圖生成總是不夠準(zhǔn)確”——這種自我認(rèn)知，正是世界模型自我進(jìn)化的起點。

世界模型2.0：

自我迭代、場景不受限的物理AI引擎

前面講的是小馬智行的世界模型"為什么需要"和"怎么工作"。那么接下來是更根本的問題：它為什么能越來越強？它的天花板在哪？

當(dāng)“提升小馬智行自動駕駛能力的過程，本質(zhì)上變成了提升世界模型精度的過程”，我們通過不斷的收集 L4 級自動駕駛的數(shù)據(jù)去提升世界模型的精度。但是當(dāng) Robotaxi 車隊規(guī)模足夠大、世界模型的精度也足夠好，大多數(shù) Robotaxi 的數(shù)據(jù)對世界模型的精度提升也是很有限的，只會平白增加存儲數(shù)據(jù)的成本，對訓(xùn)練世界模型來說也會增加數(shù)據(jù)篩選的負(fù)擔(dān)。更重要的是，當(dāng)AI駕駛能力已經(jīng)遠(yuǎn)超人類的時候，人類給AI的指導(dǎo)，可能是錯的。

自我診斷：AI知道自己哪里不行

世界模型2.0改變的，正是這個邏輯。

結(jié)合前面提到的intention意圖層，當(dāng)車端模型能夠清晰地表達(dá)"我為什么做出這個決策"時，一個極其重要的能力就被解鎖了——自我診斷。

系統(tǒng)可以自動地、大規(guī)模地回溯車端模型的每一次決策，甚至是訓(xùn)練車端模型的每一次過程，比對它的意圖表達(dá)與實際結(jié)果之間的偏差：

在哪些場景，模型的意圖是正確的，但作執(zhí)行出了偏差——需要繼續(xù)在世界模型中訓(xùn)練

在哪些場景，模型的意圖本身就是錯的——需要繼續(xù)在世界模型中訓(xùn)練

在哪些場景，模型的意圖是因為真實的交互與強化學(xué)習(xí)的仿真場景不一致而錯誤——世界模型的精度有問題

這些診斷結(jié)果會被直接反饋給世界模型。前面兩個可以用于提高世界模型訓(xùn)練車端模型的迭代效率——專門做不熟練的題，跳過“送分題”。而抽取第三類診斷結(jié)果，就是2.0最核心的能力飛躍：世界模型場景的精度提升不再是廣撒網(wǎng)的，而是定向的。

定向采集：工程師變成AI的數(shù)據(jù)采集員

世界模型2.0不僅做到了更高效的提升車端模型的性能，還做到了自動化提升世界模型的精度：讓 AI 反過來告訴人類應(yīng)該去采集什么。當(dāng)系統(tǒng)通過自我診斷發(fā)現(xiàn)，世界模型在某一類真實場景下的表現(xiàn)不夠穩(wěn)定——比如在某個城市的某幾個路口，每到傍晚逆光時段，模型對特定類型障礙物模擬數(shù)據(jù)生成的置信度就會下降——它會自動生成一條定向數(shù)據(jù)采集任務(wù)，推送給測試運營團(tuán)隊：

“請在未來一周內(nèi)，于下午430之間，在以下三個路口，重點采集逆光條件下的行駛數(shù)據(jù)。優(yōu)先關(guān)注非機(jī)動車和行人的混行場景?！?/p>

測試工程師拿到這條指令后，讓測試車去執(zhí)行采集任務(wù)。采集回來的真實數(shù)據(jù)被回傳云端，世界模型據(jù)此校準(zhǔn)自己的場景生成模型，并生成一批更真實的數(shù)據(jù)對車端模型進(jìn)行針對性的微調(diào)。人類不再是 AI 的老師，而是 AI 的數(shù)據(jù)采集員。研發(fā)人員、測試工程師、運營團(tuán)隊——整個組織開始圍繞世界模型2.0的“精度需求”來運轉(zhuǎn)。它說哪里弱，人類就去補哪里的數(shù)據(jù)。它說哪類場景需要更多真實樣本，人類就開著車去跑那類場景。

“研發(fā)人員在給世界模型2.0打工?！薄@不是一句玩笑話，而是一種全新的研發(fā)范式。

當(dāng)你問世界模型，還缺失什么場景的仿真能力

當(dāng)小馬智行的幾千萬公里的自動駕駛數(shù)據(jù)，尤其是千萬公里級別的純無人駕駛數(shù)據(jù)將世界模型不斷打磨，這其中不僅包括Robotaxi在城區(qū)、高速、封閉園區(qū)和停車場的數(shù)據(jù)，也包括Robotruck在干線、港口等不同場景的數(shù)據(jù)。AI會明確感受到，他的場景數(shù)據(jù)集局限在“結(jié)構(gòu)道路駕駛”這個場景。

如果你問它還有哪里可以提升，需要什么數(shù)據(jù)繼續(xù)提升物理仿真的精度，它除了回答某個新落地的國家或城市的某種特定新場景的駕駛數(shù)據(jù)需要收集外，其實它也會回答說“人行道上的數(shù)據(jù)缺失”、“非機(jī)動車道的數(shù)據(jù)缺失”、“天橋上的數(shù)據(jù)缺失”，甚至進(jìn)而希望人類幫助其采集室內(nèi)場景的數(shù)據(jù)——作為一個自動駕駛的世界模型，確實是沒有室內(nèi)數(shù)據(jù)的，但是，誰說PonyWorld世界模型就只能做自動駕駛呢？

一個可以自我進(jìn)化、高效率提升精度的世界模型，其場景的覆蓋能力和精度的提升能力，是可以滿足自動駕駛以外的物理AI的要求——比結(jié)構(gòu)道路駕駛復(fù)雜度多N個數(shù)量級的能力要求的。

數(shù)據(jù)再多也會不夠、算力再多也會不夠，未來AI的持續(xù)迭代，效率是非常關(guān)鍵的因素。無論對于提升已經(jīng)遠(yuǎn)高于人類安全性的自動駕駛能力，還是對于比開車場景復(fù)雜度更高的通用物理AI、通用具身智能，世界模型的定向進(jìn)化是必備的能力。只有能定向進(jìn)化、自主進(jìn)化的世界模型，才能撐起更高維度、更高復(fù)雜度的物理AI的訓(xùn)練場景，才能讓AI在駕駛以外的更多任務(wù)中實現(xiàn)遠(yuǎn)超人類的能力。

當(dāng)世界模型進(jìn)入2.0時代，PonyWorld將不局限于優(yōu)化自動駕駛場景，也將探索其他物理AI場景和應(yīng)用的可能。