[首發(fā)于智駕最前沿微信公眾號]軌跡預測一直是自動駕駛中的重點，它可以讓自動駕駛汽車對未來的工作提前謀劃。所謂軌跡預測，簡單理解就是自動駕駛系統(tǒng)對道路上那些會動的對象（其他車輛、行人、自行車、摩托車等）未來一段時間內(nèi)可能走什么路線、到什么位置、以什么樣的速度/方向移動的一種“預測”。

比起這些對象當前在什么位置、朝哪個方向走，軌跡預測多了對未來的判斷，其不僅可以確定“現(xiàn)在在哪里”，還要猜測“接下來可能去哪兒”、以及“可能怎么行動”。這是自動駕駛系統(tǒng)在感知（看到周圍）之后與規(guī)劃和控制（決定自己車下一步怎么走）之前的一個關鍵動作。

軌跡預測并不是簡單識別或檢測別車／行人，而是要推斷未來。這一點和人類司機做判斷很像，當你開車時，不只是看前面有沒有車，也會判斷那輛車是不是可能突然變道／加速／減速／轉彎。自動駕駛所做的，是把這種判斷轉成算法，讓機器也能提前預估可能發(fā)生的情況。

為什么自動駕駛系統(tǒng)需要“軌跡預測”

真實的道路情況瞬息萬變，別的車可能突然變道、有人可能橫穿馬路、有行人或騎車人可能忽然加速或減速。想要安全駕駛，只是知道“他們現(xiàn)在在哪里、速度是多少”是完全不夠的。如果系統(tǒng)只是被動反應，就容易出問題，尤其當速度較高、道路復雜的時候，沒有預測，車輛就只是橫沖直撞，非常危險。

軌跡預測的作用，就是讓自動駕駛系統(tǒng)對周圍交通參與者未來可能的動作有一個大致預判。這樣自動駕駛系統(tǒng)就能在做路徑規(guī)劃和操控之前，考慮到這些不確定性，預留安全距離、調整速度、選擇合適方案。

圖片源自：網(wǎng)絡

舉個例子，當另一輛車突然變道到自動駕駛汽車的車道上，自動駕駛系統(tǒng)通過軌跡預測，就能判斷是否要提前減速、變道避讓，以避免事故發(fā)生。又或者行人可能從路邊走出來，自動駕駛系統(tǒng)預測到可能會穿過馬路，這時自動駕駛系統(tǒng)就會提前做好剎車或繞行準備。

也就是說，軌跡預測提升了自動駕駛的“前瞻性”和“主動安全”能力。感知模塊只負責看見現(xiàn)在／剛剛發(fā)生的事；而預測模塊負責想象未來可能發(fā)生的事，然后把這個想象交給決策／規(guī)劃模塊，讓車輛提前做出安全、合理的動作。

如何實現(xiàn)軌跡預測？

軌跡預測要做的就是把“現(xiàn)在看見的東西”變成“對未來幾秒鐘的合理猜測”。要做到這件事，模型離不開三類關鍵信息的輸入，也會輸出不同形式的預測結果，實現(xiàn)的方法也各有優(yōu)劣。

1）輸入的是什么？

靜態(tài)環(huán)境/地圖信息：靜態(tài)環(huán)境/地圖信息包括如車道線、交叉口、車道形狀、道路結構、禁行區(qū)、轉彎區(qū)、紅綠燈、交通標志等信息。也包括高精地圖(HDmap)或簡化版本地圖中對道路空間結構的描述。

動態(tài)對象當前及過去的狀態(tài)：動態(tài)對象當前及過去的狀態(tài)就是周圍車輛、行人等的當前位置、速度、航向、過去一段時間的軌跡／運動歷史。因為對象過去怎么走、速度方向是多少，對預測未來很關鍵。

交通參與者之間的交互關系：不同車輛、行人與它們之間的相互影響，一輛車的行為可能受到旁邊車、前車、后車，乃至道路標志、信號燈、行人、騎車人的影響。為了更好地實現(xiàn)預測，這些交互也會作為輸入特征來考慮。

2）輸出的是什么？

軌跡預測的輸出，一般是未來一段時間內(nèi)（通常幾秒到5 s～6 s不等，具體視系統(tǒng)設計而定）的軌跡，其中包括未來每個時刻該對象可能的位置、速度、方向。也可能包括多個可能性。

因為未來不確定，一個對象可能有幾種行為（直走、變道、減速、急剎、轉彎……），所以預測結果不會是單一軌跡，而是多種可能軌跡+各種可能性的概率／置信度（即多模態(tài)預測）。

有時候自動駕駛系統(tǒng)只需要知道未來終點大致在哪、什么時候到達，但有時會需要完整的時間序列軌跡。帶概率的多模態(tài)輸出能讓后續(xù)的規(guī)劃模塊在面對多種可能時做出更穩(wěn)妥的決策。

圖片源自：網(wǎng)絡

3）常見的技術路線/方法

在早期想實現(xiàn)軌跡預測，可以用比較簡單的物理模型+運動學/動力學模型+假設方法，該方法是通過假設車輛目前速度、加速度、車輛動力限制等信息，基于物理運動模型去預測短期軌跡。但這種方法對復雜場景（變道、剎車、跟車、群體交互、行人穿行等）適應性較差。

近年來，更常用的是數(shù)據(jù)驅動(data-driven)或機器學習/深度學習方法。自動駕駛系統(tǒng)通過大量真實交通數(shù)據(jù)訓練模型，把歷史軌跡+環(huán)境信息當輸入，讓模型學會在類似情形下的行為模式，然后預測未來軌跡。

有些模型會把所有附近車輛／行人當作“節(jié)點”，構建圖(graph)表示它們之間可能的相互作用關系(誰可能影響誰)；然后通過圖神經(jīng)網(wǎng)絡(graphneuralnetwork)+編碼器—解碼器(encoder-decoder)／循環(huán)神經(jīng)網(wǎng)絡(RNN/LSTM)／Transformer等結構，對未來軌跡進行預測。還有一些模型會將道路結構、車道線、交通規(guī)則、環(huán)境語義等靜態(tài)信息融合進來，讓預測更符合規(guī)則。

自動駕駛系統(tǒng)中的軌跡預測，是一個感知+學習+推斷+環(huán)境約束結合的復雜流程，而不僅是按當前速度+前進方向直線推算。

軌跡預測模塊在自動駕駛架構中的位置與作用

自動駕駛系統(tǒng)可以分成感知(perception)→預測(prediction)→規(guī)劃/決策(planning&decision)→控制(control/actuation)幾個模塊。軌跡預測正位于感知與規(guī)劃之間，是連接兩者的重要橋梁。

感知模塊負責識別周圍靜態(tài)環(huán)境(道路、車道線、建筑、行人、交通標志)和動態(tài)對象(其他車輛、行人、自行車等)，告訴系統(tǒng)“現(xiàn)在都有哪些東西，它們在哪里、速度怎樣、朝哪走”。

預測模塊接手這些信息，對每個動態(tài)對象未來可能的走向做估計，預測軌跡、行為意圖(如變道、減速、轉彎、掉頭、停車、橫穿道路等)，并輸出未來幾秒鐘內(nèi)各對象可能的位置/速度/軌跡分布。

規(guī)劃/決策模塊拿到這些預測結果后，考慮自己的車輛應該怎么走：是否要減速、變道、剎車、繞行、停車、讓行……并生成給車輛的決策/行駛方案。

控制模塊根據(jù)規(guī)劃結果，通過轉向、加減速、制動等動作執(zhí)行具體的控制。

沒有預測模塊，即便感知非常精確，車輛也只能被動反應，只能根據(jù)現(xiàn)在看到的情況反應。這種方式在簡單場景或低速情況下可能還行，但在高速、復雜、多目標、多變場景(城市道路、交叉口、高速公路、行人密集區(qū)、混合交通)下，很容易出現(xiàn)判斷滯后、反應過慢、避讓不及時、剎車過硬或過急等問題，嚴重影響安全和舒適。

因此，軌跡預測是自動駕駛系統(tǒng)的“安全預判機制”，它讓車輛提前知道可能發(fā)生什么，從而預留空間/時間/方案，為后續(xù)規(guī)劃和控制提供更可靠的輸入。

軌跡預測的局限

軌跡預測對于自動駕駛來說非常重要，但想要做到既準確、可靠，又能實時運行的預測，會面對非常多的問題。

圖片源自：網(wǎng)絡

1）多智能體/多對象交互復雜

道路上有汽車、自行車、行人、摩托車等很多的交通參與者，他們之間會相互影響。一個人的動作可能影響另一輛車的行為，行人與車可能發(fā)生互動，自行車可能突然并道……這種多智能體(multi-agent)交互關系復雜且難建模。一個簡單的直線預測顯然不夠。數(shù)據(jù)驅動模型雖然試圖通過圖模型/神經(jīng)網(wǎng)絡捕捉這些關系，但要保證對所有復雜場景都適用，依舊非常困難。

2）行為多樣性／不確定性(多模態(tài)問題)

同一個交通參與者，在不同時間、情境可能做完全不同的動作。如一輛車可能繼續(xù)保持當前車道直行，也可能變道，也可能減速或加速。這意味著未來有多個可能軌跡(multiplepossiblefutures)，而不是唯一確定的一條。預測系統(tǒng)如何同時給出這些可能性，并附上合理概率或置信度，是一個難題。如果系統(tǒng)只輸出單一軌跡，而實際對象走的是另一條，就可能導致碰撞或危險。

3）靜態(tài)環(huán)境與規(guī)則約束整合困難

道路結構、車道線、交通規(guī)則(誰有優(yōu)先權、紅綠燈、行人斑馬線、禁行區(qū)、道路狹窄、彎道、坡道…)對車輛／行人的軌跡有很大的影響。一個預測模型如果忽略這些約束，很可能產(chǎn)生荒謬、不符合規(guī)則的預測(比如預測行人穿過護欄/逆行、預測車輛穿越建筑物/越線/無視交通規(guī)則等)。因此，只有將環(huán)境/地圖/規(guī)則信息有效融合進軌跡預測，才能確保預測的準確性與行駛的安全性。

4）實時性與算法復雜性/計算資源限制

自動駕駛必須對實時環(huán)境迅速反應。預測模塊不能太慢，否則生成的軌跡可能已經(jīng)過時。但如果想要實時預測，高復雜度模型(深度網(wǎng)絡+多智能體交互+多可能性計算+地圖融合)又會需要大量的計算量。如果實時性不夠、計算資源不夠，或者延遲太高，就不適合實際部署。如何在追求極致預測精度與系統(tǒng)整體響應速度之間找到一個平衡，是非常重要的。

5）評估與現(xiàn)實場景差異(“數(shù)據(jù)集vs實際駕駛環(huán)境”)

很多軌跡預測技術是在固定數(shù)據(jù)集/過去記錄上訓練/測試的，也就是假設所有對象行為都會按歷史軌跡執(zhí)行。但真實交通場景，自動駕駛車輛本身會因為預測結果/決策/行為而影響周圍人／車的行為。也就是說，真實世界是互動(interactive)的，一個模型在靜態(tài)數(shù)據(jù)集上的高精度，不一定能在真實道路上表現(xiàn)良好。這種差異(dynamicsgap)是軌跡預測應用到自動駕駛時必須特別關注的問題。

最后的話

隨著自動駕駛系統(tǒng)從輔助駕駛(ADAS)向更高級別(如L3/L4/L5)發(fā)展，對安全、可靠、全面感知的需求越來越高。在城市復雜交通、混合交通(汽車+自行車+行人+電動車+摩托+行人)情況下，僅靠看到并反應遠遠不夠。自動駕駛系統(tǒng)必須具備預判能力，能知道別人可能做什么、提前為很多種情況預留應對方案。軌跡預測，就是給自動駕駛系統(tǒng)提供了一雙預見未來的眼睛/大腦。

沒有軌跡預測，自動駕駛就只能看見現(xiàn)在然后反應，容易發(fā)生滯后、剎不住、避不及、判斷失誤；有軌跡預測，就可能更安全、平滑，也更像人在駕駛。軌跡預測是自動駕駛系統(tǒng)邁向真正穩(wěn)健、安全、自主的重要一步。


審核編輯 黃宇