DRIVE Labs 系列文章

第六站：基于洞察的智能規(guī)劃

自動(dòng)駕駛汽車上路后，會(huì)遇到各種各樣的突發(fā)情況，道路上突然變道或道路邊突然啟動(dòng)的車輛、突然橫穿馬路的行人等，都會(huì)對(duì)自動(dòng)駕駛汽車行駛的安全性帶來(lái)影響。DRIVE Labs“常學(xué)常新”系列是 NVIDIA DRIVE 團(tuán)隊(duì)推出的、以一輛自動(dòng)駕駛汽車從出發(fā)到最終目的地為線索的系列文章，共分 8 期主題，將為大家詳細(xì)解析自動(dòng)駕駛汽車如何一路“過(guò)關(guān)斬將”，以及 NVIDIA 技術(shù)與產(chǎn)品在不同場(chǎng)景中提供的支持，以便讀者能更好地了解自動(dòng)駕駛。

本期是第六期“基于洞察的智能規(guī)劃”，將為大家介紹自動(dòng)駕駛汽車如何利用循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）和深度神經(jīng)網(wǎng)絡(luò)（DNN），追蹤并預(yù)測(cè)其他道路使用者的行動(dòng)軌跡，并規(guī)劃自動(dòng)駕駛汽車自身的行駛軌跡，以實(shí)現(xiàn)安全駕駛。

上期文章主要介紹了可幫助自動(dòng)駕駛汽車“看清”路況、控制燈光的 DNN，本期文章將緊接上期 DNN 的相關(guān)內(nèi)容，介紹能夠穩(wěn)定追蹤駕駛環(huán)境不同目標(biāo)的特征追蹤、可預(yù)測(cè)目標(biāo)未來(lái)移動(dòng)軌跡的 RNN 以及能夠幫助自動(dòng)駕駛汽車了解周圍駕駛環(huán)境的 PredictionNet DNN。話不多說(shuō)，一起來(lái)看看吧！

在復(fù)雜的道路交通環(huán)境中，自動(dòng)駕駛汽車在行使過(guò)程中難免會(huì)遇到一些緊急或突發(fā)的情況，如前車臨時(shí)變道、路邊行人橫穿馬路等，這些情況的發(fā)生通常都有跡可循。若自動(dòng)駕駛汽車能在時(shí)刻觀察道路環(huán)境的過(guò)程中，考慮到周圍活動(dòng)車輛和行人未來(lái)可能進(jìn)行的道路行動(dòng)，可在很大程度上“防范于未然”，及時(shí)規(guī)避危險(xiǎn)、保證安全行駛。

特征追蹤“把握”車周環(huán)境動(dòng)向

在車輛的行駛過(guò)程中，像素級(jí)信息可能會(huì)由于復(fù)雜的光照變化、視點(diǎn)變化以及場(chǎng)景中的非剛性物體運(yùn)動(dòng)而失真。為實(shí)現(xiàn)高性能的自動(dòng)駕駛，技術(shù)開(kāi)發(fā)人員需要在自動(dòng)駕駛訓(xùn)練中兼具準(zhǔn)確性、可靠性和運(yùn)行效率。NVIDIA 選擇采用基于稀疏光流的特征追蹤方法，來(lái)獲得所對(duì)應(yīng)的像素級(jí)訓(xùn)練數(shù)據(jù)，并保證其準(zhǔn)確性和多樣性。

特征追蹤可以對(duì)視頻相鄰幀之間的像素級(jí)對(duì)應(yīng)關(guān)系和像素級(jí)變化進(jìn)行估計(jì)，對(duì)于估計(jì)障礙物運(yùn)動(dòng)/速度、相機(jī)自校準(zhǔn)和視覺(jué)測(cè)距提供關(guān)鍵時(shí)間和地理信息來(lái)說(shuō)至關(guān)重要。準(zhǔn)確且穩(wěn)定的特征追蹤結(jié)果可轉(zhuǎn)換為障礙物感知中對(duì)碰撞時(shí)間的準(zhǔn)確估計(jì)，可用于對(duì)攝像頭傳感器外部校準(zhǔn)（俯仰/偏航/側(cè)傾）值的可靠計(jì)算，并且可作為在視覺(jué)里程計(jì)算中生成三維圖像的關(guān)鍵視覺(jué)輸入。

NVIDIA 基于稀疏光流的特征追蹤方法包括三個(gè)主要步驟：

• 圖像預(yù)處理：該步驟主要是從圖像中提取梯度信息；

• 特征檢測(cè)：該步驟使用提取到的梯度信息來(lái)識(shí)別圖像中的顯著特征點(diǎn)，以在整個(gè)幀中實(shí)現(xiàn)對(duì)目標(biāo)對(duì)象的穩(wěn)定追蹤；

• 跨幀追蹤功能：該步驟會(huì)在基于光流的特征追蹤中追蹤檢測(cè)到的特征，并估計(jì)其在視頻圖像序列中跨相鄰兩幀的運(yùn)動(dòng)。

為保證基于嵌入式計(jì)算平臺(tái)自動(dòng)駕駛的安全性，在實(shí)時(shí)特征追蹤中平衡準(zhǔn)確性和性能至關(guān)重要。為實(shí)現(xiàn)該平衡，NVIDIA 設(shè)計(jì)了一種復(fù)雜的特征密度控制算法，以確保檢測(cè)到的稀疏特征可以覆蓋對(duì)自動(dòng)駕駛來(lái)說(shuō)最重要的圖像區(qū)域。此外，NVIDIA 還利用由粗到精的特征追蹤策略來(lái)提高計(jì)算速度和可靠性。

NVIDIA 的稀疏特征追蹤方法可同時(shí)在多臺(tái)攝像頭上運(yùn)行，開(kāi)發(fā)人員可以借助前置和環(huán)繞攝像頭感知裝置實(shí)現(xiàn)特征追蹤功能。

循環(huán)神經(jīng)網(wǎng)絡(luò)“看懂”目標(biāo)走向

使用 RNN 預(yù)測(cè)未來(lái)

在行車過(guò)程中，駕駛狀況變化無(wú)常，自動(dòng)駕駛汽車會(huì)遇見(jiàn)其他車輛的不合理變道或行人突然從停放的車輛之間竄出來(lái)的情況。這種意外事件的存在意味著在行車過(guò)程中，自動(dòng)駕駛汽車需要為未來(lái)將出現(xiàn)的各種駕駛情況做好準(zhǔn)備。

借助計(jì)算方法和傳感器數(shù)據(jù)（比如一些連續(xù)的圖像），自動(dòng)駕駛汽車可以及時(shí)判斷出物體正在如何移動(dòng)，并通過(guò)這類時(shí)態(tài)信息準(zhǔn)確地預(yù)測(cè)周圍移動(dòng)目標(biāo)的未來(lái)軌跡，根據(jù)需要調(diào)整其行駛路徑。以上視頻為大家展示了 NVIDIA 為實(shí)現(xiàn)這種預(yù)測(cè)，所使用的深度神經(jīng)網(wǎng)絡(luò)家族中的成員之一—循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）。

RNN 是一種特殊的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu), 是根據(jù)“人的認(rèn)知是基于過(guò)往的經(jīng)驗(yàn)和記憶”這一觀點(diǎn)提出的。與 DNN、CNN 不同的是，RNN 擁有記憶功能，其在計(jì)算并預(yù)測(cè)未來(lái)時(shí)可以利用過(guò)去的學(xué)習(xí)結(jié)果，能夠以自然方式提取某一時(shí)間序列的圖像（也就是視頻），并生成最先進(jìn)的時(shí)間預(yù)測(cè)結(jié)果，具有高度可靠性。

NVIDIA 主要是利用跨傳感器數(shù)據(jù)來(lái)訓(xùn)練 RNN。具體而言，NVIDIA 會(huì)將激光雷達(dá)和雷達(dá)的信息輸入至攝像頭域中，并用速度數(shù)據(jù)標(biāo)記攝像頭圖像，以利用跨傳感器融合來(lái)創(chuàng)建一個(gè)自動(dòng)的數(shù)據(jù)流程，為 RNN 的訓(xùn)練生成地面實(shí)況信息。

RNN 可輸出場(chǎng)景中所檢測(cè)到的動(dòng)態(tài)對(duì)象（如車輛和行人）的碰撞時(shí)間（TTC）、未來(lái)位置以及未來(lái)速度預(yù)測(cè)，為自動(dòng)駕駛汽車中的縱向控制功能（如自動(dòng)巡航控制和自動(dòng)緊急制動(dòng)）提供必要的輸入信息，以幫助自動(dòng)駕駛汽車實(shí)現(xiàn)安全行駛。

PredictionNet DNN 預(yù)測(cè)前方路況

準(zhǔn)確前行：AI 如何幫助自動(dòng)駕駛汽車預(yù)測(cè)前方路況

車輛行駛過(guò)程中需要對(duì)未來(lái)進(jìn)行預(yù)測(cè)。每當(dāng)汽車突然駛?cè)肽硞€(gè)車道或多輛汽車在同一十字路口相遇時(shí)，為了確保安全，駕駛員必須對(duì)其他對(duì)象的行為進(jìn)行預(yù)測(cè)。人類駕駛員依靠駕駛過(guò)程中的線索以及個(gè)人經(jīng)驗(yàn)對(duì)情況進(jìn)行分析，而自動(dòng)駕駛汽車可以通過(guò) AI 預(yù)測(cè)交通模式，并在復(fù)雜的環(huán)境中安全行駛。以上視頻將為大家演示 PredictionNet DNN 如何利用實(shí)時(shí)感知數(shù)據(jù)和地圖數(shù)據(jù)，預(yù)測(cè)其他道路使用者的行駛路徑。

PredictionNet DNN 通過(guò)分析路上所有行人和車輛過(guò)往的移動(dòng)情況，得到車輛或行人的過(guò)往位置，并且還會(huì)獲取場(chǎng)景中固定對(duì)象和地標(biāo)的位置，例如地圖上的交通信號(hào)燈、交通標(biāo)志和車道線標(biāo)志，而后基于這些柵格化俯視圖信息輸入來(lái)預(yù)測(cè)路上車輛和行人的未來(lái)軌跡。此外，PredictionNet DNN 能通過(guò)提供每個(gè)車輛或行人未來(lái)軌跡的預(yù)測(cè)統(tǒng)計(jì)信息，來(lái)降低預(yù)測(cè)的不確定性，如下圖所示。

PredictionNet 的預(yù)測(cè)結(jié)果以俯視圖形式展現(xiàn)。灰線代表地圖，白虛線代表 DNN 預(yù)測(cè)的車輛軌跡，而白框代表實(shí)際發(fā)生的軌跡數(shù)據(jù)。彩色云代表預(yù)測(cè)車輛軌跡的概率分布，較暖顏色代表在時(shí)間上與當(dāng)前時(shí)間更近的點(diǎn)，較冷顏色代表在將來(lái)更遠(yuǎn)的點(diǎn)

PredictionNet 采用基于 RNN 的二維卷積架構(gòu)，對(duì)任意車輛或行人以及預(yù)測(cè)范圍數(shù)量都具有高度可擴(kuò)展性。此外，PredictionNet 模型還適用于 TensorRT 深度學(xué)習(xí)推理 SDK 中的高效運(yùn)行，可在 NVIDIA TITAN RTX GPU 上實(shí)現(xiàn) 10 毫秒級(jí)的端到端推理。PredictionNet 實(shí)時(shí)預(yù)測(cè)行為的能力還能用于創(chuàng)建交互式訓(xùn)練環(huán)境，以加強(qiáng)基于學(xué)習(xí)的規(guī)劃和控制策略，實(shí)現(xiàn)自動(dòng)巡航控制、車道變更或交叉路口處理等功能。

PredictionNet 的訓(xùn)練結(jié)果還表明，其在十字路口、高速公路汽車匯入等復(fù)雜的交通場(chǎng)景下都具有很好的應(yīng)用前景。該 DNN 的預(yù)測(cè)功能還具有可擴(kuò)展性，可用于各種傳感器配置，并應(yīng)用在從 L2+ 級(jí)系統(tǒng)到 L4/L5 級(jí)的自動(dòng)駕駛系統(tǒng)中。

NVIDIA 希望能借助 PredictionNet 以及真實(shí)世界經(jīng)驗(yàn)，對(duì)“其他道路使用者對(duì)行駛中的汽車做出的反應(yīng)”進(jìn)行仿真，訓(xùn)練出更安全、可靠且彬彬有禮的“AI 駕駛員”。

以上就是本期全部?jī)?nèi)容。希望大家喜歡本次的自動(dòng)駕駛之旅，下期我們將在此基礎(chǔ)上為大家介紹 NVIDIA 如何利用 AI、安全力場(chǎng)（Safety Force Field）和主動(dòng)學(xué)習(xí)為駕乘人員的安全保駕護(hù)航，敬請(qǐng)期待！點(diǎn)擊“閱讀原文”，觀看更多 NVIDIA DRIVE Labs & Dispatch視頻，了解 NVIDIA DRIVE 軟件如何助力自動(dòng)駕駛。

往期精彩回看

「入門篇」：自動(dòng)駕駛基礎(chǔ)功能

「第二站」：基本路況感知

「第三站」：讀懂交通標(biāo)志與信號(hào)燈

「第四站」：監(jiān)控車外的風(fēng)吹草動(dòng)

「第五站」：提高道路狀況的可見(jiàn)性

掃描海報(bào)二維碼，即可觀看 NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛 GTC23 主題演講重播！