這是 NVIDIA DRIVE Labs 系列 中的最新視頻。這些視頻以工程為重點，介紹了各個自主車輛的挑戰(zhàn)以及 NVIDIA 驅(qū)動團隊如何應(yīng)對這些挑戰(zhàn)。

自動停車涉及一系列復雜的感知和決策算法，傳統(tǒng)上依賴高清（ HD ）地圖來檢索停車信息。

然而，地圖覆蓋率和較差或過時的本地化信息可能會限制此類系統(tǒng)。除此之外，系統(tǒng)還必須理解和解釋不同地區(qū)的停車規(guī)則。

在這個 DRIVE Labs 的帖子中，我們展示了基于 AI 的實時感知如何幫助將自動停車擴展到全球各個地區(qū)。

自動泊車系統(tǒng)概述

對停車規(guī)則的理解和解釋可能會比表面上看起來更加微妙。

可以覆蓋有效區(qū)域內(nèi)的不同停車規(guī)則。例如，“禁止停車”可以覆蓋“禁止泊車”

此外，非停車相關(guān)標志可以推斷停車規(guī)則。例如，在德國，任何公共汽車站標志 15 米范圍內(nèi)都不允許停車。在美國，停車標志前 30 英尺內(nèi)停車是違法的。

最后，除了像物理標志這樣的明確線索外，還有攜帶停車信息的隱含標志。例如，在許多地區(qū)，交叉口表示上一個活動停車規(guī)則的結(jié)束。

基于高級算法的停車標志輔助（ PSA ）系統(tǒng)對于自動車輛了解停車規(guī)則的復雜性并做出相應(yīng)反應(yīng)至關(guān)重要。

傳統(tǒng)的 PSA 系統(tǒng)僅依賴高清地圖的輸入。然而， NVIDIA DRIVE AV 軟件堆棧利用最先進的深度神經(jīng)網(wǎng)絡(luò)（ DNN ）和計算機視覺算法來提高真實場景中自動停車的覆蓋率和魯棒性。這些技術(shù)可以實時檢測、跟蹤和分類各種停車交通標志和道路交叉口。

WaitNet DNN 檢測交通標志和十字路口。

wait perception 堆棧跟蹤單個標志和交點，通過三角測量提供 3D 位置。

SignNet DNN 標識交通標志類型。

然后，來自模塊的結(jié)果被輸入 PSA 系統(tǒng)，該系統(tǒng)使用這些數(shù)據(jù)來確定汽車是否在停車帶內(nèi)，限制條件是什么，以及汽車是否允許在該區(qū)域內(nèi)停車或停車。

停車標志輔助系統(tǒng)概述

PSA 系統(tǒng)接收到檢測到的停車標志和道路交叉口后，將對象抽象為一個 啟動停車標志 或 終點停車標志 。這種抽象級別允許系統(tǒng)在全球范圍內(nèi)擴展。

啟動停車標志 標志著新停車帶的潛在開始， 終點停車標志 可能會關(guān)閉一個或多個現(xiàn)有停車帶。圖 1 和圖 2 顯示了停車帶是如何形成的。

圖 1 ：形成停車帶

圖 1 將標志和道路交叉口抽象為停車帶。該圖顯示，單個標志可以生成多個虛擬標志。例如，中間的符號作為最左邊符號的“結(jié)束”符號，作為最右邊符號的“開始”。

圖 2 ：禁止停車區(qū)旁的汽車。

除了形成停車帶外， PSA 系統(tǒng)還利用標志的語義將停車帶分為禁止停車、禁止停留、允許停車和未知狀態(tài)。然后，可以將此信息提供給駕駛員或任何自動停車系統(tǒng)。

圖 3 ：PSA 的高水平工作

圖 3 顯示了 PSA 系統(tǒng)的主要功能工作流。在幀 A 中，檢測到“停車區(qū)開始”標志，并創(chuàng)建新的停車帶。汽車行駛一段時間后，檢測到“停車區(qū)結(jié)束”標志，該標志與該停車帶的開始標志相匹配。

最后， PSA 系統(tǒng)將所有激活的停車帶存儲在其存儲器中，并根據(jù)停車帶所隱含的交通規(guī)則向駕駛員發(fā)出當前停車狀態(tài)的信號。

結(jié)論

PSA 系統(tǒng)在 NVIDIA DRIVE AGX 上運行僅幾毫秒，就可以以驚人的準確性實現(xiàn)復雜的決策。它還兼容任何使用實時攝像頭傳感器輸入的僅感知自動車輛堆棧。

我們目前的 SignNet DNN 支持歐洲 20 多個停車標志，包括公共汽車停車標志、禁止停車標志和禁止停車標志，覆蓋范圍不斷擴大。我們還將光學字符識別（ OCR ）和自然語言處理（ NLP ）模塊添加到系統(tǒng)中，以處理符號上書寫文本攜帶的復雜信息。

關(guān)于作者

鄒珂軒是 NVIDIA 自主車輛感知團隊的計算機視覺工程師。他目前正在開發(fā)動態(tài)和靜態(tài)對象的多攝像頭跟蹤。過去，他是基于實時感知的等待條件系統(tǒng)（包括速度輔助系統(tǒng)和停車標志輔助系統(tǒng)）各種功能和算法的核心貢獻者之一?？藙谒乖谝晾Z伊大學香檳分校獲得計算機工程碩士學位。

Maroof Mohammed Farooq 是 NVIDIA 的高級軟件工程師。他是自動車輛感知團隊的成員，在該團隊中，他致力于開發(fā)動態(tài)和靜態(tài)障礙物的攝像頭對象跟蹤器。過去，他為路徑感知、路標識別和等待條件系統(tǒng)的基于 AI 的解決方案的設(shè)計和開發(fā)做出了貢獻。他在南加州大學完成了信號處理碩士學位。

竇航是 NVIDIA 自主車輛感知團隊的技術(shù)負責人和工程師經(jīng)理。他領(lǐng)導了等待條件系統(tǒng)（道路規(guī)則、標志、燈光、交叉口區(qū)域、路標等的語義理解）的開發(fā)，目前正在領(lǐng)導開發(fā)動態(tài)對象（車輛、行人等）和靜態(tài)對象（自由駕駛空間等）的通用攝像頭跟蹤。Hang在圣路易斯華盛頓大學獲得了計算機科學博士學位，由Ju教授指導。Hang的工作領(lǐng)域包括計算機圖形學、計算機視覺和深度學習，尤其對幾何、渲染、檢測和分類感興趣。

審核編輯：郭婷