DRIVE Labs 系列文章

第三站：讀懂交通標(biāo)志與信號(hào)燈

城市道路設(shè)計(jì)縱橫交錯(cuò)，自動(dòng)駕駛汽車在保持車道行駛的同時(shí)，還需“理解”各類道路標(biāo)志，并在行駛過程中“眼”觀六路、隨機(jī)應(yīng)變，以保證道路交通秩序和行駛途中的安全性。DRIVE Labs“常學(xué)常新”系列是 NVIDIA DRIVE 團(tuán)隊(duì)推出的、以一輛自動(dòng)駕駛汽車從出發(fā)到最終目的地為線索的系列文章，共分 8 期主題，將為大家詳細(xì)解析自動(dòng)駕駛汽車如何一路“過關(guān)斬將”，以及 NVIDIA 技術(shù)與產(chǎn)品在不同場景中提供的支持，以便讀者能更好地了解自動(dòng)駕駛。

本期是第三期“讀懂交通標(biāo)志與信號(hào)燈”，將為大家介紹深度神經(jīng)網(wǎng)絡(luò)如何助力自動(dòng)駕駛汽車“讀懂”交通標(biāo)志以及路上的文字、“判斷”信號(hào)燈及限速標(biāo)志，以實(shí)現(xiàn)有序行駛。

上期文章主要介紹了用于基本路況感知的深度神經(jīng)網(wǎng)絡(luò)（DNN），本期文章將緊接上期 DNN 的相關(guān)內(nèi)容，介紹用于交通標(biāo)志和信號(hào)燈判斷的 LightNet DNN、SignNet DNN 和 MapNet DNN 等內(nèi)容。話不多說，趕緊與 NVIDIA 一起看看吧！

實(shí)況駕駛對(duì)自動(dòng)駕駛汽車的“觀察”和“理解”能力提出了更高的要求，不僅需要保證自身行駛的安全性，還需要遵守交通規(guī)則，根據(jù)交通標(biāo)志和信號(hào)燈指示行駛，以維護(hù)有序交通秩序，構(gòu)建安全的交通環(huán)境。

借助高精度 MapNet DNN

“觀察”道路標(biāo)記

AI 如何閱讀路上的文字

車道線和道路邊緣檢測對(duì)于自動(dòng)駕駛汽車的開發(fā)來說至關(guān)重要。車道線檢測能夠驅(qū)動(dòng)諸如車道偏離警告之類的系統(tǒng)，從而避免讓駕駛員偏離車道。自動(dòng)駕駛汽車?yán)?LaneNet DNN 可以檢測車道線以保持安全、穩(wěn)定的車道行駛。

但實(shí)況道路除車道線以外，還存在各式各樣的道路標(biāo)記（例如箭頭或 STOP 字樣），路邊還會(huì)設(shè)置各類的垂直地標(biāo)（例如路標(biāo)或燈桿）。為助力自動(dòng)駕駛汽車“讀懂”更多車道標(biāo)記，NVIDIA 推動(dòng)了 LaneNet DNN 進(jìn)一步發(fā)展，開發(fā)了新功能 MapNet DNN。觀看以上視頻，了解 MapNet DNN 模型如何實(shí)現(xiàn)道路標(biāo)識(shí)和視覺地標(biāo)的端到端檢測。

像素級(jí)可視化的 MapNet DNN 檢測結(jié)果，顯示一個(gè)部分缺失的左轉(zhuǎn)箭頭標(biāo)記。青色表示道路標(biāo)記，深藍(lán)色表示虛線車道線

MapNet DNN 延續(xù)了 LaneNet DNN 的實(shí)況數(shù)據(jù)編碼技術(shù)，創(chuàng)建了足夠的冗余來保留豐富的車道線信息，并能夠輕松擴(kuò)展并保留任意形狀的道路標(biāo)記以及地標(biāo)（例如桿子）的信息（以“垂直車道線”為例）。高精度 MapNet 還能在道路標(biāo)記部分缺失或遇到道路裂縫、柏油污點(diǎn)等視覺挑戰(zhàn)的情況下，提供精確的道路標(biāo)記形狀和道路邊緣檢測，并能夠檢測不同語言的道路文字標(biāo)記。

此外，MapNet 提供的高精度道路標(biāo)記和地標(biāo)檢測結(jié)果還可用作自動(dòng)駕駛汽車的地圖和定位功能的輸入，其檢測垂直地標(biāo)（例如桿子）的能力還有利于自動(dòng)駕駛汽車獲得準(zhǔn)確的縱向定位結(jié)果，提升自動(dòng)駕駛的可靠性。

DNN 組合助力交通標(biāo)志和信號(hào)燈檢測

利用 AI 對(duì)交通標(biāo)志和信號(hào)燈進(jìn)行分類

每個(gè)人在最初學(xué)開車的時(shí)候都會(huì)從最簡單的規(guī)則開始學(xué)起，其中之一就是“紅燈停，綠燈行”，自動(dòng)駕駛汽車也不例外。此外，它還要學(xué)習(xí)在各類駕駛環(huán)境下精準(zhǔn)識(shí)別交通標(biāo)志和信號(hào)燈并對(duì)其做出正確的反應(yīng)。以上視頻為大家介紹了 NVIDIA DRIVE AV 軟件使用 DNN 組合來對(duì)交通標(biāo)志和信號(hào)燈進(jìn)行分類。

在 NVIDIA 感知等待條件軟件的架構(gòu)中，交通信號(hào)燈和標(biāo)志的檢測與交通信號(hào)燈的狀態(tài)/形狀以及類型分類是分開進(jìn)行的，以便能夠優(yōu)化交通信號(hào)燈和標(biāo)志檢測的精確率/召回率，且能夠讓檢測獨(dú)立于性能分類運(yùn)行。

交通信號(hào)燈（TL）以及交通標(biāo)志（TS）分類系統(tǒng)圖表

具體而言，NVIDIA 利用 WaitNet DNN 進(jìn)行交叉路口、交通信號(hào)燈和交通標(biāo)志的檢測。然后，LightNet DNN 將根據(jù)交通信號(hào)燈的形狀（例如實(shí)心與箭頭）和狀態(tài)（即顏色：紅色，黃色，綠色）進(jìn)行分類；同時(shí)，SignNet DNN 將會(huì)識(shí)別交通標(biāo)志的類型。

以上兩圖顯示了當(dāng)速度限制從 80 千米/小時(shí)降至 60 千米/小時(shí)，SignNet 對(duì)歐洲限速標(biāo)志進(jìn)行識(shí)別分類，以通過高速公路最后路段

LightNet 實(shí)時(shí)識(shí)別單個(gè)及組合的交通信號(hào)燈并對(duì)其進(jìn)行分類

WaitNet DNN 在上期內(nèi)容中已經(jīng)介紹過，這里就不再贅述。在本期視頻中，可以看到 LightNet DNN 和 SignNet DNN 的應(yīng)用情況。總的來說，LightNet DNN、SignNet DNN 與 WaitNet DNN 共同構(gòu)成了等待條件感知軟件的核心，用于檢測車輛必須減速停止或等待的情況，這對(duì)于半城市和城市環(huán)境中的自動(dòng)駕駛而言尤為重要。

利用 AI 實(shí)時(shí)感知理解限速標(biāo)志

AI 實(shí)時(shí)感知幫助自動(dòng)駕駛汽車?yán)斫庀匏贅?biāo)志

限速標(biāo)志識(shí)別看似是一項(xiàng)簡單的任務(wù)，但在遇到不同車道具有不同限速的情況（例如高速公路出口）或者在一個(gè)陌生的國家駕駛時(shí)，這項(xiàng)任務(wù)可能會(huì)變得復(fù)雜。以上視頻介紹了 AI 實(shí)時(shí)感知如何幫助自動(dòng)駕駛汽車同時(shí)根據(jù)顯性和隱性線索更好地理解復(fù)雜的限速情況。

如今，限速標(biāo)志的細(xì)致程度遠(yuǎn)勝于以前。例如，學(xué)校區(qū)域的限速標(biāo)志只在一天中的特定時(shí)段有效。有些限速要求會(huì)通過電子可變信息標(biāo)志顯示，包括顯示適用于特定車道的限速、在特定條件下的限速或在不同條件下的不同限速。此外，部分交通標(biāo)志也有可能包含限速信息且相近的標(biāo)志直接可能會(huì)有語義的不同。

面對(duì)如此復(fù)雜的情況，NVIDIA 推出了 NVIDIA DRIVESAS（速度輔助系統(tǒng)），通過各種能夠檢測和理解隱性、顯性與可變信息標(biāo)志的深度神經(jīng)網(wǎng)絡(luò)（DNN）充分發(fā)揮 AI 實(shí)時(shí)感知的力量。具體而言，NVIDIA WaitNet 深度神經(jīng)網(wǎng)絡(luò)負(fù)責(zé)檢測標(biāo)志，SignNet 深度神經(jīng)網(wǎng)絡(luò)負(fù)責(zé)對(duì)標(biāo)志進(jìn)行分類，PathNet 深度神經(jīng)網(wǎng)絡(luò)負(fù)責(zé)提供路徑感知信息。因此，理解限速標(biāo)志和確定該標(biāo)志與道路上不同車道的相關(guān)性（這一過程被稱為標(biāo)志-路徑關(guān)聯(lián)性）所需的所有信號(hào)均來自現(xiàn)場感知，無需事先從地圖中獲取信息，因而具有很強(qiáng)的靈活性。

實(shí)時(shí)感知 SAS 分析“高速公路入口”標(biāo)志

此外，NVIDIA 的實(shí)時(shí)感知 SAS 所提供的速度標(biāo)志信息和標(biāo)志-路徑相關(guān)性信息可以與地圖信息融合。通過將多樣化的信息輸入進(jìn)行融合，可以使 SAS 覆蓋更多的現(xiàn)實(shí)世界情景，從而進(jìn)一步提高穩(wěn)定性。

以上就是本期全部內(nèi)容。希望大家喜歡本次的自動(dòng)駕駛之旅，下期我們將在此基礎(chǔ)上為大家介紹 AI 如何助力攝像頭、雷達(dá)、激光雷達(dá)等傳感器監(jiān)控車外的風(fēng)吹草動(dòng)，敬請(qǐng)期待！點(diǎn)擊“閱讀原文”，觀看更多 NVIDIA DRIVE Labs & Dispatch 視頻，了解 NVIDIA DRIVE 軟件如何助力自動(dòng)駕駛。

往期精彩回看

「入門篇」：自動(dòng)駕駛基礎(chǔ)功能

「第二站」：基本路況感知

掃描下方海報(bào)二維碼，即可免費(fèi)注冊(cè) GTC 23，切莫錯(cuò)過這場 AI 和元宇宙時(shí)代的技術(shù)大會(huì)！