當(dāng)你在連續(xù)一段時間內(nèi)觀察某件事時，可以找到能夠進行預(yù)測的趨勢或模式。而通過預(yù)測，你可以提醒自己采取適當(dāng)?shù)男袆印?/p>

具體來說，當(dāng)你觀察移動的目標(biāo)時，軌跡是理解目標(biāo)行為的最重要方法之一，可以基于此獲得可操作的見解（視頻 1）。

視頻 1：獵豹追逐獵物（資料來源：Adobe)

當(dāng)獵物距離較遠(yuǎn)時，獵豹長周期內(nèi)的運動模式對規(guī)劃捕獵更為重要。而隨著獵物越來越近，在做出預(yù)測時，獵物短周期內(nèi)的運動模式則會成為關(guān)鍵點。獵豹的視覺系統(tǒng)會鎖定獵物，并一直跟蹤它，直到捕獲。

同樣，如果想生成關(guān)于目標(biāo)的軌跡，需要隨著時間的推移始終跟進識別同一目標(biāo)，即使在視覺外觀或運動動力學(xué)發(fā)生突然變化的情況下，也是如此。然而，當(dāng)目標(biāo)被部分或完全遮擋時，要做到這一點就會更困難。通常來說，在附近有長時間的遮擋，或視覺上有引人注目的物體等極具挑戰(zhàn)性的情況下，即使是食肉動物或擁有強大視覺系統(tǒng)的人類，也經(jīng)常會失去對目標(biāo)的跟蹤（圖 1）。

圖 1：東京澀谷十字路口（資料來源：Adobe)

目標(biāo)軌跡也是許多視覺人工智能應(yīng)用的關(guān)鍵部分，例如用于結(jié)賬隊列分析、商店布局優(yōu)化和生產(chǎn)檢查。

NVIDIADeepStream SDK提供了 GPU 加速多目標(biāo)跟蹤器（MOT）。最新版DeepStream SDK 6.2發(fā)布后，多目標(biāo)跟蹤器更是有了顯著的提升，有效地解決了具有挑戰(zhàn)性的遮擋問題。利用基于深度神經(jīng)網(wǎng)絡(luò)的重新識別（ReID）模型進行目標(biāo)匹配和關(guān)聯(lián)，來實現(xiàn)這一點。

NvDCF現(xiàn)已可配置使用 ReID 模型，對可能經(jīng)歷長時間遮擋或較長時間錯過檢測的目標(biāo)提高關(guān)聯(lián)性。NvDCF 仍然使用基于強魯棒性和高效短期跟蹤的判別式相關(guān)濾波器（DCF）方法。同時還配備了神經(jīng)網(wǎng)絡(luò)驅(qū)動的長期目標(biāo)重新關(guān)聯(lián)，從而在多目標(biāo)跟蹤的效率、準(zhǔn)確性和魯棒性之間取得最終平衡。

NvDeepSORT使用基于NVIDIA TensorRT的 ReID 模型中提取的深度特征，來執(zhí)行用于跨視頻幀跟蹤的目標(biāo)關(guān)聯(lián)。您能夠使用自定義 ReID 模型，以便進行多目標(biāo)跟蹤。

NvSORT是 NVIDIA 支持的簡單在線實時跟蹤器 (SORT) ，使用卡爾曼濾波器進行狀態(tài)估計，并基于來自檢測器的目標(biāo)邊界框，使用數(shù)據(jù)關(guān)聯(lián)算法進行目標(biāo)關(guān)聯(lián)。NvSORT 使用級聯(lián)數(shù)據(jù)關(guān)聯(lián)算法進行強魯棒性的目標(biāo)匹配，這是對原始 SORT 的優(yōu)化。

得益于 DeepStream SDK 中的統(tǒng)一跟蹤器架構(gòu)，增強的級聯(lián)數(shù)據(jù)關(guān)聯(lián)算法也用于以下所有其他類型的 MOT：NvDCF 和 NvDeepSORT。統(tǒng)一跟蹤器架構(gòu)讓您能夠通過NvMultiObjectTracker庫，根據(jù)選擇的跟蹤器類型啟用和禁用單個模塊。同樣，您也可以使用NvDsTracker構(gòu)建自定義跟蹤器。

表 1 總結(jié)了 DeepStream 6.2 中提供的多對象跟蹤器組合。

表 1：DeepStream SDK 6.2 中提供的多對象跟蹤器

行人追蹤

是時候在一些有趣的場景中使用這些目標(biāo)跟蹤器，生成目標(biāo)的軌跡并檢驗效果了。

首先是一個行人跟蹤用例。使用了 PeopleNet v2.6 檢測器，上面裝配了不同類型的物體跟蹤器。檢測器配置參數(shù)和跟蹤器參數(shù)都針對 PeopleNet v2.6 進行了調(diào)整。有關(guān)詳細(xì)信息，請參閱DeepStream 6.2 Object Tracker documentation（https://docs.nvidia.com/metropolis/deepstream/dev-guide/text/DS_plugin_gst-nvtracker.html#setup-and-visualization-of-tracker-sample-pipelines）。

在視頻 2 中，對 PeopleNet 、NvSORT、NvDeepSORT 和 NvDCF 的實時感知結(jié)果以順時針方向顯示，用于并排比較。不同的人和邊界框（bbox）為了更容易識別，用了不同的顏色繪制，并且只有當(dāng)場景中存在相應(yīng)的目標(biāo)時，才會顯示顏色編碼的軌跡。視頻是以 x0.5 的速度拍攝的，以便于比較，但實際數(shù)據(jù)是實時生成的。

bbox 頂部的標(biāo)簽（例如[21]: 80 (0.24)) 顯示的是個人 ID （例如 21)， 跟蹤年齡（例如 80) 和跟蹤置信度（例如 0.24)。檢測器配置參數(shù)針對每種跟蹤器類型進行不同配置，以獲得更好的跟蹤精度。

視頻 2：室內(nèi)大堂的行人追蹤

使用相同的檢測模型時，并排的視覺比較使您能夠獲得不同對象跟蹤器類型的行為和質(zhì)量的定性見解。NvDCF 跟蹤器具有最高的精度，因此我們在視頻 3 中更仔細(xì)地顯示了其跟蹤結(jié)果。

視頻 3：NvDCF 跟蹤器在完全遮擋的情況下跟蹤行人

下方圖 2 的場景中央有一個大柱子，會導(dǎo)致走在后面的人長時間被完全遮擋。對于任何目標(biāo)檢測或跟蹤系統(tǒng)來說，這都是一個特別具有挑戰(zhàn)性的場景。一些檢測錯誤包括部分或雙重檢測和遺漏檢測，根據(jù)背景和物理環(huán)境的不同，可能會非常頻繁地發(fā)生。

圖 2：樣本檢測錯誤：

有兩個人的邊界框、遺漏檢測和部分檢測

幸好，新引入了基于 ReID 的目標(biāo)重新關(guān)聯(lián)，NvDCF 跟蹤器可以成功跟蹤大多數(shù)人（視頻 4），即使他們在柱子后面經(jīng)歷了完全遮擋。它不僅在許多幀之后重新關(guān)聯(lián)柱子前后的相同對象，而且還恢復(fù)了由柱子引起的遺漏檢測（漏報率）。

一個更具挑戰(zhàn)性的場景是，除了這種環(huán)境遮擋之外，還有許多其他目標(biāo)的遮擋（視頻 4）。這種遮擋產(chǎn)生不同程度的部分遮擋，其中檢測到的目標(biāo)邊界框的大小和縱橫比，在短時間內(nèi)會顯著變化。這給目標(biāo)匹配和跟蹤中的關(guān)聯(lián)帶來了挑戰(zhàn)。

視頻 4：NvDCF 跟蹤器在完全和部分遮擋情況下

對行人進行跟蹤

盡管存在這些挑戰(zhàn)，您可以看到 NvDCF 跟蹤器在大多數(shù)情況下只需幾個 ID 開關(guān)即可執(zhí)行魯棒跟蹤。在目標(biāo)離開場景之后，目標(biāo)跟蹤就會被配置為立即終止。視頻 4 中離開場景的一些目標(biāo)，在重新進入后按照計劃被分配了不同的 ID。

仔細(xì)觀察圖 3 和視頻 4 中的目標(biāo) ID [3]，如圖 3 和視頻 4 所示。在整個行程中，他多次經(jīng)歷嚴(yán)重的完全和部分遮擋，但他從一開始就一直被跟蹤，直到離開現(xiàn)場。

圖 3：穿著白襯衣的目標(biāo) ID [3] 的人

在視頻 4 中的四張快照

視頻 5 顯示了跟蹤器內(nèi)部使用的目標(biāo)模板，其中提取了特征，以及同一目標(biāo)的相關(guān)性響應(yīng)圖。紫色的“x”標(biāo)記顯示附近的目標(biāo)位置，而黃色的“+”標(biāo)記顯示當(dāng)前目標(biāo)位置。

視頻 5：（左）跟蹤器使用的圖像模板；

（右）目標(biāo)周圍的相關(guān)性響應(yīng)

這些結(jié)果是使用相對簡單的基于 ResNet-10 的 ReID 模型生成的。為了獲得更好的結(jié)果，我們鼓勵您嘗試更高級的自定義 ReID 模型。

DeepStream 6.2 中的 NvDCF 跟蹤器是一款先進的多目標(biāo)跟蹤器，在精度和性能之間取得了很大的平衡。在 MOT17 Challenge 排行榜上，您可以看到學(xué)術(shù)界和工業(yè)界都積極提交了許多跟蹤器。NvDCF 跟蹤器在 MOT17 排行榜上顯示為 NvMOT _ DSv62 型，是實時生成輸出的在線跟蹤器中的頂級跟蹤器之一。

車輛跟蹤

對于車輛跟蹤用例，我們使用 TrafficCamNet 帶有 DeepStream 多目標(biāo)跟蹤器的探測器。我們使用了一個典型的車輛交通監(jiān)控系統(tǒng)的場景進行測試，該系統(tǒng)俯瞰著一個繁忙的十字路口。有大小燈桿和交通信號桿，造成了大量遮擋。相對較少的攝像機有利位置更加劇了遮擋問題，導(dǎo)致了對其他車輛的許多遮擋。此外，道路上的植被也增加了場景的復(fù)雜性。

由于交通桿和樹木的存在，車輛會發(fā)生部分和完全遮擋，導(dǎo)致大量的漏檢和錯誤檢測。您可以在并排視頻中看到，不同類型的目標(biāo)跟蹤器如何處理這些具有挑戰(zhàn)性的情況（視頻 6）。該視頻是以 x0.4 的速度拍攝的，但實際數(shù)據(jù)是實時生成的。

視頻 6：繁忙十字路口的車輛跟蹤

在視頻的左上角，顯示了 TrafficCamNet 檢測器的對象框，您可能會注意到檢測噪音。其中包括檢測到的 bbox 中的抖動、在單個 bbox 中捕獲多個對象的雙重檢測、由于遮擋而導(dǎo)致的部分檢測等等。

當(dāng)車輛在交通桿后被遮擋時，這些檢測誤差和噪聲會變得更加嚴(yán)重。要了解 DeepStream 多對象跟蹤器如何處理這些噪聲檢測，請參閱視頻 6 ，并在視頻 7 中更仔細(xì)地了解 NvDCF 跟蹤器的跟蹤結(jié)果。

視頻 7：NvDCF 跟蹤器的車輛跟蹤

總結(jié)

您可以下載并嘗試DeepStream SDK 6.2（https://developer.nvidia.com/deepstream-sdk），為您的用例添加強魯棒性高效的多對象跟蹤器！

有關(guān)多目標(biāo)跟蹤器組成部分的更多信息，請參閱NVIDIA DeepStream Technical Deep Dive: Multi-Object Tracker視頻（https://www.youtube.com/watch?v=4nV-GtqggEw）。

即刻點擊“閱讀原文”或掃描下方海報二維碼，在 NVIDIA On-Demand 上觀看 GTC 精選回放，包括主題演講相關(guān)精選、中國本地精選內(nèi)容、生成式 AI 專題以及全球各行業(yè)及領(lǐng)域最新成果！