1. yolov11_track簡介(多目標跟蹤算法)

YOLO11是 Ultralytics YOLO系列實時物體檢測器的最新版本，重新定義了在尖端準確度、速度和效率方面的可能性。在前幾代 YOLO 版本的顯著進步基礎(chǔ)上，YOLO11 在架構(gòu)和訓練方法上引入了重大改進，使其成為廣泛計算機視覺任務的靈活選擇。

Bytetrack多目標跟蹤是一種tracking-by-detection范式的簡單高效的數(shù)據(jù)關(guān)聯(lián)的跟蹤方法BYTE。它利用檢測框和跟蹤軌跡之間的相似性，在保留高分檢測結(jié)果的同時，從低分檢測結(jié)果中去除背景，挖掘出真正的物體（遮擋、模糊等困難樣本），從而降低漏檢并提高軌跡的連貫性。BYTE能輕松應用到9種state-of-the-art的MOT方法中，并取得1-10個點不等的IDF1指標的提升。ByteTrack以30 FPS的運行速度在MOT17上取得80.3 MOTA，77.3 IDF1和63.1 HOTA，目前位居MOTChallenge榜單第一。

本文將詳細描述yolov11+ByteTrack的應用過程以及如何部署到RV1126B平臺上。

上述為yolov11+ByteTrack的執(zhí)行流程：視頻畫面輸入至yolo11檢測算法中，yolo11檢測識別出目標信息（坐標和置信度）；然后將yolov11的輸出結(jié)果轉(zhuǎn)成Bytetrack輸入對象，經(jīng)過Bytetrack跟蹤算法后，輸出跟蹤結(jié)果（目標ID和坐標）。

從上述流程圖可知：yolov11和ByteTrack是相互獨立的，所以你可以將yolo11換成任何的目標檢測算法；并且Bytetrack的跟蹤目標不僅僅只局限性與行人，它可以跟蹤任意目標，如：車輛，動物等。

1.1 Yolov11算法

關(guān)于yolov11算法的訓練以及部署教程，請參考：

EASY EAI靈眸科技 | 讓邊緣AI落地更簡單

1.2 ByteTrack算法

ByteTrack是一種高效目標跟蹤算法，于2021年發(fā)布，在MOT17數(shù)據(jù)集上取得突破性成果，MOTA指標超80，推理速度高達30FPS。算法核心在于區(qū)分高低置信度檢測框，保留低置信度框用于后續(xù)確認，有效解決遮擋問題，減少IDSwitch。

ByteTrack 核心思想可以概括為：

1. 區(qū)分高置信度檢測框與低置信度檢測框，不同置信度檢測框采取不同處理方式。
2. 保留低置信度檢測框，在后續(xù)可能會重新確認為 confirm 狀態(tài)。而不是像傳統(tǒng) MOT 算法選擇刪除。

ByteTrack 可以有效解決一些遮擋，且能夠保持較低的 IDSwitch。因為目標會因為被遮擋檢測置信度有所降低，當重新出現(xiàn)時，置信度會有所升高?？梢韵胂螅?/p>

1. 當目標逐漸被遮擋時，跟蹤目標與低置信度檢測目標匹配。
2. 當目標遮擋逐漸重現(xiàn)時，跟蹤目標與高置信度檢測目標匹配。

下面是ByteTrack算法流程圖：

2. Yolov11_track部署示例

本小節(jié)展示yolov11+Bytetrack在EASY EAI Nano-TB的部署過程，本章章節(jié)使用的yolo11n.rknn和yolo11s.rknn是由Ultralytics 官方提供的yolo11n.pt和yolo11s.pt轉(zhuǎn)換而來。

2.1 準備工作

2.1.1 硬件準備

需準備EASY EAI Nano-TB開發(fā)板，Type-C數(shù)據(jù)線、網(wǎng)線?？梢曰贛obaXterm的ssh遠程桌面登錄調(diào)試。首先使用網(wǎng)線把EASY EAI Nano-TB的千兆以太網(wǎng)接口與連著路由LAN口的交換機或者路由器的LAN口連接，如下圖所示。

以及串口連接。

2.1.2 開發(fā)環(huán)境準備

如果您初次閱讀此文檔，請閱讀《入門指南/開發(fā)環(huán)境準備/Easy-Eai編譯環(huán)境準備與更新》，并按照其相關(guān)的操作，進行編譯環(huán)境的部署。

在PC端Ubuntu系統(tǒng)中執(zhí)行run腳本，進入EASY-EAI編譯環(huán)境，具體如下所示。

cd ~/develop_environment ./run.sh 2204

2.1.3 板卡依賴庫安裝

通過串口調(diào)試或ssh調(diào)試，進入板卡后臺。由于本跟蹤算法依賴libeigen3-dev庫，所以需要在板卡提前進行安裝：

sudo apt-get update sudo apt-get install libeigen3-dev

2.2 源碼下載以及例程編譯

下載yolo11_track C Demo示例文件。

百度網(wǎng)盤鏈接: https://pan.baidu.com/s/1X3Y6StZzMnRczwuzfM4XXw?pwd=1234（提取碼: 1234）。

下載程序包移至ubuntu環(huán)境后，執(zhí)行以下指令解壓：

tar -xvf yolov11_track_C_demo.tar.bz2

下載解壓后如下圖所示:

在EASY-EAI 編譯環(huán)境下，進入到對應的例程目錄執(zhí)行編譯操作，具體命令如下所示：

cd /opt/nfsroot/rknn-src/RV1126B/yolov11_track_C_demo ./build.sh

同時，把可執(zhí)行程序目錄yolov11_track_demo_release/復制到開發(fā)板/userdata目錄上：

cp yolov11_track_demo_release/ /mnt/userdata/ -rf

2.3 開發(fā)板執(zhí)行yolov11跟蹤算法

通過串口調(diào)試或ssh調(diào)試，進入板卡后臺，定位到例程部署的位置，如下所示：

cd /userdata/yolov11_track_demo_release/

運行例程命令如下所示：

chmod 777 yolov11_track_demo sudo ./yolov11_track_demo yolov11s_rv1126b.rknn test.mp4

執(zhí)行結(jié)果如下圖所示，yolo11s運行耗時48ms左右，Bytetrack耗時6.8ms左右：

在EASY-EAI編譯環(huán)境,可以取回跟蹤結(jié)果視頻:

cp /mnt/userdata/yolov11_track_demo_release/output.avi .

測試結(jié)果如下圖所示:

至此，yolov11_track目標跟蹤例程已成功在板卡運行。

3. 資料下載