01

方案核心概述

本方案由以下幾部分組成：

1. 以睿擎派開發(fā)板為硬件核心，該開發(fā)板搭載睿擎RC3506核心板，集成雙網(wǎng)口、MIPI等豐富硬件接口，可穩(wěn)定支持工業(yè)控制與邊緣計算場景，搭配RuiChing Studio開發(fā)工具能大幅縮短項目開發(fā)周期；

2. 搭配已完成適配的YOLO輕量型AI模型——該模型基于NCNN推理框架構(gòu)建，具備實時目標檢測與多類別識別能力；

3. 硬件端輔以HBCAM-5M2134型UVC攝像頭，其采用USB接口設(shè)計，擁有120°無畸變廣角、自動對焦功能及內(nèi)置麥克風(fēng)，可穩(wěn)定采集500萬像素高清圖像；

4. 此外，方案通過MIPI接口驅(qū)動工業(yè)級觸摸屏，該屏幕支持高清顯示與精準觸控交互，且已完成與LVGL圖形庫的適配。

最終這幾部分綜合實現(xiàn)攝像頭采集畫面的實時目標檢測，并將檢測結(jié)果在觸摸屏上直觀呈現(xiàn)。

02

YOLO模型概述

YOLO（You Only Look Once）是一款基于深度學(xué)習(xí)的實時目標檢測算法模型，其核心設(shè)計理念打破了傳統(tǒng)目標檢測算法 “先候選區(qū)域生成、再分類識別” 的兩步式流程，通過單次神經(jīng)網(wǎng)絡(luò)推理即可同時完成目標位置定位與類別判斷，從根本上提升了目標檢測的效率，成為工業(yè)場景、智能監(jiān)控、自動駕駛等領(lǐng)域?qū)崟r檢測需求的核心算法選擇之一。

03

核心示例代碼

● my_function：uvc攝像頭的視頻幀回調(diào)函數(shù)，保存新視頻幀。

● cv::imdecode：將內(nèi)存中的二進制數(shù)據(jù)（通常是圖像文件的字節(jié)流，如 JPG、PNG、BMP 等格式的原始數(shù)據(jù)）解碼為 OpenCV 的 Mat 圖像矩陣，以便進行后續(xù)的圖像處理；

● detect：接收一張 OpenCV 格式的圖像 (cv::Mat)，通過 YOLO 模型進行目標檢測，最終返回經(jīng)過非極大值抑制 (NMS) 處理后的目標框坐標；

● visualize_to_buf：接收原始圖像、檢測到的目標框列表，在圖像上繪制置信度最高的目標框及置信度值，然后將處理后的圖像編碼為指定格式（如 JPEG），并存儲到全局緩沖區(qū)中。

● rgb_nearest_scale：通過最近鄰插值算法，將輸入的 RGB 圖像數(shù)據(jù)按照指定的目標寬高進行縮放，并將結(jié)果存儲到輸出緩沖區(qū)中；

● rt_device_control：控制LCD設(shè)備刷新圖像。

04

實戰(zhàn)演示

1. 硬件準備

● 睿擎工業(yè)開發(fā)平臺支持板卡1塊(睿擎派RC3506)

● 配套7寸MIPI屏

● 配套UVC攝像頭

● 串口調(diào)試器、DAP-LINK調(diào)試各一套

2. 硬件連接

開發(fā)板連接uvc攝像頭和7寸屏幕，注意屏幕連接線的方向。

3. 創(chuàng)建示例工程

在RuiChing Studio IDE中 創(chuàng)建

09_ai_uvc_yolo_video示例工程:

4. 編譯下載示例工程

對 09_ai_uvc_yolo_video 示例工程進行編譯：

編譯成功后Debug目錄下生成app.dtb和app.img文件。點擊下載按鈕，下載app.dtb和app.img文件。

5. 運行程序

使用FTP服務(wù)，將applications\model目錄下的model2.bin和model2.param存入開發(fā)板tmp目錄。成功后進入tmp目錄可以看到兩個文件。

啟動開發(fā)板，運行程序后，終端輸入uvc_ai_start命令將測試圖像傳入系統(tǒng)，程序會調(diào)用 YOLO 模型進行人臉檢測，并持續(xù)打印檢測類別（index：0即人臉）和幀率。

查看檢測結(jié)果

05

總結(jié)

睿擎UVC - AI人臉檢測系統(tǒng)開發(fā)方案，以搭載瑞芯微RK3506J芯片的睿擎派為硬件核心，搭配UVC攝像頭、MIPI屏幕，融合YOLO輕量型AI模型，借助RuiChing Studio開發(fā)工具實現(xiàn)高效開發(fā)，最終達成“攝像頭實時采集圖像—YOLO模型單次推理完成人臉定位與判斷—檢測結(jié)果在觸摸屏直觀呈現(xiàn)”的全流程閉環(huán)。

該方案憑借實時檢測、輕量化部署與可視化交互的優(yōu)勢，可廣泛應(yīng)用于工業(yè)場景中——如生產(chǎn)線人員安全監(jiān)控，實時識別違規(guī)闖入的工作人員并彈窗預(yù)警；智能門禁領(lǐng)域，快速核驗通行人員身份并同步顯示人臉匹配結(jié)果；邊緣端智能終端（如自助服務(wù)機），通過人臉檢測觸發(fā)個性化服務(wù)界面；還可適配小型安防場景，對監(jiān)控區(qū)域內(nèi)的人臉動態(tài)進行實時追蹤與記錄，滿足不同場景下對高效、直觀人臉檢測功能的需求。