如今，在視頻分析領(lǐng)域，傳統(tǒng)檢測模型存在這一局限：單個模型只能聚焦單一目標(biāo)檢測，面對復(fù)雜場景中多樣的檢測需求時，往往需要多套模型疊加部署才能滿足。這不僅增加開發(fā)成本，還會有響應(yīng)延遲、兼容性不足等問題。

針對這一問題，我們基于 Firefly RK1828 開發(fā)套件，搭載南京銳景專屬視頻分析算法，以視頻大模型為核心，實(shí)現(xiàn)「多目標(biāo)檢測+全場景適配」，可自定義各種問題，適應(yīng)多種非典型場景，通過自然語言描述，來定制大模型的檢測目標(biāo)。

視頻大模型全目標(biāo)檢測

本次搭載的視頻分析算法，是由南京銳景專為 RK1828 + RK3588 開發(fā)套件量身打造，視頻大模型可以對視頻流進(jìn)行全方位解析，具備以下檢測優(yōu)勢：

1. 突破單任務(wù)模型局限，支持全域檢測

打破傳統(tǒng)模型「一個模型只做一種檢測」的局限，可以對視頻流進(jìn)行全方位智能解析，支持任意目標(biāo)統(tǒng)一檢測，無需針對不同目標(biāo)部署多套模型，極大簡化開發(fā)與部署流程。

2. 大分辨率圖像單次檢測耗時＜1s

依托高效的模型架構(gòu)與推理引擎，在保證高精度的同時實(shí)現(xiàn)極速檢測。大分辨率圖像單次推理耗時控制在1秒以內(nèi)，滿足實(shí)時視頻流、快速預(yù)警等對延遲敏感的場景需求，為安防與監(jiān)測業(yè)務(wù)爭取黃金處置時間。

3. 自然語言交互，零代碼配置檢測任務(wù)

支持通過自然語言描述設(shè)置檢測任務(wù)，無需修改模型、編寫代碼或重新訓(xùn)練，即可快速定義需要識別的對象與規(guī)則，大幅降低使用門檻，提升場景配置效率。

4.全品類識別，覆蓋人、車、物及行為狀態(tài)

可快速識別并精準(zhǔn)判斷場景中的人員、車輛、物體等常規(guī)目標(biāo)，同時支持特定行為、異常狀態(tài)等復(fù)雜事件檢測，泛用性更強(qiáng)，適配多樣化檢測需求。

以下是場景檢測演示：

通過提問式指令設(shè)定檢測目標(biāo)，例如對大模型進(jìn)行提問：圖中是否有紅色或綠色的車輛經(jīng)過，如果有請回答1，否則回答0。如圖為演示結(jié)果，大模型快速做出準(zhǔn)確回答。

同時對大模型進(jìn)行多個檢測問題的提問：應(yīng)急車道在哪里？是否有車輛占用了應(yīng)急車道？如果有，有幾輛，分別是什么顏色？如圖為演示結(jié)果，大模型快速對多個檢測問題做出準(zhǔn)確的回答。

物品檢測及坐標(biāo)獲取演示，對大模型進(jìn)行提問：圖中是否有公路上的障礙物？如有請給出對應(yīng)的二維坐標(biāo)。如圖為演示結(jié)果，大模型準(zhǔn)確識別出圖中障礙物類型并標(biāo)注對應(yīng)坐標(biāo)。

大模型驅(qū)動缺陷檢測

大模型支持對工業(yè)與安防場景中的缺陷目標(biāo)進(jìn)行直接檢測，無需依賴傳統(tǒng)圖像預(yù)處理或復(fù)雜規(guī)則配置。圖中所示，大模型快速檢測出變色呼吸機(jī)并提供其對應(yīng)坐標(biāo)。

支持Prompt過濾自定義

支持Prompt過濾自定義，可在檢測任務(wù)中追加檢測條件，對初步檢測結(jié)果進(jìn)行二次過濾與精準(zhǔn)提取。通過靈活的自然語言表達(dá)，精準(zhǔn)篩選目標(biāo)結(jié)果，減少誤報，讓缺陷檢測更加靈活可控。

圖中為針對能源、安防場景優(yōu)化的缺陷檢測設(shè)置

多路視頻流接入

算法支持同時接入多路視頻流，可實(shí)現(xiàn)多畫面同步解析、并行檢測，適用于工業(yè)廠房、校園、小區(qū)、車載環(huán)視等多攝像頭覆蓋場景，大幅提升視頻監(jiān)控的效率與覆蓋面，讓多區(qū)域監(jiān)控實(shí)現(xiàn)一體化管理。

多算法疊加運(yùn)行

支持多種視頻分析算法疊加使用，可在全目標(biāo)檢測的基礎(chǔ)上，疊加行為分析、異常預(yù)警、人數(shù)統(tǒng)計等附加算法。例如在工業(yè)場景中，可同時檢測人員違規(guī)操作、設(shè)備異常運(yùn)行、外來人員闖入等多種情況，滿足復(fù)雜場景下的多元化需求。

智能報警功能

算法內(nèi)置智能報警機(jī)制，當(dāng)檢測到設(shè)定的異常目標(biāo)或行為時，可快速觸發(fā)報警信號，同時留存檢測證據(jù)，便于后續(xù)追溯與處理。當(dāng)違規(guī)行為、危險場景或異常目標(biāo)出現(xiàn)時第一時間發(fā)出提醒，提升場景安全管理水平。

RK1828開發(fā)套件提供硬件支持

目前我們通過 Firefly-RK1828 開發(fā)套件完成了這套視頻分析 Demo 搭建，以上提及的功能均可繼進(jìn)行現(xiàn)場演示。該套件憑借其高效算力和穩(wěn)定的運(yùn)行表現(xiàn)，對開發(fā)者和企業(yè)用戶在項(xiàng)目開發(fā)、產(chǎn)品落地等方面都能提供全方位支持，加速視頻分析應(yīng)用場景的智能化進(jìn)程。