這篇題為《EV-Gait: Event-based Robust Gait Recognition using Dynamic Vision Sensors》的論文發(fā)表于計算機(jī)視覺領(lǐng)域的頂級會議CVPR 2019。
論文作者來自哈爾濱工程大學(xué)、Data61 CSIRO、華威大學(xué)和復(fù)旦大學(xué)等多所知名研究機(jī)構(gòu)，展示了學(xué)術(shù)界對事件相機(jī)應(yīng)用潛力的共同關(guān)注。

論文核心內(nèi)容

這項研究首次系統(tǒng)性地探索了使用動態(tài)視覺傳感器（事件相機(jī)）進(jìn)行步態(tài)識別的技術(shù)路徑。與傳統(tǒng)RGB方案相比，基于事件相機(jī)的步態(tài)識別旨在從根本上解決三大瓶頸：難以持續(xù)低功耗工作、存在運動模糊、以及對光照條件過于敏感。

論文提出的EV-Gait系統(tǒng)包含兩項核心技術(shù)突破：

1. 運動一致性噪聲濾除

針對事件相機(jī)數(shù)據(jù)噪聲大的問題，其核心在于利用真實運動事件的時空連續(xù)性，設(shè)計了基于光流的濾波算法，能在熒光燈頻閃等復(fù)雜光照下有效分離人體運動事件與背景噪聲。

2. 事件流四通道編碼

為解決異步事件流與標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)不兼容的問題，將事件流轉(zhuǎn)換為四通道"事件圖像"：

• ? 通道1-2：像素點正/負(fù)事件累積數(shù)（空間特征）
• ? 通道3-4：像素點最后事件的相對時間戳（時序特征）

該編碼方法本質(zhì)上是為異步事件流構(gòu)建了一個兼具空間分布與時間秩序的靜態(tài)表示，從而橋接了事件數(shù)據(jù)與成熟圖像網(wǎng)絡(luò)架構(gòu)，在實驗中實現(xiàn)了96%的識別準(zhǔn)確率。

研究意義與驗證成果

這項研究具有三個層面的重要意義：

• ?技術(shù)驗證層面：首次證明了事件相機(jī)在生物特征識別領(lǐng)域的可行性，為低功耗、高動態(tài)視覺系統(tǒng)開辟了新方向。
• ?性能表現(xiàn)層面：在自建的DVS128-Gait數(shù)據(jù)集上達(dá)到96%的識別準(zhǔn)確率；在轉(zhuǎn)換后的EV-CASIA-B數(shù)據(jù)集上，尤其在側(cè)面視角下，識別性能甚至超越了同期基于RGB的先進(jìn)方法。這是因為事件數(shù)據(jù)專注于純粹的運動模式，不受衣物紋理等無關(guān)視覺信息的干擾。
• ?應(yīng)用啟示層面：研究特別驗證了算法在不穩(wěn)定熒光燈照明環(huán)境下的魯棒性，這直接解決了安防監(jiān)控場景中的常見痛點。

從學(xué)術(shù)到產(chǎn)業(yè)：技術(shù)演進(jìn)與實踐價值

然而，上述突破性研究，是基于iniVation DVS128這類僅能輸出事件流的純事件相機(jī)，在受控的實驗環(huán)境下完成的。它驗證了原理的可行性，但走向現(xiàn)實應(yīng)用，仍需克服工程化與場景適配的挑戰(zhàn)。

今天，"靈光一號"EVS+RGB融合事件相機(jī)的出現(xiàn)，標(biāo)志著這一技術(shù)從實驗室走向產(chǎn)業(yè)的關(guān)鍵躍遷。

其核心在于靈光一號基于銳思智芯芯片，實現(xiàn)了"RGB圖像"與"事件流"在硬件與算法層面的深度融合。這并非簡單的功能疊加，而是將事件流在微秒級響應(yīng)、超高動態(tài)范圍方面的極限動態(tài)感知能力，與RGB圖像的豐富語義信息進(jìn)行有機(jī)協(xié)同。

基于此架構(gòu)，靈光一號能夠構(gòu)建一種自適應(yīng)的智能感知范式：在靜態(tài)或光照理想時，依賴高清RGB畫面進(jìn)行精細(xì)分析；一旦偵測到高速運動、逆光或瞬間光照劇變，則瞬間無縫地賦予事件流更高的分析權(quán)重，從而確保在極端條件下感知的連續(xù)性與可靠性。

這使其得以從一項前沿驗證，演進(jìn)為可直接賦能于智能安防、工業(yè)檢測、高級輔助駕駛等對魯棒性有極致要求的場景的成熟方案，完成了從學(xué)術(shù)潛力到產(chǎn)業(yè)價值的堅實跨越。

申明

本文基于CVPR 2019發(fā)表的研究《EV-Gait: Event-based Robust Gait Recognition using Dynamic Vision Sensors》進(jìn)行技術(shù)解讀與應(yīng)用分析，論文成果歸原作者所有。本文內(nèi)容僅從工程與產(chǎn)業(yè)視角探討事件相機(jī)（EVS）步態(tài)識別技術(shù)的發(fā)展趨勢及潛在應(yīng)用價值，不代表任何官方立場。

原論文下載

鏈接: https://pan.baidu.com/s/14A-qOBzdF49TSoBkY-xIDg
提取碼: fk9q