電子發(fā)燒友網(wǎng)報(bào)道（文/李彎彎）事件相機(jī)最早誕生于1990年，那時(shí)候，許多研究人員探討動(dòng)物感知環(huán)境的方式，發(fā)現(xiàn)對(duì)變化更為敏感，所以設(shè)計(jì)出了實(shí)驗(yàn)室用的事件相機(jī)。2008年，誕生了第一款商用的事件相機(jī)。如今國(guó)內(nèi)外都有企業(yè)和機(jī)構(gòu)進(jìn)行事件相機(jī)的研究。

事件相機(jī)的工作原理和優(yōu)勢(shì)

傳統(tǒng)相機(jī)，無(wú)論是CMOS傳感器，還是CCD傳感器，亦或是RGBD相機(jī)，都有一個(gè)參數(shù)：幀率。它們是以恒定的頻率拍攝獲取圖像。這樣，即使幀率能夠達(dá)到1KHz，那也具有1ms的延時(shí)。所以傳統(tǒng)相機(jī)存在一定的延遲問(wèn)題。

此外，傳統(tǒng)相機(jī)需要通過(guò)一定時(shí)間的曝光，使感光器件積累一定的光子，那么在曝光時(shí)間之內(nèi)如果物體在高速運(yùn)動(dòng)，則會(huì)產(chǎn)生模糊，這也是傳統(tǒng)相機(jī)的一個(gè)問(wèn)題。

另外，傳統(tǒng)相機(jī)的攻臺(tái)范圍較低，具體表現(xiàn)為在光線極差或者亮度極高時(shí)，相機(jī)獲取的信息有限。這些問(wèn)題極大的限制了傳統(tǒng)相機(jī)在一些應(yīng)用場(chǎng)景中的應(yīng)用。

而事件相機(jī)則可以很好的解決這些問(wèn)題。事件相機(jī)，也稱神經(jīng)形態(tài)像機(jī)，或動(dòng)態(tài)視覺(jué)傳感器（DVS，Dynamic Vision Sensor)，是一種能夠響應(yīng)局部亮度變化的成像傳感器。

事件相機(jī)不像常規(guī)相機(jī)那樣使用快門捕獲圖像。相反，事件相機(jī)中的每個(gè)像素都獨(dú)立且異步地運(yùn)行，并在發(fā)生亮度變化時(shí)輸出這些變化，否則保持沉默。

下圖可以非常形象的展示出事件相機(jī)和傳統(tǒng)相機(jī)在工作原理上的不同。左側(cè)：假設(shè)拍攝的是一個(gè)圓盤轉(zhuǎn)動(dòng)（圓盤此時(shí)逆時(shí)針轉(zhuǎn)動(dòng)一段時(shí)間然后停止）。右側(cè)：上面是傳統(tǒng)相機(jī)，圓盤停止時(shí)，標(biāo)準(zhǔn)相機(jī)輸出不間斷，然而這些信息其實(shí)不是我們關(guān)注信息。下面是事件相機(jī)，其輸出信息為亮度動(dòng)態(tài)變化的位置，并且當(dāng)圖片無(wú)變化時(shí)即為no events，無(wú)輸出。

此前有業(yè)內(nèi)人士對(duì)電子發(fā)燒友表示，基于這樣的工作原理，事件相機(jī)有幾個(gè)典型的特點(diǎn)：一是它的動(dòng)態(tài)范圍非常高，可以達(dá)到140dB；二是因?yàn)樗惠敵鲇行畔ⅲ惠敵鰺o(wú)效信息，它的數(shù)據(jù)量非常?。蝗撬乃俣确浅？欤梢赃_(dá)到1/10000s，甚至更高。

因?yàn)檫@些特點(diǎn)，事件相機(jī)可適用于傳統(tǒng)相機(jī)難以解決的一些場(chǎng)景中。比如城區(qū)場(chǎng)景中的鬼探頭，傳統(tǒng)相機(jī)在面對(duì)橫向的鬼探頭場(chǎng)景時(shí)，無(wú)法快速做出反應(yīng)，而事件相機(jī)可以更快感知到危險(xiǎn)信號(hào)；再比如高速場(chǎng)景下的避障，車輛在高速上快速行駛時(shí)，遇到前方路面有一個(gè)輪胎，傳統(tǒng)相機(jī)不能及時(shí)做出反應(yīng)，事件相機(jī)可以依靠低時(shí)延優(yōu)勢(shì)，快速識(shí)別并做出避障的動(dòng)作。

事件相機(jī)的研究企業(yè)和應(yīng)用

目前，不少公司都在致力于事件相機(jī)的發(fā)展，包括iniVation、prophesee（普諾飛思）、索尼（收購(gòu)Insightness）、芯侖光電（韋爾股份子公司）、銳思智芯（Alpsentek）等。

iniVation起源于瑞士，由基于事件視覺(jué)的發(fā)明者創(chuàng)立。該公司已經(jīng)推出多款產(chǎn)品，熱門型號(hào)包括：DAVIS346 Color/Mono、DVXplorer、DVXplorer Lite/Mini、Stereo Kit等。

iniVation的動(dòng)態(tài)視覺(jué)平臺(tái)可為諸多應(yīng)用和行業(yè)提供支持和解決方案，包括物聯(lián)網(wǎng)（超低功耗監(jiān)控和智慧城市）、自動(dòng)駕駛（車輛測(cè)距、SLAM和乘員監(jiān)控）、機(jī)器人技術(shù)（場(chǎng)景理解與定位）、工業(yè)視覺(jué)（過(guò)程監(jiān)控和基礎(chǔ)設(shè)施檢測(cè)）等。

Prophesee于2014年成立于法國(guó)巴黎，專注于神經(jīng)擬態(tài)視覺(jué)傳感技術(shù)，目前基于事件的視覺(jué)技術(shù)推出多款傳感器。其研發(fā)的普諾飛思原視覺(jué)（Metavision）傳感器可應(yīng)用于手機(jī)、自動(dòng)駕駛、工業(yè)自動(dòng)化、物聯(lián)網(wǎng)、AR/VR、醫(yī)療設(shè)備等領(lǐng)域。

比如在智能駕駛領(lǐng)域，Xperi旗下子公司DTS基于普諾飛思原視覺(jué)（Metavision）傳感技術(shù)提供的事件數(shù)據(jù)，開(kāi)發(fā)了基于神經(jīng)擬態(tài)視覺(jué)系統(tǒng)的駕駛員監(jiān)控解決方案（DMS），提供了更優(yōu)的微光性能，以及新的檢測(cè)功能，如眼跳或微表情檢測(cè)等。再比如，高級(jí)駕駛輔助軟件開(kāi)發(fā)商Terranet AB與梅賽德斯-奔馳共同開(kāi)發(fā)的VoxelFlow傳感器，采用了普諾飛思原視覺(jué)（Metavision）傳感器，可掃描車輛周圍半徑為40米的區(qū)域，反應(yīng)時(shí)間為3毫秒。

銳思智芯成立于2019年，擁有一支兼?zhèn)湫酒?a href="http://m.sdkjxy.cn/v/tag/2562/" target="_blank">算法、軟件和硬件研發(fā)經(jīng)驗(yàn)與能力的團(tuán)隊(duì)，核心專家來(lái)自全球頂尖機(jī)構(gòu)。在高端視覺(jué)傳感器領(lǐng)域擁有超過(guò)16年的技術(shù)積累，在事件相機(jī)領(lǐng)域擁有超過(guò)8年的研究經(jīng)驗(yàn)。

2021年10月，銳思智芯（Alpsentek）發(fā)布了首款融合仿生事件視覺(jué)傳感器芯片——ALPIX-Pilatus（簡(jiǎn)稱 ALPIX-P）。專為機(jī)器感知設(shè)計(jì)的傳感器，可廣泛應(yīng)用于機(jī)器人、智能手機(jī)、無(wú)人駕駛、無(wú)人機(jī)、安防等場(chǎng)景。

ALPIX-P 采用銳思智芯自主研發(fā)的 Hybrid Vision融合式仿生事件視覺(jué)傳感技術(shù)，即將仿生事件視覺(jué)技術(shù)與傳統(tǒng)圖像傳感技術(shù)在像素級(jí)別進(jìn)行融合。芯片可以在傳統(tǒng)圖像傳感器模式和仿生事件相機(jī)模式之間快速切換，實(shí)現(xiàn)事件相機(jī)與 CIS 相機(jī)功能 “二合一”。

在圖像模式下，ALPIX-P 是一款最高幀率為 120 幀的全局曝光傳感器，其圖像質(zhì)量與現(xiàn)有的商化的 CIS 輸出的圖像質(zhì)量一致，兼容現(xiàn)有成熟的視覺(jué)系統(tǒng)。在仿生事件相機(jī)模式下，ALPIX-P 具有超高幀率，高有效信息占比，大動(dòng)態(tài)范圍的特點(diǎn)。

小結(jié)

事件相機(jī)的核心是神經(jīng)擬態(tài)，神經(jīng)擬態(tài)技術(shù)最早源于瑞士蘇黎世聯(lián)邦理工學(xué)院（ETH Zurich）。目前研究的企業(yè)主要有兩個(gè)方向，一是傳感器，即事件相機(jī)，就是文章提到的幾家公司；另一個(gè)是神經(jīng)擬態(tài)計(jì)算，主要是SoC芯片，如九天睿芯、時(shí)識(shí)科技。目前從兩個(gè)方向來(lái)看，神經(jīng)擬態(tài)在產(chǎn)品和應(yīng)用上都有不錯(cuò)的進(jìn)展。