電子發(fā)燒友網(wǎng)報道（文/梁浩斌）人形機器人的運動能力，已經(jīng)進入了“軍備競賽”階段，各家紛紛展出自家機器人的行走、跳舞，甚至空翻等能力，并不斷用新的動作刷新人們對于人形機器人的能力理解。

然而運動能力歸運動能力，人形機器人目前主要還是需要預(yù)設(shè)固定程序運行，離真正要實現(xiàn)具身智能還很遠。要實現(xiàn)具身智能，還需要AI、算力、感知的配合。最近速騰聚創(chuàng)、銳思智芯分別推出了創(chuàng)新形態(tài)的機器視覺傳感器。

速騰聚創(chuàng)AC1：姿態(tài)、深度、色彩信息三合一

今年年初的發(fā)布會上，速騰聚創(chuàng)發(fā)布了一個面向機器人視覺的全新傳感器解決方案Active Camera，這個方案包含傳感器硬件、運算核心、AI算法等的智能生態(tài)。在3月28日，速騰聚創(chuàng)終于發(fā)布了Active Camera的首款產(chǎn)品AC1，以及AI-Ready生態(tài)。

在傳感器硬件上，AC1集成了IMU姿態(tài)傳感器、深度傳感器（固態(tài)激光雷達+CMOS）以及一個RGB相機，在單一模塊中提供深度信息、圖像色彩信息和運動姿態(tài)信息，并實現(xiàn)硬件級融合，將三大信息的時間和空間進行同步對齊。

AC1提供120°x60°超大融合視場角，較傳統(tǒng)3D相機高出70%；色彩FOV達到144°×78°；測距能力達到70米，是傳統(tǒng)3D相機的6倍；測距精度3cm@1σ測距精度穩(wěn)定不隨距離衰減，可精準還原遠近物體形狀大小，幫助機器人實現(xiàn)準確的路徑規(guī)劃。

同時AC1避免了傳統(tǒng)3D相機存在的強光干擾問題，能夠在100KLux陽光下工作，克服強光干擾問題，適應(yīng)更豐富的場景。

面向機器人開發(fā)者用戶，速騰聚創(chuàng)打造了AI-Ready生態(tài)，通過AC Studio為Active Camera用戶提供包括驅(qū)動程序、數(shù)據(jù)標定、數(shù)據(jù)融合在內(nèi)的開源工具包，以及SLAM、高階多模態(tài)感知等開源算法，支持用戶深度二次開發(fā)，并通過專用跨平臺軟件AC Viewer，提供最佳的數(shù)據(jù)融合、SLAM、目標檢測等功能體驗。

同時，AI-Ready生態(tài)將提供避障類目標數(shù)據(jù)集、認知識別類數(shù)據(jù)集，幫助開發(fā)者訓(xùn)練模型算法，快速完成場景功能化的二次開發(fā)，以及方案部署。

同時，WIKI以開發(fā)者文檔方式全面收錄Active Camera與AI-Ready生態(tài)的信息；數(shù)據(jù)集提供多種場景下的訓(xùn)練數(shù)據(jù)，將在后續(xù)逐步上線，供開發(fā)者免費使用。AI-Ready生態(tài)幫助行業(yè)升級機器人項目流程，讓軟件快速迭代的開發(fā)模式驅(qū)動機器人產(chǎn)品化商業(yè)化落地。

AC1通過融合多傳感器，在硬件上實現(xiàn)了出廠的傳感器標定，以及軟件上實現(xiàn)了數(shù)據(jù)融合和對齊，實際上這在技術(shù)上也有一定的難點。

此前我們在《激光雷達+攝像頭融合傳感器，有沒有搞頭？》一文里介紹了京瓷展示的世界上第一個實現(xiàn)光軸對齊的攝像頭+激光雷達融合傳感器，通過對齊兩種傳感器的光軸，實現(xiàn)激光雷達和攝像頭無視差的數(shù)據(jù)融合。

但在實際產(chǎn)品中，由于激光雷達通過發(fā)射激光束并接收反射回來的信號來測量距離，生成點云數(shù)據(jù)；而攝像頭則捕捉環(huán)境的二維圖像。這兩種傳感器的數(shù)據(jù)格式不同，坐標系也不同，使得直接對齊它們的光軸變得極為復(fù)雜。

從速騰聚創(chuàng)對AC1的描述中，同樣是實現(xiàn)了固態(tài)激光雷達和相機數(shù)據(jù)的硬件級融合，這對于用戶來說是體驗上的躍升，無需再通過后端處理將數(shù)據(jù)進行融合，將大大提高開發(fā)效率。

同時，AC1也不僅適用于人形機器人，在無人機、倉儲機器人、清潔機器人、配送機器人等領(lǐng)域都有很大的應(yīng)用前景。

銳思智芯：全局曝光機器感知融合式圖像傳感器

銳思智芯在3月31日發(fā)布了全球首款將全局曝光圖像技術(shù)與EVS事件感知技術(shù)實現(xiàn)像素級融合的融合視覺傳感器——ALPIX-Pizol。

ALPIX-Pizol是一款1/4英寸、由1.3M GESP全局事件感知像素組成的視覺傳感器。這款傳感器的特殊之處在于，在單個圖像傳感器中集成了圖像、事件和融合三種工作模式，可以單獨進行圖像和事件模式，也可以同時輸出圖像和事件數(shù)據(jù)，以及模式間的快速切換。

在全局曝光圖像傳感模式中，ALPIX-Pizol可以輸出1.3MP/120 fps圖像，全局曝光的方式也避免了卷簾曝光帶來的果凍效應(yīng)。

事件感知模式中，ALPIX-Pizol能夠在全分辨率下最高1000fps的事件信號，高效捕捉運動信息，在暗光高速環(huán)境下，可輸出高時間分辨率無模糊事件流，輔助提升影像質(zhì)量。

而融合視覺模式中，支持同時輸出圖像和事件數(shù)據(jù)，也支持模式間快速切換，從而在各種光照環(huán)境下穩(wěn)定地為視覺AI提供高質(zhì)量圖像數(shù)據(jù)和高時間分辨率的變化/運動數(shù)據(jù)。

同時針對AI視覺場景的低功耗需求，ALPIX-Pizol在三種模式中都提供低功耗的設(shè)置，比如低功耗事件感知模式中支持e.g. <1.5 mW @VGA 30 fps的感知，可以直接提取機器需要的特征數(shù)據(jù)，在傳感器側(cè)和處理器側(cè)均可極大降低功耗和算力需求。

由于支持不同的模式，在實際應(yīng)用中可以根據(jù)需求來快速切換模式，以減少數(shù)據(jù)冗余和算力消耗。比如在事件模式下，僅感知變化信息，單位時間生成的時間數(shù)據(jù)量僅為傳統(tǒng)圖像傳感器的10%-20%，大大降低算力、傳輸帶寬和存儲壓力，提高系統(tǒng)能效。

對于機器人應(yīng)用而言，可以在完成不同工作時采用不同的模式，比如需要抓取運動物體時使用事件模式，在行走等需要避障的場景就需要開啟融合模式，修正因運動造成的畫質(zhì)問題，實現(xiàn)復(fù)雜光照環(huán)境中的識別。

當然除了機器人應(yīng)用，在手機和運動相機等應(yīng)用中，ALPIX-Pizol可以提供影像增強能力，實現(xiàn)EVS AI-enhanced 圖像/視頻去模糊、視頻插幀、AI-ISP等功能，利用多模態(tài)數(shù)據(jù)輔助生成AI-Motion運動感知應(yīng)用。

在工業(yè)視覺中，ALPIX-Pizol提供無畸變?nèi)制毓鈭D像 + 高時間分辨率的事件數(shù)據(jù)，支持低光、暗光場景高速產(chǎn)線檢測和快速3D掃描、建模等數(shù)據(jù)。

小結(jié)：

人形機器人要實現(xiàn)商業(yè)化，需要滿足通用場景，在各種復(fù)雜環(huán)境下的感知能力就十分關(guān)鍵。近期推出的這些創(chuàng)新的機器視覺傳感產(chǎn)品，代表了當前市場需求的一些方向，以及傳感器行業(yè)在機器人應(yīng)用上的一些探索。但最終隨著人形機器人行業(yè)的迭代和發(fā)展，相信也將會繼續(xù)出現(xiàn)更多創(chuàng)新形態(tài)的傳感器產(chǎn)品。