想象一下，一個 1600 萬像素的攝像頭，它的原始數(shù)據(jù)要在毫秒級內(nèi)完成采集、傳輸，并驅(qū)動 AI 模型實時輸出人體姿態(tài)估計。這樣的實時感知系統(tǒng)如何構(gòu)建？

今天，我們將向大家展示一套由Terasic DE25-Standard與 NVIDIA Jetson AGX Orin 共同構(gòu)建的傳感器到 GPU 的高帶寬、低延遲解決方案?？?FPGA 如何成為邊緣 AI 的第一道“加速橋”。

DE25-Standard (Agilex 5 SoC FPGA) + Jetson AGX Orin — MIPI-to-10GbE Streaming

FPGA Holoscan Sensor Bridge 案例展示

FPGA Holoscan Sensor Bridge: 10GbE Ethernet Demo

在如上視頻Holoscan demo的整體架構(gòu)中，DE25-Standard扮演著關(guān)鍵角色：它充當物理傳感器與GPU AI處理單元之間的橋梁，將傳感器的I/O和網(wǎng)絡(luò)任務(wù)從計算平臺卸載，使計算平臺能夠?qū)Ｗ⒂趶碗s的AI推理工作，從而實現(xiàn)可擴展的多傳感器集成。

下面這張圖將為您展示端到端的實時AI處理流程：

系統(tǒng)數(shù)據(jù)流描述

1.數(shù)據(jù)捕獲：Agilex5 FPGA 通過 MIPI CSI-2原生接口采集高分辨率 MIPI 攝像機拍攝的RAW視頻。

2.FPGA實時處理：該 FPGA 執(zhí)行確定性數(shù)據(jù)采集，并通過Hololink Sensor Bridge IP將數(shù)據(jù)流轉(zhuǎn)換為網(wǎng)絡(luò)數(shù)據(jù)包，確保數(shù)據(jù)傳輸?shù)膶崟r性與穩(wěn)定性。

3.高速傳輸：轉(zhuǎn)換后的數(shù)據(jù)包通過10GbE以太網(wǎng)接口傳輸至Jetson AGX Orin計算平臺。

4.GPU AI處理：Orin系統(tǒng)上的全息操作器負責實施ISP與AI處理流程。

5.結(jié)果呈現(xiàn)：基于YOLOv8(n)實現(xiàn)的實時姿態(tài)估計技術(shù)展示了低延遲、端到端、傳感器至AI的處理過程。

為何DE25-Standard能成為Holoscan傳感器橋接的理想之選？

因為DE25-Standard具備以下關(guān)鍵能力：

原生傳感器連接：可通過MIPI CSI-2接口直接連接高分辨率圖像傳感器，捕獲原始影像數(shù)據(jù)。

FPGA前端處理：在FPGA內(nèi)部完成確定性的低延遲數(shù)據(jù)攝取，為后端的GPU處理減輕負擔。

高帶寬傳輸：通過集成的高速收發(fā)器，實現(xiàn)高達10GbE的數(shù)據(jù)流輸出。

邊緣計算優(yōu)化：緊湊的平臺設(shè)計使其非常適合部署在對功耗和空間有嚴格要求的實時邊緣系統(tǒng)。

Terasic DE25-Standard開發(fā)板

更多傳感器橋接平臺

除了DE25-Standard之外，Terasic還推出了其他系列專為高效傳感器集成應用場景而設(shè)計的傳感器橋接平臺。

基于Terasic的 FPGA 傳感器橋接平臺

FPGA作為傳感器橋接平臺其核心優(yōu)勢包括：

即用型平臺：傳感器橋接應用的即用型硬件平臺。

高速接口支持：平臺支持從圖像傳感器到以太網(wǎng)網(wǎng)絡(luò)的高帶寬接口，能夠處理海量數(shù)據(jù)流。

確定性低延遲：利用FPGA的可編程邏輯特性，實現(xiàn)確定性的低延遲數(shù)據(jù)傳輸，確保數(shù)據(jù)能夠?qū)崟r送達GPU計算系統(tǒng)。

生態(tài)系統(tǒng)兼容性：完美兼容Altera的參考IP核以及NVIDIA Holoscan軟件開發(fā)框架，為開發(fā)者提供從硬件到軟件的完整工具鏈。

加速原型驗證與部署：顯著縮短實時感知系統(tǒng)從概念原型到實際產(chǎn)品部署的周期。