英特爾RealSense D457深度相機：硬件設(shè)計與應(yīng)用解析

在當(dāng)今科技飛速發(fā)展的時代，深度相機在諸多領(lǐng)域展現(xiàn)出了巨大的應(yīng)用潛力，如自動駕駛、機器人導(dǎo)航、3D建模等。英特爾RealSense D457深度相機憑借其卓越的性能和豐富的功能，成為了眾多開發(fā)者和工程師的首選。本文將深入剖析英特爾RealSense D457深度相機的硬件設(shè)計、功能特性以及系統(tǒng)集成要點，為電子工程師們提供全面的參考。

文件下載：82635DSD457.pdf

一、產(chǎn)品概述

英特爾RealSense D457深度相機是一款I(lǐng)P65防護(hù)等級的GMSL 2/FAKRA相機，由D450光學(xué)模塊和新開發(fā)的GMSL 2/FAKRA Vision Processor D4（V5）板組成。它適用于多種應(yīng)用場景，包括自主移動機器人（AMR）、自動導(dǎo)引車（AGV）、無人機以及碰撞避免系統(tǒng)等。

產(chǎn)品特點

1. 高分辨率成像：具備高達(dá)1280x720的立體深度分辨率和1280x800的RGB分辨率，能夠提供清晰、準(zhǔn)確的圖像數(shù)據(jù)。
2. 寬廣的視野：對角線視野超過90°，為應(yīng)用提供更廣闊的場景覆蓋范圍。
3. 高速幀率：雙全局快門傳感器支持高達(dá)90 FPS的深度流，RGB全局快門傳感器支持高達(dá)60 FPS，滿足實時應(yīng)用的需求。
4. 長距離測量：測量范圍從0.4m到超過10m（受光照條件影響），可適應(yīng)不同距離的測量需求。
5. 慣性測量單元（IMU）：集成IMU，提供6自由度（6DoF）數(shù)據(jù)，增強了相機的姿態(tài)感知能力。
6. 接口豐富：采用GMSL/FAKRA接口，同時支持USB 2.0/USB 3.1 Gen 1接口，方便與不同設(shè)備進(jìn)行連接。
7. 防護(hù)等級高：IP65防護(hù)等級，具備防塵和防水能力，適用于各種惡劣環(huán)境。

二、組件規(guī)格

1. 視覺處理器D4相機系統(tǒng)組件

2. 主機處理器

主機處理器與視覺處理器D4的接口為FAKRA/GMSL，同時支持USB 2.0/USB 3.1用于調(diào)試目的。

3. 英特爾RealSense視覺處理器D4

視覺處理器D4的主要功能是進(jìn)行深度立體視覺處理。它通過USB2.0/USB 3.1 Gen 1或MIPI與主機處理器通信，并從立體深度模塊接收傳感器數(shù)據(jù)。此外，它支持MIPI CSI - 2通道，用于連接圖像傳感器。

4. 時鐘

視覺處理器D4需要一個24 MHz的時鐘振蕩器，立體深度模塊所需的所有時鐘均由視覺處理器D4生成。

5. 串行（SPI）閃存存儲器

視覺處理器D4需要16Mbit的串行閃存存儲器來存儲其固件，推薦使用IS25WP016（www.issi.com）或等效產(chǎn)品。

6. 立體深度模塊

D457相機采用英特爾RealSense深度模塊D450，該模塊也用于D455相機。

7. 英特爾RealSense視覺處理器D4板V5

視覺處理器D4板V5為系統(tǒng)集成商提供了一種簡單快捷的方式，將視覺處理器D4集成到系統(tǒng)中。它具有以下特點：

• USB外設(shè)Type - C：通過USB Type - C連接器和電纜連接到主機USB 3.1 Gen 1端口，僅用于調(diào)試和生產(chǎn)線目的。
• FAKRA：連接到主機FAKRA連接器。
• 其他組件：包括視覺處理器D4、16Mb串行閃存、24MHz晶體、Realtek ISP、深度模塊插座、USB Type - C、GMSL串行器和FAKRA連接器、外部傳感器同步連接器、電壓調(diào)節(jié)器和安裝孔等。

8. 英特爾RealSense深度相機D457

三、功能規(guī)格

1. 供應(yīng)商識別（VID）和設(shè)備識別（DID）

2. 視覺處理器D4數(shù)據(jù)流

視覺處理器D4深度成像系統(tǒng)通過立體視覺技術(shù)（可選地由紅外投影儀輔助）為主機系統(tǒng)提供高質(zhì)量的深度數(shù)據(jù)。該成像系統(tǒng)能夠與彩色流同步。支持多種圖像格式和幀率，如Z [16 bits]、Y8 [8 bits]、YUV422 [16 bits]等。

3. 深度視野（FOV）

深度視野是左右成像器視野的共同重疊區(qū)域，Vision Processor D4在此區(qū)域提供深度數(shù)據(jù)。FOV會根據(jù)分辨率和寬高比而變化，HD為16:9，VGA為4:3。

4. 特定距離處的深度視野

特定距離（Z）處的深度視野可以通過以下公式計算： [Depth FOV =frac{H F O V}{2}+tan ^{-1}left{tan left(frac{H F O V}{2}right)-B / Zright}] 其中，Depth FOV為深度視野，HFOV為深度模塊上左成像器的水平視野，B為基線，Z為場景與深度模塊的距離。

5. 無效深度帶

由于立體視覺使用左成像器作為立體匹配的參考，在左右成像器視野的非重疊區(qū)域（幀的左邊緣）會出現(xiàn)沒有深度數(shù)據(jù)的情況，即無效深度帶。其寬度可以通過以下公式計算： 在水平FOV方面： [DBR (Ratio of Invalid Depth Band to Total Horizontal Image) =B /left(2 Z tan left(frac{H F O V}{2}right)right)] [Invalid Depth Band (in Pixels) =H R E S D B R] 在焦距方面： [DBR (Ratio of Invalid Depth Band to Total Horizontal Image) =BF/(ZHRES)] [Invalid Depth Band (in Pixels) =B F / Z] 其中，B為基線，Z為場景與深度模塊的距離，F(xiàn)為焦距，HFOV為深度模塊上左成像器的水平視野，HRES為水平分辨率。

6. 最小Z深度

7. 深度質(zhì)量規(guī)格

深度質(zhì)量通過一組基于準(zhǔn)確性、數(shù)據(jù)有效性和時間穩(wěn)定性的標(biāo)準(zhǔn)指標(biāo)來量化。測量在深度FOV的80%范圍內(nèi)進(jìn)行，該范圍定義為感興趣區(qū)域（ROI）。具體指標(biāo)包括深度準(zhǔn)確性、填充率、深度標(biāo)準(zhǔn)偏差和像素時間噪聲等。

8. 深度起點（零參考點）

深度起點或零參考點是指深度為0的起始點或平面。對于深度相機D457，該點從相機前蓋玻璃開始參考。

9. 深度原點X - Y坐標(biāo)

深度原點X - Y坐標(biāo)是左成像器的X - Y中心。

10. 深度相機功能

D4相機提供以下深度圖像設(shè)置：手動曝光、手動增益、激光功率、自動曝光模式、自動曝光ROI、預(yù)設(shè)和元數(shù)據(jù)控制等。

11. 彩色相機功能

彩色相機提供一系列控制選項，如自動曝光模式、自動曝光ROI、手動曝光時間、亮度、對比度、增益、色相、飽和度、銳度、伽馬、白平衡溫度控制、自動白平衡（AWB）、電源頻率和背光補償?shù)取?/p>

12. IMU規(guī)格

IMU采用BMI085，提供6自由度數(shù)據(jù)，加速度范圍為±4g，加速度計采樣率為100、200 Hz，陀螺儀范圍為±1000 deg/s，陀螺儀采樣率為200、400 Hz，采樣時間戳精度為50 usec。

四、固件與軟件

1. 固件

固件包含操作指令，運行時，視覺處理器D4加載固件并對組件寄存器進(jìn)行編程。固件可以通過USB（USB調(diào)試模式）或I2C（MIPI/GMSL模式）進(jìn)行更新。更新時，固件實用程序會向視覺處理器D4發(fā)出設(shè)備固件更新命令，處理器將重置為固件更新模式。同時，固件更新有一定限制，更新引擎不允許在舊版本和當(dāng)前版本之間進(jìn)行無限次更新，會建立一個基于最新安裝固件版本的基線版本，允許最多20次返回先前版本或基線版本的更新，20次更新后，僅允許更新到高于基線版本的固件修訂版。

2. 軟件

英特爾RealSense SDK 2.0是一個跨平臺的庫，用于處理英特爾RealSense D400系列相機。它是開源的，可從https://github.com/IntelRealSense/librealsense獲取。SDK至少包括以下應(yīng)用程序：

• 英特爾RealSense Viewer：用于查看、記錄和回放深度流，設(shè)置相機配置和其他控制。
• 深度質(zhì)量工具：用于測試深度質(zhì)量，包括距離平面準(zhǔn)確性、Z準(zhǔn)確性、Z準(zhǔn)確性的標(biāo)準(zhǔn)偏差和填充率等。
• 調(diào)試工具：命令行工具，用于收集數(shù)據(jù)和生成日志，輔助相機調(diào)試。
• 代碼示例：演示如何將D400系列相機代碼片段集成到應(yīng)用程序中。

五、系統(tǒng)集成

1. 系統(tǒng)級框圖

系統(tǒng)級框圖展示了相機系統(tǒng)的整體架構(gòu)，包括主機處理器、視覺處理器D4、立體深度模塊等組件之間的連接關(guān)系。

2. 視覺處理器D4系統(tǒng)集成

系統(tǒng)集成商可以直接使用D457相機，也可以構(gòu)建定制的外殼，并將D4 ASIC卡和光學(xué)模塊安裝在外殼內(nèi)。視覺處理器D4板通過標(biāo)準(zhǔn)USB Type - C連接器和適當(dāng)?shù)腢SB Type - C電纜連接到標(biāo)準(zhǔn)USB 2.0/USB 3.1 Gen 1外部端口，該USB端口僅用于調(diào)試。另外，也可以將視覺處理器D4和支持組件直接放置在主機處理器主板上，通過主板上的深度模塊插座連接到立體深度模塊。

3. D4相機系統(tǒng)電源供應(yīng)

D4相機系統(tǒng)必須確保立體深度模塊和視覺處理器D4在同一電源軌上，以防止惡意軟件對立體深度模塊的重置而不影響ASIC的正常運行。

4. 熱管理

系統(tǒng)熱設(shè)計必須確保組件的外殼溫度不超過限制。提供了視覺處理器D4板和深度模塊的熱模型，用于進(jìn)行熱評估和驗證系統(tǒng)熱設(shè)計。在最大功率運行模式下，給出了各組件的功率和熱設(shè)計功耗（TDP），如視覺處理器D4板V5的總功率為1565 mW，立體深度模塊（D450）的總功率為2155 mW，立體深度相機（D457）的總功率為3720 mW。

5. 立體深度模塊的安裝和保護(hù)

• 避免彎曲：立體深度模塊在系統(tǒng)集成和使用過程中應(yīng)避免彎曲，因為微米級的彎曲可能導(dǎo)致校準(zhǔn)不正確，影響深度數(shù)據(jù)的性能。系統(tǒng)設(shè)計者應(yīng)將模塊與系統(tǒng)可能遇到的底盤彎曲隔離開來。
• 安裝方式：對于D450 SKU，立體深度模塊可通過M2x4mm（Torx）螺絲和螺絲叉安裝在大型散熱器或散熱結(jié)構(gòu)元件上，推薦扭矩為1.6Kgf*cm，并在紅外投影儀和兩個立體成像器的背面區(qū)域使用熱界面材料進(jìn)行熱傳遞。
• 空氣間隙：建議在立體深度模塊上的最高組件與覆蓋窗口之間保持至少0.3mm的空氣間隙。
• 熱界面材料：推薦在立體深度模塊和散熱結(jié)構(gòu)（散熱器）之間插入導(dǎo)熱膏，其導(dǎo)熱系數(shù)在3 - 4W/mK范圍內(nèi)，應(yīng)在紅外投影儀背面和左右成像器下方均勻涂抹。
• 散熱器：用于安裝立體深度模塊和ASIC板的散熱器或散熱結(jié)構(gòu)元件的厚度至少為2 - 3mm，建議延伸超出立體深度模塊的邊緣，并在散熱結(jié)構(gòu)的背面設(shè)置散熱鰭片。在對重量有要求的應(yīng)用中，可在散熱器背面粘貼高導(dǎo)熱石墨膠帶。
• 覆蓋設(shè)計和材料：立體深度模塊組件應(yīng)進(jìn)行覆蓋，以減少灰塵和濕度的影響。覆蓋材料應(yīng)具有良好的透射率，可使用抗反射涂層來提高透射率。不同組件對覆蓋材料的透射率有不同要求，如左右成像器在400 - 700nm（可見光和紅外光）以及840 - 860nm波長范圍內(nèi)的透射率應(yīng)達(dá)到95%以上，紅外投影儀在850nm ± 15nm波長范圍內(nèi)的透射率應(yīng)達(dá)到98%以上。
• 墊圈：墊圈可用于提供光學(xué)隔離和防塵保護(hù)，但可能會影響視野并對模塊或單個傳感器鏡頭支架施加不必要的壓力。因此，應(yīng)選擇合適的墊圈材料和厚度，以避免對相機造成損害。

6. 固件恢復(fù)

為支持固件恢復(fù)，需要將一個1.8V可控中斷連接到視覺處理器D4的DFU（設(shè)備固件更新）引腳。當(dāng)固件損壞時，需要將D4重置并將DFU引腳驅(qū)動為高電平160ms，確保DFU引腳在D4退出重置后保持高電平，以使D4進(jìn)入DFU模式。

7. 校準(zhǔn)支持

需要一個可訪問的USB端口來連接主機系統(tǒng)，以便可靠地將圖像流傳輸?shù)酵獠縋C，確定校準(zhǔn)參數(shù)，并通過主機系統(tǒng)寫回相機校準(zhǔn)參數(shù)。該USB端口在制造過程中需要可配置為訪問主機的模式，但在產(chǎn)品發(fā)貨或最終用戶使用時可能不可用。

8. 多相機硬件同步

英特爾RealSense D400系列支持多相機配置的硬件同步信號，多個相機可以硬件同步，以相同的時間和幀率進(jìn)行捕獲。對于多個D457相機，它們都可以工作在從模式，外部觸發(fā)信號通過GMSL電纜從主機端施加到相機。深度相機和RGB相機可以在相同或不同的支持幀率下觸發(fā)。

9. 處理條件

在D4系統(tǒng)組裝和返工過程中，建議遵循JEDEC JESD625 - A要求標(biāo)準(zhǔn)，以提供一致的靜電放電（ESD）保護(hù)水平。

六、法規(guī)合規(guī)性

1. 系統(tǒng)激光合規(guī)性

英特爾RealSense深度相機和深度模塊與英特爾RealSense視覺處理器D4板集成后，認(rèn)證可轉(zhuǎn)移到系統(tǒng)，無需進(jìn)行系統(tǒng)重新認(rèn)證。但最終產(chǎn)品的用戶手冊中必須包含相關(guān)的認(rèn)證聲明、解釋標(biāo)簽、警示聲明和美國FDA準(zhǔn)入編號等信息。

2. 法規(guī)合規(guī)性

產(chǎn)品需符合多個國家和地區(qū)的法規(guī)要求，如歐盟、美國、加拿大、英國、澳大利亞、日本、韓國等。同時，D457相機經(jīng)過測試，符合IP65防護(hù)等級，即防塵和防水要求。

3. 生態(tài)合規(guī)性

有關(guān)材料聲明數(shù)據(jù)表（MDDS）的信息，請參考https://www.intelrealsense.com/regulatory - information/。此外，產(chǎn)品還需符合中國RoHS聲明和歐盟廢棄電氣電子設(shè)備（WEEE）指令等要求。

七、總結(jié)

英特爾RealSense D457深度相機以其卓越的性能、豐富的功能和良好的兼容性，為電子工程師在多個領(lǐng)域的應(yīng)用開發(fā)提供了強大的支持。在設(shè)計和集成過程中，工程師需要充分考慮硬件組件的規(guī)格、功能特性、熱管理、固件和軟件的使用以及法規(guī)合規(guī)性等方面，以確保系統(tǒng)的穩(wěn)定運行和性能優(yōu)化。希望本文能為電子