富瀚微電子是國內(nèi)視頻圖像處理、顯示驅(qū)動及AI芯片設(shè)計領(lǐng)域的重要廠商，其產(chǎn)品在智能安防、汽車電子、消費電子等場景中廣泛部署。RT-Thread與富瀚微深度合作，圍繞三款核心芯片提供成熟的軟硬協(xié)同方案：FH8626V300（低功耗AOV 2.0+新?代ISP）、MC632X（快速啟動+雙路顯示）、MC3302（雙屏異顯+超低功耗）。本篇文章將介紹富瀚微圖像數(shù)據(jù)的處理流程。

申請試用開發(fā)板點擊報名申請試用

零、

效果展示

01

智慧視覺人形檢測

02

高性能雙屏異顯

一、

圖像處理基礎(chǔ)知識

01

圖像處理依賴的硬件設(shè)備

02

SOC圖像處理的整體流程

03

鏡頭主要參數(shù)

04

鏡頭光圈和進光量的關(guān)系

光圈越小，景深越大

05

鏡頭的分辨率

06

攝像機的SENSOR

主要參數(shù)

07

SENSOR的基本結(jié)構(gòu)

08

SENSOR的曝光模式

二、

ISP

01

ISP概述

ISP，Image Signal Processing，主要用于對 sensor 的輸入圖像進行處理，使最終處理輸出的圖像達到主觀及客觀的要求。

02

ISP 框圖

各模塊簡介：

Color Bar：用于出彩條測試圖像。

LUT12: 用于線性矯正映射。

Crop：用于幅面裁剪。

BLC0/1：用于黑電平校正。

HMIR: 用于圖像鏡像功能。

DPC：用于校正 sensor 的壞點。

GB：用于平衡兩個G 通道的數(shù)據(jù)。

LSC：用于校正鏡頭引起的四周陰影。

GAIN0/1：增益設(shè)置。

NR3D：用于時域降噪模塊。

NR2D：用于空域降噪模塊。

WB：用于白平衡校正。

CFA：用于將raw 圖內(nèi)插成RGB 圖像。

PURPLE：用于紫邊消除。

HLR：用于高光顏色的恢復(fù)，防止高亮偏粉。

DRC：用于動態(tài)范圍壓縮。

CCM：用于色彩校正。

HSV：局部色相和飽和度調(diào)整。

Y/C GAMMA：用于對圖像做非線性映射，可在 RGB 域或YC 域生效。

RGB2YC：用于將圖像從RGB 域轉(zhuǎn)至YUV 域。

LCE：用于對圖像進行局部對比度增強。

YNR：用于亮度降噪（帶 Coef 聯(lián)動）。

CNR：用于色度降噪（帶 Coef 聯(lián)動）。

APC：用于對圖像進行銳化處理，提高清晰度（帶 Coef 聯(lián)動）。

CHROMA：用于對圖像飽和度小于門限值的像素進行色度抑制。

YIE：用于對圖像進行亮度、對比度的增強。

CIE：用于對圖像色度進行增強。

LDC：用于鏡頭小角度畸變矯正。

03

調(diào)試工具及打開方式

富瀚調(diào)試工具：CoolView

SDK默認釋放：FH8626V300_RT_V1.0.0_20250627/docs_tools/software/pc路徑下

軟件打開編譯選項：

打開工具，配置IP，選擇芯片，進行連接：

04

線性模式調(diào)試優(yōu)化

線性模式，主要關(guān)注圖像的亮度、色彩、對比度和通透性、清晰度和噪聲等維度，各維度主要涉及模塊如下：

亮度：主要是自動曝光（AE）模塊，鏡頭校正（LSC）、DRC、Gamma 等模塊會影響亮度;

色彩：自動白平衡（AWB）、CCM、飽和度增強和抑制（CE/HSV）、CNR、DRC的飽和度抑制等模塊;

對比度和通透性：Gamma、DRC、LCE、YC（Contrast/Brightness）等模塊;

清晰度和噪聲控制：APC、CFA、NR3D、NR2D、YNR、CNR、DPC 等模塊;線性模式下，圖像調(diào)優(yōu)步驟如下圖所示：

1.Sensor 和鏡頭的標定

黑電平標定（BLC）：

詳細操作步驟參見 CoolViewPro2 →《BLC 標定工具使用指南》，工具里會自動抓Dark Frame并計算各通道BL值，支持Gain聯(lián)動LUT導(dǎo)出。

BLC標定工具使用指南.pdf

鏡頭暗角補償 (LSC)：

鏡頭看到的世界（理想情況）：

鏡頭實際看到的世界（現(xiàn)實）：

中心亮度 = 100%

邊緣亮度 ≈ 50%~70% ← 這就是暗角（Vignetting）

根據(jù) CoolViewPro2 中《LSC 標定工具使用指南》的詳細標定流程使用 lsc tool完成標定。

LSC標定工具使用指南.pdf

AWB 白點標定：

具體標定流程參考AWB調(diào)試文檔章節(jié)。awb標定工具使用指南.pdf

CCM 標定：

詳細標定流程可參見 CoolViewPro2 中《CCM 標定工具使用指南》。

CCM標定工具使用指南.pdf

2.AE 調(diào)優(yōu)：

AE 功能是實現(xiàn)圖像的自動曝光。軟件通過硬件統(tǒng)計信息，獲取當前圖像的亮度，若與設(shè)定的目標亮度有差異，則通過調(diào)整曝光時間，模擬增益，數(shù)字增益等參數(shù)，將圖像調(diào)整至目標亮度值。

3.DRC 調(diào)優(yōu)：

DRC 模塊的作用就是在保留寬動態(tài)圖像范圍細節(jié)的同時對圖像動態(tài)范圍進行壓縮，主要通過DRC Curve、global_str 影響亮度，在這里只做一個基礎(chǔ)調(diào)整。

更多調(diào)試細節(jié)詳見SDK內(nèi)附調(diào)試指南。

三、

VPU

01

VPU基礎(chǔ)流程

分通道：輸出多種幅面和格式

裁剪，縮放，旋轉(zhuǎn)：對畫面做剪裁

Osd：在原始圖像上疊加文字或者logo

四、

編碼

01

圖像編碼

經(jīng)VPU輸出的yuv數(shù)據(jù)，送入soc編碼器，按編碼類型可劃分為：

H264

預(yù)處理：YUV數(shù)據(jù)（如YUV420P格式）輸入，進行幀分割。

預(yù)測編碼：幀內(nèi)預(yù)測生成殘差，幀間預(yù)測減少時間冗余。

變換與量化：殘差經(jīng)DCT變換，量化表調(diào)整高頻系數(shù)，熵編碼壓縮數(shù)據(jù)。

NAL封裝：生成NAL單元，適配RTP或MP4存儲。

H265

結(jié)構(gòu)優(yōu)化：支持幀內(nèi)預(yù)測模式。

增強壓縮：多參考幀、運動矢量預(yù)測、更高效的熵編碼，提升壓縮率。

NAL/VCL分層：視頻編碼層（VCL）壓縮數(shù)據(jù)，網(wǎng)絡(luò)抽象層（NAL）封裝為適配網(wǎng)絡(luò)的NAL單元。

JPEG

顏色空間轉(zhuǎn)換：RGB轉(zhuǎn)YCbCr，色度子采樣（如40）減少數(shù)據(jù)量。

分塊DCT：子塊經(jīng)DCT變換，量化表抑制高頻系數(shù)。

02

編碼數(shù)據(jù)打包

RTP協(xié)議：

NAL單元封裝為RTP包，添加時間戳（PTS/DTS）、序列號，通過UDP傳輸。

支持分片（如大I幀拆分為FU-A分片），適配MTU限制，結(jié)合RTCP實現(xiàn)擁塞控制和丟包重傳。

PES打包：

用于MPEG-TS流，PES頭部包含流ID（如0xE0視頻流）、時間戳，支持廣播級傳輸。

文件格式：

MP4：數(shù)據(jù)存入mdat box，元數(shù)據(jù)存入moov box，支持流式播放和隨機訪問。

TS流：多路PES包復(fù)用為TS包，適配DVB/IPTV傳輸。