當(dāng)今數(shù)碼照相機(jī)基本都是基于電荷耦合器件（CCD）或 CMOS 傳感器技術(shù)。這兩種技術(shù)都能將光信號(hào)轉(zhuǎn)換為電信號(hào)，但它們的轉(zhuǎn)換方式不同。

在 CCD 組件中，由數(shù)百萬(wàn)光敏像素組成的陣列覆蓋在 CCD 傳感器的表面。在傳感器曝光后，首先 CCD 的末端讀出覆蓋整個(gè) CCD 像素陣列上的累積電荷，然后經(jīng)模擬前端（AFE）芯片或 CCD 處理器數(shù)字化。另外一種傳感器，CMOS 傳感器可直接將每個(gè)像素單元的曝光程度數(shù)字化。

通常，CCD 具有最高的圖像質(zhì)量和最低的噪聲，但是其功耗較高。CMOS 傳感器容易制造并且具有低功耗特性，但是其圖像質(zhì)量較低。部分原因是因?yàn)槲挥诿總€(gè)像素的晶體管容易阻擋到達(dá)像素的部分光信號(hào)。然而，如果在質(zhì)量競(jìng)爭(zhēng)過(guò)程中與 CCD 比價(jià)格，那么 CMOS 具有優(yōu)勢(shì)，并且目前采用 CMOS 傳感器的中擋數(shù)碼照相機(jī)的數(shù)量越來(lái)越多。

無(wú)論數(shù)碼照相機(jī)內(nèi)部采用哪種傳感器，傳感器陣列的所有像素都需對(duì)灰度等級(jí)靈敏——從全暗（黑）到全亮（白）。對(duì)灰度等級(jí)敏感程度被稱為“比特深度”。因此，8 bit 像素可區(qū)分 28 或 256 個(gè)灰度梯度，而 12 bit 像素可區(qū)分 4096 個(gè)灰度梯度。分層的整個(gè)像素陣列是一種將每個(gè)像素分為幾個(gè)對(duì)顏色敏感的“子像素”的濾色鏡。這種安排允許測(cè)量每個(gè)像素單元不同顏色的成分。因此，每個(gè)像素單元的顏色可看作是紅色（R）、綠色（G）和藍(lán)色（B）通道光的成分以加法方式疊加的總和。比特深度越高， RGB 空間能產(chǎn)生的顏色越豐富。例如，24 bit 顏色（R、G 和 B 每通道為 8 bit）可產(chǎn)生 224 或 1，670 萬(wàn)種離散的顏色。

為了恰當(dāng)?shù)乇硎静噬珗D像，每個(gè)像素單元，每個(gè)傳感器需要 3 種顏色采樣——最通常是 R，G 和 B。然而，為每個(gè)數(shù)碼照相機(jī)配備 3 個(gè)單獨(dú)的傳感器并不是經(jīng)濟(jì)有效的解決方案（雖然最近這種解決方案變得比較實(shí)際）。而且，當(dāng)傳感器的分辨率增加到 5 百萬(wàn)～1 千萬(wàn)像素時(shí)，就會(huì)需要一些圖像壓縮格式防止為每個(gè)像素單元需要輸出 3 個(gè)字節(jié)（或更壞情況下，對(duì)于更高分辨率的傳感器，還會(huì)需要輸出 3 個(gè) 12 bit 字）。

不用擔(dān)憂，因?yàn)閿?shù)碼照相機(jī)生產(chǎn)廠商已經(jīng)開發(fā)出了減少必要的顏色采樣數(shù)目的巧妙方法。最常用的方法是采用色彩濾鏡陣列（CFA），它僅測(cè)量任何給定像素單元的一種顏色。然后，用圖像處理器對(duì)測(cè)量結(jié)果進(jìn)行插值運(yùn)算以便看起來(lái)好像在每個(gè)像素單元測(cè)量了 3 種顏色。

當(dāng)今最流行使用的 CFA 是 Bayer 模式。該方案由 Kodak 創(chuàng)立，它利用這樣的原理：人眼對(duì)綠色成分的識(shí)別靈敏度大于紅色或藍(lán)色。因此，在 Bayer 濾光鏡陣列中，通過(guò)綠色濾光鏡的光強(qiáng)是通過(guò)藍(lán)色濾光鏡或紅色濾光鏡的兩倍。這便引出一種通常稱作的“4:2：2 RGB”的輸出格式，即每發(fā)送 2 份紅色光和 2 份藍(lán)色光就對(duì)應(yīng)發(fā)送 4 份綠色光。

圖像傳感器的連接

CMOS 傳感器通常按照 YCbCr 或 RGB 格式輸出像素單元的并行數(shù)據(jù)流，同時(shí)伴隨水平同步和垂直同步以及像素時(shí)鐘。有時(shí)，它們?cè)试S使用外部時(shí)鐘和同步信號(hào)來(lái)控制來(lái)自傳感器的幀圖像輸出。

另一方面，CCD 傳感器通常需要隨后連接“模擬前端（AFE）”芯片，例如 AD9948，它可處理模擬輸出信號(hào)、將其數(shù)字化并且產(chǎn)生掃描 CCD 陣列的合適時(shí)序。處理器為 AFE 提供同步信號(hào)，它需要這種控制信號(hào)來(lái)管理 CCD 陣列。從 AFE 輸出的并行數(shù)據(jù)流可能為每像素單元提供 10 bit 或 12 bit 的分辨率。

最近，低電壓差分信號(hào)傳輸（LVDS）技術(shù)已經(jīng)成為取代并行數(shù)據(jù)總線的重要方法。LVDS 技術(shù)是一種低成本、低引腳數(shù)和高速串行的連接方法，它比標(biāo)準(zhǔn)并行方案提高了抗噪聲性能并且降低了功耗。隨著傳感器分辨率和色深度增加以及便攜式多媒體應(yīng)用越來(lái)越普遍，這種 LVD 連接方法顯得格外重要，

圖像流水線

當(dāng)然，照相過(guò)程并不是終止于傳感器，相反，傳感器僅是處理過(guò)程的開始。讓我們看一下原始圖像在顯示器上呈現(xiàn)出精美的圖像之前是什么樣子。在數(shù)碼照相機(jī)中，這些處理階段的順序被稱為“圖像處理流水線”，或簡(jiǎn)稱為“圖像流水線”。這些算法通常由多媒體處理器來(lái)完成，例如 ADI 公司的 Blackfin 處理器系列。

機(jī)械反饋控制

在你平靜地釋放快門按鈕之前，聚焦和曝光系統(tǒng)與照相機(jī)的機(jī)械部件一起工作，根據(jù)場(chǎng)景特性控制鏡頭的位置。自動(dòng)曝光算法測(cè)量分立景物區(qū)域的亮度，通過(guò)調(diào)節(jié)快門速度和（或）光圈以對(duì)曝光過(guò)度或曝光不足的區(qū)域進(jìn)行補(bǔ)償。我們的主要目標(biāo)是維持圖像中不同區(qū)域之間的相對(duì)對(duì)比度并且達(dá)到所要求的平均亮度。

自動(dòng)聚焦算法可分為兩類。其中主動(dòng)算法采用紅外線或超聲波發(fā)射器和接收器估計(jì)照相機(jī)和拍攝對(duì)象之間的距離。另一種被動(dòng)算法是根據(jù)照相機(jī)所接收的圖像進(jìn)行聚焦。

在這兩種子系統(tǒng)中，多媒體處理器通過(guò)其輸出的脈寬調(diào)制（PWM）信號(hào)控制各種鏡頭和快門的電機(jī)。自動(dòng)曝光控制功能還能調(diào)節(jié)傳感器的自動(dòng)增益控制（AGC）電路。

預(yù)處理

正如我們前面所討論的，傳感器的輸出需要灰度系數(shù)校正以滿足最終的顯示需求，并且補(bǔ)償傳感器捕獲響應(yīng)的非線性。

因?yàn)閭鞲衅魍ǔ：泻苌俚臒o(wú)效或缺陷像素，所以常用的預(yù)處理技術(shù)可以通過(guò)中值濾波消除這些缺陷，它根據(jù)這樣的原理：當(dāng)光學(xué)處理有些模糊的圖像時(shí)像素之間的急劇變化是不正常的。

鏡頭校正（暗影或畸變校正）

這套算法解決了鏡頭輸出的圖像與用戶看到的實(shí)際場(chǎng)景相比產(chǎn)生畸變的物理屬性問(wèn)題。不同的鏡頭會(huì)產(chǎn)生不同的畸變；例如，廣角鏡頭會(huì)造成“桶形畸變”效應(yīng)，而長(zhǎng)焦鏡頭會(huì)產(chǎn)生“枕形畸變”效應(yīng)。鏡頭的陰影畸變降低了鏡頭周圍區(qū)域的圖像亮度。色像差會(huì)使圖像周圍出現(xiàn)色彩條紋。因此多媒體處理器需要對(duì)圖像做數(shù)學(xué)變換以校正這些畸變。

預(yù)處理的另外一方面是圖像穩(wěn)定性補(bǔ)償或信號(hào)交換校正。這里，處理器常借助于涉及到傳感器實(shí)時(shí)運(yùn)動(dòng)輪廓的外部傳感器器調(diào)節(jié)所接收?qǐng)D像的平移運(yùn)動(dòng)。

預(yù)處理的另外一個(gè)階段稱為白平衡。當(dāng)我們看到一幅場(chǎng)景時(shí)，無(wú)論照明條件如何，我們的眼睛能將觀看到的所有場(chǎng)景都轉(zhuǎn)換成標(biāo)準(zhǔn)的自然光條件下的顏色。例如，我們所看到的蘋果應(yīng)是深紅色，無(wú)論是在室內(nèi)的熒光燈下還是室外的陽(yáng)光下。然而，圖像傳感器對(duì)顏色的“感知”很大程度上取決于照明條件，因此它需要將它映射成所要求的圖像以使其最終的輸出看起來(lái)不受照明條件的影響。這種圖像映射過(guò)程可手動(dòng)或自動(dòng)完成。

在手動(dòng)系統(tǒng)中，在將你的照相機(jī)對(duì)準(zhǔn)你確定是“白色”的對(duì)象后，然后將照相機(jī)移動(dòng)到待拍照所有圖像的“色溫”區(qū)以適應(yīng)這種映射。另外一種自動(dòng)白平衡（AWB）方法，使用圖像傳感器的輸入和額外的白平衡傳感器來(lái)確定什么是圖像中的“真正白色”。它可調(diào)節(jié)圖像中 R、G 和 B 通道的相對(duì)增益。當(dāng)然，AWB 比手動(dòng)方法需要更多的圖像處理能力，并且也是供應(yīng)商提供的知識(shí)產(chǎn)權(quán)算法。

抗馬賽克、像素內(nèi)插、降噪以及輪廓增強(qiáng)

抗馬賽克〔或色彩濾鏡陣列插值（Demosaicking）〕可能是圖像流水線中最重要并且計(jì)算量最大的階段。通常各數(shù)碼照相機(jī)制造商都有自己的“秘訣”，但通?？蓪⑦@些方法分成幾種主要的算法。

雙線性插值或雙三次插值等非自適應(yīng)算法屬于最簡(jiǎn)單易行的方法，它們非常適合處理圖像的平滑區(qū)域。然而，用這些簡(jiǎn)單的算法處理邊緣或紋理豐富的區(qū)域時(shí)會(huì)遇到問(wèn)題。自適應(yīng)算法根據(jù)局部圖像特點(diǎn)改變算法，從而可以提供較好的效果。

自適應(yīng)算法的一個(gè)例子是基于邊緣重構(gòu)。這種算法分析圍繞像素的區(qū)域并且確定在哪個(gè)方向上完成內(nèi)插。如果它在像素附近找到了邊緣，則將沿著邊緣進(jìn)行插值，而不是越過(guò)邊緣。另一種自適應(yīng)算法是假設(shè)整個(gè)對(duì)象是恒定色調(diào)，這可以防止在個(gè)別對(duì)像中顏色梯度的突變。還有許多其它的抗馬賽克技術(shù)，包括頻域分析、貝葉斯判決準(zhǔn)則，以及神經(jīng)網(wǎng)絡(luò)。

顏色空間變換

在這一階段，將內(nèi)插后的 RGB 圖像變換為目標(biāo)輸出顏色空間（如果還不是合適的顏色空間）。為了壓縮或在電視機(jī)上顯示圖像，這通常包括 RGB?YCbCr 的矩陣轉(zhuǎn)換，通常還包括另外的灰度系數(shù)校正電路以適應(yīng)目的顯示器。在這一階段按照標(biāo)準(zhǔn) 4:2：2 格式可能還要對(duì) YCbCr 輸出進(jìn)行顏色子采樣以便在幾乎不影響視覺效果的情況下減少顏色帶寬。

后處理

在這一階段，圖像在送到顯示器和（或）存儲(chǔ)媒體之前通過(guò)各種濾波作用完善圖像。例如，邊緣輪廓增強(qiáng)、像素閾值處理以降低噪聲、以及人工顏色刪除通常都在這階段完成。

顯示、壓縮和存儲(chǔ)

如果圖像本身準(zhǔn)備用于瀏覽，圖像流水線會(huì)產(chǎn)生兩個(gè)不同的方向的分支。第一個(gè)分支，后處理圖像輸出到目的顯示器，通常是集成液晶顯示（LCD）屏（但是對(duì)于某種型號(hào)的數(shù)碼照相機(jī)，有時(shí)是 NTSC 或 PAL 電視監(jiān)視器）。第二個(gè)分支，將圖像送到多媒體處理器運(yùn)行壓縮算法軟件，在將圖像本地存儲(chǔ)在存儲(chǔ)媒體（通常是非易失閃存卡）之前使用工業(yè)標(biāo)準(zhǔn)壓縮技術(shù)（例如 JPEG 標(biāo)準(zhǔn)）進(jìn)行壓縮。

審核編輯黃昊宇