第1章介紹

1. 為什么要進(jìn)行視頻壓縮？

未經(jīng)壓縮的數(shù)字視頻的數(shù)據(jù)量巨大

存儲(chǔ)困難

一張DVD只能存儲(chǔ)幾秒鐘的未壓縮數(shù)字視頻。

傳輸困難

1兆的帶寬傳輸一秒的數(shù)字電視視頻需要大約4分鐘。

2.?為什么可以壓縮

去除冗余信息

空間冗余：圖像相鄰像素之間有較強(qiáng)的相關(guān)性

時(shí)間冗余：視頻序列的相鄰圖像之間內(nèi)容相似

編碼冗余：不同像素值出現(xiàn)的概率不同

視覺(jué)冗余：人的視覺(jué)系統(tǒng)對(duì)某些細(xì)節(jié)不敏感

知識(shí)冗余：規(guī)律性的結(jié)構(gòu)可由先驗(yàn)知識(shí)和背景知識(shí)得到

3.?數(shù)據(jù)壓縮分類

無(wú)損壓縮（Lossless）

壓縮前解壓縮后圖像完全一致X=X'

壓縮比低(2:1~3:1)

例如：Winzip，JPEG-LS

有損壓縮（Lossy）

壓縮前解壓縮后圖像不一致X≠X'

壓縮比高(10:1~20:1)

利用人的視覺(jué)系統(tǒng)的特性

例如：MPEG-2，H.264/AVC，AVS

4.?編解碼器

編碼器（Encoder）

壓縮信號(hào)的設(shè)備或程序

解碼器（Decoder）

解壓縮信號(hào)的設(shè)備或程序

編解碼器(Codec)

編解碼器對(duì)

5. 壓縮系統(tǒng)的組成

(1) 編碼器中的關(guān)鍵技術(shù)

(2) 編解碼中的關(guān)鍵技術(shù)

6.?編解碼器實(shí)現(xiàn)

編解碼器的實(shí)現(xiàn)平臺(tái)：

超大規(guī)模集成電路VLSI

ASIC， FPGA

數(shù)字信號(hào)處理器DSP

軟件

編解碼器產(chǎn)品：

機(jī)頂盒

數(shù)字電視

攝像機(jī)

監(jiān)控器

7. 視頻編碼標(biāo)準(zhǔn)

編碼標(biāo)準(zhǔn)作用：

兼容：

不同廠家生產(chǎn)的編碼器壓縮的碼流能夠被不同廠家的解碼器解碼

高效：

標(biāo)準(zhǔn)編解碼器可以進(jìn)行批量生產(chǎn)，節(jié)約成本。

主流的視頻編碼標(biāo)準(zhǔn)：

MPEG-2

MPEG-4 Simple Profile

H.264/AVC

AVS

VC-1

標(biāo)準(zhǔn)化組織：

ITU：International Telecommunications Union

VECG：Video Coding Experts Group

ISO：International Standards Organization

MPEG：Motion Picture Experts Group

8. 視頻傳輸

視頻傳輸：通過(guò)傳輸系統(tǒng)將壓縮的視頻碼流從編碼端傳輸?shù)浇獯a端

傳輸系統(tǒng)：互聯(lián)網(wǎng)，地面無(wú)線廣播，衛(wèi)星

9. 視頻傳輸面臨的問(wèn)題

傳輸系統(tǒng)不可靠

帶寬限制

信號(hào)衰減

噪聲干擾

傳輸延遲

視頻傳輸出現(xiàn)的問(wèn)題

不能解碼出正確的視頻

視頻播放延遲

10. 視頻傳輸差錯(cuò)控制

差錯(cuò)控制（Error Control）解決視頻傳輸過(guò)程中由于數(shù)據(jù)丟失或延遲導(dǎo)致的問(wèn)題

差錯(cuò)控制技術(shù)：

信道編碼差錯(cuò)控制技術(shù)

編碼器差錯(cuò)恢復(fù)

解碼器差錯(cuò)隱藏

11.?視頻傳輸?shù)腝oS參數(shù)

數(shù)據(jù)包的端到端的延遲

帶寬：比特/秒

數(shù)據(jù)包的流失率

數(shù)據(jù)包的延遲時(shí)間的波動(dòng)

第2章 數(shù)字視頻

1.圖像與視頻

圖像：是人對(duì)視覺(jué)感知的物質(zhì)再現(xiàn)。

三維自然場(chǎng)景的對(duì)象包括：深度，紋理和亮度信息

二維圖像：紋理和亮度信息

視頻：連續(xù)的圖像。

視頻由多幅圖像構(gòu)成，包含對(duì)象的運(yùn)動(dòng)信息，又稱為運(yùn)動(dòng)圖像。

2. 數(shù)字視頻

數(shù)字視頻：自然場(chǎng)景空間和時(shí)間的數(shù)字采樣表示。

空間采樣

解析度（Resolution）

時(shí)間采樣

幀率：幀/秒

3. 空間采樣

二維數(shù)字視頻圖像空間采樣

4. 數(shù)字視頻系統(tǒng)

采集

照相機(jī)，攝像機(jī)

處理

編解碼器，傳輸設(shè)備

顯示

顯示器

5. 人類視覺(jué)系統(tǒng)HVS

HVS

眼睛

神經(jīng)

大腦

HVS特點(diǎn)：

對(duì)高頻信息不敏感

對(duì)高對(duì)比度更敏感

對(duì)亮度信息比色度信息更敏感

對(duì)運(yùn)動(dòng)的信息更敏感

6. 數(shù)字視頻系統(tǒng)的設(shè)計(jì)應(yīng)該考慮HVS的特點(diǎn)：

丟棄高頻信息，只編碼低頻信息

提高邊緣信息的主觀質(zhì)量

降低色度的解析度

對(duì)感興趣區(qū)域（Region of Interesting，ROI）進(jìn)行特殊處理

7. RGB色彩空間

三原色：紅（R），綠（G），藍(lán)（B）。

任何顏色都可以通過(guò)按一定比例混合三原色產(chǎn)生。

RGB色度空間

由RGB三原色組成

廣泛用于BMP，TIFF，PPM等

每個(gè)色度成分通常用8bit表示[0,255]

8. YUV色彩空間

YUV色彩空間：

Y：亮度分量

UV：兩個(gè)色度分量

YUV更好的反映HVS特點(diǎn)

9. RGB轉(zhuǎn)化到Y(jié)UV空間

亮度分量Y與三原色有如下關(guān)系：

經(jīng)過(guò)大量實(shí)驗(yàn)后ITU-R給出了，?，??，

主流的編解碼標(biāo)準(zhǔn)的壓縮對(duì)象都是YUV圖像

10.?YUV圖像分量采樣

YUV圖像可以根據(jù)HVS的特點(diǎn)，對(duì)色度分量下采樣，可以降低視頻數(shù)據(jù)量。

根據(jù)亮度和色度分量的采樣比率，YUV圖像通常有以下幾種格式：

11. 通用 的YUV圖像格式

根據(jù)YUV圖像的亮度分辨率定義圖像格式

12. 幀和場(chǎng)圖像

一幀圖像包括兩場(chǎng)——頂場(chǎng)，底場(chǎng)

13. 逐行與隔行圖像

逐行圖像：一幀圖像的兩場(chǎng)在同一時(shí)間得到，ttop=tbot。

隔行圖像：一幀圖像的兩場(chǎng)在不同時(shí)間得到，?ttop≠tbot。

14. 視頻質(zhì)量評(píng)價(jià)

有損視頻壓縮使編解碼圖像不同，需要一種手段來(lái)評(píng)價(jià)解碼圖像的質(zhì)量。

質(zhì)量評(píng)價(jià)：

客觀質(zhì)量評(píng)價(jià)

主觀質(zhì)量評(píng)價(jià)

基于視覺(jué)的視頻質(zhì)量客觀評(píng)價(jià)

客觀質(zhì)量評(píng)價(jià)：通過(guò)數(shù)學(xué)方法測(cè)量圖像質(zhì)量評(píng)價(jià)的方式。

優(yōu)點(diǎn)：

可量化

測(cè)量結(jié)果可重復(fù)

測(cè)量簡(jiǎn)單

缺點(diǎn)：

不完全符合人的主觀感知

15. 客觀評(píng)價(jià)的方法

常用的客觀評(píng)價(jià)方法：

16. 主觀評(píng)價(jià)方法

主觀質(zhì)量評(píng)價(jià)：用人的主觀感知直接測(cè)量的方式。

優(yōu)點(diǎn)：

符合人的主觀感知

缺點(diǎn)：

不容易量化

受不確定因素影響，測(cè)量結(jié)果一般不可重復(fù)

測(cè)量代價(jià)高

常用主觀評(píng)價(jià)方法

17.?基于視覺(jué)的視頻質(zhì)量客觀評(píng)價(jià)方法

基于視覺(jué)的視頻質(zhì)量客觀評(píng)價(jià)：將人的視覺(jué)特性用數(shù)學(xué)方法描述并用于視頻質(zhì)量評(píng)價(jià)的方式。

結(jié)合了主觀質(zhì)量評(píng)價(jià)和客觀質(zhì)量評(píng)價(jià)兩方面優(yōu)點(diǎn)。

常用方法：結(jié)構(gòu)相似度（Structural SIMilarity，SSIM）方法。

將HVS的特征用數(shù)學(xué)模型表達(dá)出來(lái)。

未來(lái)重要的研究方向

?

第3章 信息論基礎(chǔ)

1. 通信系統(tǒng)的組成

信源：產(chǎn)生消息

信道：傳輸消息

信宿：接收消息

2. 基本概念

通信中對(duì)信息的表達(dá)分為三個(gè)層次：信號(hào)，消息，信息。

信號(hào)：是信息的物理層表達(dá)，可測(cè)量，可描述，可顯示。如電信號(hào)，光信號(hào)。

消息：是信息的載體，以文字，語(yǔ)言，圖像等人類可以認(rèn)知的形式表示。

信息：不確定的內(nèi)容。

3. 信息熵

信息的特點(diǎn)

信息的測(cè)量

自信息量

條件信息量

4. 信息熵

5. 條件熵和聯(lián)合熵

6. 熵的性質(zhì)

非負(fù)性：信源熵是非負(fù)值，即 H(X) >=0;

擴(kuò)展性：信源熵X有M個(gè)符號(hào)，如果其中一個(gè)符號(hào)出現(xiàn)的概率趨于零，信源熵就等于剩余M-1個(gè)符號(hào)的信源熵；

極值性（最大信息熵）：對(duì)于具有M個(gè)符號(hào)的信源，只有在所有符號(hào)等概率出現(xiàn)的情況下，信源熵達(dá)到最大值，即

可加性：

熵不增：條件熵不大于信息熵?H(X|Y) <= H(X)；

聯(lián)合熵不大于各信息熵的和，即H(XY) <= H(X) + H(Y)。

7. 互信息量

8. 互信息

物理意義：H(X)是X所含的信息，H(X|Y)是已知Y的條件下X還能帶來(lái)的信息量。那么兩者之差就是由于知道Y使得X減少的信息量，也即由Y可以得到的關(guān)于X的信息量。

9. 各種熵的關(guān)系

11. 信源編碼

信源編碼：將消息符號(hào)轉(zhuǎn)變成信道可傳輸?shù)男畔ⅰ?/p>

兩個(gè)基本問(wèn)題：

用盡可能少的信道傳輸符號(hào)來(lái)傳遞信源消息，提高傳輸效率；

減少由于信道傳輸符號(hào)的減少導(dǎo)致的失真。

12. 離散信源統(tǒng)計(jì)特性

13. 離散信源類型：簡(jiǎn)單無(wú)記憶信源和馬爾可夫信源

14. 編碼分類

等長(zhǎng)碼：在一組碼字集合C中的所有碼字cm?(m?= 1,2, …,M)，其碼長(zhǎng)都相同，則稱這組碼C為等長(zhǎng)碼。

變長(zhǎng)碼：若碼字集合C中的所有碼字cm?(m?= 1,2, …,M)，其碼長(zhǎng)不都相同，稱碼C為變長(zhǎng)碼。

15. 平均碼長(zhǎng)

16. 等長(zhǎng)碼與變長(zhǎng)碼比較

等長(zhǎng)編碼將信源輸出符號(hào)序列的任意一種取值（概率可能不同）都編碼成相同長(zhǎng)度的輸出碼字，沒(méi)有利用信源的統(tǒng)計(jì)特性；

變長(zhǎng)編碼可以根據(jù)信源輸出符號(hào)序列各種取值的概率大小不同，將他們編碼成不同長(zhǎng)度的輸出碼字，利用了信源的統(tǒng)計(jì)特性。因此又稱其為熵編碼。

17. Huffman編碼

Huffman編碼：典型的變長(zhǎng)編碼。

步驟：

將信源符號(hào)按概率從大到小的順序排列，假定p(x1)≥?p(x2)… ≥?p(xn)

給兩個(gè)概率最小的信源符號(hào)p(xn-1)，?p(xn)各分配一個(gè)碼位"0"和"1"，將這兩個(gè)信源符號(hào)合并成一個(gè)新符號(hào)，并用這兩個(gè)最小的概率之和作為新符號(hào)的概率，結(jié)果得到一個(gè)只包含(n-1)個(gè)信源符號(hào)的新信源。稱為信源的第一次縮減信源，用S1表表示。

將縮減信源S1的符號(hào)仍按概率從大到小的順序排列，重復(fù)步驟2，得到只含(n-2)個(gè)符號(hào)的縮減信源S2。

重復(fù)上述步驟，直至縮減信源只剩下兩個(gè)符號(hào)為止，此時(shí)所剩兩個(gè)符號(hào)的概率之和必為1。然后從最后一級(jí)縮減信源開(kāi)始，依編碼路徑向前返回，就得到各信源符號(hào)所對(duì)應(yīng)的碼字。

?

18. 信道編碼

信道編碼主要考慮如何增加信號(hào)的抗干擾能力，提高傳輸?shù)目煽啃?，并且提高傳輸效率?/p>

一般是采用冗余編碼法，賦予信碼自身一定的糾錯(cuò)和檢錯(cuò)能力，使信道傳輸?shù)牟铄e(cuò)概率降到允許的范圍之內(nèi)。

19. 信道類型

根據(jù)信道連續(xù)與否分類

離散信道

連續(xù)信道

半連續(xù)信道

根據(jù)信道是否有干擾分類

無(wú)干擾信道

有干擾信道

根據(jù)信道的統(tǒng)計(jì)特性分類

無(wú)記憶信道

有記憶信道

恒參信道

變參信道

對(duì)稱信道

非對(duì)稱信道

20. 信道容量

在信息論中，稱信道無(wú)差錯(cuò)傳輸?shù)淖畲笮畔⑺俾蕿樾诺廊萘俊?/p>

仙農(nóng)信道容量公式：

假設(shè)連續(xù)信道的加性高斯白噪聲功率為N，信道帶寬為B，信號(hào)功率為S，則該信道的容量為

由于噪聲功率N與信道帶寬B有關(guān)，則噪聲功率N=n0B?。因此，仙農(nóng)公式還可以表示為

21. 香農(nóng)信道容量公式的意義

在給定B和S/N的情況下，信道的極限傳輸能力為C，而且此時(shí)能夠做到無(wú)差錯(cuò)傳輸。如果信道的實(shí)際傳輸速率大于C?值，則無(wú)差錯(cuò)傳輸在理論上就已不可能。因此，實(shí)際傳輸速率一般不能大于信道容量C?，除非允許存在一定的差錯(cuò)率。

提高信噪比S/N（通過(guò)減小n0或增大S），可提高信道容量C。特別是，若n0->0，則C->∞ ，這意味著無(wú)干擾信道容量為無(wú)窮大；

增加信道帶寬B，也可增加信道容量C，但做不到無(wú)限制地增加。這是因?yàn)?，如?S、n0一定，有

維持同樣大小的信道容量，可以通過(guò)調(diào)整信道的B及S/N來(lái)達(dá)到，即信道容量可以通過(guò)系統(tǒng)帶寬與信噪比的互換而保持不變。

22. 失真

失真：信源的消息經(jīng)過(guò)編解碼后不能完全復(fù)原

在實(shí)際的信源和信道編碼中，消息的傳輸并不總是無(wú)失真的。

由于存儲(chǔ)和傳輸資源的限制

噪聲等因素的干擾

23. 率失真理論

仙農(nóng)定義了信息率失真函數(shù)R(D)

D是消息失真

R是碼率

率失真定理：在允許一定失真度D的情況下，信源輸出的信息率可壓縮到R(D)。

24. 失真函數(shù)

失真函數(shù)：信源符號(hào)X={x1,?x2, …..xn}，經(jīng)信道傳輸接收端符號(hào)Y={y1,?y2….yn}，對(duì)于每一對(duì)(xi,?yj)指定一個(gè)非負(fù)函數(shù)?d(xi,?yj)，稱d(xi,?yj)為單個(gè)符號(hào)的失真度或失真函數(shù)。對(duì)于連續(xù)信源連續(xù)信道的情況，常用d(x,?y)表示。

常用失真函數(shù)：

平均失真度：