像素行與像素窗口

一幅圖像是由一個(gè)個(gè)像素點(diǎn)構(gòu)成的，對(duì)于一幅480*272大小的圖片來(lái)說(shuō)，其寬度是480，高度是272。在使用FPGA進(jìn)行圖像處理時(shí)，最關(guān)鍵的就是使用FPGA內(nèi)部的存儲(chǔ)資源對(duì)像素行進(jìn)行緩存與變換。由于在圖像處理過(guò)程中，經(jīng)常會(huì)使用到卷積，因此需要對(duì)圖像進(jìn)行開窗，然后將開窗得到的局部圖像與卷積核進(jìn)行卷積，從而完成處理。

圖像數(shù)據(jù)一般按照一定的格式和時(shí)序進(jìn)行傳輸，在我進(jìn)行實(shí)驗(yàn)的時(shí)候，處理圖像時(shí)，讓其以VGA的時(shí)序來(lái)進(jìn)行工作，這樣能夠?yàn)槲姨幚硇芯彺嫣峁┍憷?/p>

基于FIFO的行緩存結(jié)構(gòu)

在FPGA中對(duì)圖像的一行數(shù)據(jù)進(jìn)行緩存時(shí)，可以采用FIFO這一結(jié)構(gòu)，如上圖所示，新一行圖像數(shù)據(jù)流入到FIFO1中，F(xiàn)IFO1中會(huì)對(duì)圖像數(shù)據(jù)進(jìn)行緩存，當(dāng)FIFO1中緩存有一行圖像數(shù)據(jù)時(shí)，在下一行圖像數(shù)據(jù)來(lái)臨的時(shí)候，將FIFO1中緩存的圖像數(shù)據(jù)讀出，并傳遞給下一個(gè)FIFO，于此同時(shí)，將新一行的圖像數(shù)據(jù)緩存到FIFO1中，這樣就能完成多行圖像的緩存。

若要緩存多行圖像，下面的菊花鏈?zhǔn)降慕Y(jié)果更能夠直觀地表現(xiàn)圖像數(shù)據(jù)地流向。

新輸入地圖像緩存到FIFO1當(dāng)中，當(dāng)FIFO中緩存有一行數(shù)據(jù)的時(shí)候，下一個(gè)輸入像素來(lái)臨的時(shí)候，會(huì)將數(shù)據(jù)從本FIFO中讀出，并給到下一個(gè)FIFO，來(lái)形成類似于一個(gè)流水線的結(jié)構(gòu)。

上面的圖中，就是實(shí)現(xiàn)一個(gè)5X5大小的窗口的一個(gè)結(jié)構(gòu)圖。

代碼設(shè)計(jì)

實(shí)現(xiàn)一個(gè)可以生成任意尺寸大小的開窗的模塊，需要注意參數(shù)的使用，可以通過(guò)調(diào)節(jié)KSZ來(lái)調(diào)整窗口的大小。最終將窗口中的圖像像素，轉(zhuǎn)換成一個(gè)一維的數(shù)據(jù)輸出給到下一個(gè)模塊。

在設(shè)計(jì)的時(shí)候，對(duì)于FIFO要選擇精準(zhǔn)計(jì)數(shù)模式，這樣才能讓流水正常工作起來(lái)。

在代碼中通過(guò)generate語(yǔ)句來(lái)實(shí)現(xiàn)多個(gè)line_buffer的例化，line buffer的個(gè)數(shù)可以根據(jù)卷積窗口的大小來(lái)選擇，例如3X3大小的卷積窗口需要緩存兩行，5X5大小的卷積窗口需要緩存4行，可以通過(guò)設(shè)置參數(shù)來(lái)選擇要例化多少個(gè)line_buffer。

時(shí)序設(shè)計(jì)

在設(shè)計(jì)FIFO的菊花鏈結(jié)構(gòu)時(shí)，需要根據(jù)當(dāng)前FIFO中存儲(chǔ)的數(shù)據(jù)個(gè)數(shù)來(lái)判斷，這時(shí)候使用到精準(zhǔn)計(jì)數(shù)模式，可以反應(yīng)FIFO中的存儲(chǔ)的數(shù)據(jù)。當(dāng)FIFO中存儲(chǔ)有一行數(shù)據(jù)的時(shí)候，使能pop_en信號(hào)，表示當(dāng)前可以將數(shù)據(jù)從FIFO中讀出。

在將數(shù)據(jù)寫入到FIFO中的時(shí)候，需要對(duì)數(shù)據(jù)進(jìn)行擴(kuò)充，也即需要對(duì)輸入的圖像的邊界補(bǔ)充數(shù)據(jù)，因?yàn)檫M(jìn)行卷積之后的圖像將會(huì)比原始圖像數(shù)據(jù)尺寸減少，因此在形成卷積窗口時(shí)，將圖像擴(kuò)充，能夠讓圖像處理完成之后，保持原來(lái)的尺寸，只是會(huì)在邊界出現(xiàn)黑邊。

win_buf這個(gè)模塊的最終輸出，就是一個(gè)矩陣內(nèi)的所有像素，組成一個(gè)信號(hào)輸出到外部，供進(jìn)行卷積的處理。

仿真驗(yàn)證

輸入的第三行數(shù)據(jù)的前三個(gè)數(shù)據(jù)是：0x00，0x78，0x7c

輸入的第二行數(shù)據(jù)的前三個(gè)數(shù)據(jù)是：0x00，0x7d，0x7d

輸入的第一行數(shù)據(jù)的前三個(gè)數(shù)據(jù)是：0x00，0x7e，0x7f

輸出的第一個(gè)矩陣的值是：0x0078_7c00_7d7d_007e_7f

輸入行數(shù)據(jù)第一個(gè)數(shù)據(jù)是0x00這是因?yàn)閿U(kuò)充了邊界的原因。

可以看到，設(shè)置KSZ為3,可以得到一個(gè)位寬為72bit的輸出數(shù)據(jù)，該數(shù)據(jù)包含了一個(gè)窗口中的9個(gè)數(shù)據(jù)。

5X5開窗

設(shè)置開窗大小為5x5之后，也可以看到輸出信號(hào)的位寬變?yōu)榱?*25=200bit，也就是一個(gè)5X5大小的矩陣中的數(shù)據(jù)。

輸入的第5行數(shù)據(jù)的前5個(gè)數(shù)據(jù)是：0x00，0x00，0x7e，0x7c，0x7f

輸入的第4行數(shù)據(jù)的前5個(gè)數(shù)據(jù)是：0x00，0x00，0x7e，0x7e，0x7e，

輸入的第3行數(shù)據(jù)的前5個(gè)數(shù)據(jù)是：0x00，0x00，0x78，0x7c，0x7c

輸入的第2行數(shù)據(jù)的前5個(gè)數(shù)據(jù)是：0x00，0x00，0x7d，0x7d，0x7a

輸入的第1行數(shù)據(jù)的前5個(gè)數(shù)據(jù)是：0x00，0x00，0x7e，0x7f，0x7d

從輸出結(jié)果看，輸出的矩陣數(shù)據(jù)，剛好是這5行的前5數(shù)據(jù)，并且前兩個(gè)數(shù)據(jù)是0x00，這是因?yàn)樵诿恳恍星懊嫜a(bǔ)充了兩個(gè)0的原因。

經(jīng)過(guò)測(cè)試，這種開窗算子是能夠完成任意此村的開窗的。

實(shí)際應(yīng)用

在實(shí)際應(yīng)用中，我也將這個(gè)模塊正確地使用上了，完成了一個(gè)3x3的sobel算子和5x5的均值濾波。

原始圖像

3x3 Sobel

審核編輯 ：李倩