糖度是衡量蘋果品質(zhì)的關(guān)鍵指標。高光譜成像(由于含有豐富的圖譜信息在糖度無損檢測中有著廣泛的應(yīng)用前景。光譜超分辨率(SSR)可通過建立映射關(guān)系從低光譜維度RGB圖像獲得對應(yīng)高光譜維度HSI圖像，在HSI圖像的高效獲取上有著極大的優(yōu)勢。

蘋果風味獨特，清脆可口，深受全世界消費者的廣泛喜愛。糖度是衡量蘋果品質(zhì)的關(guān)鍵指標。高光譜成像(HSI)由于含有豐富的圖譜信息在糖度無損檢測中有著廣泛的應(yīng)用前景,然而仍面臨儀器笨重昂貴、操作耗時等問題。光譜超分辨率(SSR)可通過建立映射關(guān)系從低光譜維度RGB圖像獲得對應(yīng)高光譜維度HSI圖像，在HSI圖像的高效獲取上有著極大的優(yōu)勢。

01實驗部分

HSI圖像采集系統(tǒng)由高光譜相機、RGB相機、照明光源、升降臺、果托和計算機組成，如圖1所示。為避免外部雜散光線的干擾，所有設(shè)備均放置于暗箱內(nèi)部(計算機除外)。

圖1 圖像采集系統(tǒng)

1.1SSR 方法

基于密集連接的SSR方法

在基于卷積神經(jīng)網(wǎng)絡(luò)光譜下采樣投影恢復高光譜圖像算法基礎(chǔ)之上，提出了基于密集連接的SSR方法HSCNN-D，在特征提取時利用卷積層替換了頻譜上采樣操作，由此避免了對未知光譜響應(yīng)函數(shù)的依賴。在特征映射的過程中，利用路徑加寬的融合方案，使用了密集連接塊代替了殘差塊，緩解了殘差網(wǎng)絡(luò)增加網(wǎng)絡(luò)深度帶來的梯度消失的問題。最后經(jīng)過卷積層融合已處理的特征完成SSR。雖然該方法能夠更適當?shù)貙W習映射關(guān)系，但是在圖像空間分辨率特征的應(yīng)用仍然不足。

基于多尺度層級回歸網(wǎng)絡(luò)的SSR方法

基于多尺度層級回歸網(wǎng)絡(luò)的SSR方法通過并行多分支網(wǎng)絡(luò)提取不同尺度下的特征，然后融合相應(yīng)特征得到最終特征?；趯蛹壔貧w網(wǎng)絡(luò)算法為層間交互的四級回歸網(wǎng)絡(luò)。首先利用PixelUn-Shuffle層對輸入圖像進行空間下采樣,使圖像空間分辨率降低。根據(jù)分辨率的高低分別從上至下作為層級輸入。下層低分辨率圖像依次經(jīng)過卷積層、殘差密集塊和殘差全局塊提取出特征，再利用PixelShuffle層對特征圖完成上采樣，然后與上層高分辨率圖像特征拼接，再完成當層的特征提取。由于特征在底層較為緊湊，需要在上采樣前利用卷積層進行通道加權(quán)，加強映射。殘差密集塊連接方法，有助于去除噪聲和減少偽影。殘差全局塊的應(yīng)用使得從輸入端跳過連接通過注意力機制來擴大感受野。雖然基于多尺度層級回歸網(wǎng)絡(luò)的SSR方法能夠提取不同尺度下的特征，但是會造成運算量過大的問題。

基于Transformer的SSR方法

多級光譜Transformer算法為基于Transfommer的SSR方法，將每一個光譜通道的特征圖輸人光譜多頭注意力層進行計算響應(yīng)值。光譜注意塊由光譜多頭注意力層和前饋網(wǎng)絡(luò)組成。通過在光譜多頭注意力層和前饋網(wǎng)絡(luò)組成前面添加歸一化層可以緩解梯度消失的問題，加快網(wǎng)絡(luò)的收斂。然后，利用形網(wǎng)絡(luò)結(jié)構(gòu)將光譜注意塊構(gòu)建了一個單級光譜轉(zhuǎn)換器，由此更好地提取上下文信息。最后，MST十十將由多個單級光譜轉(zhuǎn)換器級聯(lián)，從粗糙到精細逐步提高SSR質(zhì)量?；赥rans-former的SSR方法具有優(yōu)異的長距離依賴關(guān)系和全局信息捕捉能力。

1.2糖度回歸分析方法

有效波長光譜提取

建立蘋果糖度預測模型時，原始數(shù)據(jù)的全光譜波段數(shù)多并且波段間相關(guān)性高，將全光譜輸入模型將導致計算時間長以及預測精度較低。通過有效波長光譜的提取可以減少大量的冗余信息和噪聲，提高建模的準確性和穩(wěn)定性。有效波長提取采用競爭性自適應(yīng)重加權(quán),將篩選后的有效波長光譜作為模型輸入。

回歸建模方法

偏最小二乘回歸被廣泛應(yīng)用于化學計量學和光譜定量分析。該方法結(jié)合主成分分析、典型關(guān)聯(lián)分析和多元線性回歸三種方法，有效地解決多重相關(guān)性問題。利用樣本的光譜數(shù)據(jù)作為自變量以及測量參考值作為因變量完成回歸模型建立。

隨機森林是一種機器學習的統(tǒng)計方法，通常應(yīng)用于處理高維度數(shù)據(jù)。該方法基于決策樹的集成算法，首先對原始樣本隨機選擇樣本子集，然后在不同的樣本子集上訓練每個決策樹，最后對預測取平均以進行整體預測。

極限學習機是一種單隱層前饋神經(jīng)網(wǎng)絡(luò)，具有速度快和參數(shù)調(diào)整簡單的特點。該方法可以隨機初始化輸入權(quán)重和偏移量并利用廣義逆得到相應(yīng)的輸出權(quán)重。在進行回歸預測時，需設(shè)置隱層節(jié)點數(shù)，從而得到唯一最優(yōu)解。

02圖像處理

顏料樣本

采集圖像前，對實驗樣本張貼黑色啞光2x2方格膠紙啞光材質(zhì)可以減少反光。通過人工標定確定ROI，不僅可以增加樣本量而且可以減少ROI配準。采集圖像后，首先對原始RGB圖像以及HSI偽RGB圖像進行閾值化處理得到一值圖像，其中偽RGB圖像為從HSI圖像中抽取三個波段(468、530以及703nm)進行合成的圖像。然后采用二值圖像掩膜至原始圖像確定ROI質(zhì)心，最后根據(jù)質(zhì)心位置完成ROI框選并完成裁剪，得到樣本圖像。為避免裁剪ROI區(qū)域內(nèi)存在黑色區(qū)域，保證裁剪后圖像尺寸均為64x64.圖2為ROI裁剪的過程。經(jīng)過圖像處理后，共生成220個RGB-HSI圖像對作為訓練模型的輸入。

圖2ROI裁剪過程

圖3CARS提取的有效波長光譜分布圖

表1CARS 提取的有效波長

表2利用提取有效波長糖度回歸結(jié)果

03實驗結(jié)論

結(jié)果表明，相比于全光譜，采用有效波長可以提升糖度預測的準確程度。本工作基于圖像SSR完成了蘋果糖度的準確檢測，提供了經(jīng)濟高效的HSI圖像獲取方式。實現(xiàn)了快速便捷的新型糖度檢測，可以提高檢測的準確性和穩(wěn)定性，在蘋果產(chǎn)業(yè)自動化分選和智能化質(zhì)檢具有重要的實踐意義和推廣價值。

推薦

便攜式高光譜成像

專門用于公安刑偵、物證鑒定、醫(yī)學醫(yī)療、精準農(nóng)業(yè)、礦物地質(zhì)勘探等領(lǐng)域的最新產(chǎn)品，主要優(yōu)勢具有體積小、幀率高、高光譜分辨率高、高像質(zhì)等性價比特點采用了透射光柵內(nèi)推掃原理高光譜成像，系統(tǒng)集成高性能數(shù)據(jù)采集與分析處理系統(tǒng)，高速USB3.0接口傳輸，全靶面高成像質(zhì)量光學設(shè)計，物鏡接口為標準C-Mount，可根據(jù)用戶需求更換物鏡。

審核編輯 黃宇