近日，浙江大學光電科學與工程學院的鄭臻榮教授團隊與南京大學現(xiàn)代工程與應(yīng)用科學學院徐挺教授團隊合作，在計算光譜成像領(lǐng)域取得新進展：提出了基于偏振復(fù)用超構(gòu)透鏡的端到端計算光譜成像框架。該研究通過同時調(diào)制超構(gòu)透鏡的正交偏振通道，并與后端的神經(jīng)網(wǎng)絡(luò)一起聯(lián)合優(yōu)化，實現(xiàn)了高保真的光譜重建結(jié)果。這項技術(shù)的發(fā)展不僅打破了前端超構(gòu)透鏡和后端恢復(fù)網(wǎng)絡(luò)的傳統(tǒng)界限，更為光譜成像系統(tǒng)的小型化和性能提升帶來了新的希望。研究成果以“Neural-Optic Co-Designed Polarization-Multiplexed Metalens for Compact Computational Spectral Imaging”為題，于近期發(fā)表于光學知名期刊《Laser & Photonics Reviews》上。

在數(shù)據(jù)爆炸的今天，人類對視覺信息的需求不斷增長。傳統(tǒng)RGB相機提供的2D圖像已無法滿足人們對細節(jié)的追求，而光譜成像技術(shù)能夠捕獲更全面的3D數(shù)據(jù)。隨著移動設(shè)備和AR/VR技術(shù)的普及，人們對便攜式成像技術(shù)的需求日益增加。新一代平面光學元件——超構(gòu)透鏡，不僅能夠精確調(diào)控光的相位，還能同時調(diào)節(jié)光的振幅與偏振狀態(tài)，為推動光譜成像系統(tǒng)向小型化與高效化發(fā)展開辟了新路徑。

該工作提出了一種基于偏振復(fù)用超構(gòu)透鏡的計算光譜成像系統(tǒng)（圖1a）。該系統(tǒng)利用偏振復(fù)用的超構(gòu)透鏡對x和y偏振態(tài)下的光進行獨立調(diào)制，將場景的光譜信息差異化地調(diào)制到商用偏振相機上。通過捕獲正交的x和y偏振狀態(tài)下的RGB圖像，再結(jié)合雙輸入的ResUNet神經(jīng)網(wǎng)絡(luò)進行恢復(fù)，實現(xiàn)了光譜圖像的精確重建。

圖1 基于偏振復(fù)用超構(gòu)透鏡的計算光譜成像示意圖（a）與流程圖（b）

整個框架（圖1b）主要包含超構(gòu)透鏡調(diào)制、成像模型和圖像恢復(fù)三大模塊，均采用可微分函數(shù)設(shè)計，確保了整個計算光譜成像框架的完全可微分性，為光學元件與恢復(fù)網(wǎng)絡(luò)的聯(lián)合優(yōu)化奠定基礎(chǔ)。采用預(yù)訓練的多層感知器（MLP）精確建立超構(gòu)透鏡單元結(jié)構(gòu)與復(fù)振幅響應(yīng)間的映射關(guān)系，結(jié)合菲涅爾衍射原理，推導出適用于偏振復(fù)用的點擴散函數(shù)（PSFs）。通過這些PSFs與光譜圖像的卷積，得到特定偏振的光學響應(yīng)。接著，利用雙輸入神經(jīng)網(wǎng)絡(luò)將模糊的RGB圖像轉(zhuǎn)換回光譜域，并在反向傳播過程中對超構(gòu)透鏡和恢復(fù)網(wǎng)絡(luò)的參數(shù)進行聯(lián)合優(yōu)化，以提高重建光譜圖像的準確性。

該工作制作了樣機（圖2）對原理進行驗證，對真實場景進行了高保真度的光譜圖像重建（圖3）。

圖2 加工的超構(gòu)透鏡樣機與測量的PSFs

圖3 真實場景的光譜圖像重建

本研究提出了一種全新的端到端計算光譜成像系統(tǒng)，該系統(tǒng)巧妙利用了偏振復(fù)用超構(gòu)透鏡同步調(diào)制兩個正交偏振通道的光，輔以偏振相機捕獲更多編碼信息。利用端到端可微分框架，該系統(tǒng)對超構(gòu)透鏡和后端恢復(fù)網(wǎng)絡(luò)進行了協(xié)同優(yōu)化，實現(xiàn)了高保真度的光譜成像。這一研究不僅加深了超構(gòu)透鏡與計算成像領(lǐng)域的融合，也預(yù)示著高性能光譜成像技術(shù)在小型化和性能提升方面的新突破。

浙江大學光電科學與工程學院博士生張強波和南京大學現(xiàn)代工程與應(yīng)用科學學院博士生林沛城為論文共同第一作者，浙江大學光電科學與工程學院鄭臻榮教授和南京大學現(xiàn)代工程與應(yīng)用科學學院徐挺教授為共同通訊作者。該研究得到了科技部重點研發(fā)計劃、國家自然科學基金等支持。

論文鏈接：
https://doi.org/10.1002/lpor.202400187

審核編輯：劉清