近日，浙江大學光電科學與工程學院的鄭臻榮教授團隊與南京大學現(xiàn)代工程與應用科學學院徐挺教授團隊合作，在計算光譜成像領域取得新進展：提出了基于偏振復用超構透鏡的端到端計算光譜成像框架。該研究通過同時調制超構透鏡的正交偏振通道，并與后端的神經網絡一起聯(lián)合優(yōu)化，實現(xiàn)了高保真的光譜重建結果。這項技術的發(fā)展不僅打破了前端超構透鏡和后端恢復網絡的傳統(tǒng)界限，更為光譜成像系統(tǒng)的小型化和性能提升帶來了新的希望。研究成果以“Neural-Optic Co-Designed Polarization-Multiplexed Metalens for Compact Computational Spectral Imaging”為題，于近期發(fā)表于光學知名期刊《Laser & Photonics Reviews》上。

在數據爆炸的今天，人類對視覺信息的需求不斷增長。傳統(tǒng)RGB相機提供的2D圖像已無法滿足人們對細節(jié)的追求，而光譜成像技術能夠捕獲更全面的3D數據。隨著移動設備和AR/VR技術的普及，人們對便攜式成像技術的需求日益增加。新一代平面光學元件——超構透鏡，不僅能夠精確調控光的相位，還能同時調節(jié)光的振幅與偏振狀態(tài)，為推動光譜成像系統(tǒng)向小型化與高效化發(fā)展開辟了新路徑。

該工作提出了一種基于偏振復用超構透鏡的計算光譜成像系統(tǒng)（圖1a）。該系統(tǒng)利用偏振復用的超構透鏡對x和y偏振態(tài)下的光進行獨立調制，將場景的光譜信息差異化地調制到商用偏振相機上。通過捕獲正交的x和y偏振狀態(tài)下的RGB圖像，再結合雙輸入的ResUNet神經網絡進行恢復，實現(xiàn)了光譜圖像的精確重建。

圖1 基于偏振復用超構透鏡的計算光譜成像示意圖（a）與流程圖（b）

整個框架（圖1b）主要包含超構透鏡調制、成像模型和圖像恢復三大模塊，均采用可微分函數設計，確保了整個計算光譜成像框架的完全可微分性，為光學元件與恢復網絡的聯(lián)合優(yōu)化奠定基礎。采用預訓練的多層感知器（MLP）精確建立超構透鏡單元結構與復振幅響應間的映射關系，結合菲涅爾衍射原理，推導出適用于偏振復用的點擴散函數（PSFs）。通過這些PSFs與光譜圖像的卷積，得到特定偏振的光學響應。接著，利用雙輸入神經網絡將模糊的RGB圖像轉換回光譜域，并在反向傳播過程中對超構透鏡和恢復網絡的參數進行聯(lián)合優(yōu)化，以提高重建光譜圖像的準確性。

該工作制作了樣機（圖2）對原理進行驗證，對真實場景進行了高保真度的光譜圖像重建（圖3）。

圖2 加工的超構透鏡樣機與測量的PSFs

圖3 真實場景的光譜圖像重建

本研究提出了一種全新的端到端計算光譜成像系統(tǒng)，該系統(tǒng)巧妙利用了偏振復用超構透鏡同步調制兩個正交偏振通道的光，輔以偏振相機捕獲更多編碼信息。利用端到端可微分框架，該系統(tǒng)對超構透鏡和后端恢復網絡進行了協(xié)同優(yōu)化，實現(xiàn)了高保真度的光譜成像。這一研究不僅加深了超構透鏡與計算成像領域的融合，也預示著高性能光譜成像技術在小型化和性能提升方面的新突破。

浙江大學光電科學與工程學院博士生張強波和南京大學現(xiàn)代工程與應用科學學院博士生林沛城為論文共同第一作者，浙江大學光電科學與工程學院鄭臻榮教授和南京大學現(xiàn)代工程與應用科學學院徐挺教授為共同通訊作者。該研究得到了科技部重點研發(fā)計劃、國家自然科學基金等支持。

論文鏈接：
https://doi.org/10.1002/lpor.202400187

審核編輯：劉清