空間光調制器是一種可以在外部信號的控制下實時對入射光的振幅、相位及偏振態進行調制的動態元器件。將空間光調制器應用在散射成像領域，既可以用來替代傳統的毛玻璃來產生贗熱光場，也可以用做目標物體進行散射成像的研究，空間光調制器的應用，對散射光場調控實現了主動性和可操作性。

論文信息

光學記憶效應在復雜散射介質中，包括渾濁組織和斑點層，一直是宏觀和微觀成像方法的關鍵基礎。然而，在沒有光學記憶效應的強散射介質中實現圖像重建尚未成功。為此，本文通過開發一種多級卷積光神經網絡（ONN），該網絡集成了多個以光速運行的并行核，展示了在無光學記憶效應的散射層中進行圖像重建的能力?；诟道锶~光學、并行、一步卷積ONN訓練，直接提取特征，實現了無記憶圖像重建，視場擴大了高達271倍。該設備可動態重新配置，用于超快多任務圖像重建，計算能力達到每秒1.57peta操作（POPS），成功建立了一個超快速且高效的圖形處理光學機器學習平臺。

部分實驗過程及實驗結果

卷積ONN的實驗設置如圖1所示。實驗中使用反射式強度型調制器SLM0（我司型號FSLM-HD70-A/P，像素大小8μm，1920×1080）來生成卷積ONN的可編程像素級輸入。然后，由SLM0調制的光場通過一個4f系統被傳遞到卷積ONN的輸入平面上。4f系統由兩個焦距分別為100 mm（L1）和50 mm（L2）的鏡頭組成，用于為編碼成SLM0的物體提供0.5倍的放大倍數。然后，將輸入平面發送到三層卷積ONN中進行進一步處理。卷積ONN由三個相位型調制器SLMs（我司型號FSLM-4K70-P02）組成，相位型SLMs有4094×2400像素，像素大小為3.74μm×3.74μm。第一個卷積層被編碼為SLM1，輸入平面與SLM1之間的距離為10cm。經過SLM1調制后，光束通過分束器BS2和BS3的反射傳輸到SLM2。第二個卷積層被編碼成SLM2，以及SLM1和SLM2是20cm。然后，將由SLM2調制的光束傳輸到SLM3。第三個全連接層被編碼到SLM3中，SLM2與SLM3之間的距離為10 cm。由SLM3調制的光束通過分束器BS4的反射傳播到卷積ONN的輸出平面上，SLM3與輸出平面之間的距離為20cm。采集相機（像素大小4.8μm，1280×1024）放置在卷積ONN的輸出平面上，記錄推理結果。需要注意的是，卷積ONN的不同層之間的不對齊會顯著降低其性能。

圖1 三層卷積網絡ONN的實驗裝置示意圖。(A)卷積ONN的每一層的參數和坐標。(B)卷積ONN的實驗裝置。M，反射鏡；POL，線性偏振器；BS，分束器；L，透鏡；SLM，空間光調制器。

圖2 通過散射層堆疊實現無記憶圖像重建的機制。(A)通過多個散射片的散射示意圖。每個散射片可以建模為一個薄的散射層，N表示散射片的數量，d表示散射片之間的間距。(B)不同散射情況下生成的斑點圖案。左側圖比較了光學記憶效應（N = 1，d = 0）和無光學記憶效應（N > 1，d > 0）的斑點。右側圖展示了每種情況下的角相關曲線，虛直線表示單個平面玻璃層的角相關曲線。這些曲線的半高寬決定了成像的視場。(C)在三層卷積ONN中無記憶圖像重建的概念。

圖3 光學卷積神經網絡原理。(A)三層卷積ONN由兩層光學卷積層和一層光學全連接層組成。(B)第一卷積層的結構包含九種不同的核。每個核包括三種結構：渦旋相位、隨機相位和光柵相位。(C)第二卷積層的相位結構分為3×3區域。每個區域的相位通過與第一卷積層相同的過程構建，從而產生81個核。(D)基于MNIST和FashionMNIST數據集的推理分類任務中訓練的卷積ONN性能。上圖展示了每種情況下的學習曲線。下圖展示了卷積ONN輸出平面上的實驗分類結果，紅色虛線方塊表示為相應數字訓練的檢測器區域。

圖4 實驗驗證無記憶圖像重建。(A)訓練的具有兩個散射層（N = 2）的卷積ONN的實驗重建結果。第一行顯示了物體的真實圖像，第二至第四行分別對應d = 3 cm、d = 4 cm和d = 5 cm的重建結果。(B)訓練的具有多個散射層（N > 2）的卷積ONN的實驗重建結果。第一至第四行分別對應N = 2、3、4和5的情況。(C)展示了渦旋相位對卷積ONN的影響。右側圖比較了在散射情況d = 5 cm下，有無渦旋相位的卷積核曲線和重建結果。左側圖表明，不同的渦旋相位結構可用于提取輸入物體的不同方向邊緣信息。

圖5可訓練卷積ONN的動態和多任務性能演示。(A)使用卷積ONN進行無記憶圖像重建的動態推理過程（S1和S2)。輸入斑點圖案加載到60Hz的SLM上。(B)在S3中展示了兩個任務的卷積ONN框架，用于視頻幀多任務推理以實現無記憶圖像重建，第三層全連接光柵的輪廓見圖S17。

本實驗中所采用振幅型空間光調制器的參數規格如下：

本實驗中所采用相位型空間光調制器的參數規格如下：

寫在最后

在計算成像領域，光學神經網絡已經被廣泛用于解決鬼成像、數字全息、傅里葉疊層顯微等領域的問題。同時，深度學習強大的數據擬合能力和優化求解能力也在散射成像領域發揮著巨大的作用。隨著空間光調制器的精細化調制和精準控制，空間光調制器與光學神經網絡結合將會摩擦出更多的火花。

文章信息：

DOI: 10.1126/sciadv.adn2205

審核編輯 黃宇