據(jù)麥姆斯咨詢報道，近日，英國科學(xué)與技術(shù)設(shè)施委員會、美國華盛頓大學(xué)（University of Washington）、芬蘭坦佩雷大學(xué)（Tampere University）的研究人員組成的團(tuán)隊在Science Advances期刊上發(fā)表了題為“Miniature color camera via flat hybrid meta-optics”的論文，提出了一種基于混合超構(gòu)光學(xué)（meta-optics）的全彩色微型計算相機(jī)，使用硬件在環(huán)（HIL）方法協(xié)同優(yōu)化“端到端”設(shè)計架構(gòu)中的混合超構(gòu)光學(xué)和計算后端。本研究提出的混合超構(gòu)光學(xué)相機(jī)的設(shè)計方法向超小型相機(jī)邁出了重要一步。

現(xiàn)代相機(jī)是為高質(zhì)量成像而優(yōu)化的復(fù)雜系統(tǒng)，通常由多個透鏡組成，以克服色差和幾何像差。然而，這種復(fù)雜性往往以犧牲尺寸和重量為代價。人們迫切需要將輕質(zhì)、超薄和微型相機(jī)集成到下一代智能手機(jī)、無人機(jī)或即時醫(yī)療設(shè)備等移動平臺中。因此，在保持高圖像質(zhì)量的同時，相機(jī)的微型化已經(jīng)成為光學(xué)和光子學(xué)研究的主要推動力。計算成像是解決這一難題的方法之一，數(shù)字后端可以彌補(bǔ)光學(xué)組件的缺陷并提高圖像質(zhì)量，因此已成為光學(xué)、數(shù)學(xué)和數(shù)字圖像處理交叉的多學(xué)科研究領(lǐng)域。

與此同時，近年來已取得的進(jìn)展也推動了平面衍射光學(xué)元件（DOE）領(lǐng)域的發(fā)展。雖然DOE傳統(tǒng)上用于非成像應(yīng)用，但最近的一些工作已經(jīng)證實(shí)了它們在成像方面的能力。特別是超構(gòu)光學(xué)（一類亞波長DOE）非常適合計算成像，因?yàn)樗鼈兡軌蛞愿呖臻g分辨率在入射波前賦予任意自由形式的相位分布。盡管其光圈很小（500 μm），結(jié)合合適的計算后端，超構(gòu)光學(xué)可以產(chǎn)生高質(zhì)量的圖像。一種特別有前景的方法是在“端到端”設(shè)計架構(gòu)中協(xié)同優(yōu)化超構(gòu)光學(xué)和計算后端，其中硬件和軟件得到同等考慮，從而確保最佳的系統(tǒng)級性能。

超構(gòu)光學(xué)在計算成像中具有三個潛在的優(yōu)勢：（i）它們可以實(shí)現(xiàn)重要的尺寸和重量減小（厚度以微米為單位）；（ii）在擴(kuò)展成像模式（例如高光譜成像、擴(kuò)展景深和人臉識別）中，它們可以實(shí)現(xiàn)超越傳統(tǒng)系統(tǒng)的性能；（iii）由于近幾十年來納米制造的巨大進(jìn)步，幾乎任意亞波長分辨率的波場操控成為可能。盡管存在這些優(yōu)勢，但是使用大光圈（>1 mm）超構(gòu)光學(xué)采集的圖像質(zhì)量仍受到強(qiáng)烈色差和幾何像差的困擾。已有研究表明，僅使用超構(gòu)光學(xué)采集寬帶圖像存在根本的局限性。雖然復(fù)雜的超構(gòu)原子（meta-atom）工程可以有所幫助，但是制造具有微型化特性的大光圈超構(gòu)光學(xué)器件仍然具有挑戰(zhàn)性。最后，開發(fā)大光圈超構(gòu)光學(xué)的設(shè)計工具的計算成本極其昂貴。這帶來了嚴(yán)峻的挑戰(zhàn)，因?yàn)槟壳白钕冗M(jìn)的端到端設(shè)計方法主要涉及光學(xué)的數(shù)值建模。

在這項研究工作中，研究團(tuán)隊遵循其近期提出的設(shè)計方法，通過使用混合折射/超構(gòu)光學(xué)系統(tǒng)和計算后端串聯(lián)來規(guī)避所有這些挑戰(zhàn)。所需的相位分布首先通過硬件在環(huán)（HIL）策略進(jìn)行優(yōu)化，其中由空間光調(diào)制器（SLM）實(shí)現(xiàn)的DOE被配置和更新。同時，折射透鏡和傳感器保持固定。這不僅繞過了設(shè)計光學(xué)系統(tǒng)的昂貴的計算成本要求，而且還直接考慮了傳感器噪聲并排除了校準(zhǔn)誤差。優(yōu)化的相位掩模被超構(gòu)光學(xué)實(shí)現(xiàn)。相比僅使用超構(gòu)光學(xué)的系統(tǒng)，混合光學(xué)系統(tǒng)可以改善超構(gòu)光學(xué)的低光效率、像差和重建質(zhì)量。研究人員使用簡單的超構(gòu)原子來確保可制造性，并且超構(gòu)原子僅針對510 nm（SLM工作的波長）進(jìn)行設(shè)計。盡管只考慮了單一波長，但由于超構(gòu)光學(xué)擴(kuò)展了聚焦深度，研究人員仍然可以實(shí)現(xiàn)高質(zhì)量的全彩色成像。因此，即使使用僅針對一種波長優(yōu)化的簡單超構(gòu)原子，由于混合光學(xué)和計算后端，系統(tǒng)仍能實(shí)現(xiàn)高質(zhì)量的寬帶成像。所提出的成像系統(tǒng)的焦距和光圈為5 mm。為了說明這款相機(jī)的潛力，研究人員將其與僅使用單透鏡配置、索尼Alpha 1 III無反商用相機(jī)的復(fù)合多透鏡光學(xué)系統(tǒng)進(jìn)行了比較。這一比較證實(shí)了超構(gòu)混合光學(xué)在全彩色成像中的有效性，而本研究所設(shè)計的混合超構(gòu)光學(xué)相機(jī)的體積比無反商用相機(jī)小約108倍。

由于超構(gòu)光學(xué)中涉及大量散射體，全彩色、大光圈混合光學(xué)的設(shè)計成本極其昂貴。研究人員使用硬件在環(huán)配置彌補(bǔ)了從理論建模到實(shí)際應(yīng)用的巨大差距，如圖1A所示，他們使用端到端設(shè)計架構(gòu)來優(yōu)化DOE相位分布和相應(yīng)計算后端。圖1A中的逐像素可編程相位SLM充當(dāng)占位符來實(shí)現(xiàn)DOE的相位分布，它被迭代更新，同時計算后端被協(xié)同優(yōu)化。按照研究團(tuán)隊在之前研究中提出的方法，這種優(yōu)化產(chǎn)生了如圖1B所示的相位分布。盡管在此配置中采集的圖像是模糊的，但協(xié)同優(yōu)化的計算后端可以恢復(fù)圖像并生成高質(zhì)量的全對焦全彩色圖像。這在三維（3D）場景示例的相同配置中直接得到了證實(shí)，而不同深度的特征被放大以凸出高成像質(zhì)量。

圖1 在端到端架構(gòu)中協(xié)同優(yōu)化混合超構(gòu)光學(xué)和逆成像的硬件在環(huán)方法示意圖

盡管研究人員在設(shè)計和實(shí)施中只考慮了單種波長（511 nm），但他們在這種混合配置中展示了全彩色操作。最終確定的超構(gòu)光學(xué)器件（直徑5 mm）及其特性如圖2A所示，其中掃描電子顯微照片（底行）顯示了超構(gòu)光學(xué)器件中納米柱的結(jié)構(gòu)完整性。此外，為了比較和驗(yàn)證超構(gòu)光學(xué)器件的相位響應(yīng)，研究人員對其使用了全息表征（圖2A）。

圖像形成和相機(jī)組件（超構(gòu)掩模、透鏡、傳感器和數(shù)據(jù)處理軟件）的光學(xué)特性由點(diǎn)擴(kuò)散函數(shù)（PSF）表征。該混合系統(tǒng)表現(xiàn)出對于各種深度非常相似的PSF，從而實(shí)現(xiàn)了超構(gòu)掩模提供的擴(kuò)展聚焦深度功能。在圖2C和2D中，研究人員還報道了每個RGB通道僅使用單透鏡系統(tǒng)和混合系統(tǒng)的調(diào)制傳遞函數(shù)（MTF）和有效MTF（EMTF）。

圖2 超構(gòu)掩模相位分布的全息表征及其跨深度的PSF和每個通道的MTF

與僅使用單透鏡系統(tǒng)相比，混合光學(xué)系統(tǒng)的主要優(yōu)勢是顯而易見的。混合光學(xué)系統(tǒng)的通帶高于僅使用單透鏡的相機(jī)系統(tǒng)。混合系統(tǒng)的EMTF值接近1，從而實(shí)現(xiàn)更高的成像質(zhì)量。特別是，僅使用單透鏡系統(tǒng)的紅光譜MTF取值要低得多，甚至是零。

為了評估混合折射超構(gòu)光學(xué)的性能，研究人員以兩種配置采集圖像：（1）顯示器和傳感器之間具有三個固定距離的三種顯示器成像（圖3）和（2）現(xiàn)實(shí)生活中的場景，其中各種顏色的物體位于相對于相機(jī)多個距離的任意位置。首先，研究人員將混合超構(gòu)光學(xué)與配置1中的單透鏡相機(jī)的成像性能進(jìn)行比較，其中圖像（基準(zhǔn)真值）顯示在相對于傳感器0.5、1或1.8 m的顯示器上。通過比較特定圖像細(xì)節(jié)可以明顯看出，混合光學(xué)系統(tǒng)可產(chǎn)生更好的圖像，特別是對于0.5和1.8 m的成像距離。混合光學(xué)系統(tǒng)的優(yōu)越性能通過計算的峰值信噪比（PSNR）值得到進(jìn)一步的量化強(qiáng)調(diào)，其值在所有顏色通道和所有距離上都更高。

圖3 使用設(shè)計的混合超構(gòu)光學(xué)的三顯示器成像設(shè)置

圖4 由多個不同顏色的物體在相對于傳感器的不同深度排列而成的真實(shí)場景

在配置2中，研究人員進(jìn)一步將混合光學(xué)系統(tǒng)與復(fù)合多透鏡相機(jī)——即索尼Alpha 1 III傳感器與索尼SEL85F18透鏡（光圈限值為F/1.8和F/22）進(jìn)行比較，如圖4所示。與之前的情況一樣，使用混合光學(xué)系統(tǒng)獲得的圖像在兩個深度上都呈現(xiàn)出更清晰的圖像和更好的細(xì)節(jié)分辨率。此外，與F/1.8光圈的復(fù)合相機(jī)相比，混合光學(xué)系統(tǒng)在更大的深度范圍內(nèi)顯示出明顯更好的成像質(zhì)量。即使對于F/22的較小光圈值，使用混合光學(xué)系統(tǒng)獲得的圖像在0.6 m的離焦深度處也呈現(xiàn)出更清晰的細(xì)節(jié)。

綜上所述，研究人員提出了一種由折射透鏡和大光圈超構(gòu)光學(xué)構(gòu)成的全彩色微型計算相機(jī)。開發(fā)中的一個關(guān)鍵方面是超構(gòu)光學(xué)的設(shè)計，研究人員使用HIL方法來優(yōu)化端到端設(shè)計架構(gòu)中的相位分布和計算后端。具體來說，SLM充當(dāng)超構(gòu)光學(xué)的占位符，對相位分布和相應(yīng)的計算后端進(jìn)行迭代優(yōu)化，以在大型訓(xùn)練集上實(shí)現(xiàn)全彩色高質(zhì)量成像。考慮的唯一目標(biāo)指標(biāo)是恢復(fù)RGB圖像的質(zhì)量，這與現(xiàn)有的優(yōu)化相機(jī)數(shù)字微分模型和計算后端的方法不同。因此，研究人員完全繞過了使用電磁求解器優(yōu)化超構(gòu)光學(xué)相位分布的要求，否則由于涉及大量散射體，這將會帶來計算成本極其昂貴的問題。此外，這種方法直接考慮了折射透鏡和傳感器的固定屬性，因此產(chǎn)生了與現(xiàn)實(shí)相對應(yīng)的結(jié)果和更強(qiáng)大的計算后端。

所開發(fā)的設(shè)計概念（其中HIL方法與端到端設(shè)計架構(gòu)相結(jié)合）有望在未來的工作中擴(kuò)展到從高光譜成像到分類或物體檢測等各種任務(wù)。這將充分利用衍射光學(xué)可實(shí)現(xiàn)的潛力，同時減輕設(shè)計過程中的基本障礙。本研究提出的光學(xué)設(shè)計方法向超小型相機(jī)邁出了重要一步，其有望在內(nèi)窺鏡、腦成像或物體表面的分布式方式中實(shí)現(xiàn)新穎的應(yīng)用。

審核編輯：劉清