近年來，能夠捕獲單光子的圖像傳感器取得了巨大進步。然而，這項技術(shù)卻面臨著一個主要的限制：由于其在單光子級別捕獲場景信息，因此所獲得的原始數(shù)據(jù)稀疏且有噪聲。

據(jù)麥姆斯咨詢報道，近日，美國威斯康星大學(xué)麥迪遜分校（University of Wisconsin-Madison）和波特蘭州立大學(xué)（Portland State University）的聯(lián)合科研團隊在Nature Communications期刊上發(fā)表了以“CASPI: collaborative photon processing for active single-photon imaging”為主題的論文。該論文第一作者和通訊作者為威斯康星大學(xué)麥迪遜分校的Jongho Lee。

圖1 CASPI是一種用于主動成像的通用型光子數(shù)據(jù)處理技術(shù)

這項研究提出了用于主動單光子成像的協(xié)同光子處理（CASPI），這是一種不依賴于特定技術(shù)及應(yīng)用且無需訓(xùn)練的光子處理途徑，可用于新興的高分辨率單光子相機（SPC）。通過協(xié)作利用時空光子數(shù)據(jù)立方體中的局域與非局域相關(guān)性，即使在極具挑戰(zhàn)性的照明條件下，CASPI也能可靠地估計場景屬性。研究人員通過兩個應(yīng)用展示了CASPI的多功能性：從亞光子到高環(huán)境光狀態(tài)的寬范圍光子通量水平的激光雷達（LiDAR）成像，以及在低光子計數(shù)水平下的活細胞自體熒光壽命成像顯微鏡（FLIM）。研究人員期望將CASPI作為通用光子處理單元的基本構(gòu)建塊，有望在未來單光子相機芯片上實現(xiàn)。

CASPI相關(guān)論證：時空光子相關(guān)性、分級盲光子處理和引導(dǎo)光子處理

CASPI基于以下兩個觀測結(jié)果：（1）高分辨率單光子相機捕獲的大多數(shù)自然場景的光子瞬態(tài)立方體在多尺度和維度上具有豐富的時空相關(guān)性；（2）通過協(xié)同利用局域和非局域光子相關(guān)性，即使在極具挑戰(zhàn)性的照明條件下，研究人員也可以恢復(fù)真實的光子通量。

圖2 時空光子相關(guān)性與分級盲光子處理

如圖2b所示，即使在存在強噪聲和失真的情況下，研究人員也可采用分級方法尋找相似的立方體。研究人員將最先進的濾波架構(gòu)（BM3D47、BM4D48和V-BM4D49）推廣到光子瞬態(tài)立方體，從而恢復(fù)了分級光子處理中的潛在光子通量。在獲得精確的局部噪聲估計后，研究人員分兩階段恢復(fù)光子通量：初始通量估計和利用維納濾波（Wiener filtering）的最終通量估計。

研究人員提出了引導(dǎo)光子處理方法，利用光強與光子瞬態(tài)立方的空間頻率相關(guān)性來恢復(fù)這種低信噪比（SNR）情況下的通量。研究人員的主要觀點在于，通過對3D光子瞬態(tài)立方體的時間維度求和獲得的2D偽強度圖像與3D光子瞬態(tài)立方體具有類似的傅里葉幅度空間分布，但是由于時間平均，其信噪比顯著提高。

作為恢復(fù)潛在光子通量的副產(chǎn)品，CASPI還可以通過對恢復(fù)的3D光子瞬態(tài)立方體的時間維度進行積分，來重建高質(zhì)量的2D反射率（強度）圖像。

CASPI的兩個應(yīng)用案例：

單光子激光雷達

研究人員展示了CASPI在一系列具有挑戰(zhàn)性的照明條件下用于單光子激光雷達應(yīng)用的優(yōu)勢。結(jié)果如圖3所示，CASPI可以提高現(xiàn)有方法的性能；CASPI可以恢復(fù)在不同通量狀態(tài)下的潛在光子通量，即使在極具挑戰(zhàn)性的條件下也能實現(xiàn)可靠的深度估計。如圖4所示，研究人員展示了單光子激光雷達硬件原型捕獲的真實數(shù)據(jù)的實驗結(jié)果。

圖3 用于單光子激光雷達的CASPI

圖4 CASPI用于單光子激光雷達的實驗結(jié)果

由于CASPI對瞬態(tài)光子的反射次數(shù)和形狀沒有任何先驗假設(shè)，因此它可以用于恢復(fù)包括多徑效應(yīng)在內(nèi)的整個時變光子通量波形。這與傳統(tǒng)激光雷達假設(shè)傳感器像素僅接收來自場景點的直接光分量不同。

圖5 恢復(fù)多徑瞬態(tài)

低光子數(shù)熒光壽命成像顯微鏡

研究人員在具有挑戰(zhàn)性的低光子計數(shù)數(shù)據(jù)集中驗證了將CASPI用于熒光壽命成像顯微鏡的有效性，結(jié)果如圖6所示。圖7展示了三種不同方法在雙指數(shù)壽命模型中估計的相對貢獻：逐像素擬合（pixel-wise fitting）、全局擬合（global fitting）以及用CASPI恢復(fù)光子瞬態(tài)的逐像素擬合。結(jié)果表明，在熒光壽命成像顯微鏡中使用CASPI能夠可靠地估計雙指數(shù)衰減模型的參數(shù)。

圖6 用于熒光壽命成像顯微鏡的CASPI

圖7 與熒光壽命成像顯微鏡雙指數(shù)衰減全局分析的比較

綜上所述，由于CASPI采用基于立方體的變換，因此按順序處理每個立方體可能會導(dǎo)致計算時間較長。幸運的是，每個立方體都可以獨立處理，使得該方法適合用于大規(guī)模并行處理（例如利用低功耗GPU），從而在未來硬件芯片上實現(xiàn)實時成像。另外通過在硬件上使用快速傅里葉變換或光學(xué)計算，可以獲得進一步的加速。此外，考慮到信號特征的時間位置在特定應(yīng)用（例如激光雷達）中也傳遞重要信息，小波變換可能比傅里葉變換在恢復(fù)光子通量方面擁有更好的性能。

單光子相機的某些限制可能會隨著未來硬件的改進而得到解決。但CASPI帶來的改進是對硬件創(chuàng)新的補充，不僅可以解決光子飽和狀態(tài)下首光子探測的限制，還可以解決當光子匱乏狀態(tài)下沒有或最小堆失真時低光子計數(shù)的限制。由低光子計數(shù)導(dǎo)致的低信噪比是許多實際成像應(yīng)用中經(jīng)常遇到的基本問題。由于其具有通用型免訓(xùn)練且盲操作特性，研究人員期望CASPI將來成為各類主動單光子相機數(shù)據(jù)流程的組成部分。在3D成像方面，它有望為未來的自動駕駛汽車和機器人應(yīng)用提供遠程低功耗閃光式激光雷達（flash LiDAR）。CASPI還有望在生物醫(yī)學(xué)成像應(yīng)用中實現(xiàn)熒光壽命對比的實時體內(nèi)觀察，以評估細胞活性引起的代謝或系統(tǒng)變化。

審核編輯：劉清