圖案裝飾有一個靜態模型，用于測試萊斯大學的高光譜條紋投影儀，該投影儀結合了光譜學和3D成像。類似條形碼的黑白圖案顯示在DMD上以生成高光譜條紋。圖片來源：凱利實驗室/萊斯大學

條紋是本季節在萊斯大學實驗室中流行的，研究人員在其中使用條紋來制作普通相機無法捕獲的圖像。

他們的緊湊型高光譜條紋投影儀（HSP）向著一種新方法邁出了一步，該方法可以收集自動駕駛汽車，機器視覺，作物監測，表面磨損和腐蝕檢測以及其他應用所需的空間和光譜信息。

“我可以設想將這種技術掌握在農民手中或無人機上，以觀察田地，不僅看到植物的養分和水分，而且由于帶有三維信息，還可以看到農作物的高度”，萊斯布朗工程學院電氣與計算機工程副教授凱文·凱利說。“或者也許它可以看一幅畫，詳細地看到表面的顏色和紋理，但是在畫布的下面也可以看到近紅外。”

Kelly的實驗室可以使用結合了HSP，單色傳感器陣列和復雜編程的系統，實現3D光譜的實時分析，從而為用戶提供物體形狀和成分的更完整圖片。

凱利說：“我們正在從圖像中實時獲取四維信息，包括三個空間和一個光譜。”“其他人使用多個調制器，因此需要明亮的光源才能完成此任務，但是我們發現我們可以使用正常亮度的光源和一些靈敏的光學器件來做到這一點。”

萊斯大學基于高光譜條紋投影儀的成像系統重建的物體的3D點云。單色相機還捕獲每個點的光譜數據，不僅提供目標的形式，還提供其材料成分。圖片來源：凱利實驗室/萊斯大學

凱利（Kelly），第一作者，萊斯大學的校友許一波（Yibo Xu）和研究生安東尼·吉爾朱姆（Anthony Giljum）的工作在《光學快報》上的開放獲取論文中有詳細介紹。

HSP從已經掌握在消費者手中的便攜式三維成像技術（例如智能手機中的人臉ID系統和游戲系統中的人體跟蹤器）中獲取線索，并增加了一種從捕獲的每個像素中提取廣譜數據的方法。壓縮后的數據被重新構造成具有光譜信息的三維圖，該光譜信息可以包含數百種顏色，并且不僅可以用于顯示對象的形狀，還可以用于顯示對象的材料成分。

“常規的RGB（紅色，綠色，藍色）攝像機基本上只能提供三個光譜通道，” Xu說。“但是，高光譜相機可以在許多通道中為我們提供光譜。我們可以在700納米左右捕獲紅光和在400納米左右捕獲藍光，但是我們的帶寬也可以達到幾納米或更短。這可以為我們提供出色的光譜分辨率和對場景有更全面的了解。

于2019年在萊斯大學獲得博士學位的徐說：“ HSP以非常簡單和有效的方式同時對深度和高光譜測量進行編碼，從而允許使用單色相機代替類似系統中通常使用的昂貴的高光譜相機。”她現在為三星研究美國公司的機器學習和計算機視覺研究工程師。她在凱利實驗室的論文中開發了硬件和重建軟件。

HSP使用現成的數字微鏡設備（DMD）將圖案化的條紋投射到表面上，這些條紋看起來像彩色條形碼。通過衍射光柵發送白光投影，將重疊的圖案分離為彩色。

目標及其點云圖像顯示了萊斯大學的高光譜條紋投影儀的一項功能，該投影儀獲取每個點的3D數據和光譜數據，不僅可以提供目標的形式，還可以提供其材料成分。圖片來源：凱利實驗室/萊斯大學

每種顏色都將反射回單色相機，其再將數字灰度級分配給該像素。

每個像素可以有多個級別，每個級別代表它所反射的顏色條紋。這些被重新組合成該部分物體的整體光譜值。

“我們在HSP中使用單個DMD和單個光柵，” Xu說。“新穎的光學設計將光路折回到相同的衍射光柵和透鏡上，這使其真正緊湊。單一的DMD使我們能夠保留所需的光，而將其余的光扔掉。”

這些經過微調的光譜可能會超出可見光范圍。它們通過多路復用的細帶光譜反射回傳感器的內容可用于識別材料的化學成分。

與此同時，圖案的變形被重建成三維點云，本質上是目標的圖像，但比普通快照能提供更多的數據。

Kelly設想將HSP內置在汽車前燈中，該HSP可以看到物體與人之間的差異。他說：“永遠不要混淆綠色連衣裙和綠色植物，因為一切都有自己的光譜特征。”

凱利（Kelly）認為，實驗室最終將結合萊斯（Rice）開創性的單像素相機的想法，進一步減小設備的尺寸，并將其也用于壓縮視頻捕獲。

責任編輯：xj

原文標題：產生條紋的三維相機

文章出處：【微信公眾號：新機器視覺】歡迎添加關注！文章轉載請注明出處。