圖案裝飾有一個(gè)靜態(tài)模型，用于測試萊斯大學(xué)的高光譜條紋投影儀，該投影儀結(jié)合了光譜學(xué)和3D成像。類似條形碼的黑白圖案顯示在DMD上以生成高光譜條紋。圖片來源：凱利實(shí)驗(yàn)室/萊斯大學(xué)

條紋是本季節(jié)在萊斯大學(xué)實(shí)驗(yàn)室中流行的，研究人員在其中使用條紋來制作普通相機(jī)無法捕獲的圖像。

他們的緊湊型高光譜條紋投影儀（HSP）向著一種新方法邁出了一步，該方法可以收集自動駕駛汽車，機(jī)器視覺，作物監(jiān)測，表面磨損和腐蝕檢測以及其他應(yīng)用所需的空間和光譜信息。

“我可以設(shè)想將這種技術(shù)掌握在農(nóng)民手中或無人機(jī)上，以觀察田地，不僅看到植物的養(yǎng)分和水分，而且由于帶有三維信息，還可以看到農(nóng)作物的高度”，萊斯布朗工程學(xué)院電氣與計(jì)算機(jī)工程副教授凱文·凱利說。“或者也許它可以看一幅畫，詳細(xì)地看到表面的顏色和紋理，但是在畫布的下面也可以看到近紅外。”

Kelly的實(shí)驗(yàn)室可以使用結(jié)合了HSP，單色傳感器陣列和復(fù)雜編程的系統(tǒng)，實(shí)現(xiàn)3D光譜的實(shí)時(shí)分析，從而為用戶提供物體形狀和成分的更完整圖片。

凱利說：“我們正在從圖像中實(shí)時(shí)獲取四維信息，包括三個(gè)空間和一個(gè)光譜。”“其他人使用多個(gè)調(diào)制器，因此需要明亮的光源才能完成此任務(wù)，但是我們發(fā)現(xiàn)我們可以使用正常亮度的光源和一些靈敏的光學(xué)器件來做到這一點(diǎn)。”

萊斯大學(xué)基于高光譜條紋投影儀的成像系統(tǒng)重建的物體的3D點(diǎn)云。單色相機(jī)還捕獲每個(gè)點(diǎn)的光譜數(shù)據(jù)，不僅提供目標(biāo)的形式，還提供其材料成分。圖片來源：凱利實(shí)驗(yàn)室/萊斯大學(xué)

凱利（Kelly），第一作者，萊斯大學(xué)的校友許一波（Yibo Xu）和研究生安東尼·吉爾朱姆（Anthony Giljum）的工作在《光學(xué)快報(bào)》上的開放獲取論文中有詳細(xì)介紹。

HSP從已經(jīng)掌握在消費(fèi)者手中的便攜式三維成像技術(shù)（例如智能手機(jī)中的人臉I(yè)D系統(tǒng)和游戲系統(tǒng)中的人體跟蹤器）中獲取線索，并增加了一種從捕獲的每個(gè)像素中提取廣譜數(shù)據(jù)的方法。壓縮后的數(shù)據(jù)被重新構(gòu)造成具有光譜信息的三維圖，該光譜信息可以包含數(shù)百種顏色，并且不僅可以用于顯示對象的形狀，還可以用于顯示對象的材料成分。

“常規(guī)的RGB（紅色，綠色，藍(lán)色）攝像機(jī)基本上只能提供三個(gè)光譜通道，” Xu說。“但是，高光譜相機(jī)可以在許多通道中為我們提供光譜。我們可以在700納米左右捕獲紅光和在400納米左右捕獲藍(lán)光，但是我們的帶寬也可以達(dá)到幾納米或更短。這可以為我們提供出色的光譜分辨率和對場景有更全面的了解。

于2019年在萊斯大學(xué)獲得博士學(xué)位的徐說：“ HSP以非常簡單和有效的方式同時(shí)對深度和高光譜測量進(jìn)行編碼，從而允許使用單色相機(jī)代替類似系統(tǒng)中通常使用的昂貴的高光譜相機(jī)。”她現(xiàn)在為三星研究美國公司的機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺研究工程師。她在凱利實(shí)驗(yàn)室的論文中開發(fā)了硬件和重建軟件。

HSP使用現(xiàn)成的數(shù)字微鏡設(shè)備（DMD）將圖案化的條紋投射到表面上，這些條紋看起來像彩色條形碼。通過衍射光柵發(fā)送白光投影，將重疊的圖案分離為彩色。

目標(biāo)及其點(diǎn)云圖像顯示了萊斯大學(xué)的高光譜條紋投影儀的一項(xiàng)功能，該投影儀獲取每個(gè)點(diǎn)的3D數(shù)據(jù)和光譜數(shù)據(jù)，不僅可以提供目標(biāo)的形式，還可以提供其材料成分。圖片來源：凱利實(shí)驗(yàn)室/萊斯大學(xué)

每種顏色都將反射回單色相機(jī)，其再將數(shù)字灰度級分配給該像素。

每個(gè)像素可以有多個(gè)級別，每個(gè)級別代表它所反射的顏色條紋。這些被重新組合成該部分物體的整體光譜值。

“我們在HSP中使用單個(gè)DMD和單個(gè)光柵，” Xu說。“新穎的光學(xué)設(shè)計(jì)將光路折回到相同的衍射光柵和透鏡上，這使其真正緊湊。單一的DMD使我們能夠保留所需的光，而將其余的光扔掉。”

這些經(jīng)過微調(diào)的光譜可能會超出可見光范圍。它們通過多路復(fù)用的細(xì)帶光譜反射回傳感器的內(nèi)容可用于識別材料的化學(xué)成分。

與此同時(shí)，圖案的變形被重建成三維點(diǎn)云，本質(zhì)上是目標(biāo)的圖像，但比普通快照能提供更多的數(shù)據(jù)。

Kelly設(shè)想將HSP內(nèi)置在汽車前燈中，該HSP可以看到物體與人之間的差異。他說：“永遠(yuǎn)不要混淆綠色連衣裙和綠色植物，因?yàn)橐磺卸加凶约旱墓庾V特征。”

凱利（Kelly）認(rèn)為，實(shí)驗(yàn)室最終將結(jié)合萊斯（Rice）開創(chuàng)性的單像素相機(jī)的想法，進(jìn)一步減小設(shè)備的尺寸，并將其也用于壓縮視頻捕獲。

責(zé)任編輯：xj

原文標(biāo)題：產(chǎn)生條紋的三維相機(jī)

文章出處：【微信公眾號：新機(jī)器視覺】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。