如果自動(dòng)駕駛汽車和機(jī)器人要想安全高效，就需要感知周圍環(huán)境。他們還需要能夠預(yù)測(cè)周圍物體的行為——無論是其他機(jī)器人、車輛，甚至是人——并規(guī)劃他們的路徑的同時(shí)做出相應(yīng)的決定。換句話說，他們需要機(jī)器視覺。

傳統(tǒng)上，機(jī)器視覺是通過相機(jī)和傳感器（包括雷達(dá)、聲納和激光雷達(dá)）的組合來實(shí)現(xiàn)的。但機(jī)器視覺通常也依賴于熱量。普渡大學(xué)電氣和計(jì)算機(jī)工程教授Zubin Jacob說：“熱輻射來自所有溫度為非零的物體。樹葉、樹木、植物、建筑物——它們都在發(fā)射熱輻射，但這是不可見的紅外輻射，我們的眼睛和傳統(tǒng)相機(jī)看不到。” 由于熱浪不斷散射，紅外相機(jī)生成的圖像缺乏材料特異性，導(dǎo)致圖像模糊不清，如“幽靈般”，沒有深度或紋理。

作為“幽靈”圖像的替代方案，Jacob和他在普渡大學(xué)和密歇根州立大學(xué)的同事開發(fā)了一種熱輔助檢測(cè)和測(cè)距（heat-assisted detection and ranging，HADAR）技術(shù)，該技術(shù)可以解決雜亂的熱信號(hào)，以“查看”紋理和深度，從而提高圖像的清晰度和細(xì)節(jié)。在一項(xiàng)概念驗(yàn)證實(shí)驗(yàn)中，他們證明了夜間的HADAR測(cè)距與白天的RGB立體視覺一樣好。

人類在白天或光線充足的環(huán)境中可以看到豐富多樣的顏色、紋理和深度，但即使在昏暗或黑暗的情況下，也有大量的熱光子在周圍反彈。Jacob說，盡管人類看不到它，但這種情況并不限制于機(jī)器，所以我們需要開發(fā)新的傳感器和新的算法來利用這些信息。

在他們的實(shí)驗(yàn)中，研究人員選擇了一個(gè)沼澤地的戶外空間，遠(yuǎn)離道路和城市照明。他們收集了近100個(gè)不同頻率的紅外光譜中的熱圖像。正如RGB圖像中的每個(gè)像素都由三個(gè)可見頻率編碼（R代表紅色，G代表綠色，B代表藍(lán)色）一樣，實(shí)驗(yàn)中的每個(gè)象素都標(biāo)記有三個(gè)熱物理屬性，即TeX——溫度（T）、材料指紋或發(fā)射率（e）以及紋理或表面幾何形狀（X）。Jacob說：“人們對(duì)T和e有相當(dāng)好的理解，但關(guān)于紋理的關(guān)鍵見解實(shí)際上是在X中。”這三個(gè)輸出構(gòu)成了HADAR算法對(duì)物體和環(huán)境的物理描述。

HADAR算法根據(jù)估計(jì)得到的溫度、發(fā)射率和深度，重建出物體和環(huán)境的紋理、形狀和顏色。紋理是根據(jù)發(fā)射率的差異生成的；形狀是根據(jù)深度的變化生成的；顏色是根據(jù)溫度的范圍生成的。這三個(gè)重建結(jié)果構(gòu)成了HADAR算法對(duì)物體和環(huán)境的視覺呈現(xiàn)。

最終，HADAR算法能夠從熱圖像中分離出物體和環(huán)境的物理屬性，從而消除幽靈效應(yīng)，提高圖像的清晰度和細(xì)節(jié)。HADAR算法不僅能夠在黑暗中看見物體的輪廓和熱量，還能夠看見物體的溫度、材質(zhì)和紋理，就像在白天一樣。

Jacob補(bǔ)充道，HADAR技術(shù)能夠提供更好的適應(yīng)性，不受光照條件的限制，能夠在黑暗或低能見度的環(huán)境中正常工作。此外，在激光雷達(dá)、聲納或雷達(dá)等主動(dòng)方法中，如果場(chǎng)景中有很多代理，它們之間可能會(huì)有很多串?dāng)_。

Jacob說，HADAR作為一項(xiàng)新技術(shù)，還處于相當(dāng)初級(jí)的階段。目前，數(shù)據(jù)收集幾乎需要一分鐘的時(shí)間。相比之下，例如，夜間駕駛的自動(dòng)駕駛汽車需要在幾毫秒內(nèi)對(duì)周圍環(huán)境進(jìn)行成像。此外，數(shù)據(jù)收集所需的相機(jī)體積龐大、價(jià)格昂貴且耗電。所以現(xiàn)階段非常適合科學(xué)演示，但不適合廣泛采用。研究人員目前正在研究這些問題，Jacob預(yù)測(cè)，未來幾年的研究將致力于解決這些。

然而，Jacob說，有一些應(yīng)用是可以立即實(shí)現(xiàn)的，比如夜間野生動(dòng)物監(jiān)測(cè)。另一個(gè)不需要毫秒決策能力的地方是一些醫(yī)學(xué)應(yīng)用，例如測(cè)量人體上的溫度梯度。他還表示：“現(xiàn)在最大的挑戰(zhàn)是硬件的改進(jìn)，我們可以將先進(jìn)的算法融入其中。” 他預(yù)測(cè)，下一代相機(jī)將是高速、緊湊的，可以在室溫下工作，因此需要全新的材料。

審核編輯：彭菁