AI提高自動(dòng)駕駛夜視能力，檢測(cè)黑夜、霧天場(chǎng)景和白天一樣
環(huán)境感知是自動(dòng)駕駛領(lǐng)域非常重要的一項(xiàng)任務(wù)。特別是在夜晚或者極端天氣的情況下，現(xiàn)有的視覺(jué)感知和激光雷達(dá)兩種方式對(duì)環(huán)境的感知和識(shí)別都效果不佳。這給自動(dòng)駕駛等高風(fēng)險(xiǎn)應(yīng)用帶來(lái)了挑戰(zhàn)。 有些研究提出使用熱像儀來(lái)彌補(bǔ) LiDAR 和視覺(jué)攝像頭的缺陷。但由于物體不斷發(fā)出熱輻射，粒子會(huì)擴(kuò)散到附近的環(huán)境中，導(dǎo)致熱成像變得模糊、無(wú)紋理，形成「鬼影（ghost）」，使這種方法難以實(shí)際應(yīng)用。 現(xiàn)在，一種新的熱成像技術(shù)可以不受霧、煙和黑暗等視覺(jué)障礙的影響，使得自動(dòng)駕駛汽車(chē)在黑暗中也能準(zhǔn)確感知環(huán)境。如下圖所示，與以前的熱成像（上）相比，新方法可以創(chuàng)建更清晰、更有質(zhì)感的夜間圖像（中和下）。未來(lái)，HADAR 可能會(huì)徹底改變自動(dòng)駕駛汽車(chē)和機(jī)器人感知周?chē)澜绲姆绞健?/span>
這種新方法是由來(lái)自普渡大學(xué)等機(jī)構(gòu)的研究者提出，他們開(kāi)發(fā)了一種新的系統(tǒng)， 稱(chēng)為「熱輔助探測(cè)和測(cè)距系統(tǒng)（HADAR）」。借助該系統(tǒng)，我們可以在環(huán)境不佳的情況下獲得精細(xì)的環(huán)境圖像，細(xì)節(jié)與精度和傳統(tǒng)相機(jī)在明亮日光下拍攝的圖像相當(dāng)。研究論文已登上 Nature 封面。
論文地址：https://www.nature.com/articles/s41586-023-06174-6 方法介紹 HADAR 能夠穿透光學(xué)雜波來(lái)檢測(cè)物體的溫度、材料成分和熱輻射模式，而不受霧、煙和黑暗等視覺(jué)障礙的影響。因此，無(wú)論一天中的時(shí)間或環(huán)境如何，HADAR 基于對(duì)深度和紋理的渲染都能創(chuàng)建極其詳細(xì)、清晰的圖像。
HADAR 與「鬼影」熱成像。 為了訓(xùn)練 HADAR 系統(tǒng)，研究人員在夜間使用先進(jìn)的熱成像相機(jī)和能夠顯示電磁波譜中能量輻射的成像傳感器，在戶(hù)外捕獲數(shù)據(jù)。他們還創(chuàng)建了對(duì)戶(hù)外環(huán)境的計(jì)算機(jī)模擬，以便進(jìn)行額外的 AI 訓(xùn)練。 普渡大學(xué)電氣與計(jì)算機(jī)工程系教授、本文作者之一 Zubin Jacob 表示，「HADAR 學(xué)會(huì)了探測(cè)物體并估計(jì)與這些物體的距離，其精度是僅依靠傳統(tǒng)夜視技術(shù)的 10 倍。而且，HADAR 在夜間的性能與傳統(tǒng)物體檢測(cè)系統(tǒng)在白天的性能相當(dāng)。」 「聲納、雷達(dá)和激光雷達(dá)等會(huì)發(fā)出信號(hào)并返回反射，以推斷物體是否存在及其與物體的距離。除了相機(jī)所擁有的視覺(jué)能力之外，它們還提供了場(chǎng)景的額外信息，尤其是在環(huán)境照明較差的情況下，」Jacob 表示，「然而，HADAR 有著根本的不同，它利用不可見(jiàn)的紅外輻射來(lái)重建夜間場(chǎng)景，清晰度就像白天一樣。」 在沒(méi)有反射光的黑暗環(huán)境中， 傳統(tǒng)攝像頭無(wú)法很好地捕捉圖像，雷達(dá)和激光雷達(dá)也容易受到干擾。 熱成像技術(shù)通過(guò)捕獲環(huán)境中物體輻射的紅外光來(lái)重建場(chǎng)景。如下圖所示，新研究提出的 HADAR 方法改變了機(jī)器感知的方式：
下圖展示了一個(gè) HADAR 的應(yīng)用實(shí)例。其中有一位真人和一個(gè)人形紙板。RGB 光學(xué)成像和稀疏 LiDAR 點(diǎn)云都無(wú)法區(qū)分真人和人形紙板，并且 LiDAR 還難以檢測(cè)到夜間條件下的車(chē)輛。而 HADAR 檢測(cè)到相應(yīng)材料區(qū)域（皮膚?+?織物）中的人，將其與紙板清楚地區(qū)分開(kāi)來(lái)，克服了「幻象制動(dòng)」問(wèn)題。
?下圖 6 展示了 HADAR 測(cè)距在夜間擊敗了最先進(jìn)的熱測(cè)距技術(shù)：
由于該方法能夠確定場(chǎng)景中的物體是由什么組成的，因此與傳統(tǒng)成像技術(shù)相結(jié)合，即使在白天，HADAR 也可以提供有關(guān)場(chǎng)景的獨(dú)特信息。
原文標(biāo)題：AI提高自動(dòng)駕駛夜視能力，檢測(cè)黑夜、霧天場(chǎng)景和白天一樣
文章出處：【微信公眾號(hào)：智能感知與物聯(lián)網(wǎng)技術(shù)研究所】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。
聲明：本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題，請(qǐng)聯(lián)系本站處理。
舉報(bào)投訴
-
物聯(lián)網(wǎng)
+關(guān)注
關(guān)注
2924文章
45717瀏覽量
386178
原文標(biāo)題：AI提高自動(dòng)駕駛夜視能力，檢測(cè)黑夜、霧天場(chǎng)景和白天一樣
文章出處：【微信號(hào)：tyutcsplab，微信公眾號(hào)：智能感知與物聯(lián)網(wǎng)技術(shù)研究所】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
熱點(diǎn)推薦
新能源車(chē)軟件單元測(cè)試深度解析：自動(dòng)駕駛系統(tǒng)視角
。
?自動(dòng)駕駛軟件的特殊性?
? 感知層： ?激光雷達(dá)、攝像頭等傳感器數(shù)據(jù)處理算法的單元測(cè)試需覆蓋極端場(chǎng)景。例如，激光雷達(dá)點(diǎn)云濾波算法在雨雪天氣下的噪聲抑制能力需通過(guò)邊界測(cè)試驗(yàn)證。某廠商曾在測(cè)試中遺漏
發(fā)表于 05-12 15:59
AI將如何改變自動(dòng)駕駛？
[首發(fā)于智駕最前沿微信公眾號(hào)]五一假期繼續(xù)閑聊一下，還歡迎大家隨意留言，隨著人工智能（AI）的發(fā)展，很多車(chē)企及自動(dòng)駕駛供應(yīng)商正嘗試將AI融入自動(dòng)駕駛
自動(dòng)駕駛規(guī)控算法驗(yàn)證到底需要什么樣的場(chǎng)景仿真軟件？
ModelBase-AD憑借其優(yōu)秀的靜態(tài)場(chǎng)景模型、隨機(jī)交通流模型、整車(chē)動(dòng)力學(xué)模型，為各大主機(jī)廠和供應(yīng)商提供了準(zhǔn)確的自動(dòng)駕駛規(guī)控算法驗(yàn)證仿真環(huán)境，提升了自動(dòng)駕駛規(guī)控算法驗(yàn)證效率。
NVIDIA DRIVE技術(shù)推動(dòng)自動(dòng)駕駛發(fā)展
隨著 AI 技術(shù)的飛速發(fā)展，汽車(chē)行業(yè)正經(jīng)歷一場(chǎng)深刻而全面的智能化轉(zhuǎn)型。以 NVIDIA DRIVE 技術(shù)為核心，NVIDIA 正在推動(dòng)著自動(dòng)駕駛技術(shù)不斷邁向新高度。2025 年，AI
一文聊聊自動(dòng)駕駛測(cè)試技術(shù)的挑戰(zhàn)與創(chuàng)新
隨著自動(dòng)駕駛技術(shù)的飛速發(fā)展，自動(dòng)駕駛測(cè)試的重要性也日益凸顯。自動(dòng)駕駛測(cè)試不僅需要驗(yàn)證車(chē)輛的感知、決策、控制模塊的獨(dú)立性能，還需確保系統(tǒng)在復(fù)雜場(chǎng)景中運(yùn)行的整體可靠性。然而，
什么是自動(dòng)駕駛場(chǎng)景仿真軟件——VTD(Virtial Test Drive)？#ADAS #智能駕駛
自動(dòng)駕駛
北匯信息POLELINK
發(fā)布于 :2024年11月20日 18:38:20
汽車(chē)?yán)走_(dá)回波發(fā)生器的技術(shù)原理和應(yīng)用場(chǎng)景
的波束并向前傳播，以模擬真實(shí)的雷達(dá)工作環(huán)境。應(yīng)用場(chǎng)景
自動(dòng)駕駛系統(tǒng)的開(kāi)發(fā)和測(cè)試：在自動(dòng)駕駛系統(tǒng)的開(kāi)發(fā)和測(cè)試過(guò)程中，汽車(chē)電子雷達(dá)回波發(fā)生器可以模擬各種交通場(chǎng)景下的目標(biāo)回波，評(píng)估雷達(dá)系統(tǒng)在
發(fā)表于 11-15 14:06
基于場(chǎng)景的自動(dòng)駕駛驗(yàn)證策略
可選方案是將實(shí)際交通狀況做出總結(jié)生成具有高度代表性的交通場(chǎng)景，通過(guò)仿真分析自動(dòng)駕駛系統(tǒng)在這些場(chǎng)景上的安全性。然而交通場(chǎng)景中元素的復(fù)雜性與失敗事件的罕見(jiàn)性導(dǎo)致難于準(zhǔn)確分析系統(tǒng)失敗的概率和
自動(dòng)駕駛HiL測(cè)試方案 ——場(chǎng)景仿真3D演示#ADAS #自動(dòng)駕駛 #VTHiL
自動(dòng)駕駛
北匯信息POLELINK
發(fā)布于 :2024年10月16日 10:55:35
RISC-V適合什么樣的應(yīng)用場(chǎng)景
解決方案，適用于邊緣計(jì)算、智能攝像頭、智能音箱等場(chǎng)景。
靈活性：RISC-V的開(kāi)放性使得其能夠更容易地與各種AI框架和算法集成，滿(mǎn)足不同的AI應(yīng)用需求。
4. 自動(dòng)駕駛和汽車(chē)電子
定制
發(fā)表于 07-29 17:16
FPGA在自動(dòng)駕駛領(lǐng)域有哪些優(yōu)勢(shì)?
FPGA（Field-Programmable Gate Array，現(xiàn)場(chǎng)可編程門(mén)陣列）在自動(dòng)駕駛領(lǐng)域具有顯著的優(yōu)勢(shì)，這些優(yōu)勢(shì)使得FPGA成為自動(dòng)駕駛技術(shù)中不可或缺的一部分。以下是FPGA在自
發(fā)表于 07-29 17:11
FPGA在自動(dòng)駕駛領(lǐng)域有哪些應(yīng)用？
是FPGA在自動(dòng)駕駛領(lǐng)域的主要應(yīng)用：
一、感知算法加速
圖像處理：自動(dòng)駕駛中需要通過(guò)攝像頭獲取并識(shí)別道路信息和行駛環(huán)境，這涉及到大量的圖像處理任務(wù)。FPGA在處理圖像上的運(yùn)算速度快，可并行性強(qiáng)，且功耗
發(fā)表于 07-29 17:09
Nullmax正式推出新一代自動(dòng)駕駛技術(shù)Nullmax Intelligence
7月16日，Nullmax在上海舉辦“AI無(wú)止境，智變新開(kāi)端”2024技術(shù)發(fā)布會(huì)，正式推出新一代自動(dòng)駕駛技術(shù)Nullmax Intelligence（簡(jiǎn)稱(chēng)“NI”）。新技術(shù)著重于打造全場(chǎng)景
標(biāo)貝數(shù)據(jù)采集標(biāo)注在自動(dòng)駕駛場(chǎng)景中落地應(yīng)用實(shí)例
AI數(shù)據(jù)服務(wù)作為人工智能和機(jī)器學(xué)習(xí)的基礎(chǔ)，在自動(dòng)駕駛領(lǐng)域中有著重要地位。與其他人工智能應(yīng)用場(chǎng)景相比，自動(dòng)駕駛的落地場(chǎng)景相對(duì)復(fù)雜，想要讓汽車(chē)本
工商網(wǎng)監(jiān)
評(píng)論