摘要

傳感器融合對(duì)于自動(dòng)駕駛和自主機(jī)器人是至關(guān)重要，毫米波雷達(dá)-相機(jī)融合系統(tǒng)由于其互補(bǔ)的傳感能力而廣受歡迎。然而，這兩個(gè)傳感器之間的精確校準(zhǔn)對(duì)于確保有效融合和提高整體系統(tǒng)性能更為重要。兩者之間的校準(zhǔn)包括內(nèi)參校準(zhǔn)和外參校準(zhǔn)，后者對(duì)于實(shí)現(xiàn)精確的傳感器融合尤為重要。

不幸的是，許多基于目標(biāo)的校準(zhǔn)方法需要復(fù)雜的操作程序和精心設(shè)計(jì)的實(shí)驗(yàn)條件，這給研究人員帶來了挑戰(zhàn)。為了解決這個(gè)問題，本文引入了一種新的方法，該方法利用深度學(xué)習(xí)從原始毫米波雷達(dá)數(shù)據(jù)（即距離-多普勒角數(shù)據(jù)）和相機(jī)圖像中提取共同特征。我們的方法不是顯式地表示這些共同特征，而是隱式地利用這些共同特征來匹配來自兩個(gè)數(shù)據(jù)源的相同對(duì)象，具體來說，提取的共同特征作為一個(gè)例子，展示了毫米波雷達(dá)和相機(jī)系統(tǒng)之間的在線無目標(biāo)校準(zhǔn)方法。通過這種基于特征的方法實(shí)現(xiàn)了對(duì)外參變換矩陣的估計(jì)，為了提高校準(zhǔn)的準(zhǔn)確性和穩(wěn)健性，應(yīng)用了RANSAC和Levenberg-Marquardt（LM）非線性優(yōu)化算法來推導(dǎo)矩陣，在真實(shí)環(huán)境的實(shí)驗(yàn)證明了提出的方法的有效性和準(zhǔn)確性。

主要貢獻(xiàn)

毫米波雷達(dá)和攝像頭是互補(bǔ)的傳感方式，廣泛用于自動(dòng)駕駛和機(jī)器人等應(yīng)用。無論照明和天氣條件如何，毫米波雷達(dá)都能提供準(zhǔn)確的距離、速度和角度信息，而相機(jī)則能捕捉高分辨率的視覺信息。毫米波雷達(dá)和相機(jī)的結(jié)合提高了感知能力，并可在動(dòng)態(tài)環(huán)境中執(zhí)行物體識(shí)別、檢測和跟蹤等任務(wù)。毫米波雷達(dá)和相機(jī)之間的校準(zhǔn)對(duì)于傳感器融合至關(guān)重要，因?yàn)樗鼈兊膫鞲性聿煌?，尤其是?duì)于確定它們的相對(duì)姿態(tài)。一種很有前途的方法是使用深度學(xué)習(xí)從原始毫米波雷達(dá)數(shù)據(jù)中提取有用的特征，并探索雷達(dá)和圖像特征之間的關(guān)系，以估計(jì)外部變換矩陣，如圖1所示：

圖1：所提出的毫米波雷達(dá)相機(jī)在線外參校準(zhǔn)方法的框架。該方案展示了校準(zhǔn)毫米波雷達(dá)和攝像頭傳感器所涉及的順序步驟。該方法首先訓(xùn)練深度學(xué)習(xí)共同特征鑒別器，以確定毫米波雷達(dá)和相機(jī)數(shù)據(jù)中檢測到的對(duì)象是否共享共同特征。隨后基于共同特征的存在，利用訓(xùn)練的共同特征鑒別器在毫米波雷達(dá)和相機(jī)視圖中找到匹配對(duì)象。最后，基于這些匹配對(duì)象，形成相應(yīng)的相機(jī)-毫米波雷達(dá)點(diǎn)對(duì)進(jìn)行校準(zhǔn)。

與傳統(tǒng)的基于目標(biāo)的方法不同，所提出的方法不僅降低了復(fù)雜性和配置要求，而且使系統(tǒng)能夠進(jìn)行在線重新校準(zhǔn)，減輕了外參矩陣隨時(shí)間的潛在風(fēng)險(xiǎn)。這種能力在動(dòng)態(tài)環(huán)境中尤其重要，在動(dòng)態(tài)環(huán)境下，振動(dòng)、溫度變化和一般磨損等因素會(huì)影響毫米波雷達(dá)和相機(jī)傳感器之間的位姿。這項(xiàng)工作的貢獻(xiàn)如下：

1） 開發(fā)一個(gè)深度學(xué)習(xí)模型，從原始毫米波雷達(dá)數(shù)據(jù)中學(xué)習(xí)有用的特征，并探索雷達(dá)和圖像特征之間的關(guān)系，以獲得共同特征。

2） 第一種已知的方法利用毫米波雷達(dá)和相機(jī)的共同特征來實(shí)現(xiàn)在線無目標(biāo)物校準(zhǔn)方法，并解決了傳統(tǒng)校準(zhǔn)方法的挑戰(zhàn)，例如需要特定的校準(zhǔn)目標(biāo)和手動(dòng)步驟，使所提出的方法在現(xiàn)實(shí)場景的應(yīng)用中更加實(shí)用和有效。

內(nèi)容概述

A.問題表述

毫米波雷達(dá)與相機(jī)校準(zhǔn)涉及求解變換矩陣，該變換矩陣建立圖像像素坐標(biāo)系（PCS）中的一個(gè)點(diǎn)與毫米波雷達(dá)坐標(biāo)系（RCS）中的另一個(gè)點(diǎn)之間的對(duì)應(yīng)關(guān)系。該變換矩陣包括分別通過內(nèi)參校準(zhǔn)和外參校準(zhǔn)獲得的內(nèi)參矩陣和外參矩陣。在毫米波雷達(dá)相機(jī)外參校準(zhǔn)中，目標(biāo)是使用已知的相機(jī)內(nèi)參和RCS中的點(diǎn)與PCS中的對(duì)應(yīng)點(diǎn)之間的一組N對(duì)應(yīng)關(guān)系來確定外參矩陣。假設(shè)RCS中的一個(gè)點(diǎn)表示為Pr，其在PCS中的相應(yīng)點(diǎn)表示為Pp，則它們之間的變換可以表示為：

B.基于常見特征的點(diǎn)對(duì)應(yīng)匹配

基于前面的討論，解決毫米波雷達(dá)和相機(jī)坐標(biāo)系統(tǒng)相關(guān)的外參矩陣的關(guān)鍵是在毫米波雷達(dá)和相機(jī)視圖之間找到足夠數(shù)量的點(diǎn)對(duì)應(yīng)。傳統(tǒng)的研究人員依靠使用獨(dú)特的校準(zhǔn)目標(biāo)物，如角反射器，來提高雷達(dá)和相機(jī)圖像中物體的可探測性。這些目標(biāo)作為參考點(diǎn)，有助于在兩種傳感器之間建立準(zhǔn)確的點(diǎn)對(duì)應(yīng)關(guān)系。然而，對(duì)于無目標(biāo)校準(zhǔn)方法，我們不使用特定的校準(zhǔn)目標(biāo)，也不事先了解毫米波雷達(dá)和相機(jī)視圖中的對(duì)象。幸運(yùn)的是，基于在毫米波雷達(dá)和相機(jī)檢測中觀察到的與相同物體相對(duì)應(yīng)的共同特征，我們可以匹配這些物體，并進(jìn)一步對(duì)準(zhǔn)它們的中心，從而產(chǎn)生點(diǎn)對(duì)應(yīng)關(guān)系。

從毫米波雷達(dá)和相機(jī)檢測中提取的共同特征為識(shí)別和關(guān)聯(lián)兩種模態(tài)中的對(duì)象提供了有價(jià)值的信息。這些特征可以包括反射率、紋理、大小和運(yùn)動(dòng)模式。通過分析這些特征，我們可以識(shí)別出在毫米波雷達(dá)和相機(jī)數(shù)據(jù)中表現(xiàn)出相似模式或特征的物體。

由于毫米波雷達(dá)數(shù)據(jù)中的低分辨率和高噪聲等固有限制，使用傳統(tǒng)算法提取特征可能具有挑戰(zhàn)性。然而深度學(xué)習(xí)在特征提取方面表現(xiàn)出了比較好的效果，非常適合應(yīng)對(duì)這些場景。鑒于YOLO模型在圖像特征提取方面的成功，以及我們研究毫米波雷達(dá)和相機(jī)數(shù)據(jù)之間共享特征的目標(biāo)，選擇使用基于YOLO的方法來提取共同特征。通過使YOLO模型適應(yīng)毫米波雷達(dá)數(shù)據(jù)，可以利用其強(qiáng)大的特征提取能力來識(shí)別和提取相關(guān)的雷達(dá)特征。這使我們能夠檢測毫米波雷達(dá)幀中的物體。同時(shí)YOLO模型檢測和識(shí)別相機(jī)圖像中物體的能力使我們能夠識(shí)別雷達(dá)和相機(jī)數(shù)據(jù)之間的共同特征。

此外，基于提取的雷達(dá)和圖像特征，我們構(gòu)建了另一個(gè)深度神經(jīng)網(wǎng)絡(luò)，專門致力于發(fā)現(xiàn)兩種模態(tài)之間的共享特征和匹配特征。該網(wǎng)絡(luò)旨在學(xué)習(xí)提取的特征之間存在的復(fù)雜關(guān)系和模式，能夠從雷達(dá)和相機(jī)數(shù)據(jù)中識(shí)別和對(duì)齊相應(yīng)的特征。最終可以有效地探索和利用雷達(dá)和相機(jī)數(shù)據(jù)共享的共同特征。

圖2：基于YOLO的公共特征網(wǎng)絡(luò)的體系結(jié)構(gòu)。CSPResNet：跨階段部分ResNet。CBL:Convolution3D+批量標(biāo)準(zhǔn)化+LeakyReLU。SPP：空間金字塔池。

圖2直觀地展示了基于YOLO的公共特征網(wǎng)絡(luò)的結(jié)構(gòu)，并突出了其關(guān)鍵組件和層，以便于全面理解。該網(wǎng)絡(luò)包括三個(gè)主要組件：基于YOLO的雷達(dá)探測器，它以原始雷達(dá)數(shù)據(jù)生成的快速傅立葉變換（FFT）熱圖作為輸入，并輸出包含檢測目標(biāo)的綁定框；三維卷積神經(jīng)網(wǎng)絡(luò)（CNN）雷達(dá)特征提取器，其將從雷達(dá)檢測器獲得的邊界框作為輸入，并對(duì)這些邊界框所包含的距離-方位-多普勒（RAD）數(shù)據(jù)進(jìn)行裁剪，然后基于分類的準(zhǔn)確性來確定提取特征的質(zhì)量；以及全連接公共特征鑒別器，其利用YOLO提取的圖像特征以及雷達(dá)檢測器和雷達(dá)特征提取器提取的雷達(dá)特征來確定在圖像中檢測到的物體和雷達(dá)檢測到的對(duì)象是否是同一實(shí)體。

**C.毫米波雷達(dá)相機(jī)外部校準(zhǔn)解決方案**

利用深度學(xué)習(xí)提取的共同特征，可以進(jìn)行對(duì)象匹配和對(duì)應(yīng)識(shí)別。通過比較毫米波雷達(dá)和相機(jī)視圖中檢測到的物體的特征，我們可以確定哪些物體相互對(duì)應(yīng)。然后可以利用公共特征中編碼的空間信息來提取這些物體的中心，這使我們能夠在雷達(dá)和圖像像素坐標(biāo)系之間建立點(diǎn)對(duì)應(yīng)關(guān)系。基于所獲得的特征點(diǎn)對(duì)應(yīng)關(guān)系，可以進(jìn)行外參校準(zhǔn)矩陣的估計(jì)。這本質(zhì)上是一個(gè)用于最小化重投影誤差的非線性問題。LM算法結(jié)合了最速下降和高斯-牛頓方法的優(yōu)點(diǎn)，已被廣泛用于解決非線性最小二乘問題。

然而，為了確保收斂到全局最優(yōu)解，該算法需要對(duì)外參矩陣給出良好的初始值。在本文的方法中，基于RANSAC（隨機(jī)樣本一致性）算法的校準(zhǔn)矩陣的初始估計(jì)用作后續(xù)LM最小化的初始猜測，RANSAC是一種迭代方法，旨在使用最小的可能對(duì)應(yīng)集來估計(jì)數(shù)學(xué)模型的參數(shù)，同時(shí)有效地排除異常值。在外參校準(zhǔn)的背景下，RANSAC有助于解決噪聲雷達(dá)測量和雷達(dá)相機(jī)點(diǎn)對(duì)應(yīng)關(guān)系變化帶來的挑戰(zhàn)。在使用RANSAC過濾掉不合適的對(duì)應(yīng)關(guān)系并獲得校準(zhǔn)矩陣的魯棒初始估計(jì)之后，剩余的點(diǎn)對(duì)應(yīng)關(guān)系被用作輸入以解決PnP問題。這種兩步方法結(jié)合了RANSAC在處理異常值方面的優(yōu)勢和迭代LM優(yōu)化算法的準(zhǔn)確性，為在存在噪聲雷達(dá)測量和點(diǎn)對(duì)應(yīng)變化的情況下進(jìn)行外參校準(zhǔn)提供了有效的解決方案。

實(shí)驗(yàn)

實(shí)驗(yàn)裝置如圖5所示，筆記本電腦和NVidia Jetson Xavier GPU使用以太網(wǎng)和USB電纜與雷達(dá)攝像頭系統(tǒng)建立連接，以收集數(shù)據(jù)。

圖5：實(shí)驗(yàn)設(shè)置

表I給出了用于評(píng)估校準(zhǔn)矩陣準(zhǔn)確性的評(píng)估指標(biāo)，包括平均絕對(duì)重投影誤差（MARE）和均方根重投影誤差。MARE表示投影雷達(dá)點(diǎn)與其對(duì)應(yīng)圖像點(diǎn)之間的平均絕對(duì)差，而RMSRE則測量投影圖像點(diǎn)與實(shí)際圖像點(diǎn)間的總體偏差。

使用獲得的校準(zhǔn)矩陣將雷達(dá)點(diǎn)投影到圖像上的結(jié)果進(jìn)一步支持了對(duì)我們校準(zhǔn)性能的評(píng)估，如圖4所示。從圖4a中可以明顯看出，圖像點(diǎn)和投影雷達(dá)點(diǎn)彼此非常接近，投影雷達(dá)點(diǎn)主要落在圖像中目標(biāo)（即汽車和人）占據(jù)的區(qū)域內(nèi)。圖4b和圖4c顯示了與兩個(gè)目標(biāo)的運(yùn)動(dòng)相對(duì)應(yīng)的圖像點(diǎn)和投影雷達(dá)點(diǎn)的軌跡?？梢杂^察到，雷達(dá)和圖像軌跡表現(xiàn)出良好的對(duì)準(zhǔn)，特別是考慮到雷達(dá)點(diǎn)的高度可變性。這些視覺結(jié)果突出了所提出的校準(zhǔn)方法的實(shí)用性和有效性，即使在雷達(dá)測量中存在固有波動(dòng)的情況下也是如此。

圖4：使用獲得的校準(zhǔn)矩陣將雷達(dá)點(diǎn)投影到圖像上。（a） 將各個(gè)雷達(dá)點(diǎn)投影到圖像中的相應(yīng)目標(biāo)上，即汽車和人。（b） 圖像點(diǎn)和投影雷達(dá)點(diǎn)的軌跡對(duì)應(yīng)于幀39處的兩個(gè)目標(biāo)的移動(dòng)。（c） 圖像點(diǎn)和投影雷達(dá)點(diǎn)的軌跡對(duì)應(yīng)于幀204處兩個(gè)目標(biāo)的移動(dòng)。

總結(jié)

根據(jù)毫米波雷達(dá)和相機(jī)的共同特點(diǎn)，提出了一種在線無目標(biāo)的毫米波雷達(dá)和相機(jī)外參校準(zhǔn)方法，所提出的方法利用深度學(xué)習(xí)技術(shù)從原始毫米波雷達(dá)數(shù)據(jù)和相機(jī)圖像中提取共同特征，從而能夠在不需要特定校準(zhǔn)目標(biāo)的情況下估計(jì)外部變換矩陣，實(shí)驗(yàn)驗(yàn)證了所提出方法的有效性，證明了其在具有挑戰(zhàn)性的真實(shí)世界環(huán)境中進(jìn)行可靠和精確的雷達(dá)相機(jī)外部校準(zhǔn)的潛力。這項(xiàng)研究為毫米波雷達(dá)相機(jī)傳感器融合領(lǐng)域做出了貢獻(xiàn)，并為校準(zhǔn)技術(shù)的進(jìn)一步進(jìn)步和擴(kuò)大所提出方法的應(yīng)用提供了基礎(chǔ)，未來的工作可能側(cè)重于進(jìn)一步提高校準(zhǔn)方法的效率和適應(yīng)性，并探索可視化和解釋毫米波雷達(dá)和相機(jī)數(shù)據(jù)之間的共同特征。






審核編輯：劉清