背景

車載攝像頭的發(fā)展

視頻攝像頭已經(jīng)逐漸從最初的汽車后視鏡應(yīng)用發(fā)展到智能傳感器，可以檢測(cè)道路上的物體，并通過自動(dòng)剎車和車道保持等駕駛輔助來提高安全性。最近的ADAS/AD的發(fā)展已經(jīng)使攝像頭成為感知汽車周圍環(huán)境不可或缺的工具。雖然激光雷達(dá)和雷達(dá)在傳感器融合中能夠比較可靠地檢測(cè)道路障礙物，在全天候提供最大程度的晝夜信息，但實(shí)際上只有視頻攝像機(jī)能夠最準(zhǔn)確地識(shí)別和分類車輛周圍的物體。

傳統(tǒng)的計(jì)算機(jī)視覺系統(tǒng)依賴灰度視頻來識(shí)別形狀，并在一定程度上依賴基本色度，例如交通標(biāo)志識(shí)別，而基于機(jī)器學(xué)習(xí)和深度神經(jīng)網(wǎng)絡(luò)(DNNs)的現(xiàn)代視覺系統(tǒng)往往需要色彩來理解世界。顏色決定了一切，使神經(jīng)網(wǎng)絡(luò)更好地模仿人類大腦。

DNNs必須經(jīng)過訓(xùn)練，才能在特定的ADAS/AD應(yīng)用中以最大的可靠性協(xié)同工作。訓(xùn)練過程使用帶有精確標(biāo)注的數(shù)據(jù)集在算力強(qiáng)大的服務(wù)器上進(jìn)行。

經(jīng)過訓(xùn)練的參數(shù)在ECU控制器中的GPU、FPGA或視覺處理器上進(jìn)行DNNs實(shí)現(xiàn)。全彩色視頻需要從指定攝像機(jī)位置和來相同視頻傳感器和鏡頭的獲取，以確保DNNs盡可能可靠。然而，收集這些視頻的過程要困難得多。

車載攝像頭不會(huì)產(chǎn)生顏色，它們生成的顏色信息編碼為眾多拜耳編碼變體之一。此外，常用的高動(dòng)態(tài)范圍(HDR)相機(jī)以不同的曝光方式生成兩到三幀，組合在一個(gè)幀中，可以顯示被陽光直射的物體和被放置在極端陰影中的物體。

ISP管道問題 ?

生成高對(duì)比度的彩色視頻需要通過一個(gè)稱為HDR圖像信號(hào)處理(ISP)的專用硬件進(jìn)行處理。HDR ISP管道通常由同一Soc芯片中的DNNs實(shí)現(xiàn)，這使得在DNNs輸入處處理的彩色視頻很難用于芯片外的標(biāo)注和機(jī)器學(xué)習(xí)。這一問題可以通過對(duì)處理后的彩色視頻進(jìn)行數(shù)據(jù)記錄來解決。由于ISP管道對(duì)數(shù)據(jù)執(zhí)行大量像素操作，這種處理需要硬件升級(jí)到標(biāo)準(zhǔn)數(shù)據(jù)記錄儀級(jí)別。

Xylon的logiRECORDER汽車HIL視頻記錄器是一種完美的解決方案。它以可編程FPGA為基礎(chǔ)，實(shí)現(xiàn)了芯片級(jí)的HDR ISP集成。這確保了經(jīng)過處理的視頻的完整性，并通過其他車輛傳感器的數(shù)據(jù)并行記錄來提供完整的傳感器融合支持。

Xylon在設(shè)計(jì)可編程芯片方面有超過25年的經(jīng)驗(yàn)，它的logicBRICKS庫包括用于可編程FPGA和SoC芯片中的ISP處理的IP核。它使Xylon能夠直接在數(shù)據(jù)記錄儀的視頻I/O模塊中實(shí)現(xiàn)HDR ISP，動(dòng)態(tài)地處理原始視頻并記錄彩色視頻。

Xylon ISP處理的視頻與ECU soc ISP處理的視頻之間的差異是非常小的。Xylon與客戶合作，針對(duì)特定的攝像機(jī)進(jìn)行ISP調(diào)優(yōu)，并通過DNNs訓(xùn)練實(shí)現(xiàn)最佳的視頻質(zhì)量。

除了數(shù)據(jù)記錄，logiRECORDER獨(dú)特的HIL回放功能可以將記錄數(shù)據(jù)直接注入連接的ECU。可編程的HDR ISP塊集成在logiRECORDER的視頻輸出，相當(dāng)于真實(shí)的相機(jī)仿真。而不是簡(jiǎn)單地回放記錄的數(shù)據(jù)，logiRECORDER的HDR ISP塊修改視頻以響應(yīng)ECU的命令。這種閉環(huán)HIL與ECU運(yùn)行的固件大大提高了最終產(chǎn)品的質(zhì)量保證。

所提出的解決方案已經(jīng)與幾個(gè)Xylon客戶建立了原型，計(jì)劃于2022年第三季度推出可量產(chǎn)的解決方案。