隨著春節臨近，漫漫回家路上的路況和天氣都變化多端，長途駕駛難免使人身心俱疲，若不久的將來能將真正的L3/L4級自動駕駛落地應用，那將大大減輕長途駕車回家的辛苦。即便車外風雨交加，人們依舊可以在溫暖的車內放松小憩，從容地喝口熱茶吃塊點心，刷刷老家又開了什么新館子，帶上家人或約上老友一起去嘗鮮。若是節日駕車旅游，可以安然自若地欣賞路過的美景，隨手就拿起手機記錄美好的一瞬，這樣的長途駕駛體驗是不是讓人身心愉悅了許多呢？

昱感微電子的“多傳感器多維像素融合感知芯片”就能助力汽車自動駕駛系統來實現這樣的體驗，讓駕車回家之旅變得輕松愜意。智能感知是L3/L4級自動駕駛的技術難點，而單一的傳感器始終存在自身的局限性，無法做到對環境全面精確的感知。昱感微的融合感知芯片創新性地將可見光攝像頭、紅外攝像頭以及4D毫米波雷達的探測數據融合到一起并以“多維像素”的格式輸出。多維像素是指在可見光攝像頭像素信息上加上其他傳感器對于目標感知的信息，將感知系統的感知維度擴展以實現多維度感知目標的完整信息。如下圖示例，芯片將攝像頭RGB數據矩陣層，和雷達探測目標的距離、速度、散射截面R數據矩陣層，以及紅外傳感器探測的熱輻射圖像數據矩陣層疊加組合到一起，以攝像頭的像素為顆粒度，每個像素不僅有圖像數據，縱向組合上還包含了毫米波雷達和紅外傳感器的探測數據，形成多維度測量參數矩陣數組。

多維像素就好比賦予了自動駕駛系統比人類更敏銳的眼睛，看到的不僅是一幅幅二維的圖像，還有在圖像之上更多維的信息。就像在霧中穿行，人眼只能看到白茫茫的霧氣下物體隱約的輪廓，但昱感微的融合感知芯片可以利用毫米波雷達和紅外攝像頭的探測數據讓自動駕駛系統感知到霧氣中的物體的方位、距離、速度、溫度等信息，確保安全行駛。不僅如此，昱感微的融合感知芯片采用最前沿的多傳感器前融合技術，攝像頭和雷達等多傳感器的探測數據在前端（數據獲取時）交互驗證，讓自動駕駛系統能感知到“看不見”的危險。例如，當反向車道有強遠光燈干擾下，視覺無法清晰地看到行車周圍的狀況，容易引發危險。但昱感微的融合感知芯片可以解決強光對視覺的干擾：當雷達子系統探測到潛在運動目標時，融合感知芯片可以引導本車的攝像頭針對運動目標做快速局部修正曝光（見下圖），以此實時獲取運動目標的分辨細節特征，并將局部修正曝光的圖像融合雷達數據傳輸至自動駕駛系統，避免撞擊危險發生。

多傳感器前融合可以發揮各個傳感器在不同應用場景下的優勢，取長補短來達到1+1>2的效果。4D毫米波雷達可以幫助可見光攝像頭克服天氣光線的影響，可見光攝像頭的圖像又為毫米波雷達增添了語義信息，進一步提高雷達點云的置信度；而紅外不僅賦予了自動駕駛夜視能力，還可以清楚地辨別行人。如下圖所示，基于可見光攝像頭的感知系統可能會忽略遠處較暗的兩個人（在可見光圖像的陰影區域），紅外攝像頭可以輕松地通過人體測溫辨別出來。此外，在夜間高速行駛狀態下，紅外可以對遇到突然躥出來的人或動物進行判別，如果是行人則必須避讓，動物可根據行駛狀態引導自動駕駛系統采取不同的決策。

除了天氣和光線外，基于純視覺網絡的算法仍存在corner cases的問題，樣本的長尾效應影響著自動駕駛系統的表現。而昱感微的融合感知芯片是基于物理數據的感知，可以很好地解決這個問題。芯片將多個傳感器的探測數據融合，并將各傳感器的探測數據的坐標統一、時序對齊，圖像與雷達數據完成像素級實時“時空對齊同步”輸出。這是業界公認的多傳感器前融合的技術難點之一，不過得益于團隊成員多年相關領域的技術積累和眾多技術創新，昱感微的融合感知芯片內嵌功能可以支持客戶完全滿足系統對目標感知“坐標統一，時序對齊，數據同質 ，突出事件感知”的要求，能夠解決目前車廠在自動駕駛鄰域的技術痛點。

并且，昱感微融合感知芯片輸出的“多維像素”與現有的AI計算平臺兼容，可以復用已有的圖像數據樣本。對于目前流行的神經網絡框架（比如，Yolo V8，BEV +Transformer等等）只需小幅修改就可適用多維像素。多維像素還可以快速提升AI網絡的訓練收斂率以及目標識別率，并且可以大幅降低系統算力要求。

多維像素還可以直接高效支持“占用網絡” (Occupancy Network)算法。占用網格是指將感知空間劃分為一個個立體網格（體素），而多維像素包含了目標的3D空間位置信息、目標的速度信息和材質信息，可以直接高效實時支持占用網格中的體素算法。Tesla目前在主推“BEV +Transformer+占用網絡”，國內華為GOD2.0也采用相同的架構，預計未來許多智能駕駛團隊都會引入“占用網絡”來提升系統能力。多維像素的應用前景非常廣闊。昱感微的融合感知芯片+BEV +Transformer+占用網格有望成為L3/L4級自動駕駛最優的落地方案，不久的將來人們就可以輕松愉快地享受長途自駕之旅了。

多維像素“占用網格”３D體素算法精準探測運動目標空間位置