攝像頭前處理流程

?自動駕駛HDR：為適應自動駕駛所處的高動態范圍環境，先進的圖像傳感器采用同時多曝光和/或拆分像素設計。組合不同曝光可將固有動態范圍（80-100dB）擴展至目標動態范圍（120-140dB或更高）。

?攝像頭或攝像模塊：由圖像傳感器、顏色濾波陣列、鏡頭、外殼及可選前處理組成的傳感器系統。

?色彩濾波陣列（CFA）：應用于圖像傳感器的光學元件，形成特定顏色像素模式，通常以2x2單個顏色指定，如紅、綠、藍、黃、青等。常見例子有RGGB（Bayer）、RCCC、RCCB、RYYCy。

?計算機視覺（CV）前處理：用于增強傳統CV算法效果的具體處理，如光流、Harris角點檢測等。

?圖像傳感器：收集光線并輸出數字像素樣本的芯片。可采集不同波長光線，數字輸出格式多種多樣。常見波長包括可見光、IR、近紅外（NIR）、短波IR（SWIR）等。

?人類視覺前處理：用于使圖像對人類更易看的具體處理。

?鏡頭：各種鏡頭安裝在圖像傳感器陣列和CFA上。傳統自動駕駛應用使用固定焦距/固定鏡頭。

?機器學習（ML）前處理：用于增強機器學習（ML）和深度神經網絡（DNN）算法效果的具體處理。這取決于所用算法，前處理范圍從無到完整的人類視覺流程不等。詳見成像工作組。

?傳感器上的前處理：用于自動駕駛的先進圖像傳感器具有許多增強和壓縮原始樣本的功能。這些傳感器通常具有數字增益調整、黑電平調整、多曝光片段線性組合等。輸出流量仍很大（3~6Gbps），但遠低于原始樣本流。

?原始像素樣本：來自芯片上ADC的未處理樣本。這些樣本仍受鏡頭、CFA、模擬增益設定、曝光設定等的光學和模擬影響調整。像素通常以每個曝光10~16位采樣。一個800萬像素的圖像傳感器，使用4次曝光，以每秒30幀的速度，將產生高達15.36 Gbps的數據率。

雷達前處理流程

?汽車雷達：由天線陣列、一個或多個微波集成電路（MMIC）和可選前處理組成。大多數汽車雷達采用頻率調制連續波（FMCW）操作，但也有幾種替代技術正在開發。雷達操作基礎有許多不錯的資料來源。

?雷達幀：通過一個或多個發射機發出的一系列傳輸脈沖序列，以實現場景視野、分辨率/分離度/識別度和期望維度（距離、徑向速度、方位和仰角）的精度設計目標。

?原始雷達樣本：來自連接特定接收機（Rx）的ADC的樣本。這些ADC通常為10~16位，工作頻率約50MHz（MSps），生成原始流量高達每Rx通道約800Mbps。高端汽車雷達通常有4~16個接收通道（3.2~12.8Gbps），先進研究使用幾十個接收機。

?雷達數據立方體：通過處理原始雷達樣本生成的1~4維立方體。通常采用FFT獲得距離和多普勒維度。可用于計算方位和/或仰角的數字波束成形，但也有許多更先進的算法以更好的結果換取額外處理。

?雷達數據立方體壓縮：由于數據立方體中大多數位置沒有返回，存在幾種簡單（通常專有）算法壓縮數據立方體以減少傳輸帶寬。

?雷達檢測/點云：通常對數據立方體進行閾值處理/CFAR和將相鄰返回合并為單點/檢測。這大大降低了數據帶寬，但也損失了數據立方體中的目標“形狀”。

?雷達對象：基于檢測結果，傳統雷達處理會將附近點集群化并返回目標對象“塊”。

?雷達感知：大類算法，可將雷達數據處理為汽車、人員等分類對象，還有更多基礎設施對象。這些算法通常對數據立方體、點云或對象進行操作，但也有基于原始數據的研究。

?雷達輸出數據格式：點云，點具有位置、距離、強度、運動信息等屬性。

激光雷達前處理流程

?汽車激光雷達傳感器：激光雷達系統可以分為幾類基本類別。波長、脈沖/調制技術、接收器技術和掃描技術等基本變量會帶來許多權衡取舍。

?Flash與掃描激光雷達：閃光激光雷達本質上是飛行時間（TOF）相機。使用激光閃光和高速2D接收器陣列，可以捕捉到許多“曝光區間”或“距離分箱”。2D陣列給出x/y位置，對距離分箱的處理可以得到反射或返回的峰值z位置。與Flash激光雷達不同，掃描激光雷達一次只在一個x/y方向上“觀察”。發出脈沖后等待一定時間獲取返回。這使設計者可以一次關注發出能量（在眼安全限制內）在一個位置上。然后掃描機制移動到下一個“像素”位置。

?脈沖與調制激光雷達：脈沖激光雷達需要更高功率來克服陽光的背景噪聲，但系統相對簡單。調制激光雷達噪聲水平更低，因為干擾源要么沒有調制（陽光或其他脈沖激光雷達），要么與發射調制的時間/頻率組合極不可能重合（其他調制激光雷達）。由于噪聲水平更低，在相似輸出功率下，調制激光雷達的范圍遠超脈沖激光雷達。更復雜的發射器和接收器的代價是主要缺點。根據調制方案（如FMCW），它們也有更長的“駐留”時間，因為接收器需要等待完整調制返回，而不是快速脈沖。這增加的駐留時間導致與其他技術相比點數/秒更低。

?原始激光雷達樣本：激光雷達樣本測量返回強度對時間的關系。它們通常每個接收器為1~6 Gbps，不太可能在當前汽車網絡技術中傳輸。接收強度取決于發射功率、與物體距離和物體反射率。

?激光雷達返回波形：對原始樣本進行閾值處理形成每個從遠處物體反射的波形，也稱為返回。

?激光雷達返回：使用各種算法找到返回波形的強度峰值/時間。對于任 one發射脈沖，由于波束發散和目標的半透明性，可以有許多不同的返回。這些返回通常包括視場中的x、y位置，返回的距離和強度，以及用于全局同步的時間戳。

?激光雷達點云：點云是返回列表，可以對視場中的每個x/y位置具有多個返回。大多數汽車激光雷達輸出每個x/y位置1~3個返回的點云。研究界有強烈觀點認為應輸出返回波形，因為它們包含目標對象的更多信息。與雷達處理類似，峰值檢測可有效壓縮所需的數據帶寬，但明顯損失目標對象信息。