自動駕駛汽車及其計算機視覺系統收到了大量新聞報道，這清楚地表明設計一個在任何環境條件下都表現良好的強大視覺系統是多么困難。在開發這些復雜的汽車視覺系統時，所有設計人員都應考慮幾個關鍵要素。其中包括傳感器冗余、低光視覺處理和故障傳感器檢測。

傳感器冗余的重要性對于使用視覺系統進行物體檢測的汽車周圍的每個位置，都應該有多個攝像頭（至少兩個）指向視線。即使視覺算法只需要單視覺數據，也應該設置此設置。

傳感器多樣性允許通過將圖像與輔助攝像頭進行比較來檢測主攝像頭的故障。主攝像頭將其數據提供給視覺算法。如果系統檢測到主攝像頭出現故障，它應該能夠將其中一個輔助攝像頭的數據重新路由到視覺算法。

由于有多個攝像頭可用，視覺算法也應該利用立體視覺。以較低的分辨率和較低的幀速率收集深度數據將節省處理能力。即使處理本質上是單相機，深度信息也可以通過根據場景中對象的最小和最大距離減少需要處理的尺度數量來加速對象分類。

例如，德州儀器 (TI) 的 TDAx 汽車處理器系列配備了必要的技術，可處理至少 8 個攝像頭輸入，并通過 Vision AcceleratorPac 執行最先進的立體視覺處理以滿足此類要求。Vision AcceleratorPac 包含多個嵌入式視覺引擎 (EVE)，它們在立體視覺系統的對應匹配算法中使用的單指令多數據路徑 (SIMD) 操作類型方面表現出色。

微光視覺的重要性、對離線地圖的依賴和傳感器融合微光視覺處理需要一種不同于白天使用的處理模式。在弱光條件下拍攝的圖像信噪比低，邊緣等結構化元素被隱藏在噪聲之下。在弱光條件下，視覺算法應該更多地依賴斑點或形狀而不是邊緣。典型的計算機視覺算法，例如基于定向梯度直方圖 (HOG) 的對象分類，主要依賴于邊緣，因為這些特征在日光下占主導地位。但是配備這種視覺系統的汽車在夜間在光線不足的道路上檢測其他車輛或行人時會遇到問題。

如果系統檢測到弱光條件，視覺算法應切換到弱光模式。這種模式可以使用僅使用低光圖像訓練的深度學習網絡來實現。低光模式還應該依賴離線地圖或離線世界觀的數據。低光視覺算法可以提供線索以在地圖上找到正確的位置，并根據離線世界觀重建場景，這對于靜態環境中的導航來說應該足夠了。

然而，在動態環境中，對于以前未記錄的移動或新物體，需要與其他傳感器（激光雷達、雷達、熱像儀等）融合，以利用每種傳感器模式的各自優勢確保最佳性能. 例如，激光雷達在白天或晚上都能正常工作，但無法區分顏色。攝像頭在弱光條件下視力不佳，但會為檢測紅燈和交通標志的算法提供顏色信息。在有雨、雪和霧的情況下，這兩種傳感器都會表現不佳。雷達可以在惡劣天氣下使用，但它們沒有足夠的空間分辨率來準確檢測物體的位置和大小。

您可以看到每個傳感器提供的信息，如果單獨使用，是不完整或不確定的。為了減少這種不確定性，融合算法結合了從這些不同傳感器收集的數據。

這是使用異構架構設計的好處。例如，TI 的 TDA2x 處理器可以處理傳感器數據采集、處理和融合所需的處理多樣性，這要歸功于具有不同架構的三個不同內核（EVE、數字信號處理器 [DSP] 和微控制器 [MCU]）。有關 功能映射的詳細信息，請參見圖 1 。

圖 1：異構片上系統 (SoC) 概念實現了最高的處理性能和功率效率。

弱光條件需要使用高動態范圍 (HDR) 傳感器。這些 HDR 傳感器為同一幀輸出具有不同曝光/增益值的多個圖像。為了可用，這些圖像必須組合/合并為一個。這種合并算法通常是計算密集型的，但 TI 的 TDA2P 和 TDA3x 處理器具有硬件圖像信號處理器 (ISP)，能夠通過由合并、噪聲過濾、閃爍緩解、去馬賽克和清晰度增強塊組成的管道來處理 HDR 圖像。

除了減輕圖像信號處理任務之外，將 ISP 集成到視覺處理器而不是傳感器中還具有限制相機中的功耗和熱量產生的優勢，這有助于提高圖像質量。該 ISP 功能強大，可以處理多達 8 個 1-MP 攝像頭，非常適合環視應用。

ISP 的目標是在將圖像傳遞給計算機視覺算法之前盡可能生成最高質量的圖像，以便后者可以更優化地執行。但即使圖像質量不理想，計算機視覺的最新發展也有助于減輕由惡劣操作環境引起的光學效應。

事實上，在過去十年中，人工智能技術深度學習已經能夠解決最具挑戰性的計算機視覺問題。但由于對計算能力的巨大需求，深度學習主要局限于云計算和數據中心行業。

研究人員一直專注于開發足夠輕的深度學習網絡，以在不損失質量的情況下在嵌入式系統上運行。為支持這一革命性技術，TI 創建了 TI 深度學習 (TIDL) 庫。TIDL 使用 Vision AcceleratorPac 實施，可以采用使用 Caffe 或 TensorFlow 框架設計的深度學習網絡，并在 2.5W 功率范圍內實時執行它們。語義分和單次檢測器是在 TDA2x 處理器上成功演示的網絡之一。

為了補充其視覺技術，TI 一直在加大力度開發針對高級駕駛輔助系統 (ADAS) 和自動駕駛市場量身定制的雷達技術。其中包括：

采用互補金屬氧化物半導體 (CMOS) 技術的汽車雷達毫米波 (mmWave) 傳感器。用于中遠程雷達的 AWR1xx 傳感器將射頻 (RF) 和具有數字控制能力的模擬功能集成到單個芯片中。在一個芯片中包含這些功能可將典型的雷達系統尺寸縮小 50%。此外，傳感器的較小外形尺寸需要較少的功率并且可以承受較高的環境溫度。

在 TDAx 處理器上運行的軟件開發套件實現了雷達信號處理鏈，可以處理多達四個雷達信號。雷達信號處理鏈包括二維快速傅里葉變換 (FFT)、峰值檢測和波束成形階段，可實現物體檢測。由于其高可配置性，雷達信號處理鏈可以支持不同的汽車應用，包括用于自適應巡航控制的長距離和用于停車輔助的短距離。

故障傳感器檢測和故障安全機制的重要性在朝著自動駕駛發展的世界中，故障傳感器甚至污垢可能會產生危及生命的后果，因為嘈雜的圖像會欺騙視覺算法并導致錯誤的分類?？赡軙雨P注開發可以檢測由故障傳感器產生的無效場景的算法。該系統可以實施故障安全機制，例如激活應急燈或逐漸停止汽車。

例如，TDAx 設備具有基于學習的算法，該算法使用來自 H3A 引擎的銳度統計數據來檢測障礙物。H3A 提供了逐塊的清晰度分數，從而為算法提供了精細的統計數據。

結論
為自動駕駛汽車設計汽車視覺系統的工程師面臨著許多挑戰，因為隨著每個級別的自主性對魯棒性的要求越來越高。幸運的是，可用于解決所有這些問題的工具數量一直在增長，傳感器技術、處理器架構和算法的不斷進步最終將催生自動駕駛汽車。

TI 提供一系列針對汽車市場的產品，包括其 TDAx 處理器系列、深度學習軟件庫和雷達傳感器。這些產品支持設計強大的前置攝像頭、后置攝像頭、環視、雷達和融合應用，這些應用是當今 ADAS 技術的基石，也是未來自動駕駛汽車的基礎。

審核編輯：郭婷