推動傳感器融合需求的主要趨勢

傳感器融合智能移動設備、自動駕駛、智能家居設備、工業控制和機器人等應用中具有很多優勢。

傳感器融合是指組合來自多個傳感器的數據，以獲得更為完整和準確的結果。通過使用由多個感測裝置提供的信息，可以實現更好的環境感知。人體是傳感器融合的一個最好例證，人通過組合從各種“傳感器”（眼睛、耳朵、鼻子、舌頭、皮膚）中收集的信息，來了解我們周圍的環境，從而決定如何應對各種情況。因此，傳感器融合和人工智能 (AI) 很自然地同時成為了關鍵趨勢。

傳感器融合成功有三個要求：傳感器的小型化、從傳感器產生的數據流中提取相關信息的復雜算法，以及在可用功耗和成本預算內提供執行算法所需性能的 SoC。

為了讓尺寸更小，同時成本更低，以適用于大規模應用，傳感器通常通過微機電系統 (MEMS) 來實現。因此，在許多消費設備中，都可以看到加速度計、陀螺儀、磁力計等MEMS傳感器，以及攝像頭和麥克風的身影。雷達傳感器很快就會亮相于眾多的消費類設備，從而以超低功耗預算實現手勢控制。雷達，當然還有攝像頭，是當今汽車應用中頗為成熟的傳感器，其數量逐代增加，而 LiDAR 有望在下一代先進駕駛輔助系統 (ADAS) 中實現應用。需要多個不同的傳感器才能獲得完整準確的結果。

人體中的每個“傳感器”具有互補優勢并提供獨特的信息，而嵌入式系統中的傳感器也必須如此。以 ADAS 為例，雷達在不同光線和天氣條件下性能穩健，LiDAR 可提供具有良好視角分辨率的廣闊視野，而基于攝像頭的視覺功能則可對物體實現快速準確的分類（圖 1）。

圖 1：ADAS 系統中的多個不同傳感器

復雜的算法主要有兩個功能， (1) 從傳感器信號中提取信息，(2) 組合來自不同傳感器流的信息。根據應用的不同，性能要求會大不相同，算法的復雜程度可能也會有很大差異。只有當檢測到某個語音命令時，始終在線的智能家居設備才會醒來，但 ADAS 系統必須持續監控其環境。

復雜的算法需要能夠提供執行算法所需性能的 SoC。與任何設計一樣，它需要滿足可用功耗和面積的限制，因為這將在很大程度上影響總體盈利能力。散熱和有限的電池容量是兩個主要驅動因素，具體情況視應用而定。理想情況下，這類 SoC 完全可編程，以實現最大的靈活性。算法在產品的生命周期內可能發生演進，傳感器在其生命周期內可能需要不同的校準，而且非常希望在可通過軟件進行區分的情況下，對產品的多個版本使用相同的 Soc。

讓我們看看幾個應用示例。目前，任何一款手機中可能都安裝有計步器。它包含多個傳感器，例如加速度計、陀螺儀、磁力計，有時還有壓力和溫度傳感器（用于海拔跟蹤）。這些傳感器的生產成本相對低廉，而且生成的信息流是恒定的。需要 10-50 MIPS 來處理數據，并將其合并為有意義的輸出，此類融合信息通過小型 MCU 處理即可。

對于始終在線的智能家居設備，用戶可能還會看到麥克風、攝像頭和雷達的組合。這些設備可以在檢測到用戶存在時與用戶進行智能交互，然后響應命令。“智能”傳感器將用于限制功耗，例如僅在檢測到某個面部（簡單算法、低性能要求）之后，才進行啟動面部識別（復雜算法、高性能要求）。計算要求會隨著時間的推移而出現巨大的差異。該系統必須在有需要時提供峰值性能，但需要動態地管理計算資源及其消耗的功率。隨著來自視覺、語音和雷達傳感器的數據量增加，處理數據需要數十億次操作/秒 (GOPS)。

高效實現傳感器融合所需的關鍵特性

如前所述，傳感器融合包含兩個主要階段：(1) 提取信息，(2) 結合信息以得出結果。這在圖 2 中加以說明。

圖 2：傳感器融合處理鏈

第 1 階段也可以稱為傳感器融合的前端。根據傳感器和相關的信息，應用不同的數字信號處理算法。對于語音，這可能是計算梅爾頻率倒譜系數 (MFCC)，其應用傅里葉變換和其它各種 DSP 操作從語音信號提取頻譜特征。數據將以整數格式，很可能以 16 比特表示。

對于攝像頭，它是具有圖像縮放、色彩空間轉換、過濾或特征檢測等功能的圖像信號處理。此處數據表示為像素，數據格式為 8 比特，最多 16 比特。 最后，對于雷達，此類前端處理包括范圍和速度 FFT 以及用于閾值的恒定虛警率 (CFAR)。由于動態范圍和精度要求，數據類型為半精度或全精度浮點。 第二階段是信息結合（后端處理）。要使用的算法與應用息息相關。任務可以包括對象檢測、識別、跟蹤以及預測，例如，使用卡爾曼濾波的遞歸估計器。可以應用基于 AI 的機器學習算法以及線性代數操作。當然，數據類型將非常依賴于算法。

由于這些特定但不同的要求，傳感器融合需要一款滿足下列關鍵要求的數字信號處理器 (DSP)。

多功能性

算法和數據類型在很大程度上取決于應用。因此，DSP 架構必須支持豐富的指令集，以便高效實現不同的算法，并特別關注 FFT 或線性代數等性能關鍵型操作。DSP 必須支持不同精度的整數和浮點數據類型。

這種 DSP 需要成為合格的靈活計算資源，這意味著它需要能夠執行通常與 DSP 相關聯的“經典”過濾操作，以及機器學習和計算機視覺算法。

可擴展性

為了避免一次性投資，可擴展性是關鍵。雖然對不同傳感器的要求不同，但對于不同設計的所有信號處理要求，非常希望使用相同的基準架構，以限制系統集成工作，并最大限度地提高整體軟件開發效率。可擴展性讓設計師能夠選擇配置，從而為目標應用提供最佳 PPA。

可擴展性不僅僅關乎硬件。針對特定架構進行內核優化，是軟件方面的一項重大投入。重要的是，此類軟件可以在這些 SoC 上重復使用，從而能夠重復使用不同版本的 SoC（例如低端/中端/高端版本）。

PPA 優化

就性能/功耗/面積而言，有諸多方面可進行優化。從性能開始，它關乎核心本身的循環效率（即執行特定功能所需的循環次數），以及可用的處理引擎和能夠利用這些引擎的 ISA。這直接關系到對數據移動的有效支持，與數據處理并行，然后連接到一組豐富（最好是可配置的）接口，例如，將加速器和外圍設備直接連接到核心，而不通過系統存儲器。

DSP 的最大時鐘頻率體現出另一方面的性能。它決定 DSP 可以提供多少馬力（以每秒周期為單位），但也影響物理 SoC 設計中時序收斂所需的工作量。 低功耗與性能效率以及僅在需要時喚醒某些內核的選項直接相關（如智能家居應用中所述：等待喚醒信息）。 最后，小面積對成本以及漏電有直接影響。

高效的軟件開發

軟件開發必須高效，因為對于幾乎所有項目來說，大筆的投資（以及相關人員）都耗費在了軟件開發和測試上。這需要一個具有優化編譯器的高級編程模型，以及一組豐富的庫，其中包含用于濾波、轉換（例如 FFT）、矢量數學、線性代數和機器學習的現成優化內核。當然，還需要驅動程序、DMA 處理程序、中斷處理程序等低級模塊。隨著對軟件的大量投資，務必要讓此類軟件可移植到廣泛的體系架構選項中，例如，支持不同的向量長度，無需重新編碼。

DesignWare? ARC? VPX DSP IP助力傳感器融合

VPX DSP IP 是 在VLIW/SIMD 處理器系列中，適用于從永遠在線設備到汽車 ADAS ，再到視覺、機器學習和高性能計算等廣泛的信號處理應用。圖 3 提供了概述。

圖 3：DesignWare ARC VPX DSP IP 塊狀圖

VPX 系列非常適合傳感器融合要求，因為它可提供可擴展性和多功能性，以實現最佳的 PPA 和軟件開發效率，從而提高整體生產效率。

所有 VPX 系列產品均基于相同的 VLIW/SIMD 架構。現實中，設計人員常會遇到，在選擇了某個向量長度后，卻發現 PPA 的要求需要不同配置的情況。而在VPX系列產品中，客戶可以根據自己的需求擴展解決方案，從 128 位到 512 位的不同矢量長度中進行自由選擇，非常方便。得益于可變矢量長度 (VLA) 編程模型，代碼可以在VPX系列之間遷移，因此執行起來非常容易。VLA 編程可確保軟件投資的安全性，既可為當前項目提供靈活性，又可為未來項目提供可重用性。除矢量長度外，客戶可以從單核、雙核或四核配置中進行選擇，多核配置已預先集成并準備好用于緩存一致性和共享的多通道 DMA。

除了不同的矢量長度外，每個 VPX 內核都高度可配置，從而可定制架構以獲得最佳性能，同時擁有最小的面積。以不需要浮點、但極其受限于面積和功率的應用為例：使用 ARChitect 配置工具，用戶可以選擇不包括（標量和最多兩個矢量）浮點單元。此可選單元的另一實例是專用矢量數學單元，用于非常高效地執行例如 sin(x)、cos(x)、2^x、div、sqrt、1/sqrt、log_2(x) 等操作。 如上文所解釋，依傳感器和應用于傳感器數據的算法而定，需要不同的數據類型。VPX 支持的數據類型范圍廣泛，從浮點到覆蓋應用（如高分辨率雷達）所需的動態范圍，再到用于 AI 應用的小規模整數類型。

VPX 指令集架構 (ISA) 已調整為高效執行關鍵信號處理內核，例如 FFT 或矩陣操作。以 FFT 操作為例，通過矢量負載/雙倍存儲（指從內存傳輸數據達矢量長度的兩倍）和專用 FFT 指令相結合，可以在軟件中執行所有 FFT 操作，甚至對于多傳感器雷達場景也不例外。這避免了采用專用硬件加速器而帶來的成本開支，也因而實現了功率和面積的節省。

ISA 和微架構（即實施不同功能單元的方式）是實現最佳 PPA 的關鍵要素。但是，需要一個軟件開發環境來釋放硬件的功能。VPX 配有 MetaWare 工具套件，其包括優化 C/C++ 編譯器、模擬工具和復雜的調試環境。它包括一組豐富的庫，可為信號處理、線性代數和機器學習提供優化的內核。這些內核是以與矢量長度無關的方式編寫的，因此代碼在 VPX 系列產品中都保持便攜。為了支持對 AI 日益增長的需求，MetaWare 還提供 NN SDK 和先進的圖形映射工具（支持 TensorFlow、Caffe、ONNX）。

圖 4：隨 MetaWare 一起提供的庫，針對 VPX 進行了優化

VPX 系列包括為功能安全 (FuSa) 認證量身定制的 VPXxFS 變體（VPX2FS、VPX3FS 和 VPX5FS）。這些核心滿足隨機故障檢測和系統功能安全開發流程要求，完全符合 ASIL D ISO 26262 合規性。VPXxFS DSP 集成了硬件安全功能，例如存儲器和接口的 ECC 保護、安全監測器和鎖步機制。一套全面的安全文檔可幫助汽車設計師獲得 ISO 26262 功能安全認證。此外，VPXxFS DSP 還提供“混合”選項，使用戶可以在硅后軟件中選擇高達 ASIL D 的安全級別。

總結

傳感器融合是一個快速增長的市場，已進入幾乎任何應用領域。得益于低成本傳感器的可用性，以及先進的算法，它可以在不同市場實現新的用戶體驗，包括智能移動設備、汽車、健康或工業控制。傳感器融合導致不同的信號處理工作負載，因為不同的傳感器需要不同的數據類型來表示數據，并且需要不同的 DSP 算法來提取與實際融合過程相關的信息。融合過程（即組合各種傳感器信息流并從中產生有意義的決策）在很大程度上是特定于應用程序的。要處理這些不同的工作負載，需要一個可擴展的處理器來處理不同的數據格式和性能要求，并且需要通用和可配置的架構，包括儲存器和接口，以滿足 PPA 要求。DesignWare ARC VPX IP 系列是傳感器融合應用的理想解決方案：其矢量長度為 128 位、256 位或 512 位，可滿足各種信號處理工作負載的需求。憑借定制的指令集和專用的數學硬件引擎，它可通過無與倫比的 PPA 提供卓越的循環效率。其可變矢量長度編程模型可確保軟件可在 VPX 系列的所有產品之間重復使用，從而保護這一重大投資。