如果在沒有嵌入式處理器供應商提供的合適工具和軟件的支持下，既想設計高能效的邊緣人工智能 （AI） 系統，同時又要加快產品上市時間，這項工作難免會冗長乏味。面臨的一系列挑戰包括選擇恰當的深度學習模型、針對性能和精度目標對模型進行訓練和優化，以及學習使用在嵌入式邊緣處理器上部署模型的專用工具。

從模型選擇到在處理器上部署，TI 可免費提供相關工具、軟件和服務，為您深度神經網絡 （DNN） 開發工作流程的每一步保駕護航。下面讓我們來了解如何不借助手動工具或手動編程來選擇模型、隨時隨地訓練模型并將其無縫部署到 TI 處理器上，從而實現硬件加速推理。

圖 1：邊緣 AI 應用的開發流程

第一步：選擇模型

邊緣 AI 系統開發的首要任務是選擇合適的 DNN 模型，同時要兼顧系統的性能、精度和功耗目標。GitHub 上的 TI 邊緣 AI Model Zoo 等工具可助您加速此流程。

Model Zoo 廣泛匯集了 TensorFlow、PyTorch 和 MXNet 框架中常用的開源深度學習模型。這些模型在公共數據集上經過預訓練和優化，可以在 TI 適用于邊緣 AI 的處理器上高效運行。TI 會定期使用開源社區中的新模型以及 TI 設計的模型對 Model Zoo 進行更新，為您提供性能和精度經過優化的廣泛模型選擇。

Model Zoo 囊括數百個模型，TI 模型選擇工具（如圖 2 所示）可以幫助您在不編寫任何代碼的情況下，通過查看和比較性能統計數據（如推理吞吐量、延遲、精度和雙倍數據速率帶寬），快速比較和找到適合您 AI 任務的模型。

圖 2：TI 模型選擇工具

第二步：訓練和優化模型

選擇模型后，下一步是在 TI 處理器上對其進行訓練或優化，以獲得出色的性能和精度。憑借我們的軟件架構和開發環境，您可隨時隨地訓練模型。

從 TI Model Zoo 中選擇模型時，借助訓練腳本可讓您在自定義數據集上為特定任務快速傳輸和訓練模型，而無需花費較長時間從頭開始訓練或使用手動工具。訓練腳本、框架擴展和量化感知培訓工具可幫助您優化自己的 DNN 模型。

第三步：評估模型性能

在開發邊緣 AI 應用之前，需要在實際硬件上評估模型性能。

TI 提供靈活的軟件架構和開發環境，您可以在 TensorFlow Lite、ONNX RunTime 或 TVM 和支持 Neo AI DLR 的 SageMaker Neo 運行環境引擎三者中選擇習慣的業界標準 Python 或 C++ 應用編程接口 （API），只需編寫幾行代碼，即可隨時隨地訓練自己的模型，并將模型編譯和部署到 TI 硬件上。在這些業界通用運行環境引擎的后端，我們的 TI 深度學習 （TIDL） 模型編譯和運行環境工具可讓您針對 TI 的硬件編譯模型，將編譯后的圖或子圖部署到深度學習硬件加速器上，并在無需任何手動工具的情況下實現卓越的處理器推理性能。

在編譯步驟中，訓練后量化工具可以自動將浮點模型轉換為定點模型。該工具可通過配置文件實現層級混合精度量化（8 位和 16 位），從而能夠足夠靈活地調整模型編譯，以獲得出色的性能和精度。

不同常用模型的運算方式各不相同。同樣位于 GitHub 上的 TI 邊緣 AI 基準工具可幫助您為 TI Model Zoo 中的模型無縫匹配 DNN 模型功能，并作為自定義模型的參考。

評估 TI 處理器模型性能的方式有兩種：TDA4VM 入門套件評估模塊 （EVM） 或 TI Edge AI Cloud，后者是一項免費在線服務，可支持遠程訪問 TDA4VM EVM，以評估深度學習推理性能。借助針對不同任務和運行時引擎組合的數個示例腳本，五分鐘之內便可在 TI 硬件上編程、部署和運行加速推理，同時收集基準測試數據。

第四步：部署邊緣 AI 應用程序

您可以使用開源 Linux? 和業界通用的 API 來將模型部署到 TI 硬件上。然而，將深度學習模型部署到硬件加速器上只是難題的冰山一角。

為幫助您快速構建高效的邊緣 AI 應用，TI 采用了 GStreamer 框架。借助在主機 Arm? 內核上運行的 GStreamer 插件，您可以自動將計算密集型任務的端到端信號鏈加速部署到硬件加速器和數字信號處理內核上。

圖 3 展示了適用于邊緣 AI 的 Linux Processor SDK 的軟件棧和組件。

圖 3：適用于邊緣 AI 的 Linux Processor SDK 組件

結語

如果您對本文中提及的工具感到陌生或有所擔憂，請放寬心，因為即使您想要開發和部署 AI 模型或構建 AI 應用，也不必成為 AI 專家。TI Edge AI Academy 能夠幫助您在自學、課堂環境中通過測驗學習 AI 基礎知識，并深入了解 AI 系統和軟件編程。實驗室提供了構建“Hello World” AI 應用的分步代碼，而帶有攝像頭捕獲和顯示功能的端到端高級應用使您能夠按照自己的節奏順利開發 AI 應用。