CEVA， Inc.推出的適用于人工智能和機器學習 （AI/ML） 推理工作負載的最新一代處理器架構 NeuPro-M。

NeuPro-M針對 Edge AI 和 Edge Compute 的廣闊市場， 是一個自包含的異構架構，由多個專用協處理器和可配置的硬件加速器組成，可無縫同時處理深度神經網絡的各種工作負載，將性能提升 5 -15X 與其前身相比。

作為業界首創，NeuPro-M 支持片上系統 （SoC） 和異構 SoC （HSoC） 可擴展性，可實現高達 1，200 TOPS，并提供可選的穩健安全啟動和端到端數據隱私。

NeuPro–M 兼容處理器最初包括以下預配置內核：

NPM11 – 單個 NeuPro-M 引擎，在 1.25GHz 時高達 20 TOPS

NPM18 – 8 個 NeuPro-M 引擎，在 1.25GHz 時高達 160 TOPS

據該公司稱，在處理 ResNet50 卷積神經網絡時，單個 NPM11 內核實現了 5 倍的性能提升和 6 倍的內存帶寬減少，從而實現了高達每瓦 24 TOPS 的合適功率效率。

NeuPro-M 能夠處理所有已知的神經網絡架構，以及對下一代網絡（如轉換器、3D 卷積、自注意力和所有類型的遞歸神經網絡）的集成原生支持。NeuPro-M 經過優化，可處理 250 多個神經網絡、450 多個 AI 內核和 50 多個算法。嵌入式矢量處理單元 （VPU） 確保基于未來的軟件支持新的神經網絡拓撲和 AI 工作負載的新進展。此外，CDNN 離線壓縮工具可以將 NeuPro-M 的 FPS/Watt 提高 5-10 倍，用于常見基準測試，而對準確性的影響最小。

NeuPro-M 異構架構由特定功能的協處理器和負載平衡機制組成，與前代產品相比，它們是性能和效率飛躍的主要貢獻者。通過將控制功能分配給本地控制器并以分層方式實現本地內存資源，NeuPro-M 實現了數據流的靈活性，可實現 90% 以上的利用率，并在任何給定時間防止不同協處理器和加速器的數據不足。 CDNN 框架通過實踐針對特定網絡、所需帶寬、可用內存和目標性能所采用的各種數據流方案來獲得最佳負載平衡。

NeuPro-M 架構亮點包括：

由 4K MAC（乘加）組成的主網格陣列，混合精度為 2-16 位。

用于權重和激活的 Winograd 變換引擎，將卷積時間減少 2 倍，并允許 8 位卷積處理，精度下降 《0.5%。

稀疏引擎可避免每層使用零值權重或激活的操作，從而獲得高達 4 倍的性能提升，同時降低內存帶寬和功耗。

完全可編程的向量處理單元，用于處理具有所有數據類型的新的不受支持的神經網絡架構，從 32 位浮點到 2 位二進制神經網絡 （BNN）。

可配置的權重和數據壓縮到 2 位，同時存儲到內存中，并在讀取時實時解壓縮，以減少內存帶寬。

動態配置的兩級存儲器架構可最大限度地減少因與外部 SDRAM 之間的數據傳輸而導致的功耗。

為了說明這些功能在 NeuPro-M 架構中的優勢，同時使用 Winograd 變換、稀疏引擎和低分辨率 4x4 位激活的正交機制，可將 Resnet50 等網絡的循環計數減少 3 倍以上和 Yolo V3。

由于神經網絡權重和偏差、數據集和網絡拓撲成為所有者的關鍵知識產權，因此需要保護它們免遭未經授權的使用。NeuPro-M 架構以可選的信任根、身份驗證和加密加速器的形式支持安全訪問。

對于汽車市場，NeuPro-M 內核及其 CEVA 深度神經網絡 （CDNN） 深度學習編譯器和軟件工具包符合汽車 ISO26262 ASIL-B 功能安全標準，并符合嚴格的質量保證標準 IATF16949 和 A-Spice。

結合 CEVA 的神經網絡編譯器 CDNN 及其強大的軟件開發環境，NeuPro-M 為客戶提供了一個完全可編程的硬件/軟件 AI 開發環境，以最大限度地提高他們的 AI 性能。CDNN 包含的軟件可以充分利用客戶的 NeuPro-M 定制硬件來優化功率、性能和帶寬。CDNN 軟件還包括一個內存管理器，用于減少內存和優化負載平衡算法，并廣泛支持各種網絡格式，包括 ONNX、Caffe、TensorFlow、TensorFlow Lite、Pytorch 等。CDNN 與常見的開源框架兼容，包括 Glow、tvm、Halide 和 TensorFlow，并在使用精度守恒方法的同時包括“層融合”和“訓練后量化”等模型優化功能。

NeuPro-M 可用于今天的主要客戶許可和今年第二季度的一般許可。NeuPro-M 客戶還可以從 CEVA 的異構 SoC 設計服務中受益，以幫助集成和支持系統設計和小芯片開發。

審核編輯：郭婷