圖 1. DPU 選項(xiàng)

DPU 命名
DPU 名稱的不同字段用于表示不同的特征或作用，命名方案如下圖所示：

圖 2. DPU 命名方案

Zynq UltraScale+ MPSoC：DPUCZDX8G
DPUCZDX8G IP 針對(duì) Zynq UltraScale+ MPSoC 進(jìn)行了最優(yōu)化。您可將此 IP 作為塊集成到選定的 Zynq UltraScale+ MPSoC 的可編程邏輯 (PL) 中，并直接連接到處理器系統(tǒng) (PS)。DPU 可由用戶配置且包含多個(gè)參數(shù)，用戶可通過指定這些參數(shù)來對(duì) PL 資源進(jìn)行最優(yōu)化，或者也可以自定義啟用的功能。如要在自定義的 AI 工程或產(chǎn)品中集成 DPU，請(qǐng)?jiān)L問Vitis-AI/dsa/DPU-TRD at master · Xilinx/Vitis-AI · GitHub。

圖 3. DPUCZDX8G 架構(gòu)

Alveo U50LV/U55C 卡：DPUCAHX8H
賽靈思 DPUCAHX8H DPU 是專為卷積神經(jīng)網(wǎng)絡(luò)最優(yōu)化的可編程引擎，主要適用于高吞吐量應(yīng)用。本單元包含高性能調(diào)度器模塊、混合計(jì)算陣列模塊、指令提取單元模塊和全局存儲(chǔ)器池模塊。DPU 使用專用指令集，從而支持諸多卷積神經(jīng)網(wǎng)絡(luò)的有效實(shí)現(xiàn)。其中部署的一些卷積神經(jīng)網(wǎng)絡(luò)示例包括 VGG、ResNet、GoogLeNet、YOLO、SSD、MobileNet 和 FPN。 DPU IP 可實(shí)現(xiàn)到選定的 Alveo 開發(fā)板的 PL 中。DPU 需要通過指令才能為輸入圖像、臨時(shí)數(shù)據(jù)和輸出數(shù)據(jù)實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)和可訪問的存儲(chǔ)器位置。PL 上運(yùn)行的用戶定義單元也需要執(zhí)行必要的配置、注入指令、服務(wù)中斷和協(xié)調(diào)數(shù)據(jù)傳輸。 DPU 的頂層模塊框圖如下圖所示。

圖 4. DPUCAHX8H 頂層模塊框圖

Alveo U200/U250 卡：DPUCADF8H
DPUCADF8H 是專為 Alveo U200/U250 卡最優(yōu)化的 DPU，適用于高吞吐量應(yīng)用。DPUCADF8H 的關(guān)鍵特征如下：

以吞吐量為導(dǎo)向的高效計(jì)算引擎：根據(jù)不同工作負(fù)載，吞吐量可改善達(dá) 1.5~2.0 倍

廣泛的卷積神經(jīng)網(wǎng)絡(luò)支持

對(duì)剪枝卷積神經(jīng)網(wǎng)絡(luò)友好

專為高分辨率圖像而最優(yōu)化

頂層模塊框圖如下圖所示：

圖 5. DPUCADF8H 架構(gòu)

Versal AI Core 系列：DPUCVDX8G
DPUCVDX8G 是高性能通用 CNN 處理引擎，針對(duì) Versal AI Core 系列進(jìn)行了最優(yōu)化。相比傳統(tǒng) FPGA、CPU 和 GPU，Versal 器件可提供卓越的性能/功耗比。DPUCVDX8G 由 AI 引擎 和 PL 電路組成。此 IP 可由用戶配置且包含多個(gè)參數(shù)，用戶可通過指定這些參數(shù)來對(duì) AI 引擎和 PL 資源進(jìn)行最優(yōu)化，或者自定義功能。 DPUCVDX8G 的頂層模塊框圖如下圖所示。

圖 6. DPUCVDX8G 架構(gòu)

Versal AI Core 系列：DPUCVDX8H
DPUCVDX8H 是高性能、高吞吐量通用 CNN 處理引擎，針對(duì) Versal AI Core 系列進(jìn)行了最優(yōu)化。除了傳統(tǒng)程序邏輯之外，Versal 器件還集成了高性能 AI 引擎陣列、高帶寬 NoC、DDR/LPDDR 控制器和其它高速接口，與傳統(tǒng) FPGA、CPU 和 GPU 相比，可提供出色的性能功耗比。DPUCVDX8H 在 Versal 器件上實(shí)現(xiàn)，以便充分利用這些優(yōu)勢(shì)。您可通過配置參數(shù)來滿足您的數(shù)據(jù)中心應(yīng)用要求。 DPUCVDX8H 的頂層模塊框圖如下圖所示。

圖 7. DPUCVDX8H 模塊框圖

Vitis AI Model Zoo
Vitis AI Model Zoo 包含經(jīng)過最優(yōu)化的深度學(xué)習(xí)模型，可在賽靈思平臺(tái)上加速部署深度學(xué)習(xí)推斷。這些模型涵蓋了不同的應(yīng)用，包括 ADAS/AD、視頻監(jiān)控機(jī)器人學(xué)和數(shù)據(jù)中心等。您可從這些經(jīng)過預(yù)訓(xùn)練的模型開始著手，享受深度學(xué)習(xí)加速所帶來的諸多利益。 如需了解更多信息，請(qǐng)參閱 GitHub 上的Vitis AI Model Zoo。

圖 8. Vitis AI Model Zoo

Vitis AI 優(yōu)化器
借助世界領(lǐng)先的模型壓縮技術(shù)，您可在保證最低限度的精度降級(jí)的前提下，將模型復(fù)雜性降低 5 到 50 倍。如需了解有關(guān) Vitis AI 優(yōu)化器的信息，請(qǐng)參閱 Vitis AI 優(yōu)化器用戶指南(UG1333)。 Vitis AI 優(yōu)化器需商用許可證方可運(yùn)行。請(qǐng)與賽靈思銷售代表聯(lián)系以獲取更多信息。

圖 9. Vitis AI 優(yōu)化器

Vitis AI 量化器
通過將 32 位浮點(diǎn)權(quán)重和激活轉(zhuǎn)換為定點(diǎn)（如 INT8），Vitis AI 量化器可降低計(jì)算復(fù)雜性，而不會(huì)損失預(yù)測(cè)精度。定點(diǎn)網(wǎng)絡(luò)模型所需存儲(chǔ)器帶寬較少，因此相比浮點(diǎn)模型，速度更快且能效更高。

圖 10. Vitis AI 量化器

Vitis AI 編譯器
Vitis AI 編譯器可將 AI 模型映射到高效的指令集和數(shù)據(jù)流模型。它還可盡可能執(zhí)行復(fù)雜的最優(yōu)化操作，例如，層融合、指令調(diào)度和復(fù)用片上存儲(chǔ)器。

圖 11. Vitis AI 編譯器

Vitis AI Profiler
Vitis AI Profiler 可用于對(duì) AI 應(yīng)用進(jìn)行性能剖析和可視化，以在不同器件之間查找瓶頸并分配計(jì)算資源。它使用方便且無需更改任何代碼。它可追蹤函數(shù)調(diào)用和運(yùn)行時(shí)，也可收集硬件信息，包括 CPU、DPU 和存儲(chǔ)器利用率。

圖 12. Vitis AI Profiler

Vitis AI 庫
Vitis AI 庫是一組高層次庫和 API，專為利用 DPU 高效執(zhí)行 AI 推斷而構(gòu)建。它是基于 Vitis AI 運(yùn)行時(shí)利用 Vitis 運(yùn)行時(shí)統(tǒng)一 API 來構(gòu)建的，能夠?yàn)?XRT 提供完整支持。 Vitis AI 庫通過封裝諸多高效且高質(zhì)量的神經(jīng)網(wǎng)絡(luò)，提供易用且統(tǒng)一的接口。由此可簡(jiǎn)化深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的使用，對(duì)于不具備深度學(xué)習(xí)或 FPGA 知識(shí)的用戶也是如此。Vitis AI 庫使您能夠?qū)Ｗ⒂陂_發(fā)自己的應(yīng)用，而不是底層硬件。

圖 13. Vitis AI 庫

Vitis AI 運(yùn)行時(shí)
Vitis AI 運(yùn)行時(shí)支持應(yīng)用為云端和邊緣器件使用統(tǒng)一的高層次運(yùn)行時(shí) API，實(shí)現(xiàn)無縫高效的云端到邊緣部署。 AI 運(yùn)行時(shí) API 的功能如下所述：

向加速器異步提交作業(yè)

從加速器異步收集作業(yè)

C++ 和 Python 實(shí)現(xiàn)

支持多線程和多進(jìn)程執(zhí)行

Vitis AI 運(yùn)行時(shí) (VART) 是下一代運(yùn)行時(shí)，適合基于 DPUCZDX8G、DPUCADF8H、DPUCAHX8H、DPUCVDX8G 和 DPUCVDX8H 的器件。

DPUCZDX8G 用于邊緣器件，如 ZCU102 和 ZCU104 評(píng)估板以及 KV260 入門套件。

DPUCADX8G 和 DPUCADF8H 用于云端器件，例如 Alveo U200 和 U250 卡。

DPUCAHX8H 用于云端器件，例如 Alveo U50LV 和 U55C 卡。

DPUCVDX8G 用于 Versal 評(píng)估板，例如 VCK190 開發(fā)板。

DPUCVDX8H 用于 Versal ACAP VCK5000 開發(fā)板。

VART 框架如下圖所示。對(duì)于此 Vitis AI 版本，VART 基于 XRT。XIR 對(duì)應(yīng)賽靈思中間表示形式 (Xilinx Intermediate Representation)。

圖 14. VART 棧

文章來源：芯選


審核編輯：湯梓紅