如下介紹如何監(jiān)控 Rockchip 設(shè)備的 NPU 使用情況。

如今，新型設(shè)備開始配備內(nèi)置 AI 芯片。“AI 芯片”的正確技術(shù)術(shù)語是 NPU，即神經(jīng)處理單元。

如果您有板載 NPU，您可能想知道您的系統(tǒng)是否正在使用它。

在本教程中，我將分享如何監(jiān)控 Rockchip 處理器上的 NPU 使用情況。

這里討論的方法僅適用于 Rockchip 處理器中集成的 NPU。我使用帶有 RK3588 處理器的ArmSoM Sige7設(shè)備對其進行了測試。

你可以用以下命令檢查你的系統(tǒng)是否有 npu：

dmesg | grep -i npu

分析輸出以確定是否存在 NPU。

檢查 Rockchip NPU 利用率

值得慶幸的是，Rockchip 使用了debugfs功能。Debugfs 是一種特殊類型的虛擬文件系統(tǒng)，可以實時提供調(diào)試信息，類似于 proc 提供的信息。

可隨時提供 NPU 使用情況的文件是：

/sys/kernel/debug/rknpu/load

這是我在ArmSoM設(shè)備上運行它時顯示的內(nèi)容。它顯示了 NPU 所有三個核心的使用情況：

abhishek@armsom:~$ sudo cat /sys/kernel/debug/rknpu/load NPU load: Core0: 0%, Core1: 0%, Core2: 0%, abhishek@armsom:~$

如您所見，它僅提供當前的 NPU 使用情況并結(jié)束它。如果您想監(jiān)控 NPU 使用情況，這不是很有用。

另一種方法是將其與 watch 命令結(jié)合起來，該命令將每兩秒運行一次（默認）：

watch sudo cat /sys/kernel/debug/rknpu/load

這是我在本地運行利用 NPU 的 LLM 的屏幕截圖：

要停止正在運行的監(jiān)視命令，請按 Ctrl+C。

要實際查看 NPU 使用情況，您應該運行一個應該使用 NPU 的程序。否則，所有核心的使用率將始終為 0。

還有另一種監(jiān)控NPU使用情況的方法。我在用ezrknpu項目試驗使用Rockchip NPU運行LLM時發(fā)現(xiàn)了它。

該項目有一個ntop.sh 腳本，它以類似 top 命令的方式顯示 NPU 使用情況。這并不完全正確，因為 top 命令不會污染屏幕。另一方面，ntop.sh 腳本會用所有這些行充斥屏幕，并且在您按下 Ctrl+C 后它們不會消失。

腳本內(nèi)容如下：

#!/bin/bash # Title: ntop.sh # Author: Pelochus # Brief: A very basic 'top' style program that shows the status of the NPU in Rockchip's SoCs # Variables CLEAR="" # Parameters check if [[ $1 = '-h' ]] then echo echo "ntop Help" echo echo "-c: Clears output every refresh" echo "-h: Shows this help screen" echo echo "For more information visit https://github.com/Pelochus/ezrknpu" echo exit elif [[ $1 = '-c' ]] then CLEAR="clear" fi while true; do eval $CLEAR # If empty, will not clear cat /sys/kernel/debug/rknpu/load sleep 0.5 done

重點是最后的while循環(huán)，下面是使用該腳本檢查NPU使用情況的示例。

結(jié)論

如您所見，沒有標準的 top 類命令來顯示各個制造商的 NPU 使用情況。目前，我只有 Rockchip，所以我的探索有限，因此本教程僅限于 Rockchip NPU。如果我有機會接觸到更多這樣的硬件，我也會寫關(guān)于它們的文章。