在使用 Jetson 模組等嵌入式系統時,必須根據功率分配和計算資源來優化應用。為避免性能以及熱節流問題,進行監控就顯得格外重要。
Jetson 模組自帶 GPU、CPU 和各種 AI 加速器,還配有高效率的功率管理集成電路(PMIC)、穩壓器和電源樹來進行功率效率優化。NVIDIA 提供多種工具和資源,幫助您充分利用功率架構并優化資源使用:
Jetson 的功率模式
每個 Jetson 模組都支持多種預配置功率模式,也能夠針對 10 瓦、15 瓦、30 瓦等特定功率進行預算優化。每種功率分配在資源利用上都有多種可用配置。
這些功率模式可通過 nvpmodel 進行設置,用戶可以選擇使用其中一種預配置模式,也可以創建符合自身需求的自定義功率模式。nvpmodel 配置支持特定頻率下一定數量的在線 GPU TPC、CPU、DLA 和 PVA 核,從而將模組控制在具體的功率分配范圍內。
MAXN 模式也是一種靈活的功率模式。它可以為各種處理器和引擎提供最大的核心數和時鐘頻率,然后對其進行調整,以創建可平衡性能和功耗的自定義功率模式。
功率、散熱和電氣管理功能
Jetson 提供各種功率、散熱和電氣管理功能:
-
時鐘門控
-
功率門控
-
動態電壓頻率調節
-
深度睡眠(SC7)模式
-
待機功率模式
了解更多信息,請查看 Jetson Linux 開發者指南:
https://docs.nvidia.com/jetson/archives/r35.4.1/DeveloperGuide/text/SD/PlatformPowerAndPerformance/JetsonOrinNanoSeriesJetsonOrinNxSeriesAndJetsonAgxOrinSeries.html#supported-modes-and-power-efficiency
Jetson Power GUI
NVIDIA 為 JetPack 提供了多種工具,來幫助用戶進行散熱和功率管理,比如作為 JetPack 視覺組成部分進行安裝的 Jetson Power GUI。
Jetson Power GUI 支持用戶對 Jetson 主板的功率和散熱狀態進行監測。用戶不僅可以通過主選項卡追蹤 CPU 和 GPU 的使用情況以及設備溫度,還可以通過實時監控功能,快速識別任何可能導致性能節流的性能瓶頸或過度功耗。
有了 Jetson Power GUI 的支持,用戶就可以通過調整功率模式來平衡性能與功耗?;谒褂玫?Jetson 主板,用戶可對預定義的功率模式進行選擇。

圖1:Jetson Power 的啟動頁面
Power GUI 工具能夠將與功率有關的信息記錄到特定時間段的日志文件中,有效幫助捕獲和分析特定任務或特定時間段內的行為。例如,捕獲 Jetson 啟動后最初 3 分鐘內的性能信息。

圖2:Power GUI 的日志文件示例
“plot graph…”按鈕具備數據可視化功能,支持用戶繪制實時功率相關信息的圖表。捕獲的日志文件也可用于繪制圖表,進而幫助用戶更加簡單、直觀地了解系統的運行情況。

圖3:圖表繪制通道選擇

圖4:Jetson Power GUI 中繪制圖表的示例
Tegrastats
Tegrastats 是 NVIDIA 的一款命令行實用工具,用于報告 Jetson 平臺的內存和處理器使用情況。該工具由 JetPack 提供,可在
Tegrastats 能夠提供有關 CPU、GPU 和內存等多個使用指標的洞察分析,完成功耗監控并實時更新功耗情況。這些指標對了解系統性能至關重要。
Tegrastats 還提供熱行為相關信息,比如 CPU 和 GPU 的工作溫度。這樣有助于預防熱節流。
使用方法
要在 Jetson 上使用 Tegrastats,請使用以下命令。
在前臺運行如下命令:
tegrastats—interval
在該命令中,
在后臺運行以下命令:
$ tegrastats —interval <int> -logfile <out_file> &
?
在該命令中,
下面是 Tegrastats 的輸出示例:
RAM 1545/31919MB (lfb 7400x4MB) SWAP 0/15959MB (cached 0MB) CPU
[0%@1190,0%@1190,0%@1190,0%@1190,0%@1190,0%@1190,0%@1190,0%@1190]
EMC_FREQ 1%@408 GR3D_FREQ 0%@318 VIC_FREQ 0%@115 APE 150 MTS fg 0% bg 0%
AO@38C GPU@39.5C Tdiode@43.25C PMIC@100C AUX@38.5C CPU@39.5C
thermal@38.8C Tboard@39C GPU 0/0 CPU 468/468 SOC 937/937 CV 0/0 VDDRQ
312/234 SYS5V 1458/1458
Tegrastats 還可集成到腳本或應用中,以獲取系統統計數據,從而實現更多的自動化方案。
JTOP(Jetson-stats)
JTOP 是一種監控 Jetson 資源的用戶友好型方式,能夠幫助用戶可視化地了解應用中遇見的各種瓶頸。例如,它可以顯示應用是否需要大量存儲操作,或者應用是否沒有使用 Jetson 模組中的硬件加速引擎。JTOP 通過這種方式能為 Jetson 模組優化出更加高效、精簡的應用。

圖5:JTOP 啟動屏幕
JTOP 專為監控和管理如下 NVIDIA Jetson 模組而設計:
-
NVIDIA Orin
-
NVIDIA Xavier
-
NVIDIA Nano
-
NVIDIA TX
JTOP 能實時更新系統性能相關信息,助力用戶分析 CPU 和 GPU 的使用情況、工作溫度、內存使用情況以及其他相關信息。
通過 JTOP 用戶可在 GUI 上訪問這些信息,以便更好地可視化,這種方式提供了一種便捷的系統指標和性能數據跟蹤方式,尤其是在運行繁重的 AI 工作時。
JTOP 還提供用于微調系統性能的功能。用戶可以為 Jetson 設備選擇運行時的功率模式,甚至可以控制風扇速度。優化系統性能和散熱正因此而受益。

圖6:JTOP 的內存監視器
功耗預算有限的同時還能最大化系統性能,JTOP 尤其適用于這種情況。請使用 pip 進行 JTOP 安裝:
$ sudo apt update
$ sudo apt-get install python3-pip
$ sudo pip install -u jetson-stats
使用 jtop 命令:
jtop
JTOP 工具還適用于 Python 庫,其中的 API 能夠讓用戶輕松地在腳本中加入 JTOP 函數。
from jtop import jtop
with jtop() as jetson:
while jetson.ok():
#read jetson stats
print(jetson.stats)
查看 JetsonHacks 提供的以下視頻,了解更多信息:
JTOP:您會使用 Jetson 專家所使用的工具嗎?
優化功率從今天開始
NVIDIA Jetson 平臺正在不斷提升機器人和邊緣 AI 的邊緣推理性能。對于大多數邊緣 AI 應用,功耗分配十分重要。使用 NVIDIA 工具就能夠監控系統性能,建立自定義功耗特性模型。
了解更多信息,請查看以下資源:
-
支持的模式和功率效率
https://docs.nvidia.com/jetson/archives/r35.4.1/DeveloperGuide/text/SD/PlatformPowerAndPerformance/JetsonOrinNanoSeriesJetsonOrinNxSeriesAndJetsonAgxOrinSeries.html%22%20/l%20%22supported-modes-and-power-efficiency
-
JTOP(jetson-stats) 用戶指南
https://rnext.it/jetson_stats/
-
故障排除(Jetson_stats)
https://rnext.it/jetson_stats/troubleshooting.html
-
/rbonghi/ros_jetson_statsGitHub 代碼庫
https://github.com/rbonghi/ros_jetson_stats
-
/NVIDIA-AI-IOT/ros2_jetson_stats GitHub 代碼庫
https://github.com/NVIDIA-AI-IOT/ros2_jetson_stats
通過使用本文中提到的所有工具,就可以為自己的應用輕松創建一個節能且具有更優性能的系統。
GTC 2024 將于 2024 年 3 月 18 至 21 日在美國加州圣何塞會議中心舉行,線上大會也將同期開放。點擊“閱讀原文”或掃描下方海報二維碼,關注更多會議及活動信息。
原文標題:使用 NVIDIA Jetson 優化功率
文章出處:【微信公眾號:NVIDIA英偉達】歡迎添加關注!文章轉載請注明出處。
-
英偉達
+關注
關注
22文章
3953瀏覽量
93785
原文標題:使用 NVIDIA Jetson 優化功率
文章出處:【微信號:NVIDIA_China,微信公眾號:NVIDIA英偉達】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
NVIDIA RTX AI加速FLUX.1 Kontext現已開放下載
歐洲借助NVIDIA Nemotron優化主權大語言模型
Made with KiCad(126):Antmicro OV5640 雙攝像頭子板
研華NVIDIA Jetson Orin Nano系統支持Super Mode

探索NVIDIA Jetson與DeepSeek融合的無限可能

云驥智行借助NVIDIA Jetson打造“域腦”通用計算平臺
NVIDIA發布小巧高性價比的Jetson Orin Nano Super開發者套件
u-blox深化與NVIDIA Jetson和NVIDIA DRIVE Hyperion平臺合作
解析NVIDIA JetPack 6.1的新功能

初創公司借助NVIDIA Metropolis和Jetson提高生產線效率
Made with KiCad(二):Jetson Origin Baseboard

使用NVIDIA Jetson打造機器人導盲犬
使用機器學習和NVIDIA Jetson邊緣AI和機器人平臺打造機器人導盲犬
NVIDIA JetPack 6.0版本的關鍵功能

AIBOX旗艦版:內置NVIDIA核心模組

評論