蘇州泛科特機器人公司 CTO & 知乎 UP 主袁博融碩士畢業于多特蒙德工業大學電氣工程與信息技術專業,深耕機器人及自動化等領域,同時也是 NVIDIA 的忠實用戶,在 Jetson 開發者突破百萬這一里程碑時刻,袁博融老師分享了他使用 NVIDIA Jetson 進行開發的故事與經驗。
初識 NVIDIA Jetson 平臺
袁博融老師是在碩士畢業前才接觸 NVIDIA Jetson 的。那時剛完成論文答辯,有了些空閑時間,便趁著教育優惠還沒到期入手了一套NVIDIA Jetson TX1。
袁博融老師表示一開始也沒有明確的開發目標,只是當一個和樹莓派差不多的實驗平臺進行操作。但使用下來,他發現 Jetson 的配置顯然比樹莓派好得多,有 GPU 和 CUDA,還有 Ubuntu 系統,可以做 ROS 開發。在這一使用階段,他在 Jetson 上面安裝了 Jupyter,主要是用 OpenAI Gym 跑強化學習,做 RealSense 相機的測試。那時候在 Jetson上裝 librealsense 還需要重新編譯內核,現在已經方便多了。在這塊板子上他學會了使用TensorRT,見識到了其在 AI 應用上的潛力。后來有了 TX2 和 Jetson Nano,這塊板子的使命就結束了。
NVIDIA 在 Jetson 系統上做了很長時間的積累。Jetson 所使用的 Tegra SoC,初代產品 Tegra APX 2500 在 2008 年就已經發布,甚至比 GeForce 100 系還早。而 Jetson 平臺的第一代產品 TK1 則在此 6 年之后才推出。他后來還收藏了搭載 Tegra K1 的 Yellowstone 平板,其性能不輸 Jetson Nano。
上圖是谷歌為 Tango 項目所開發的套件,發布于 2014 年。除了性能強大之外,它還搭載了 IMU,魚眼相機,以及基于結構光的深度相機。即便系統幾年前已不再更新,現在仍能在上面運行最新版的 RTAB-Map,可作為 VSLAM 開發的參考。Tango 項目實際只持續了 5 年,但極大促進了移動設備在環境感知、3D 重建、室內導航及增強現實等領域的技術發展,也為之后的 ARCore 奠定了基礎。
NVIDIA Jetson 平臺
成為機器人開發的好幫手
最近一兩年,袁老師和他的團隊的開發主要基于 Jetson Nano 和 Xavier NX,這兩款模塊具有較高的性價比與相互兼容的引腳設計。袁老師在知乎專欄中也和大家分享了一些有意思的應用,比如自制 3D 相機和運行 AI 圍棋,這些都得益于 Jetson 強大的通用算力。
另外由于其小尺寸低功耗和兼容引腳設計,甚至還能用來做一些更加不同尋常的應用。比如矽遞科技推出了 Jetson Mate 載板,可以同時搭載 4 塊 Jetson Nano 或 Xavier NX。于是他也使用 4 塊 Xavier NX 搭建了一臺 Jetson 集群,還在其中設法嵌入了一個小尺寸無線路由。借助這臺集群,可以方便地進行很多技術試驗,比如 K8S 和 MinIO,MPI 并行計算,還有 ROS2 的 DDS 通信測試。
作為機器人開發者,為了方便進行 SLAM 開發和測試,袁老師和他的團隊搭建了一套手持 SLAM 平臺。上面搭載了 Livox 激光雷達、GigE 相機、GNSS 模塊、電池和觸摸屏,使用Xavier NX作為主控。Xavier NX 不僅可以滿足整套 SLAM 系統的實時運算,還為傳感器提供了 PTP 同步服務。
袁老師及團隊還在開發一款使用 Xavier NX 作為主控的托盤搬運機器人。與眾不同的是,他們在這臺機器人上使用 DreamVu 的 PAL 全景深度相機作為主傳感器。值得一提的是,DreamVu 也是 NVIDIA 生態圈的合作伙伴之一。兩個團隊正在一起為托盤搬運機器人開發更好且更具性價比的感知方案。
使用單個 PAL 相機就能實現 360° 的水平感知與 110° 的垂直感知覆蓋,消除了所有盲區,這是其它傳感器所無法提供的。而其得以實現也離不開 NVIDIA Jetson 的算力支持。使用單塊 Xavier NX,就可以實時完成圖像矯正、深度估計、目標檢測,以及可通行區域檢測。
不可錯過的 NVIDIA Jetson 平臺
隨著更多的開發者加入,以及大家對 Jetson 平臺有了更深的了解,袁老師及團隊還將進一步挖掘其潛力。Jetson 最獨特的優勢在于提供了強大的通用算力。在機器人領域除了 AI 算法,還有很多算法可以并行化,這些都可以在 Jetson 上使用 GPU 或專有電路加速。NVIDIA 也提供Isaac平臺以方便進行機器人應用開發。當 Orin 平臺帶來更強算力后,機器人領域也可能出現新的技術革命,相信我們很快就能見證全新一代機器人的出現。
“作為一名早期開發者,很開心看到 Jetson 系列在這幾年內飛速發展,成為邊緣計算領域最具吸引力的平臺,讓開發者們的各種奇思妙想得以實現。”袁老師表達了自己對于 NVIDIA Jetson 平臺迅速發展的祝賀。
-
英偉達
+關注
關注
22文章
3854瀏覽量
92076
原文標題:Jetson 百萬開發者故事 | Jetson 開發者突破百萬,從 TK1 到 Orin 我都經歷了啥
文章出處:【微信號:NVIDIA_China,微信公眾號:NVIDIA英偉達】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
開發者的開源鴻蒙故事
《HarmonyOS第一課》煥新升級,賦能開發者快速掌握鴻蒙應用開發
我國軟件開發者數量突破940萬
NVIDIA Jetson Orin Nano開發者套件的新功能
![NVIDIA <b class='flag-5'>Jetson</b> <b class='flag-5'>Orin</b> Nano<b class='flag-5'>開發者</b>套件的新功能](https://file1.elecfans.com/web3/M00/03/74/wKgZO2do7ZWASUKUAAAnjLI0ezg086.png)
NVIDIA發布小巧高性價比的Jetson Orin Nano Super開發者套件
云端AI開發者工具怎么用
HarmonyOS NEXT應用元服務開發Intents Kit(意圖框架服務)事件推薦開發者測試
宣布 RISE RISC-V 開發者表彰試點計劃:賦能開發者拓展 RISC-V 影響力
![宣布 RISE RISC-V <b class='flag-5'>開發者</b>表彰試點計劃:賦能<b class='flag-5'>開發者</b>拓展 RISC-V 影響力](https://file1.elecfans.com/web2/M00/E5/D3/wKgaomZBeIyADEqiAACsZ19UYWk044.png)
KaihongOS 4.1.2開發者預覽版正式上線,誠邀開發者免費試用!
![KaihongOS 4.1.2<b class='flag-5'>開發者</b>預覽版正式上線,誠邀<b class='flag-5'>開發者</b>免費試用!](https://file.elecfans.com/web2/M00/35/6C/poYBAGIq5qqAQJzlAAA5OpNWiJA439.png)
KaihongOS 4.1.2開發者預覽版正式上線,誠邀開發者免費試用!
NVIDIA將全球數百萬開發者轉變為生成式 AI 開發者
NVIDIA NIM 革命性地改變模型部署,將全球數百萬開發者轉變為生成式 AI 開發者
![NVIDIA NIM 革命性地改變模型部署,將全球數<b class='flag-5'>百萬</b><b class='flag-5'>開發者</b>轉變為生成式 AI <b class='flag-5'>開發者</b>](https://file1.elecfans.com/web2/M00/EC/00/wKgaomZdGOCAJb99AAZyBqTeJb0068.png)
評論