NVIDIA 宣布與 Intrinsic.ai 就工業(yè)機器人任務的基礎技能模型學習展開合作。
工業(yè)制造中的許多拾取和放置問題仍然由人類操作員解決,為這些任務而編程機器人仍具有挑戰(zhàn)性。例如,在機器維護環(huán)境中,作為復雜的多步驟零件制造過程的一部分,協(xié)作機器人可以用來從料倉中挑選原材料零件,并將其送入數(shù)控機床或彎曲機。
這類機器人可以使用基礎模型進行編程,從而實現(xiàn)基礎模型在物體零件、機器人形態(tài)和現(xiàn)實世界的工業(yè)環(huán)境等方面顯著的通用性。
本文介紹了使用 NVIDIA Isaac Manipulator 生成抓取姿勢和機器人運動的工作流,首先在NVIDIA Isaac Sim中進行仿真,然后在現(xiàn)實世界中使用 Intrinsic Flowstate 執(zhí)行。
感知也是通過 Flowstate 完成的,在 Flowstate 中,我們使用對象姿態(tài)估計包來獲得雜亂場景中可抓取對象的位置和方向。
在本文中,我們在一個具有挑戰(zhàn)性的智能取放應用程序上演示了該系統(tǒng):一個機器人在雜亂的垃圾箱中抓取金屬零件,并以精確的放置姿勢將其區(qū)分。這些薄金屬片本身很難被感知,因為一般的深度相機難以處理鏡面,同時操作也有難度,因為需要使用吸盤夾具而不是手指。
用于抓取和運動生成的Isaac Manipulator
為了生成真空抓取的合成數(shù)據(jù),我們使用了金屬片和吸盤的 CAD 模型。在仿真過程中,我們針對每個物體嘗試數(shù)千種抓取方式,并找到最優(yōu)的解決方案。
良好的吸盤需要密封并避免金屬板上出現(xiàn)的孔洞,我們還想避免金屬板在運輸過程中的晃動,這也是在仿真中需要確保的。
圖 1. Isaac Sim 中的抓握示例
在生成了一組密集的抓取姿勢后,我們使用物體姿勢信息將其轉換為機器人框架。然后,我們使用CUDA 加速運動生成庫 NVIDIA cuMotion(由 cuRobo 提供支持)生成無碰撞軌跡,以移動機器人并實現(xiàn)其中一個目標抓取姿勢。
其中一些姿勢可能在運動學上無法實現(xiàn),或者可能會發(fā)生碰撞,cuRobo 在規(guī)劃軌跡時會對這兩種情況進行過濾。作為參考,cuRobo 可以在 NVIDIA RTX 40 系列顯卡上快速生成運動計劃,僅需 30 毫秒。
在 Isaac Sim 中進行評估
我們首先在 Isaac Sim 中評估了工作流。仿真機器人來自配備有吸盤的定制 Kuka K10 機械臂的 CAD 文件。物體被隨機定位,以仿真現(xiàn)實世界中的垃圾箱揀選場景。
我們沒有使用物體檢測器,而是直接從仿真器中獲取物體姿態(tài)信息。我們利用了有關物體類型的地面實況信息,根據(jù)物體的初始姿態(tài)確定最佳可觸及抓手。
利用 Intrinsic Flowstate在現(xiàn)實世界執(zhí)行
我們的工作流直接從仿真轉移到現(xiàn)實世界中的工作單元。實際的硬件設置包括一個外部校準的頂置多攝像頭系統(tǒng)和一個配備吸盤的 Kuka K10 機械臂。
使用 Intrinsic Flowstate 中的原生對象姿態(tài)估計包來檢測片狀金屬物體的位置。然后,使用 Isaac Manipulator 來計算對象的抓取位置,并計劃一個無碰撞的軌跡來執(zhí)行抓取任務。
最后,我們通過 Flowstate 中的位置控制器在機械臂上執(zhí)行該機器人軌跡。總的來說,在演示中實現(xiàn)了大約 8 秒/次拾取的循環(huán)時間。
展望未來
我們計劃將框架擴展到更高級的智能拾放功能,例如機器維修。在這個例子中,機器人必須將抓取的物體精確地放置在某個位置或固定裝置上,以便機器進行下游處理。
-
控制器
+關注
關注
112文章
16464瀏覽量
179612 -
NVIDIA
+關注
關注
14文章
5079瀏覽量
103822 -
仿真器
+關注
關注
14文章
1019瀏覽量
83960 -
工業(yè)機器人
+關注
關注
91文章
3376瀏覽量
92919
原文標題:利用 Intrinsic Flowstate 和 NVIDIA Isaac Manipulator 實現(xiàn)智能取放自動化
文章出處:【微信號:NVIDIA-Enterprise,微信公眾號:NVIDIA英偉達企業(yè)解決方案】歡迎添加關注!文章轉載請注明出處。
發(fā)布評論請先 登錄
相關推薦
NVIDIA發(fā)布Isaac GR00T Blueprint,加速人形機器人開發(fā)
NVIDIA發(fā)布人形機器人重磅更新!Isaac GR00T Blueprint厲害在哪?
![<b class='flag-5'>NVIDIA</b>發(fā)布人形<b class='flag-5'>機器人</b>重磅更新!<b class='flag-5'>Isaac</b> GR00T Blueprint厲害在哪?](https://file1.elecfans.com/web3/M00/05/2C/wKgZPGd90dqAdYoJAAJuo4H-Iao319.png)
堅米智能借助NVIDIA Isaac Lab加速四足機器人開發(fā)
利用NVIDIA Isaac平臺構建、設計并部署機器人應用
![利用<b class='flag-5'>NVIDIA</b> <b class='flag-5'>Isaac</b>平臺構建、設計并部署<b class='flag-5'>機器人</b>應用](https://file1.elecfans.com/web1/M00/F4/A6/wKgaoWcu2ouAB2K8AAAsLed0Jf8001.png)
NVIDIA助力Figure發(fā)布新一代對話式人形機器人
NVIDIA 加速人形機器人發(fā)展
![<b class='flag-5'>NVIDIA</b> 加速人形<b class='flag-5'>機器人</b>發(fā)展](https://file1.elecfans.com/web2/M00/00/37/wKgaomaoPuqAcTA9AAIqXxCBvhQ130.jpg)
逐際動力攜手英偉達Isaac平臺, 助力通用機器人研發(fā)
NVIDIA Isaac 機器人平臺利用最新的生成式 AI 和先進的仿真技術,加速 AI 機器人技術的發(fā)展
![<b class='flag-5'>NVIDIA</b> <b class='flag-5'>Isaac</b> <b class='flag-5'>機器人</b>平臺利用最新的<b class='flag-5'>生成</b>式 AI 和先進的仿真技術,加速 AI <b class='flag-5'>機器人</b>技術的發(fā)展](https://file1.elecfans.com//web2/M00/EC/89/wKgaomZe5cOAJ4oaAABqKAD4BXg456.png)
評論