在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

NVIDIA Isaac GR00T與Apple Vision Pro攜手探索人形機(jī)器人訓(xùn)練新途徑

麗臺科技 ? 來源:麗臺科技 ? 2025-02-10 11:32 ? 次閱讀

通用人形機(jī)器人旨在快速適應(yīng)現(xiàn)有的以人類為中心的城市和工業(yè)工作空間,處理繁瑣、重復(fù)或體力要求高的任務(wù)。這些移動機(jī)器人經(jīng)過設(shè)計(jì),能在以人類為中心的環(huán)境中有出色的表現(xiàn),從工廠車間到醫(yī)療保健機(jī)構(gòu),它們的價(jià)值日益凸顯。

模仿學(xué)習(xí)是機(jī)器人學(xué)習(xí)的一個(gè)子集,它能讓人形機(jī)器人通過觀察和模仿人類專家的示范來獲取新技能。在真實(shí)世界中收集這些廣泛、高質(zhì)量的數(shù)據(jù)集既繁瑣又耗時(shí),而且成本往往高得令人卻步。從物理精確的仿真環(huán)境中生成的合成數(shù)據(jù)有助于加快這一收集過程。

NVIDIA Isaac GR00T為人形機(jī)器人開發(fā)者提供機(jī)器人基礎(chǔ)模型、數(shù)據(jù)管線和仿真框架,有助于應(yīng)對人形機(jī)器人開發(fā)中所面對的這些挑戰(zhàn)。用于合成運(yùn)動生成的NVIDIA Isaac GR00T Blueprint是一個(gè)用于模仿學(xué)習(xí)的仿真工作流程,使開發(fā)者能夠從少量人類示范中生成數(shù)量呈指數(shù)級擴(kuò)增的數(shù)據(jù)集。

視頻 1.借助 NVIDIA Isaac GR00T 簡化數(shù)據(jù)收集

在本文中,我們將介紹如何通過 Apple Vision Pro 捕捉遠(yuǎn)程操作數(shù)據(jù),使用 NVIDIA Isaac GR00T 從少數(shù)人類示范中生成大量合成軌跡數(shù)據(jù)集,然后在Isaac Lab中訓(xùn)練機(jī)器人運(yùn)動策略模型。

合成運(yùn)動生成

該工作流的包括以下關(guān)鍵組成部分:

GR00T-Teleop

NVIDIA CloudXR:連接到 Apple Vision Pro 頭戴設(shè)備,使用專門為人形機(jī)器人遠(yuǎn)程操作設(shè)計(jì)的定制 CloudXR 運(yùn)行時(shí),實(shí)現(xiàn)動作的流暢傳輸 。

Isaac XR Teleop:將遠(yuǎn)程操作數(shù)據(jù)流式傳輸?shù)?strong>NVIDIA Isaac Sim或 Isaac Lab,作為 Apple Vision Pro 的參考應(yīng)用程序。

Isaac Lab:基于 Isaac Sim 的 Isaac Lab 是一個(gè)用于機(jī)器人學(xué)習(xí)的開源模塊化框架,使用這一框架,可以實(shí)現(xiàn)訓(xùn)練機(jī)器人策略。

GR00T-Mimic:通過少量人類示范生成大量合成運(yùn)動軌跡數(shù)據(jù)。

GR00T-Gen:通過隨機(jī)化場景中的背景、光照和其他變量來增加多樣性,并通過NVIDIA Cosmos對生成的圖像進(jìn)行放大處理。(在本文中,我們不會詳細(xì)介紹 GR00T-Gen。)

4dc50710-e743-11ef-9310-92fbcf53809c.png

圖 1.遠(yuǎn)程操作架構(gòu)

合成運(yùn)動生成管線是一個(gè)復(fù)雜的過程,旨在創(chuàng)建一個(gè)龐大且多樣化的數(shù)據(jù)集來訓(xùn)練機(jī)器人。

它從數(shù)據(jù)收集開始,在這個(gè)過程中,將使用像 Apple Vision Pro 這樣的高保真設(shè)備,在仿真環(huán)境中捕捉人類的動作和行為。Apple Vision Pro 將手部追蹤數(shù)據(jù)傳輸?shù)饺?Isaac Lab 的仿真平臺,同時(shí)仿真平臺將機(jī)器人環(huán)境的沉浸式視圖傳輸回該設(shè)備。這種設(shè)置使得機(jī)器人操作更加直觀和互動,有助于收集高質(zhì)量的遠(yuǎn)程操作數(shù)據(jù)。

4de4d9b4-e743-11ef-9310-92fbcf53809c.jpg

圖 2.準(zhǔn)備好通過 Apple Vision Pro 進(jìn)行遠(yuǎn)程操作的機(jī)器人

Isaac Lab 中的機(jī)器人仿真畫面被傳輸?shù)?Apple Vision Pro,讓您能夠可視化機(jī)器人的環(huán)境。通過移動手部,您可以直觀地控制機(jī)器人執(zhí)行各種任務(wù)。這種設(shè)置提供了沉浸式且互動的遠(yuǎn)程操作體驗(yàn)。

4df31d3a-e743-11ef-9310-92fbcf53809c.jpg

圖 3.Isaac Lab 中的遠(yuǎn)程操作

使用 GR00T-Mimic 生成合成軌跡

數(shù)據(jù)收集后,下一步是合成軌跡生成。使用 Isaac GR00T-Mimic 從少量人類示范中推算出大量合成運(yùn)動軌跡。

這個(gè)過程包括在示范中標(biāo)記關(guān)鍵點(diǎn),并使用插值法確保合成軌跡平滑且符合情境。然后對生成的數(shù)據(jù)進(jìn)行評估和優(yōu)化,以滿足訓(xùn)練所需的標(biāo)準(zhǔn)。

在這個(gè)示例中,我們成功生成了 1,000 條合成軌跡。

4dfdc604-e743-11ef-9310-92fbcf53809c.jpg

a.機(jī)器人

拿起輪子

4e0ee204-e743-11ef-9310-92fbcf53809c.jpg

b.機(jī)器人將輪子

移到托盤

4e22c3d2-e743-11ef-9310-92fbcf53809c.jpg

c.機(jī)器人將輪子

放到托盤上

圖 4.在 Isaac Lab 中生成的一組合成軌跡

在 Isaac Lab 中使用模仿學(xué)習(xí)進(jìn)行訓(xùn)練

最后,使用模仿學(xué)習(xí)技術(shù),利用合成數(shù)據(jù)集對機(jī)器人進(jìn)行訓(xùn)練。在這個(gè)階段,會訓(xùn)練一個(gè)策略,比如 Robomimic 套件的循環(huán)高斯混合模型(GMM),以模仿合成數(shù)據(jù)中的動作。

訓(xùn)練在比如 Isaac Lab 這樣的仿真環(huán)境中進(jìn)行,并且通過多次試驗(yàn)來評估訓(xùn)練后的策略的性能。這個(gè)管線顯著減少了開發(fā)和部署機(jī)器人系統(tǒng)所需的時(shí)間和資源,使其成為機(jī)器人領(lǐng)域的一個(gè)有價(jià)值的工具。

為了展示如何使用這些數(shù)據(jù),我們訓(xùn)練了一臺帶有夾爪的 Franka 機(jī)器人,在 Isaac Lab 中執(zhí)行堆疊任務(wù)。這個(gè)夾爪類似于人形機(jī)器人的“手”。

我們使用了來自 Robomimic 套件的帶有循環(huán) GMM 策略的行為克隆方法。該策略使用了兩個(gè)隱藏維度為 400 的長短期記憶(LSTM)層。

網(wǎng)絡(luò)的輸入包括機(jī)器人末端執(zhí)行器的位姿、夾爪狀態(tài)以及相對物體的位姿,而輸出是一個(gè)用于在 Isaac Lab 中驅(qū)動機(jī)器人的增量位姿動作。

使用由 1,000 次成功示范組成的數(shù)據(jù)集,并經(jīng)過 2,000 次迭代,我們實(shí)現(xiàn)了大約 50 次迭代 / 秒的訓(xùn)練速度(相當(dāng)于在 NVIDIA RTX GPU 上大約 0.5 小時(shí)的訓(xùn)練時(shí)間)。在 50 次實(shí)驗(yàn)的平均結(jié)果中,訓(xùn)練策略在堆疊任務(wù)中的成功率為 84%。

4e35a736-e743-11ef-9310-92fbcf53809c.gif

圖 5.在 Isaac Lab 中訓(xùn)練的夾爪

開始使用

在本文中,我們討論了通過 NVIDIA Isaac GR00T 生成合成軌跡數(shù)據(jù),加速推進(jìn)人形機(jī)器人運(yùn)動策略學(xué)習(xí):

https://developer.nvidia.cn/isaac/gr00t

GR00T-Teleop 堆棧目前還處于僅限受邀用戶訪問的階段。加入人形機(jī)器人開發(fā)者計(jì)劃,以便在該堆棧進(jìn)入測試版時(shí)獲取使用權(quán)限:

https://developer.nvidia.com/humanoid-robot-program

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報(bào)投訴
  • Apple
    +關(guān)注

    關(guān)注

    1

    文章

    933

    瀏覽量

    52979
  • NVIDIA
    +關(guān)注

    關(guān)注

    14

    文章

    5085

    瀏覽量

    103881
  • 人形機(jī)器人
    +關(guān)注

    關(guān)注

    3

    文章

    519

    瀏覽量

    16828

原文標(biāo)題:人形機(jī)器人訓(xùn)練新解:當(dāng) NVIDIA Isaac GR00T 遇上 Apple Vision Pro

文章出處:【微信號:Leadtek,微信公眾號:麗臺科技】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦

    NVIDIA發(fā)布Isaac GR00T Blueprint,加速人形機(jī)器人開發(fā)

    NVIDIA創(chuàng)始兼首席執(zhí)行官黃仁勛親自揭曉了NVIDIA Isaac GR00T Blueprint的發(fā)布。這一Blueprint旨在
    的頭像 發(fā)表于 01-13 11:01 ?429次閱讀

    NVIDIA推出Isaac GR00T Blueprint

    用于合成數(shù)據(jù)的 Isaac GR00T 工作流以及 NVIDIA Cosmos 世界基礎(chǔ)模型,為通用人形機(jī)器人的開發(fā)注入強(qiáng)大動力。
    的頭像 發(fā)表于 01-09 11:13 ?283次閱讀

    NVIDIA發(fā)布人形機(jī)器人重磅更新!Isaac GR00T Blueprint厲害在哪?

    電子發(fā)燒友網(wǎng)報(bào)道(文/吳子鵬)在備受矚目的CES 2025上,NVIDIA機(jī)器人領(lǐng)域宣布了重磅更新——Isaac GR00T Blueprint,幫助開發(fā)者更高效、高質(zhì)量地打造
    的頭像 發(fā)表于 01-08 18:14 ?3411次閱讀
    <b class='flag-5'>NVIDIA</b>發(fā)布<b class='flag-5'>人形</b><b class='flag-5'>機(jī)器人</b>重磅更新!<b class='flag-5'>Isaac</b> <b class='flag-5'>GR00T</b> Blueprint厲害在哪?

    物理仿真人形機(jī)器人的統(tǒng)一全身控制策略

    創(chuàng)建動作自然并對各種控制輸入做出智能響應(yīng)的交互式仿真人形機(jī)器人仍是計(jì)算機(jī)動畫和機(jī)器人技術(shù)領(lǐng)域最具挑戰(zhàn)性的問題之一。NVIDIA Isaac
    的頭像 發(fā)表于 01-06 12:31 ?281次閱讀
    物理仿真<b class='flag-5'>人形</b><b class='flag-5'>機(jī)器人</b>的統(tǒng)一全身控制策略

    借助NVIDIA Project GR00T加速人形機(jī)器人開發(fā)

    人形機(jī)器人是機(jī)電一體化、控制理論和 AI 交叉領(lǐng)域的一道綜合性難題。人形機(jī)器人的動力學(xué)和控制十分復(fù)雜,它們需要先進(jìn)的工具、技術(shù)和算法才能在移動和操作任務(wù)中保持平衡。由于
    的頭像 發(fā)表于 12-02 13:42 ?591次閱讀
    借助<b class='flag-5'>NVIDIA</b> Project <b class='flag-5'>GR00T</b>加速<b class='flag-5'>人形</b><b class='flag-5'>機(jī)器人</b>開發(fā)

    NVIDIA助力Figure發(fā)布新一代對話式人形機(jī)器人

    該初創(chuàng)公司展示了新型機(jī)器人,其使用 NVIDIA Isaac Sim 處理合成數(shù)據(jù),并使用基于 NVIDIA 加速計(jì)算進(jìn)行實(shí)時(shí)推理訓(xùn)練的生成
    的頭像 發(fā)表于 11-04 10:10 ?327次閱讀

    NVIDIA提供一套服務(wù)、模型以及計(jì)算平臺 加速人形機(jī)器人發(fā)展

    開發(fā)者可以訪問新的 NVIDIA NIM 微服務(wù),用于 Isaac Lab 和 Isaac Sim 中的機(jī)器人仿真、OSMO 機(jī)器人云計(jì)算編
    的頭像 發(fā)表于 07-31 10:41 ?811次閱讀

    NVIDIA 加速人形機(jī)器人發(fā)展

    ,以開發(fā)、訓(xùn)練和構(gòu)建下一代人形機(jī)器人。 ? 整套產(chǎn)品包括用于機(jī)器人仿真和學(xué)習(xí)的全新 NVIDIA NIM? 微服務(wù)和框架、用于運(yùn)行
    發(fā)表于 07-30 09:15 ?809次閱讀
    <b class='flag-5'>NVIDIA</b> 加速<b class='flag-5'>人形</b><b class='flag-5'>機(jī)器人</b>發(fā)展

    NVIDIA Isaac 機(jī)器人平臺利用最新的生成式 AI 和先進(jìn)的仿真技術(shù),加速 AI 機(jī)器人技術(shù)的發(fā)展

    觀眾展示了用于人形機(jī)器人學(xué)習(xí)的通用基礎(chǔ)模型 Project GR00T(代表通用機(jī)器人 00 技術(shù))。Project
    的頭像 發(fā)表于 06-04 18:00 ?7798次閱讀
    <b class='flag-5'>NVIDIA</b> <b class='flag-5'>Isaac</b> <b class='flag-5'>機(jī)器人</b>平臺利用最新的生成式 AI 和先進(jìn)的仿真技術(shù),加速 AI <b class='flag-5'>機(jī)器人</b>技術(shù)的發(fā)展

    透過NVIDIA GR00T模型和Jetson Thor芯片看人形機(jī)器人未來發(fā)展

    ,具身智能作為行業(yè)熱詞不脛而走,實(shí)際上NVIDIA等公司早就在這一領(lǐng)域開始了布局。 具身智能指機(jī)器人或智能系統(tǒng)能夠通過感知器和執(zhí)行器與其所處的環(huán)境進(jìn)行實(shí)時(shí)互動。從概念上說,具身智能的實(shí)例范圍很廣,包括機(jī)器人技術(shù)、自動駕駛汽車和聊
    的頭像 發(fā)表于 04-10 00:14 ?3755次閱讀
    透過<b class='flag-5'>NVIDIA</b> <b class='flag-5'>GR00T</b>模型和Jetson Thor芯片看<b class='flag-5'>人形</b><b class='flag-5'>機(jī)器人</b>未來發(fā)展

    NVIDIA入局人形機(jī)器人Isaac平臺迎來重要更新

    NVIDIA Isaac 機(jī)器人平臺利用最新的生成式 AI 和先進(jìn)的仿真技術(shù),加速 AI 機(jī)器人技術(shù)的發(fā)展。
    的頭像 發(fā)表于 03-26 09:07 ?1192次閱讀
    <b class='flag-5'>NVIDIA</b>入局<b class='flag-5'>人形</b><b class='flag-5'>機(jī)器人</b>!<b class='flag-5'>Isaac</b>平臺迎來重要更新

    英偉達(dá)發(fā)布人形機(jī)器人基礎(chǔ)模型

    英偉達(dá)在一年一度的GTC開發(fā)者大會上,由創(chuàng)始黃仁勛親自揭曉了令人矚目的Project GR00T人形機(jī)器人項(xiàng)目,其中引人注目的是一款全新的人形
    的頭像 發(fā)表于 03-21 11:43 ?866次閱讀

    機(jī)器人掀起2024開年融資熱潮,聯(lián)想入場投資多家公司,人形機(jī)器人要“爆”

    電子發(fā)燒友網(wǎng)報(bào)道(文/劉靜)近日,英偉達(dá)在一年一度的GTC大會上重磅推出了人形機(jī)器人通用基礎(chǔ)模型Project GR00T。相當(dāng)看好具身智能、人形機(jī)
    的頭像 發(fā)表于 03-21 00:34 ?3831次閱讀
    <b class='flag-5'>機(jī)器人</b>掀起2024開年融資熱潮,聯(lián)想入場投資多家公司,<b class='flag-5'>人形</b><b class='flag-5'>機(jī)器人</b>要“爆”

    NVIDIA發(fā)布一款人形機(jī)器人通用基礎(chǔ)模型—Project GR00T

    NVIDIA 于今日發(fā)布人形機(jī)器人通用基礎(chǔ)模型 Project GR00T,旨在進(jìn)一步推動其在機(jī)器人和具身智能方面的突破。
    的頭像 發(fā)表于 03-20 10:00 ?764次閱讀

    英偉達(dá)發(fā)布人形機(jī)器人通用模型與Isaac機(jī)器人計(jì)劃

    作為AI領(lǐng)域的硬件大佬,NVIDIA在推動機(jī)器人進(jìn)步方面一直積極行動。在此次召開的年度GTC開發(fā)者大會上,公司對外公布了通過Project GR0OT(Generalist Robot 00
    的頭像 發(fā)表于 03-19 15:57 ?744次閱讀
    主站蜘蛛池模板: 男女一进一出抽搐免费视频 | 亚洲啪啪看看 | 免费观看在线永久免费xx视频 | 亚洲国产精品久久久久婷婷老年 | 免费一级特黄特色大片在线 | 夜夜骑日日操 | 欧美不卡视频 | 中国性猛交xxxx乱大交 | 99九九成人免费视频精品 | 国产精品永久免费自在线观看 | 亚洲qingse中文字幕久久 | 天天干夜夜躁 | 亚洲在成人网在线看 | 亚洲综合视频一区 | 中文永久免费看电视网站入口 | 欧美一卡二三卡四卡不卡 | 久久久久久久国产免费看 | 91亚色视频 | 九草伊人 | 老司机狠狠k免费毛片 | 免费观看欧美成人1314色 | 欧美黄色录象 | 国产精品久久久久久久牛牛 | 在线观看免费视频片 | 欧美freesex交 | 日本视频不卡 | 国产在线视频你懂得 | 天天插天天爱 | 欧美xxxxxxxxx| 欧美日韩一区不卡 | 日韩精品卡4卡5卡6卡7卡 | 91极品女神嫩模在线播放 | aa视频在线观看 | 狠狠噜天天噜日日噜 | 性生生活三级视频在线观看 | 天堂网ww | 午夜美女视频在线观看高清 | 国产99久9在线视频 国产99久久九九精品免费 | 天天添天天干 | 好爽~~~~嗯~~~再快点明星 | 91色吧|