借助 NVIDIA Omniverse 和 Isaac Sim，機器人終于有了能夠抓東西的手。

在過去幾年中，開發者一直在努力克服機器人抓取能力上的不足，使其能夠應用于這個市值數十億美元的產業。如果機器人能夠安全抓取和轉移傳送帶上快速移動的物品，那么它們在這些企業中的前景將非常廣闊。

馬薩諸塞州貝德福德市的初創企業 Soft Robotics 正在使用 NVIDIA Isaac Sim 幫助機器人抓取應用縮小在模擬環境與現實環境中的差距，其中的一個領域是完善待包裝食品的撿取和放置。

食品包裝和加工企業正在使用這家初創企業的 mGripAI 系統。這套系統結合了軟性抓取與 3D 視覺和人工智能（AI）技術，能夠在不破壞食品的情況下抓取蛋白質、農產品、烘焙食品等脆弱的食品。

Soft Robotics 軟件工程高級總監 David Weatherwax 表示：“我們銷售的是抓取解決方案中的‘手’、‘眼’和‘大腦’。”

Soft Robotics 表示，不同于其他已經采用機器人技術的行業，市值 8 萬億美元的食品市場在開發用于處理非結構化環境中的不同物品的機器人方面一直進展緩慢。

該公司成立于 2013 年，最近從 Tyson Ventures、Marel 和 Johnsonville Ventures 獲得了 2600 萬美元的 C 輪融資。

Tyson Foods、Johnsonville 等企業正在投資于機器人自動化技術來幫助提高其工廠的安全性和產量。這兩家公司都依賴 Soft Robotics 的技術。

使用合成數據訓練抓取

Soft Robotics 為公司的每個抓取應用開發了單獨的模型，每個模型都需要特定的數據集。對一堆濕滑的雞肉和其他食物進行揀選是一個非常棘手的挑戰。

通過 NVIDIA Omniverse 和 Isaac Sim，該公司可以為不同背景下的雞肉部位創建 3D 渲染圖，比如傳送帶上、箱子中以及各種照明場景中。

該公司使用 Isaac Replicator 開發合成數據，為每個模型生成數十萬張圖像并分發到云端的各種實例中。Isaac Replicator 是一套使用 Isaac Sim 生成合成數據的工具、API 和工作流程。

它還能運行姿勢估計模型，幫助抓取系統看到待抓取物品的角度。

憑借現場的 NVIDIA GPU，Soft Robotics 能夠使用這些食品加工廠每個應用所特有的模型在瞬間進行推理。同時，通過 Isaac Sim 中的模擬和訓練功能，加工廠還可以使用 NVIDIA GPU 擴大工作的規模。

Weatherwax 表示：“我們目前的設置全部是合成的，所以能夠快速部署新的應用。我們把寶都壓在了 Omniverse 和 Isaac Sim 上，并且效果非常好。”

解決遮擋和照明問題

為了了解不同雞肉塊在被倒成一堆時的堆疊和重疊方式，Soft Robotics 需要解決遮擋這個重大難題。Weatherwax 表示：“這些雞肉堆的形成方式可能相當復雜。”

濕雞肉上的反光可能會使檢測模型失效。“我們需要解決的另一個重大難題是照明，所以 NVIDIA RTX 驅動的光線追蹤十分重要。”

但真正重要的是為所有物品構建 3D 模型并在一瞬間找出堆中的哪件物品受阻最小，最容易被機器人抓手抓取和放置。

Omniverse 通過構建符合物理學的合成數據集使 Soft Robotics 能夠創造出這樣的環境。我們需要克服的一大挑戰是這些形狀各異的物體的堆積方式。

提高產線的抓取準確率

食品加工廠產線上的移動速度很快，但部署了特定應用模型的機器人每分鐘可進行多達 100 次抓取。

這種機器人目前仍在開發中，而這項工作的成敗取決于對物品堆的準確表述，同時訓練數據集需要涵蓋物品落入堆中的所有可能方式。

這個數據集是為了訓練機器人知道在一個復雜、不斷變化的環境中如何進行最佳的抓取。如果食品從傳送帶上掉下來或因其他原因而損壞，那就會造成浪費，直接影響到產量。

推動產量增長

肉類包裝公司在產線上加工雞肉。但與許多其他行業一樣，他們也面臨著員工短缺問題。Weatherwax 表示，一些正在建設新食品加工廠的企業甚至無法在剛開始生產時吸引到足夠的工人。

“這些企業遇到了很多人手方面的問題，這推動了自動化的趨勢。”

Omniverse 驅動的工作使食品加工企業的模擬能力提升了 10 倍以上，將 AI 抓取系統的部署時間從幾個月縮短到幾天。

這使 Soft Robotics 的客戶不但能夠部署自動化雞肉抓取線，還能夠應對沖擊許多行業的人手問題，尤其是受傷和健康風險較高的行業。

Weatherwax 表示：“機器人更適合處理生雞肉”。

審核編輯 ：李倩