借助 NVIDIA Omniverse 和 Isaac Sim，機(jī)器人終于有了能夠抓東西的手。

在過(guò)去幾年中，開(kāi)發(fā)者一直在努力克服機(jī)器人抓取能力上的不足，使其能夠應(yīng)用于這個(gè)市值數(shù)十億美元的產(chǎn)業(yè)。如果機(jī)器人能夠安全抓取和轉(zhuǎn)移傳送帶上快速移動(dòng)的物品，那么它們?cè)谶@些企業(yè)中的前景將非常廣闊。

馬薩諸塞州貝德福德市的初創(chuàng)企業(yè) Soft Robotics 正在使用 NVIDIA Isaac Sim 幫助機(jī)器人抓取應(yīng)用縮小在模擬環(huán)境與現(xiàn)實(shí)環(huán)境中的差距，其中的一個(gè)領(lǐng)域是完善待包裝食品的撿取和放置。

食品包裝和加工企業(yè)正在使用這家初創(chuàng)企業(yè)的 mGripAI 系統(tǒng)。這套系統(tǒng)結(jié)合了軟性抓取與 3D 視覺(jué)和人工智能（AI）技術(shù)，能夠在不破壞食品的情況下抓取蛋白質(zhì)、農(nóng)產(chǎn)品、烘焙食品等脆弱的食品。

Soft Robotics 軟件工程高級(jí)總監(jiān) David Weatherwax 表示：“我們銷售的是抓取解決方案中的‘手’、‘眼’和‘大腦’。”

Soft Robotics 表示，不同于其他已經(jīng)采用機(jī)器人技術(shù)的行業(yè)，市值 8 萬(wàn)億美元的食品市場(chǎng)在開(kāi)發(fā)用于處理非結(jié)構(gòu)化環(huán)境中的不同物品的機(jī)器人方面一直進(jìn)展緩慢。

該公司成立于 2013 年，最近從 Tyson Ventures、Marel 和 Johnsonville Ventures 獲得了 2600 萬(wàn)美元的 C 輪融資。

Tyson Foods、Johnsonville 等企業(yè)正在投資于機(jī)器人自動(dòng)化技術(shù)來(lái)幫助提高其工廠的安全性和產(chǎn)量。這兩家公司都依賴 Soft Robotics 的技術(shù)。

使用合成數(shù)據(jù)訓(xùn)練抓取

Soft Robotics 為公司的每個(gè)抓取應(yīng)用開(kāi)發(fā)了單獨(dú)的模型，每個(gè)模型都需要特定的數(shù)據(jù)集。對(duì)一堆濕滑的雞肉和其他食物進(jìn)行揀選是一個(gè)非常棘手的挑戰(zhàn)。

通過(guò) NVIDIA Omniverse 和 Isaac Sim，該公司可以為不同背景下的雞肉部位創(chuàng)建 3D 渲染圖，比如傳送帶上、箱子中以及各種照明場(chǎng)景中。

該公司使用 Isaac Replicator 開(kāi)發(fā)合成數(shù)據(jù)，為每個(gè)模型生成數(shù)十萬(wàn)張圖像并分發(fā)到云端的各種實(shí)例中。Isaac Replicator 是一套使用 Isaac Sim 生成合成數(shù)據(jù)的工具、API 和工作流程。

它還能運(yùn)行姿勢(shì)估計(jì)模型，幫助抓取系統(tǒng)看到待抓取物品的角度。

憑借現(xiàn)場(chǎng)的 NVIDIA GPU，Soft Robotics 能夠使用這些食品加工廠每個(gè)應(yīng)用所特有的模型在瞬間進(jìn)行推理。同時(shí)，通過(guò) Isaac Sim 中的模擬和訓(xùn)練功能，加工廠還可以使用 NVIDIA GPU 擴(kuò)大工作的規(guī)模。

Weatherwax 表示：“我們目前的設(shè)置全部是合成的，所以能夠快速部署新的應(yīng)用。我們把寶都?jí)涸诹?Omniverse 和 Isaac Sim 上，并且效果非常好。”

解決遮擋和照明問(wèn)題

為了了解不同雞肉塊在被倒成一堆時(shí)的堆疊和重疊方式，Soft Robotics 需要解決遮擋這個(gè)重大難題。Weatherwax 表示：“這些雞肉堆的形成方式可能相當(dāng)復(fù)雜。”

濕雞肉上的反光可能會(huì)使檢測(cè)模型失效。“我們需要解決的另一個(gè)重大難題是照明，所以 NVIDIA RTX 驅(qū)動(dòng)的光線追蹤十分重要。”

但真正重要的是為所有物品構(gòu)建 3D 模型并在一瞬間找出堆中的哪件物品受阻最小，最容易被機(jī)器人抓手抓取和放置。

Omniverse 通過(guò)構(gòu)建符合物理學(xué)的合成數(shù)據(jù)集使 Soft Robotics 能夠創(chuàng)造出這樣的環(huán)境。我們需要克服的一大挑戰(zhàn)是這些形狀各異的物體的堆積方式。

提高產(chǎn)線的抓取準(zhǔn)確率

食品加工廠產(chǎn)線上的移動(dòng)速度很快，但部署了特定應(yīng)用模型的機(jī)器人每分鐘可進(jìn)行多達(dá) 100 次抓取。

這種機(jī)器人目前仍在開(kāi)發(fā)中，而這項(xiàng)工作的成敗取決于對(duì)物品堆的準(zhǔn)確表述，同時(shí)訓(xùn)練數(shù)據(jù)集需要涵蓋物品落入堆中的所有可能方式。

這個(gè)數(shù)據(jù)集是為了訓(xùn)練機(jī)器人知道在一個(gè)復(fù)雜、不斷變化的環(huán)境中如何進(jìn)行最佳的抓取。如果食品從傳送帶上掉下來(lái)或因其他原因而損壞，那就會(huì)造成浪費(fèi)，直接影響到產(chǎn)量。

推動(dòng)產(chǎn)量增長(zhǎng)

肉類包裝公司在產(chǎn)線上加工雞肉。但與許多其他行業(yè)一樣，他們也面臨著員工短缺問(wèn)題。Weatherwax 表示，一些正在建設(shè)新食品加工廠的企業(yè)甚至無(wú)法在剛開(kāi)始生產(chǎn)時(shí)吸引到足夠的工人。

“這些企業(yè)遇到了很多人手方面的問(wèn)題，這推動(dòng)了自動(dòng)化的趨勢(shì)。”

Omniverse 驅(qū)動(dòng)的工作使食品加工企業(yè)的模擬能力提升了 10 倍以上，將 AI 抓取系統(tǒng)的部署時(shí)間從幾個(gè)月縮短到幾天。

這使 Soft Robotics 的客戶不但能夠部署自動(dòng)化雞肉抓取線，還能夠應(yīng)對(duì)沖擊許多行業(yè)的人手問(wèn)題，尤其是受傷和健康風(fēng)險(xiǎn)較高的行業(yè)。

Weatherwax 表示：“機(jī)器人更適合處理生雞肉”。

審核編輯 ：李倩