據(jù)外媒VentureBeat報(bào)道，來(lái)自三星、麥吉爾大學(xué)和約克大學(xué)的研究人員，近日研發(fā)出一個(gè)全新的生成式多模態(tài)感知AI框架，能夠根據(jù)物體初始狀態(tài)的視覺(jué)和觸覺(jué)數(shù)據(jù)，來(lái)預(yù)測(cè)出物體的運(yùn)動(dòng)趨勢(shì)。

據(jù)悉，這是第一個(gè)利用視覺(jué)和觸覺(jué)感知來(lái)學(xué)習(xí)多模態(tài)動(dòng)力學(xué)模型的研究。

運(yùn)動(dòng)預(yù)測(cè)是自動(dòng)化領(lǐng)域的一大關(guān)鍵技術(shù)，通過(guò)預(yù)判物體和環(huán)境的交互方式，自動(dòng)化系統(tǒng)得以作出更加智能的決策。該團(tuán)隊(duì)的這項(xiàng)研究，似乎又將這一技術(shù)的應(yīng)用向前推進(jìn)了一步。

這篇論文名為《基于多模態(tài)的生成模型指導(dǎo)的直觀(guān)物理研究（Learning Intuitive Physics with Multimodal Generative Models）》，已發(fā)表于arXiv平臺(tái)。

論文鏈接：

https://arxiv.org/pdf/2101.04454.pdf

一、運(yùn)動(dòng)預(yù)測(cè)有挑戰(zhàn)：摩擦力、壓力難確定

假如你要接住一個(gè)掉落的物體，你會(huì)迅速判斷它的運(yùn)動(dòng)走向，然后準(zhǔn)確接住它。

但對(duì)于一個(gè)機(jī)器人來(lái)說(shuō)，要準(zhǔn)確預(yù)測(cè)出物體還未發(fā)生的運(yùn)動(dòng)趨勢(shì)，可不是一件容易的事。

近期，不少運(yùn)動(dòng)預(yù)測(cè)方面的AI研究，都指出了觸覺(jué)和視覺(jué)之間的協(xié)同作用。

其中，觸覺(jué)數(shù)據(jù)可以反映物體和環(huán)境間的作用力、由此產(chǎn)生的物體運(yùn)動(dòng)和環(huán)境接觸等關(guān)鍵信息，提供一種展現(xiàn)物體與環(huán)境交互過(guò)程的整體視角；視覺(jué)數(shù)據(jù)則可以直觀(guān)反映了立體形狀、位置等物體屬性。

在本文研究人員看來(lái)，視覺(jué)、觸覺(jué)信號(hào)的組合，或有助于推測(cè)出物體運(yùn)動(dòng)后的最終穩(wěn)定狀態(tài)。

研究人員在論文寫(xiě)道：“先前的研究表明，由于摩擦力、幾何特性、壓力分布存在不確定性，預(yù)測(cè)運(yùn)動(dòng)對(duì)象的軌跡具有挑戰(zhàn)性。”

比如推一個(gè)瓶子，如何準(zhǔn)確預(yù)測(cè)這個(gè)動(dòng)作的結(jié)果，接下來(lái)這個(gè)瓶子是會(huì)向前移動(dòng)，還是會(huì)翻倒？

▲《基于多模態(tài)的生成模型指導(dǎo)的直觀(guān)物理研究（Learning Intuitive Physics with Multimodal Generative Models）》論文插圖

為了減少這種不確定性，研究團(tuán)隊(duì)設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)由軟硬件組成的高質(zhì)量AI感知系統(tǒng)，經(jīng)訓(xùn)練后，該系統(tǒng)能捕獲到運(yùn)動(dòng)軌跡中最關(guān)鍵、最穩(wěn)定的元素，從而準(zhǔn)確測(cè)量和預(yù)測(cè)物體落在表面上的最終靜止?fàn)顟B(tài)。

二、開(kāi)發(fā)新型視覺(jué)觸覺(jué)傳感器，打造多模態(tài)感知系統(tǒng)

動(dòng)態(tài)預(yù)測(cè)常被表述為一個(gè)高分辨率的時(shí)間問(wèn)題，但在此項(xiàng)研究中，研究人員關(guān)注的是物體運(yùn)動(dòng)后的最終結(jié)果，而不是預(yù)測(cè)細(xì)粒度的物體運(yùn)動(dòng)軌跡。

研究人員認(rèn)為，關(guān)注未來(lái)關(guān)鍵時(shí)間的結(jié)果，有助于大大提高模型預(yù)測(cè)的準(zhǔn)確度和可靠性。

該研究團(tuán)隊(duì)開(kāi)發(fā)了一款名為“透視肌膚（STS，See-Through-Your-Skin）”的新型視覺(jué)-觸覺(jué)多模態(tài)傳感器，可以同時(shí)捕捉物體的視覺(jué)和觸覺(jué)特征數(shù)據(jù)，并重建在1640×1232的高分辨率圖像中。

由于光學(xué)觸覺(jué)傳感器通常使用不透明和反光的涂料涂層，研究人員開(kāi)發(fā)了一種具有可控透明度的薄膜，使得傳感器能同時(shí)采集關(guān)于物理交互的觸覺(jué)信息和傳感器外部世界的視覺(jué)信息。

具體而言，研究人員通過(guò)改變STS傳感器的內(nèi)部照明條件，來(lái)控制傳感器的觸覺(jué)和視覺(jué)測(cè)量的占空比，從而設(shè)置了反光涂料層的透明度。

如上圖左上角所示，利用內(nèi)部照明可將傳感器表面變成透明，從而使得傳感器內(nèi)置攝像頭能直接采集傳感器外部世界的圖像；上圖的左下角顯示，傳感器也可以保持內(nèi)外一致的亮度，通過(guò)感知膜形變來(lái)采集物理交互觸覺(jué)信息。

借助STS傳感器和PyBullet模擬器，研究人員在動(dòng)態(tài)場(chǎng)景中快速生成大量物體交互的視覺(jué)觸覺(jué)數(shù)據(jù)集，用于驗(yàn)證其感知系統(tǒng)的性能。

受多模態(tài)變分自編碼器（MVAE）啟發(fā)，研究團(tuán)隊(duì)設(shè)計(jì)了一個(gè)生成式多模態(tài)感知系統(tǒng)，在一個(gè)統(tǒng)一的MVAE框架內(nèi)集成了視覺(jué)、觸覺(jué)和3D Pose反饋。

MVAE可以解讀STS傳感器采集的視覺(jué)、觸覺(jué)數(shù)據(jù)，將所有模態(tài)的物體關(guān)鍵信息映射到一個(gè)共享的嵌入空間，用于推斷物體在運(yùn)動(dòng)后最終的穩(wěn)定狀態(tài)。

實(shí)驗(yàn)結(jié)果表明，MVAE架構(gòu)可以被訓(xùn)練用于預(yù)測(cè)多模態(tài)運(yùn)動(dòng)軌跡中最穩(wěn)定和信息最豐富的元素。

三、不懼單一模態(tài)信息缺失，準(zhǔn)確預(yù)測(cè)物體未來(lái)狀態(tài)

該研究團(tuán)隊(duì)生成的視覺(jué)觸覺(jué)數(shù)據(jù)庫(kù)主要包含三種動(dòng)態(tài)模擬場(chǎng)景，分別是物體在平面上自由落體、物體在斜面上下滑、物體在靜止?fàn)顟B(tài)下收到外力擾動(dòng)。

下圖顯示了模擬三種動(dòng)態(tài)場(chǎng)景的示例集，頂部一行顯示3D Pose視圖，中間一行、底部一行分別顯示STS傳感器采集的視覺(jué)和觸覺(jué)結(jié)果。

研究人員在三種模擬動(dòng)態(tài)場(chǎng)景和使用STS傳感器的真實(shí)實(shí)驗(yàn)場(chǎng)景中，分別驗(yàn)證了其動(dòng)力學(xué)模型的預(yù)測(cè)能力。

如下方圖表顯示，在三種模擬場(chǎng)景中的固定步和最終步預(yù)測(cè)中，相比僅依賴(lài)視覺(jué)（VAE-visual only）或僅依賴(lài)觸覺(jué)（VAE-tactile only）的單模態(tài)感知模型，多模態(tài)感知模型（MVAE）在驗(yàn)證集中的二進(jìn)制交叉熵誤差（BCE）均值更小，即預(yù)測(cè)結(jié)果的準(zhǔn)確性更高。

研究人員還用基于高時(shí)間分辨率的模型進(jìn)行對(duì)比實(shí)驗(yàn)，發(fā)現(xiàn)這一模型在預(yù)測(cè)物體最終靜止?fàn)顟B(tài)時(shí)，準(zhǔn)確性要高于動(dòng)態(tài)模型。這是由于不確定性和錯(cuò)誤會(huì)隨著時(shí)間前向傳播，導(dǎo)致模糊和不精確的預(yù)測(cè)。

結(jié)果表明，在對(duì)中間狀態(tài)不感興趣的動(dòng)態(tài)場(chǎng)景中，該AI框架能以更高的準(zhǔn)確度來(lái)預(yù)測(cè)最終結(jié)果，而無(wú)需明確推理中間步驟。

此外，由于該研究方法破譯了觸覺(jué)、視覺(jué)、物體姿態(tài)之間的映射關(guān)系，因此即便某一模態(tài)信息缺失，比如缺乏觸覺(jué)信息時(shí)，該框架仍然可以從視覺(jué)信息推測(cè)出視覺(jué)信息，從而預(yù)測(cè)物體運(yùn)動(dòng)后的最終落點(diǎn)。

結(jié)語(yǔ)：制造業(yè)自動(dòng)化將是運(yùn)動(dòng)預(yù)測(cè)的一大應(yīng)用場(chǎng)景

該研究團(tuán)隊(duì)的這項(xiàng)新成果能夠基于觸覺(jué)、視覺(jué)的雙模態(tài)數(shù)據(jù)對(duì)物體的運(yùn)動(dòng)軌跡進(jìn)行預(yù)判，并推測(cè)出物體的最終靜止?fàn)顟B(tài)。

相較于以往的運(yùn)動(dòng)預(yù)測(cè)技術(shù)，該研究團(tuán)隊(duì)實(shí)現(xiàn)了觸覺(jué)和視覺(jué)數(shù)據(jù)的雙向推測(cè)，為制造業(yè)的自動(dòng)化場(chǎng)景提供了更多的可能性。

比如，揀貨機(jī)器人能夠更準(zhǔn)確地判斷貨物的運(yùn)動(dòng)狀態(tài)，從而提高拾取精度；貨架機(jī)器人能夠提前預(yù)判貨物的運(yùn)動(dòng)軌跡，從而防止貨物跌落破損，減少損失。

不過(guò)，這項(xiàng)成果能夠預(yù)測(cè)的運(yùn)動(dòng)狀態(tài)還相對(duì)有限，我們期待研究團(tuán)隊(duì)對(duì)復(fù)雜的運(yùn)動(dòng)模式、多樣的物體形態(tài)進(jìn)行更多的模擬和技術(shù)攻關(guān)。

責(zé)任編輯：PSY