本期為大家分享一篇關(guān)于基于視觸覺傳感器下力動(dòng)態(tài)估計(jì)的一篇文章——Dynamic-Vision-Based Force Measurements Using Convolutional Recurrent Neural Networks。

在機(jī)器人執(zhí)行抓取動(dòng)作時(shí)，接觸力的大小與接觸位置對(duì)抓取成功有至關(guān)重要的影響，文章研究團(tuán)隊(duì)在以往研究基礎(chǔ)上提出了一種使用三種不同結(jié)構(gòu)的LSTM神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對(duì)觸覺力進(jìn)行動(dòng)態(tài)重建的方法，傳感器能夠在10ms延遲下連續(xù)測(cè)量從抓取開始到物體釋放的力，測(cè)量接觸力不受物體尺寸的影響。

與傳統(tǒng)相機(jī)不同，神經(jīng)擬態(tài)視覺傳感器沒(méi)有 “幀” 的概念，文中使用的DVS攝像機(jī)尺寸為40× 60×25毫米。當(dāng)現(xiàn)實(shí)場(chǎng)景中發(fā)生變化時(shí)，神經(jīng)擬態(tài)視覺傳感器會(huì)產(chǎn)生一些像素級(jí)的輸出（即事件），一個(gè)事件具體包括（t， x， y， p），這里的 x， y 為事件在2D空間的像素坐標(biāo)，t為事件的時(shí)間戳，p為事件的極性。事件的極性代表場(chǎng)景的亮度變化： 上升（1）（positive） or 下降 （0）（negative）。DVS相機(jī)對(duì)觸覺層進(jìn)行圖像采集后，將事件集預(yù)處理后送入神經(jīng)網(wǎng)絡(luò)中，通過(guò)再經(jīng)由Dense Layers處理后對(duì)力進(jìn)行動(dòng)態(tài)大小估計(jì)。

DVS相機(jī)在捕捉觸覺傳感層變化時(shí)，需要對(duì)每個(gè)像素的前序列對(duì)力進(jìn)行測(cè)量與每個(gè)幀處的觸發(fā)事件相關(guān)聯(lián)。為了解決RNN訓(xùn)練時(shí)的梯度問(wèn)題，文章引入了LSTM和選通遞歸單元（GRU）來(lái)控制內(nèi)存狀態(tài)，通過(guò)將LSTM層與卷積層和密集層相結(jié)合來(lái)估計(jì)接觸力，對(duì)LSTM、Convolutional LSTM （Conv-LSTM）、CNN-LSTM三種結(jié)構(gòu)。在CNN-LSTM結(jié)構(gòu)中，卷積運(yùn)算應(yīng)用于幀，以將特征提取到1D向量中，該向量后跟LSTM單元，以隨時(shí)間對(duì)提取的特征進(jìn)行建模。Conv-LSTM則是在LSTM門內(nèi)進(jìn)行卷積運(yùn)算，保持輸入的二維維度，以捕獲構(gòu)造幀的空間和時(shí)間信息。

隨后通過(guò)實(shí)驗(yàn)對(duì)數(shù)據(jù)進(jìn)行收集，實(shí)驗(yàn)裝置包括一個(gè)ATI F/T傳感器、一個(gè)DVS相機(jī)傳感器和一個(gè)透明3D打印平面（靜態(tài)平面），該平面由硅膠覆蓋。硅膠材料具有約0.5mm厚度的50肖氏硬度，夾持器的右平面保持靜止，而左平面（動(dòng)態(tài)平面）移動(dòng)以對(duì)硅膠層施加壓力。

由于硅膠的彈性、控制器延遲和測(cè)量不確定性，接觸力值和實(shí)驗(yàn)持續(xù)時(shí)間略有不同。由于傳感器連續(xù)計(jì)算接觸力，每個(gè)實(shí)驗(yàn)分為抓取、保持和釋放階段，并研究每個(gè)階段的傳感器性能（圖2b）。為了評(píng)估傳感器性能，MSE基于力傳感器測(cè)量值和預(yù)測(cè)值之間的差異計(jì)算。在尺寸為8 mm、12 mm和16 mm的三個(gè)螺栓上進(jìn)行了35次試驗(yàn)。在每次試驗(yàn)中，接觸力從零開始，在保持階段達(dá)到最大值3.12 N。時(shí)間間隔為T=10 ms，以確保在幀中累積足夠數(shù)量的事件。此外，基于從240×180到115×115的最大接觸對(duì)象接觸面積裁剪幀，以減少內(nèi)存需求。最后將數(shù)據(jù)集輸入到三種深度學(xué)習(xí)模型中進(jìn)行訓(xùn)練，選取最低MSE值作為模型進(jìn)行預(yù)測(cè)，與論文研究團(tuán)隊(duì)此前提出的TDNN網(wǎng)絡(luò)進(jìn)行了比較，其平均絕對(duì)誤差（MAE）與MSE值如下表所示：

在對(duì)抓取、保持和釋放階段期間的力大小估計(jì)和真實(shí)值的比較如下圖所示：

結(jié)果表明，對(duì)于抓取階段，力的精度較為準(zhǔn)確，三種網(wǎng)絡(luò)結(jié)構(gòu)都獲得了類似的結(jié)果。后面階段由于硅膠膜的彈性，在保持和釋放階段誤更大。此外，在釋放階段結(jié)束時(shí)，不同網(wǎng)絡(luò)架構(gòu)之間的精度差異不斷增加。此外，與F/T傳感器相比，有一定的時(shí)間滯后。

在論文中，研究團(tuán)隊(duì)提出了一種動(dòng)態(tài)估計(jì)接觸力的新方法。通過(guò)DVS相機(jī)捕捉接觸區(qū)域的強(qiáng)度變化，提出了一種新的動(dòng)態(tài)方法來(lái)估計(jì)尺寸變化物體的接觸力，開發(fā)三個(gè)基于LSTM的網(wǎng)絡(luò)，以基于每個(gè)像素的變化規(guī)律來(lái)估計(jì)接觸力，同時(shí)具備空間和時(shí)間特征信息。該傳感器在機(jī)器人上對(duì)三個(gè)不同尺寸的螺栓進(jìn)行了驗(yàn)證。Conv-LSTM網(wǎng)絡(luò)獲得了最好的結(jié)果，在抓持階段接觸力計(jì)算的MSE=0.064 N，在保持階段估計(jì)接觸壓力的MSE=0.082 N，盡管存在振動(dòng)，但該傳感器只有10ms的延遲，適用于實(shí)時(shí)抓取應(yīng)用。