本期為大家分享一篇關于基于視觸覺傳感器下力動態估計的一篇文章——Dynamic-Vision-Based Force Measurements Using Convolutional Recurrent Neural Networks。

在機器人執行抓取動作時，接觸力的大小與接觸位置對抓取成功有至關重要的影響，文章研究團隊在以往研究基礎上提出了一種使用三種不同結構的LSTM神經網絡結構對觸覺力進行動態重建的方法，傳感器能夠在10ms延遲下連續測量從抓取開始到物體釋放的力，測量接觸力不受物體尺寸的影響。

與傳統相機不同，神經擬態視覺傳感器沒有 “幀” 的概念，文中使用的DVS攝像機尺寸為40× 60×25毫米。當現實場景中發生變化時，神經擬態視覺傳感器會產生一些像素級的輸出（即事件），一個事件具體包括（t， x， y， p），這里的 x， y 為事件在2D空間的像素坐標，t為事件的時間戳，p為事件的極性。事件的極性代表場景的亮度變化： 上升（1）（positive） or 下降 （0）（negative）。DVS相機對觸覺層進行圖像采集后，將事件集預處理后送入神經網絡中，通過再經由Dense Layers處理后對力進行動態大小估計。

DVS相機在捕捉觸覺傳感層變化時，需要對每個像素的前序列對力進行測量與每個幀處的觸發事件相關聯。為了解決RNN訓練時的梯度問題，文章引入了LSTM和選通遞歸單元（GRU）來控制內存狀態，通過將LSTM層與卷積層和密集層相結合來估計接觸力，對LSTM、Convolutional LSTM （Conv-LSTM）、CNN-LSTM三種結構。在CNN-LSTM結構中，卷積運算應用于幀，以將特征提取到1D向量中，該向量后跟LSTM單元，以隨時間對提取的特征進行建模。Conv-LSTM則是在LSTM門內進行卷積運算，保持輸入的二維維度，以捕獲構造幀的空間和時間信息。

隨后通過實驗對數據進行收集，實驗裝置包括一個ATI F/T傳感器、一個DVS相機傳感器和一個透明3D打印平面（靜態平面），該平面由硅膠覆蓋。硅膠材料具有約0.5mm厚度的50肖氏硬度，夾持器的右平面保持靜止，而左平面（動態平面）移動以對硅膠層施加壓力。

由于硅膠的彈性、控制器延遲和測量不確定性，接觸力值和實驗持續時間略有不同。由于傳感器連續計算接觸力，每個實驗分為抓取、保持和釋放階段，并研究每個階段的傳感器性能（圖2b）。為了評估傳感器性能，MSE基于力傳感器測量值和預測值之間的差異計算。在尺寸為8 mm、12 mm和16 mm的三個螺栓上進行了35次試驗。在每次試驗中，接觸力從零開始，在保持階段達到最大值3.12 N。時間間隔為T=10 ms，以確保在幀中累積足夠數量的事件。此外，基于從240×180到115×115的最大接觸對象接觸面積裁剪幀，以減少內存需求。最后將數據集輸入到三種深度學習模型中進行訓練，選取最低MSE值作為模型進行預測，與論文研究團隊此前提出的TDNN網絡進行了比較，其平均絕對誤差（MAE）與MSE值如下表所示：

在對抓取、保持和釋放階段期間的力大小估計和真實值的比較如下圖所示：

結果表明，對于抓取階段，力的精度較為準確，三種網絡結構都獲得了類似的結果。后面階段由于硅膠膜的彈性，在保持和釋放階段誤更大。此外，在釋放階段結束時，不同網絡架構之間的精度差異不斷增加。此外，與F/T傳感器相比，有一定的時間滯后。

在論文中，研究團隊提出了一種動態估計接觸力的新方法。通過DVS相機捕捉接觸區域的強度變化，提出了一種新的動態方法來估計尺寸變化物體的接觸力，開發三個基于LSTM的網絡，以基于每個像素的變化規律來估計接觸力，同時具備空間和時間特征信息。該傳感器在機器人上對三個不同尺寸的螺栓進行了驗證。Conv-LSTM網絡獲得了最好的結果，在抓持階段接觸力計算的MSE=0.064 N，在保持階段估計接觸壓力的MSE=0.082 N，盡管存在振動，但該傳感器只有10ms的延遲，適用于實時抓取應用。