使用創(chuàng)新手套的物體操縱從而獲得詳細(xì)壓力圖的大型數(shù)據(jù)庫。這些數(shù)據(jù)可能會導(dǎo)致機器人感應(yīng)的進步以及我們對觸摸在操縱中的作用的理解。

人類感知能力的研究和復(fù)制，例如視覺，聽覺和觸覺（基于觸摸）的感知，取決于合適數(shù)據(jù)的可用性。通常，數(shù)據(jù)集越大越豐富，模型越能模仿這些功能。人工視覺和語音系統(tǒng)的進步依賴于強大的模型，稱為深度學(xué)習(xí)模型，并且由無處不在的數(shù)字圖像和語音音頻數(shù)據(jù)庫推動。相比之下，觸覺傳感器的發(fā)展（將物理接觸刺激轉(zhuǎn)換為可測量信號的設(shè)備）的進展受到限制，這主要是因為難以將電子設(shè)備集成到柔性材料中。在Nature的一篇論文中，Sundaram 等報告了他們使用低成本觸覺手套來解決這個問題。

作者的手套由一個手形傳感套管組成，該傳感套管連接在針織手套的手掌側(cè)（圖1）。套筒包含力敏膜，在該膜上縫制64個導(dǎo)電線網(wǎng)絡(luò)：沿手套的一個方向32個，沿垂直方向32個。這些螺紋重疊的548個點中的每一個是壓力傳感器，因為當(dāng)按壓這些點時，交錯膜的電阻減小。手套的輸出可以作為32×32灰度像素陣列處理，其中每個像素的顏色表示從低（黑色）到高（白色）的施加壓力。這些壓力圖以每秒約七幀的速度記錄。

圖片來源：Subramanian Sundaram

圖1 |一種低成本的人造手套。Sundaram 等人描述了一種手套，其由附接到針織手套（黃色）的手形感測套筒（黑色）組成。套筒包含力敏膜，在該膜上縫制導(dǎo)電線（銀）網(wǎng)絡(luò)。這些螺紋重疊的點形成壓力傳感器。作者表明，在對象操作期間由這些傳感器收集的壓力圖使機器學(xué)習(xí)模型能夠?qū)W習(xí)識別單個對象，估算對象的權(quán)重并區(qū)分不同的手部姿勢。

在Sundaram及其同事的研究中，手套被用來記錄幾個壓力圖的視頻，這些視頻是在3-5個單獨操作26個日常物品的過程中進行的。這個程序產(chǎn)生了一個詳細(xì)的壓力圖數(shù)據(jù)庫，據(jù)我所知，這是最大的數(shù)據(jù)集之一。作者發(fā)現(xiàn)，盡管制造成本僅為10美元左右，但手套具有柔韌性，堅固性和對小壓力變化的敏感性。

為了證明手套捕獲手與每個物體的不同相互作用，Sundaram 等人。使用記錄的數(shù)據(jù)進行自動對象識別。他們展示了最初設(shè)計用于大規(guī)模圖像分類的最先進的深度學(xué)習(xí)模型如何從聚集的壓力圖中學(xué)習(xí)，以便在盲目操作期間重新識別26個物體。大量的地圖及其空間分辨率對于成功識別物體至關(guān)重要。

接下來，作者使用手套拾取物體，并表明類似的深度學(xué)習(xí)模型可以估計未知物體的重量。在不同的手部姿勢下也佩戴手套，并且傳感器讀取的信號足夠詳細(xì)以區(qū)分每個姿勢。最后，Sundaram及其同事通過觀察信號相關(guān)性分析了在物體抓取過程中不同手套區(qū)域之間的協(xié)作。

除了提供人類掌握的充分研究原理的實驗證據(jù)之外，這種數(shù)據(jù)驅(qū)動的探索可以提高我們對物體操縱過程中觸摸功能的理解。深度學(xué)習(xí)模型極大地提高了我們對視覺對象識別的神經(jīng)機制的認(rèn)識。在這方面，類似的方法可以應(yīng)用于解釋大腦中的觸覺信息處理。

Sundaram及其同事在物體操縱過程中同時產(chǎn)生壓力圖和相應(yīng)的手部照片，產(chǎn)生大量同步的視覺和觸覺信息。多種形式的感官知覺的數(shù)據(jù)集是不常見的，并且代表了多感覺整合系統(tǒng)發(fā)展的基本步驟，以及對大腦如何形成對環(huán)境的連貫感知的理解。

這種柔性傳感裝置可具有各種應(yīng)用。例如，在醫(yī)療診斷，個人健康護理和運動中。但它也可能影響主動（外部動力）假肢和機器人手的發(fā)展。觸覺反饋在控制手部運動至關(guān)重要的作用和施加的力，使得缺乏這些信息使得它具有挑戰(zhàn)性的人類和機器人實現(xiàn)穩(wěn)定的抓取。此外，觸覺直接實現(xiàn)了針對物體識別和定位的觸覺探索。眾所周知，提供具有觸覺反饋的主動假體可以有助于減輕幻肢痛（從肢體缺失的感覺），增加對假體的主人翁感并減少控制裝置所涉及的認(rèn)知壓力，實現(xiàn)更自然的行動。

觸覺傳感器可以被并入包圍假肢的手套，或直接固定到機械部件。在這方面，Sundaram及其同事的設(shè)備技術(shù)可以適應(yīng)各種形狀，以便整合到機器人或假肢中。目前，主要限制是手套所需的密集傳感器覆蓋的缺點。一個缺點是廣泛的布線，盡管作者使用行和列的設(shè)計來保持這種布線合理的約束。另一方面是記錄壓力圖的速率，根據(jù)應(yīng)用可能需要更高（例如，如果觸覺反饋用于控制機器人手）。盡管如此，我認(rèn)為目前形式的手套或其改進版本為機器人應(yīng)用提供了令人興奮的前景。

一種新興的機器學(xué)習(xí)模型已經(jīng)被證明在模仿人類學(xué)習(xí)從經(jīng)驗中執(zhí)行行動的能力方面是有效的，這一過程稱為強化學(xué)習(xí)。在過去的幾年里，研究人員在物體操縱過程中使用了特殊的手套來記錄手部姿勢數(shù)據(jù)，并將這些記錄的經(jīng)驗輸入到一個模型中，該模型從這些數(shù)據(jù)中學(xué)習(xí)以產(chǎn)生成功的操作。這種將人類經(jīng)驗轉(zhuǎn)化為機器人的方法可以從使用Sundaram及其同事的數(shù)據(jù)采集手套中受益。

最后，目前的研究為幾種計算機視覺模型重新用于觸覺信號處理鋪平了道路，允許應(yīng)用數(shù)十年的計算機視覺研究。這種方法提供了許多好處，例如消除了涉及模型選擇的各種問題，這些問題在早期階段減緩了深度學(xué)習(xí)的進展。因此，Sundaram及其同事的手套可以導(dǎo)致觸覺傳感的快速發(fā)展。我相信手套的低成本將有助于復(fù)制和共享用于制造設(shè)備和數(shù)據(jù)采集設(shè)置的方法。這將促進在觸覺傳感研究中使用大型和標(biāo)準(zhǔn)數(shù)據(jù)集，而這目前是計算機視覺的主要限制因素。