在人類數百萬年的生物進化歷程中，手作為感知細微觸覺的主要器官，不僅是我們與物理世界互動的智能工具，更成為了人類意識向外延伸的直接橋梁，使我們能夠從周圍環境中獲取豐富的觸覺信息。諸如手柄、鼠標、鍵盤以及觸摸板等以人手為核心設計的交互設備，被視為連接人類與虛擬世界的重要紐帶，極大地拓展了我們的交互邊界。盡管手在日常生活中扮演著至關重要的角色，但我們對手部在抓握等動作中產生的力量分布和特性仍知之甚少。例如，每根手指在抓握時產生的力量差異、手掌力量的具體分布模式等，這些知識的缺失成為了精準醫療、體育訓練、機器人技術、虛擬現實操作等多個領域發展的瓶頸。▍開發觸覺交互系統PhyTac，實現手部分布力實時測量長久以來，基于液壓、氣壓和機械彈簧原理的握力計一直是評估人手施加力量的主要工具。然而，這些傳統方法只能提供關于最大力量的信息，缺乏對于力量在空間和時間上的詳細分布數據，這大大限制了其應用范圍和精度。
圖1 基于液壓、氣壓和機械彈簧原理的握力計近年來，柔性觸覺仿生皮膚的發展為測量手部力量的分布提供了新的契機。這類技術大致可以分為兩類：一類是基于電信號的陣列式傳感技術，包括壓阻式、電容式、壓電式、摩擦電式等多種原理；另一類則是基于視覺的傳感技術，如Gelsight、Tactip、TacLINK、Insight等。基于電信號的傳感器在單點力量測量方面表現出高精度，但在面對大面積復雜接觸變形時，容易出現串擾問題，導致測量精度下降。而基于視覺的傳感技術雖然能夠避免電信號的串擾問題，提供更高的魯棒性，但其量程范圍通常較小（一般小于10牛），并且在多點大面積接觸時同樣面臨精度不足的挑戰。此外，這類技術的標定過程往往需要大量的數據集支持（通常超過1GB）。針對以上問題，來自香港科技大學（HKUST）電子與計算機工程學系的申亞京教授研究團隊進行了深入研究，并通過引入一種基于“數字通道”的手部力傳感和處理策略，成功地在分布力的接觸位置上生成了可辨別的時序數字信號，有效解決了這一技術難題。同時，研究團隊也受觸覺神經系統的解碼原理以及蘆薈等蓮座植物葉子中的螺旋結構啟發，開發了一種以手為中心、基于數字通道的觸覺交互系統——PhyTac。
圖2 兩個尺寸的PhyTacPhyTac系統在設計上有效防止了標記重疊，能夠準確地從耦合信號中識別出多達368個區域的多點刺激。值得一提的是，研究團隊通過將物理學原理集成到模型訓練中，成功將數據集大小縮減至僅45千字節，遠低于傳統方法通常所需的超過1千兆字節的數據集大小。實驗結果表明，PhyTac系統在0.5至25牛頓的傳感范圍內具有高達97.7%的保真度，展現出了令人矚目的性能。這一技術的突破有望在醫學評估、體育訓練、機器人以及虛擬現實（VR）等多個領域實現廣泛應用。
圖3 PhyTac的工作機制及潛在的廣泛應用。該研究不僅加深了人類對以手部為中心的動作的理解，還強調了物理和數字領域的融合對于推動基于人工智能的傳感器技術進步的重要性，為相關領域的未來發展奠定了堅實基礎。目前，該研究成果的相關論文已以“Digital Channel-enabled Distributed Force Decoding via Small Datasets for Hand-centric Interactions”為題發表在《Science Advances》期刊上。論文共同作者包括來自香港科技大學的唐一峰、博士后研究員李根博士、張鐵山博士、研究助理教授楊雄博士，來自香港城市大學的任豪和郭棟，以及來自南開大學的楊柳教授。通訊作者則由香港科技大學申亞京教授擔任。▍引入“數字通道”，解決大面積復雜接觸難題“數字通道”概念的引入，能夠精確識別復雜接觸的位置，并對大面積接觸問題中的分布力進行準確解碼。通過標記點的閾值開關，“數字通道”可以實現邏輯判斷，當開關被激活時，標記點被表示為邏輯“1”，其他標記則為邏輯“0”。這一過程形成了一個代表關鍵力空間分布的數字通道，該通道不僅能夠有效過濾周圍刺激帶來的不必要干擾，還能在節約計算資源的同時，提供具有物理意義的高質量數據。值得注意的是，通過將物理模型融入人工智能模型訓練，數據集的大小得到了顯著縮減，僅需45KB，遠低于傳統方法所需的超過1GB的數據集。這一突破意味著，即使面對極小的數據集，該技術也能從多重耦合的模擬信號中準確識別出多達368個區域的多點刺激，且力的重建精度高達97.7%。對此，申亞京教授表示，“針對大規模分布式觸覺傳感技術，‘數字通道’的概念為解碼力的位置提供了一個全新的維度，使得僅通過極小的數據集就能實現高精度和高魯棒性。”
圖4 引入數字通道后，分布力的位置與幅度均可精確重建。▍結合力學模型與神經網絡，實現小數據集分布力重建此外，下圖詳細闡述了物理模型增強神經網絡（FEM-NN）的原理及其在小數據集上的優勢和高精度表現。FEM-NN的輸入包括由數字通道獲取的關鍵節點（key nodes of interest, KOI）和位移矩陣，輸出則為增廣剛度矩陣，且僅需一個45KB的小數據集。
圖5物理模型增強神經網絡（FEM-NN）的原理該技術中引入的物理模型建立了一個力學框架（FEM），將標記位移和力大小相互關聯，并提供了涵蓋PhyTac材料、幾何和力學性能的寶貴先驗知識。FEM-NN模型既采納了這一力學先驗知識，又得益于神經網絡的強大擬合能力，有效彌補了有限元模型與現實世界模型之間的物理差異。研究結果顯示，FEM-NN在整個量程范圍（0.5 ~ 25 N）內均保持了較高的精度，力的平均絕對誤差僅為0.11 N，平均相對誤差也僅為2.3%，這一表現優于傳統基于純物理模型的方法和基于卷積神經網絡的方法（上圖C）。▍由旋轉蘆薈和觸覺神經系統啟發的硬件結構設計自然界中，螺旋女王蘆薈的旋轉葉序能夠避免葉子互相遮擋，從而來最大化得捕獲陽光。受此啟發，研究團隊將標記點以類似的螺旋結構排列，優化了光路設計，使得PhyTac系統有效避免了由標記點互相遮擋引起的精度下降問題，并顯著提高了標記點的分布密度。這一創新設計最終提升了力的傳感范圍和分辨率。
圖6 A. PhyTac的整體結構和組件。B. 受TrkB+啟發的數字通道。C. 受螺旋女王蘆薈啟發的螺旋式標記點排列方法PhyTac系統由帶有標記點陣列的仿生外殼、偏振線性光源和運動捕捉攝像頭三大組件構成。當手部對PhyTac施加力時，其外殼會發生變形，同時攝像頭會精準捕捉到每個標記點的運動軌跡。隨后，系統利用所有標記點的位移數據作為輸入，通過物理模型增強神經網絡（FEM-NN）準確建立標記點位移與手部力分布之間的映射關系。因此，該系統能夠重建手部豐富的觸覺力學信息，與現有設備相比，信息量增加了至少兩個數量級，為新一代人機交互提供了廣泛應用的可能性。▍在機器人、虛擬現實、醫學和運動科學等領域的廣泛應用PhyTac系統可直接應用于握力分布的測量，這對于中風、類風濕性關節炎等多種疾病的評估和治療具有重要意義。與其他潛在解決方案（如觸覺手套）相比，PhyTac系統更加魯棒、易用且無束縛感。如視頻所示，該系統能夠精確識別不同握持姿勢下握力分布的動態變化。研究團隊還進一步將PhyTac系統安裝在網球拍上，并測量了擊打網球時手部的力量分布。該研究成果相關論文的第一作者唐一峰表示：“我們發現正手擊球時，力量主要集中在食指、中指和無名指上；而反手擊球時的力量分布則有所不同，其中拇指、無名指和小指貢獻了更多的力量。”
圖7 正反手擊球時力分布的對比此外，PhyTac系統還能將現實世界中的分布力投射到虛擬世界中，實現精確的虛擬現實（VR）操控。使用者可以用拇指和食指小心翼翼地托住一個雞蛋而不將其捏碎，或者當總力量超過一定閾值時，用三根手指捏碎它。
圖8 在虛擬世界中精確操控雞蛋、花瓶和軟球（上圖）。遙控機器人手抓取、握住和傳遞物體（下圖）。同樣的，研究團隊也展示了用握力捏碎花瓶，以及如何用不同的分布力精確操控軟球的變形。唐一峰補充道：“得益于PhyTac在三維空間中的靈活性，它還可以作為遙控操作界面，控制機器人手拿起、握住并傳遞一個薄塑料杯，而不會將其捏壞。”▍關于未來對于未來的研究方向，研究團隊計劃將“數字通道”這一概念拓展應用至其他幾何形狀的視觸覺傳感器上。他們認為，在如何有效克服干擾等問題上，電阻式、電容式等其他類型的分布式軟觸覺傳感器也將能夠從這項研究中獲得顯著益處。項目負責人申亞京教授則表示，團隊致力于構建物理世界、虛擬世界與機器人之間的智能交互橋梁。PhyTac作為這一愿景實現過程中的重要里程碑，不僅深化了團隊對手部動作機制的理解，更被團隊寄予厚望，希望未來其能成為以手為核心的交互媒介，在醫學評估、體育訓練、機器人技術以及虛擬現實（VR）等多個領域發揮廣泛應用價值。參考文章https://www.science.org/doi/10.1126/sciadv.adt2641審核編輯 黃宇