手勢追蹤被視為人機交互（HCI）/人類數據交互（Human data interaction，HDI）中最直觀的交互模式之一，是混合現實（XR）終端交互的最新趨勢。

在XR領域中，手部運動軌跡的感知與追蹤是改善用戶在不同技術領域和平臺體驗的一個重要組成部分。手部追蹤技術在未來可以幫助用戶“解放雙手”，人機互動不再需要通過手柄控制，實現真正的解放雙手，讓用戶以最直觀的方式體驗在增強現實和物理世界之間的融合。

最近熱度不斷攀升的Oculus Quest 2一體機，在手勢追蹤識別功能上進行了一系列升級，除了早期的特定手勢操控主界面，最新解決方案甚至實現了基于手部追蹤的全文本輸入操作——即便如此，Oculus對于目前在手勢識別技術上取得的成就依然不是非常滿意。

Oculus曾表示，盡管手勢是一種有潛力的新型輸入方式，但由于計算機視覺與定位技術的局限，手勢識別技術的實際應用場景也受到限制。因此，Oculus一直在探索一些有用的技巧來幫助開發者適應手勢的局限性，甚至為了讓虛擬世界更具3D效果、更加智能地對手勢進行回應，Oculus已收購兩家虛擬現實手勢和3D技術的創業型公司 Nimble VR和13th Lab，以改善其一體機的手勢控制功能。

目前，由于涉及復雜的手指手掌結構和相關軟組織在運動時的變化，以及手和物體之間的接觸互動有著非常復雜的接觸點位和運動區域，強大的實時手部運動感知和追蹤已成為公認的一項極具挑戰性的計算機視覺任務，是科技研究領域中的大熱項目。

手部交互領域的一項新突破：ContactPose數據集

就在今年，美國三大理工學院之一的佐治亞理工學院，其機器學習中心更新了有關手部追蹤模型數據的新研究 -- ContactPose，一個手部抓握物體時觸點動態變化的數據集。

· ContactPose鏈接

ContactPose數據集通過機器學習（ML）和熱像儀捕獲記錄手部抓握不同物體時的每個3D關鍵觸點的變化，精準縮小手勢追蹤軌跡的總體性偏差。

ContactPose利用熱像儀將被抓握的受作用物體進行熱圖像紋理網格化，極大程度的減少外部設備干擾，可以支持實現更加敏感精準的手勢交互追蹤，對于未來開發虛擬現實人機交互建模技術至關重要，該論文研究已被ECCV 2020 （2020年歐洲計算機視覺國際會議）收錄。

這篇文章中，VR陀螺將從覆蓋研究組、技術突破點和應用領域三大方面，為行業內感興趣的相關人士深度解析這項科研成果。

1． 研究組：基本覆蓋相關變化指數

ContactPose的論文研究中，設置的研究組變量覆蓋范圍很廣，這意味著ContactPose全面精準的包括了不同人群、不同物體、不同手部運動軌跡的數據集合。

總結其主要研究者Samarth Brahmbhatt等人的研究組數如下：

數據采集主體參與實驗者共50人，抓握物品共25種抓握動作的功能目標1． 使用該物品2． 移交該物品給他人抓握次數數據采集時，所有參與者共抓握物品2306次RGB-D圖像3個視點 + 296萬個RGB-D圖框限制點1． 只在空白背景下進行3D物體抓握2． 只包括靜態抓握

ContactPose在采集手部追蹤數據時，邀請了50名實驗者參與對25種不同物品的抓握，包括望遠鏡、相機、手電筒、眼鏡、刀具、紅酒杯、牙膏等基本生活用品，通過抓握和移交主體物品的兩大手部運動意圖，共采集了2306組手部運動觸點數據，其研究的主體參量非常豐富，可以實現用戶生活中手部追蹤觸覺點的變化數據采集。

ContactPose數據集的呈現包括高分辨率的觸點視圖、3D關節追蹤和多視圖RGB-D手部抓握動態視頻，并且區分左右手，左手為綠色，右手為紅色，通過明晰的顏色區分，能夠追蹤更復雜的雙手運動。

2． 研究突破點：防干擾熱像儀可追蹤到手部具體3D關節

手部追蹤的人機交互領域作為亟需突破的領域之一，近年來有很多代表性的手勢交互技術更新。在手勢追蹤數據采集上，大部分研究都通過觸覺手套或其他設備捕捉手部運動數據，這意味著有的時候這些外部設備會影響手部運動的靈活性和主體自發性。

但佐治亞理工學院Samarth Brahmbhatt研究小組其最大突破為，用熱像儀把被抓握的受作用物體的表面紋理網格化，通過C相機記錄觀察手部抓握物體時每一幀RGB-D成像圖的變化，ContactPose不僅減少外部設備和環境限制的干擾，更通過高幀密集觀察實現了敏感精準的手勢交互追蹤。

ContactPose利用機器學習的大原理來進行手勢運動感知，但因引入熱像儀追蹤技術，其可根據一幀圖像推斷出單手的21個3D立體關節點，支持高準確性的手勢和五指關節追蹤。換言之，其他很多手勢交互的研究是不能進行具體手指關節追蹤的，即只能體現整體手部運動但卻不知道是具體哪個手指尖先觸碰了物品。但ContactPose卻可以精準定位到具體手指部位、手部運動時的先后順序。

并且根據數據分析對比，ContactPose在數據庫規模、手部物體觸點追蹤、手勢和物體運動變化觸點等方面十分突出。

其實ContactPose并不是Samarth Brahmbhatt研究小組在這一領域的處女作，早在2019年，佐治亞理工學院發布了只包括觸點分布圖和RGB-D成像圖的ContactDB數據集研究。而相比之下，ContactPose是一次全面升級。

通過交叉對比，ContactPose無疑是手勢交互數據的一次重要突破。不僅為日后的手部人機交互設備研發提供了數據基石，更通過數據的剖析揭示了手勢和主體事物接觸點的變化關系，為建立手勢運動觸點模型提供了體系結構算法參考。

ContactPose應用前景：助力高精度級別手勢識別，或許可取代手柄操控

在2019年的第 6 屆Oculus Connect大會上，扎克伯格表示了進軍手勢交互領域的心，想要實現一個用戶不用拿著手柄、也沒有按鈕、沒有腕帶，甚至沒有其它傳感器的自由交互的虛擬現實沉浸世界。

目前，由于沒有高精度級別的手勢識別交互系統支持，手柄控制器長期以來就相當于用戶在虛擬世界中的雙手，無論是 Oculus 還是 HTV Vive 的 VR 頭盔，都需要借助獨立的手柄控制器來實現手部運動追蹤。

但手柄控制器的存在卻一直局限著用戶在虛擬現實中的交互真實性。比如說當用戶要在游戲中拿起一個物體，只能將手柄靠近并按鍵，這顯然破壞了虛擬世界沉浸交互的整體性，不夠真實。

然而，隨著更多的類似于ContactPose這種手勢數據規模化的支持，未來實現從真正的3D用戶界面，到虛擬對象操作，再到移動機制，以手部為中心的虛擬現實產品設計理念是存在可能的。手勢控制可以自由的取代語音或者手柄控制，亦是成為未來虛擬現實的大方向。

介于ContactPose在很大程度上可以為實現無接觸手勢運動追蹤和操控機器界面的技術提供了數據化支持，未來通過實時采集用戶手勢，將手勢的運動軌跡轉換為虛擬現實中的指令，可以實現自然、高效的人機交互，讓用戶完全的沉浸在一個新的可以自由運動的虛擬世界。

但通俗的談及到手勢交互應用的落地場景，現有的手勢交互技術與完全自然、高效的交互，仍然存在一定距離。

手勢交互應用的難點主要在于難以形成一致的手部操作方式，加上其屬于非精確性指令操作，其應用范圍會受交互設備、識別方法、用戶熟練程度等多個因素影響。由于不同用戶對不同產品使用手勢交互時，其手部運動軌跡也大相徑庭，所以用戶可能需要預先訓練一段時間去掌握相關設備或者系統，一定程度上是用戶要滿足機器的模版識別度。但ContactPose包括著不同人群抓握不同物體時的數據集，這意味著，日后隨著數據采集的規模化，機器可以開始輕松識別不同的手勢運動軌跡，從而實現機器識別的個性化、靈活性。

未來手勢交互將成為新一代“觸屏”

縱觀Oculus或者HoloLens這些行業領頭羊的設備，在用戶使用時，很多時候由于對手勢識別的不敏感或者錯誤偏差，使得用戶不得不依賴于手柄操作和語音控制來完成對虛擬現實設備界面的指令，手勢交互的人機操控方式在技術上顯然不夠成熟，尚且還處在行業早期階段。

但根據對ContactPose等相關數據集的研究分析，VR陀螺在此認為，隨著日后手部運動追蹤數據庫的大規模完善，手勢交互會像之前的觸屏手機一樣，成為新一代XR領域的主導人機交互方式，讓用戶無縫的在虛擬與現實世界中切換。
責編AJX