一、技術(shù)背景與發(fā)展趨勢

在當(dāng)前的XR（虛擬現(xiàn)實、增強(qiáng)現(xiàn)實和混合現(xiàn)實）應(yīng)用中，物理形式的手柄控制器仍作為一種基礎(chǔ)的交互方式被廣泛使用。然而，物理手柄在高臨場感的沉浸式XR應(yīng)用場景下，需要用戶進(jìn)行適應(yīng)性學(xué)習(xí)，其存在操作復(fù)雜度高、成本高等先天缺陷。

為增加XR交互的流暢性及沉浸感，香港光云科技（HKSC）于近期推出一項凝聚其多年技術(shù)積累的創(chuàng)新性XR交互解決方案——TrueToF Neural Gesture。它基于Time of Flight（ToF）傳感器信號和深度學(xué)習(xí)來解析用戶的精細(xì)手部動作，能夠在無需手持外設(shè)下實現(xiàn)精準(zhǔn)手勢控制。

該方案充分發(fā)揮信號的優(yōu)勢，具有高精度、低延遲等諸多技術(shù)優(yōu)勢，為XR應(yīng)用提供一種更自然、沉浸的交互體驗，同時結(jié)合了香港光云科技（HKSC）最新的 3D語義理解技術(shù)，可以準(zhǔn)確識別用戶手勢信息所表達(dá)的行為意圖，為各類應(yīng)用場景提供豐富的用戶動作屬性標(biāo)簽。例如，在教育領(lǐng)域，學(xué)生可以通過手勢直觀地操控虛擬實驗裝置；在娛樂領(lǐng)域，游戲玩家能夠更自然地與虛擬角色互動；在設(shè)計領(lǐng)域，專業(yè)人士可以輕松地編輯、調(diào)整3D模型等等。相較于傳統(tǒng)XR設(shè)備的手柄控制器， TrueToF Neural Gesture能夠為更多用戶帶來創(chuàng)新的XR體驗，使用戶能夠更加輕松地探索和享受虛擬世界，無需手持的的物理外設(shè)，同時降低設(shè)備成本。

“Training data is Technology” OpenAI首席科學(xué)家及聯(lián)合創(chuàng)始人Ilye Sutskever闡明了精準(zhǔn)的訓(xùn)練數(shù)據(jù)在大模型訓(xùn)練中的重要性。然而在3D空間對手部關(guān)節(jié)進(jìn)行精準(zhǔn)跟蹤，必然需要大量的3D信號數(shù)據(jù)及其信號空間真值標(biāo)注。HKSC構(gòu)建了專業(yè)3D數(shù)據(jù)庫—TrueToF 3D 手勢基礎(chǔ)Dataset，包含高質(zhì)量的ToF 3D 信號的RAW數(shù)據(jù)以及高精度的3D標(biāo)注數(shù)據(jù)。其中，3D手勢超過10,000種，可供訓(xùn)練的案例超過100,000種，據(jù)此其開發(fā)了高精度3D手勢識別方法。與傳統(tǒng)數(shù)據(jù)集相比，TrueToF手勢訓(xùn)練庫中的數(shù)據(jù)具有精準(zhǔn)的3D空間信息，尤其是深度Z軸上的真值數(shù)據(jù)。TrueToF 3D Dataset的建立，可以為AI學(xué)習(xí)提供更加準(zhǔn)確、可靠的數(shù)據(jù)標(biāo)注，為3D手勢識別技術(shù)的發(fā)展提供有力的支撐。

二、TrueToF Neural Gesture

TrueToF Neural Gesture是一種基于TrueToF Neural IP底層成像及3D語義技術(shù)的高精度3D手勢識別方案。它夠在三維物理空間中實現(xiàn)用戶手部姿態(tài)的高精度追蹤，增強(qiáng)現(xiàn)實及虛擬現(xiàn)實下的用戶交互體驗。與傳統(tǒng)手勢識別技術(shù)及行業(yè)內(nèi)主流方案相比，TrueToF Neural Gesture具有以下技術(shù)優(yōu)勢：

? 高響應(yīng)：基于信號的直接處理

? 高精度：支持雙手21個關(guān)節(jié)點的<1mm精度跟蹤

? 3D準(zhǔn)度：精準(zhǔn)測量傳感器與手部各關(guān)鍵點之間的3D距離

? 角度精度：可擴(kuò)大手勢角度精度范圍2倍以上，并提升角度分辨率至0.5°

? 穩(wěn)定性：在正常光照和低光環(huán)境下，手掌檢測的穩(wěn)定性更好

? 可靠性：在戶外環(huán)境和低光環(huán)境下檢測及跟蹤穩(wěn)定，可適應(yīng)不同應(yīng)用場景

TrueToF Neural Gesture在性能方面表現(xiàn)出色，與業(yè)界公認(rèn)的Mediapipe等手勢識別方案的關(guān)鍵性能指標(biāo)上對比如下：

關(guān)鍵性能指標(biāo)對比

TrueToF Neural Gesture現(xiàn)已支持多種手勢控制：

1. Gesture Pointer：該手勢類似傳統(tǒng)的激光指針方式，允許用戶用任一手指向并操控虛擬物體。通過TrueToF技術(shù)捕捉手部動作，用戶可以輕松地執(zhí)行這一操作。

2. Controller Pointer：該手勢允許用戶用雙手以虛擬方式體驗傳統(tǒng)物理手柄控制器的操作。TrueToF技術(shù)可以識別用戶的雙手動作，并將其轉(zhuǎn)化為虛擬世界中的控制信號。

3. Poke Pointer：該手勢允許用戶用任一手指（缺省為食指）“戳”虛擬物體，進(jìn)行精確的選擇和操作。TrueToF技術(shù)能準(zhǔn)確捕捉這類手勢，實現(xiàn)細(xì)致的交互。

4. Grab Pointer：該手勢允許用戶能夠用單手抓取和移動虛擬物體，模擬真實世界中的抓取行為。TrueToF技術(shù)捕獲手部動作，并實現(xiàn)自然地抓取操作。

通過上述交互式手勢響應(yīng)，TrueToF Neural Gesture為用戶提供了豐富、自然的XR交互體驗，將虛擬世界的操作與現(xiàn)實生活中的行為深度融合。同時，該團(tuán)隊也在不斷擴(kuò)充新的手勢定義以及自定義手勢的接口，以便用戶能以更多豐富且自然個性的方式，與虛擬世界中的物體進(jìn)行沉浸式交互。

三、TrueToF Neural Gesture的特點

TrueToF Neural Gesture能夠為用戶帶來一種自由、高精度、低延時的交互體驗，源于其技術(shù)的多方面優(yōu)勢：

1. 無束縛：TrueToF Neural Gesture為AR設(shè)備提供物理手柄替代方案，用戶可通過自然手勢控制數(shù)字環(huán)境，提高便捷性和實用性。

2. 低功耗：基于Qualcomm平臺，千次AI推理功耗僅為1.53 mWh，實現(xiàn)高性能手勢識別的同時，也可有效延長消費電子產(chǎn)品的使用時間。

3. 高精度：基于AI技術(shù)重構(gòu)的ToF成像流程，空間定位誤差<1mm，保證XYZ三軸<1mm精確度，可為終端應(yīng)用提供準(zhǔn)確交互數(shù)據(jù)支撐。

4. 3D可度量：TrueToF Neural Gesture AI模型基于3D數(shù)據(jù)庫訓(xùn)練，實現(xiàn)手部關(guān)節(jié)XYZ三軸0.5°旋轉(zhuǎn)精度度量，適應(yīng)第一視角應(yīng)用場景，可克服傳感觀測視角約束。

5. 低延時：采用Hexagon DSP優(yōu)化的<12ms的AI推理模型，保障實時交互需求，可應(yīng)對高速動作和復(fù)雜場景。

四、TrueToF Neural Gesture Benchmark

4.1 暗光測試：

暗光測試是在較暗環(huán)境中對手勢識別技術(shù)的性能進(jìn)行評估。傳統(tǒng)的RGB手勢識別方案的性能在這種環(huán)境下往往會受到較大影響。得益于優(yōu)秀的TrueToF Neural IP信號成像能力，TrueToF Neural Gesture技術(shù)在暗光環(huán)境下表現(xiàn)出較高的穩(wěn)定性，對各類復(fù)雜室內(nèi)光線條件不敏感，這不僅有助于提高手勢識別精度，還可增強(qiáng)對光線變化環(huán)境下使用的魯棒性。

TrueToF Neural Gesture的不同光照表現(xiàn)

4.2 室外評測：

室外場景的光線條件更加復(fù)雜多變，包括強(qiáng)光、陰影等多種不可控因素。TrueToF Neural Gesture技術(shù)在室外評測中同樣表現(xiàn)出較高的穩(wěn)定性和魯棒性，能夠保證戶外環(huán)境下的高精度的手勢識別需求。

TrueToF Neural Gesture室外場景表現(xiàn)

通過暗光測試與室外評測可以看出，TrueToF Neural Gesture在不同光照條件下均表現(xiàn)出優(yōu)越性能，表明其在各種非限定光照條件的應(yīng)用場景中能夠提供魯棒、高效的手勢識別，可為用戶帶來優(yōu)質(zhì)、穩(wěn)定且流暢的交互體驗。

五、應(yīng)用場景與未來展望

下一步，TrueToF Neural Gesture技術(shù)將不斷優(yōu)化和創(chuàng)新迭代，努力提升手勢估計與識別的適配性及穩(wěn)定性，同時引入更多AI算法不斷提高手部關(guān)節(jié)識別的精度和語義識別。HKSC相信3D語義等技術(shù)創(chuàng)新將持續(xù)為XR、Metaverse、AIGC、Autonomous driving等更多場景提供基礎(chǔ)應(yīng)用支撐，TrueToF Neural Gesture技術(shù)也將在更廣泛的數(shù)字信息領(lǐng)域發(fā)揮潛力，為用戶帶來更加智能、便捷的生活體驗。

審核編輯：劉清