今年消費電子行業最顯著的創新來自于蘋果的MR頭戴產AppleVisionPro，作為極高集成度的產品，VisionPro配備了4K顯示屏、空間音頻、虹膜掃描等功能，在顯示、交互、主芯片等環節具有突出創新，要求的技術工藝復雜程度極高。

AppleVisionPro造型類似滑雪鏡，采用鋁合金框架，配備一整塊以3D方式成型與層壓的OLED顯示面板，并集成了一系列攝像頭和傳感器。

而行業中另外一個重大的重新產品則是特斯拉的Optimus人形機器人。隨著特斯拉Dojo智算芯片的量產，以及特斯拉對一些微電機的材料與工藝突破，Optimus人形機器人已經能完成部分仿人類的動作，在定量操作如敲雞蛋，與一些矢量操作，如澆花，沖咖啡等，基本上能完成合格的效果。

從2021年特斯拉宣布開發人形機器人，到翌年展示Optimus原型機，再到今年宣布預計11月開展行走測試，再到明年正式上崗新能源汽車制造生產線，特斯拉人形機器人產業化“腳步漸近”。

在普通人眼里，兩家公司的兩個產品好象毫不搭界，但在一些敏感的科技公司里面，已經在對兩個產品之間產生十分緊密的聯想，兩個產品的結合，極有可能改變未來人們生活的工作與生活方式。

其中Apple Vision Pro 搭載了全球首個空間操作系統visionOS，全三維用戶界面，而控制這個界面，僅需要用戶的眼睛、雙手和語音——最自然、最直觀的輸入工具，讓用戶能夠以一種絕妙的方式與數字化內容互動，可實現數字化內容與真實世界的無縫融合，讓用戶在沉浸于當下的同時還能與他人溝通交流，如同它們真的存在于現實世界之中。

Vision Pro 通過 VST（video see through）實現MR（數字與現實的混合）。Vision Pro 通過傳感器實時感知現實環境，將數字化的現實運算后發給顯示屏幕，通過光機系統真實的發送給佩戴者。通過調節VisionPro旋鈕，用戶可獲得不同的沉浸度體驗。該設備強調自然的交互，用戶與設備的交互通過眼睛、手勢和聲音；用戶與環境的交互通過EyeSight 技術，用戶在完全沉浸時，走近的同伴也會出現在視野中。Vision Pro是一款真正意義上實現了虛擬和顯示融合的革命性設備。

蘋果暫時研發出了Vision Pro頭顯可以使用的6種交互手勢。

Tap：同時點擊拇指和食指會向頭戴顯示設備發出信號，表示您要點擊顯示屏上的虛擬元素。用戶也將這描述為一種捏合，相當于點擊iPhone的屏幕。Double Tap：啟用雙擊手勢。Pinch and Hold：類似于點擊并按住手勢，執行突出顯示文本等操作。Pinch and Drag：可用于滾動和移動窗口。您可以水平或垂直滾動，如果用戶加快手勢速度，交互界面也會相應地調整速度。Zoom：雙手手勢之一，可以把手指捏在一起，通過拉開手勢進行放大，窗口大小也可以通過在角落拖動來調整。Rotate：另一個雙手手勢之一，它將涉及將手指捏在一起并旋轉雙手以操縱虛擬對象。

手勢將與眼球運動協同工作，Vision Pro中的許多攝像頭將非常準確地跟蹤您的視線。眼睛位置將是使用手勢定位您想要與之交互的關鍵因素。

蘋果還為Vision Pro提供了兩種文字輸入方式，分別為藍牙連接外部鍵盤與頭顯提供的虛擬鍵盤。而蘋果Vision Pro提供的虛擬鍵盤看去是有體積的，而不是只有一個平面。通過光線與陰影變化，用戶能夠分辨是否按下，空間音效還能給予反饋，以此來彌補缺少的觸覺信息。

對于虛擬鍵盤來說，距離信息相當重要。在用戶指尖靠近按鍵時，鍵盤會提供一個高亮效果，這樣就能夠幫助用戶更好感受與鍵盤的距離感，按鍵的狀態變化配合空間音效，或能讓虛擬鍵盤提供更真實地輸入體驗。

Vision Pro擁有6顆SLAM+手勢攝像頭，其中有兩顆向下的攝像頭專門捕捉手垂放在腿上的視角。另外，還有兩顆斜向下的攝像頭同時兼顧SLAM和手勢。甚至為了弱光環境下手勢識別準確性，蘋果還加入了兩顆紅外LED進行輔助。

Vision Pro專門為攝像頭、傳感器準備的R1芯片，是為了低延遲處理這些視覺數據，從而實現更精準交互方案，可以說Vision Pro的交互邏輯從軟件、硬件、芯片、算法等多方位于一體，是一個鴻溝式的差異。

這種垂直視角的攝像頭，專門用于捕捉大部分時間、不抬手的時候的手勢，因為很多時候雙手應該自然垂放在腿或桌子上，符合人體工學邏輯。

眼球追蹤方面，Vision Pro凝視+手勢捏合包括文字選中、菜單選擇都可以通過眼球+手勢來完成，這其中眼球+手勢融合交互就非常重要。

另外在其它科技公司的相關研究中也證明，基于凝視射線+捏合（蘋果Vision Pro的方案，只不過它隱藏了凝視射線，但在UI中結合了高光等進行提示）在速度、效率上更高，也最受歡迎。

那么這跟特斯拉的Optimus人形機器人又有什么關系呢？

在特斯拉最新發布的視頻中，我們可以發現特斯拉利用一些技術方法改進了人形機器人的動作和控制，包括電機扭矩控制、環境發現與記憶、基于人類演示訓練機器人。

研究團隊使用電機扭矩控制（motor torque control）操縱人形機器人腿部的運動，讓機器人「落腳」力度保持輕緩。

對于一個機器人來說，觀察或感知周圍環境是非常重要的。特斯拉為人形機器人添加了環境發現與記憶的能力。現在，該人形機器人已經可以對周圍環境進行大致建模。

特斯拉的人形機器人具備與人類相似的身體結構。特斯拉的研究團隊使用大量人類演示訓練了機器人，特別是在手部動作方面，旨在讓其具備與人類似的物體抓取能力。

目前特斯拉的Optimus人形機器人除了制造困難外，另外一個就是使用場景的擴展。如果僅憑特斯拉一家企業來研發其每一個具體的應用場景，那么肯定局限性較大。

但如果給特斯拉的Optimus人形機器人加上一個蘋果的Vision Pro頭顯，再通過基于凝視射線+捏合的空間操作系統，并與人們自己佩戴的Vision Pro頭顯進行實時同步，是不是除了讓人形機器人自主完成特斯拉自己定義的簡單場景作業外，還能真正的實現人類自己的具身智能分身功能，而不一定要把一個高風險的腦機接口真正的把自己跟機器人連接上。

即便是不跟使用者自己的Vision Pro頭顯進行實時同步，把Vision Pro頭顯作為特斯拉人形機器人的另一個主控操作系統，來指揮人形機器人完成日常的一些工作內容與生活動作，是不是也能讓人形機器人基本上實現了虛擬現實的生產力融合。事實上，特斯拉在基于人類演示訓練機器人時，就已經完成了這一步。

人類的動作在現實生活中，是屬于很低級的低速運作，并且所使用的力量相對工業機械來說也極小，定位精度要求也極低，所以特斯拉才會說人形機器人的量產成本會很低。

從某種意義上來說，設計或制造人形機器人，只要搞懂其底層邏輯，把人類基本動作進行相對簡單的分類后再分解，找到與之相配的操作力能量轉換與控制方式，對于已經生產制造出了各種電子產品的科技企業來講，困難度并不高。

加上蘋果的空間操作系統出現，實現上對于整個科技行業來講，人形機器人的整個產業思維已經變得十分完整了。

責任編輯：彭菁