就像對ARKit的3D模型（usdz）所做的那樣，Apple正在開發一種新的音頻格式，即使在用戶移動，戴著“ Apple Glass ”或其他AR設備時，也可以更輕松沉浸式地在用戶周圍放置“3d聲音”。 以前已經證明Apple在為AR制作高分辨率視頻圖像，現在它也致力于與之配套產生高質量的音頻。在新的專利申請中，該公司正在研究與空間音頻有關的工作。 具體來說，Apple希望建立一種音頻格式，例如.MP3或.AAC，并結合了AR所需的額外空間信息。該格式不僅需要包含實際的音頻，而且還遠遠超出在立體聲圖片的左側還是右側播放元素的范圍。蘋果以前曾與皮克斯合作開發一種名為USDZ的格式，該格式用于將音頻放置在用戶周圍的3D空間中。 “在增強現實（AR），虛擬現實（VR）和混合現實（MR）應用程序中產生三維（3D）聲音效果是具有挑戰性的……因為現有的音頻格式最初是為在物理環境中產生3D聲音而設計的具有固定的揚聲器位置和固定的聽眾。” 蘋果將AR，VR和MR統稱為“模擬現實”（SR），并表示希望在許多現有3D音頻格式的基礎上發展。例如，旨在產生3D聲音的空間音頻格式包括MPEG-H 3D音頻標準，HOA空間音頻技術和DOLBY ATMOS環繞聲技術。 問題既與觀眾感知聲音的位置有關，也與創作者可以選擇放置效果或音樂的地方有關。蘋果公司說：“在SR環境中產生3D聲音效果的一種替代方法是操縱音頻對象中包含的各個離散聲音，這些聲音實際上可以位于3D環境中的任何位置。” 蘋果公司提出的解決方案是創建一種格式，該格式類似于.m4v和.mp4是將不同元素組合在一起的格式。對于蘋果公司對空間音頻的新要求，該公司建議創建一個音頻資產庫，其中包括資產元數據，使模擬現實（SR）應用程序開發人員能夠為SR應用程序編寫聲音。” 蘋果公司說：“音頻經過了格式化，包括音頻數據，這些數據編碼了能夠被編入SR應用程序的聲音，以及資產元數據，不僅描述了聲音的編碼方式，而且還描述了SR環境中聽眾的感受。 另外Facebook Reality Labs研究小組最近也分享了一些關于AR的音頻項目。該小組的目標是將技術融入到AR眼鏡中，通過在嘈雜的環境中輕松隔離對話聲音，增強你的聽力，并能夠重現虛擬聲音，讓它們看起來像是來自你周圍的真實世界。自定義的HRTF是提供這種體驗的關鍵，它是每個人根據頭部和耳朵形狀聽到聲音的獨特方式的數字版本，但這個過程既耗時又昂貴。該團隊正在研究一種可擴展的解決方案，可以從你的耳朵的一張簡單照片生成精確的HRTF。 Facebook Reality Labs（簡稱FRL)是Facebook最新采用的名稱，該團隊致力于開發沉浸式技術(包括Oculus眼鏡)。