聽覺是VR體驗中不可或缺的一部分,真正沉浸式的體驗除了視覺外也要讓聽覺符合場景的設定。為了幫助開發者更方便的創造自然的立體音效,HTC Vive推出了3DSP音頻SDK。
3DSP是一款音頻SDK,可以為應用程序提供具備空間音效的音頻。影響人類對于音頻空間化感知的因素有很多,比如聲音傳入兩只耳朵的時間差,兩耳之間的水平差異,人體耳廓、頭部等部位的差異、環境因素(例如房間聲音反射和混響)以及從聲源發出聲音到人耳接收到聲音之間遇到的障礙物阻擋,都會影響人的聽感。
為了讓用戶在VR中聽到的聲音盡可能的真實,就需要考慮到聲音發出到被聽到之間的種種因素,讓VR中的聲音盡可能接近真實空間中人們聽到的聲音,以增加從沉浸感。
高階Ambisonics(高保真立體聲)
傳統的雙聲道立體聲利用兩個揚聲器,通過人的雙耳效應使聲音達到空間立體的效果。
而隨著技術的不斷進步,在VR中我們常用一種音頻技術Ambisonics,相當于讓聲源遍布球狀的內表面,環繞用戶的頭部。
Ambisonics使用“球諧函數”描述聲場,使聲音從四面八方傳來,帶來更好的沉浸感。
不過迄今為止簡易的基本型Ambisonic系統只能在一個中心位置創建一個精確的聲場。隨著聽眾遠離中心并隨著頻率的增加,誤差水平逐漸增加。
為了減少誤差,可以采用增加球面的階數來描述更加復雜的諧波。
HTC在對3DSP SDK的展示中便展示了3階Ambisonics模型。
房間音頻
當用戶處在虛擬房間中時,就要考慮房間的復雜情況,對聲音做出相應處理。
3DSP從早期反射、后期混響、背景噪聲、環境材料等方面模擬房間音頻,讓用戶獲得更具空間感的聲音。值得一提的是,3DSP同時保證了該技術在低計算量的情況下運行,減少設備的計算負擔。
距離模型
空間中真實傳播的聲音會隨著傳播距離的增長而發生衰減,但是在不同的情況下衰減的變化是不同的。
在HTC Vive 3DSP SDK中,提供了幾種情況下聲音的衰減模型,采用基于現實建模的距離模型。
阻塞效應
當聲音從聲源發出遇到障礙物再被用戶聽到的時候,會因為障礙物的阻擋而發生改變。
分析物體的幾何特點來計算遮擋物對聲音的遮擋能力。
為了計算障礙物的遮擋能力,是通過在空間中投射大量射線,并列舉有多少被障礙物遮擋。
無需使用Unity對撞機,根據不同障礙物的具體面積以及形狀計算得到聲源經過障礙物后被聽眾聽到的實際情況。
其他特性
除了上述的幾點外,HTC Vive 3DSP SDK還具備以下特性
·基于對真實世界精確建模(包括水平和垂直方向)的頭相關變換函數(HRTF),可以得到適用于所有聲音的濾波器進而還原空間音頻。
·原聲和回放均采用高分辨率音頻。
-
音頻
+關注
關注
29文章
2911瀏覽量
82037 -
SDK
+關注
關注
3文章
1048瀏覽量
46358 -
vr
+關注
關注
34文章
9648瀏覽量
150888
原文標題:HTC Vive發布空間音頻SDK,帶來身臨其境的聽感
文章出處:【微信號:ARchan_TT,微信公眾號:AR醬】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
基于HPM_SDK_ENV開發應用程序的升級處理
![基于HPM_<b class='flag-5'>SDK</b>_ENV開發<b class='flag-5'>應用程序</b>的升級處理](https://file.elecfans.com/web2/M00/37/D7/pYYBAGI9l9uAOwALAAAmFmqVYdg094.png)
深度應用在家用音響領域的高性能32位DSP核光纖接口音頻處理芯片
![深度應用在家用音響領域的高性能32位<b class='flag-5'>DSP</b>核光纖接口<b class='flag-5'>音頻</b>處理芯片](https://file.elecfans.com/web2/M00/A6/86/pYYBAGRlguOAP09PAABb5bascXc524.png)
Adobe將推出全新免費應用程序
2.4G & 5.8G無線音頻傳輸有什么區別?
雙DSP音效處理芯片有什么作用
HTC新頭顯Vive Focus Vision:強化混合現實體驗
炬芯科技聯合驊訊電子推出顛覆性Xear? 7.1.4 全景3D空間音頻無線電競耳機方案,重新定義游戲音效
![炬芯科技聯合驊訊電子<b class='flag-5'>推出</b>顛覆性Xear? 7.1.4 全景<b class='flag-5'>3</b>D<b class='flag-5'>空間</b><b class='flag-5'>音頻</b>無線電競耳機方案,重新定義游戲<b class='flag-5'>音效</b>](https://file1.elecfans.com/web2/M00/06/3F/wKgZombjlL6AA2ilAADQhG_ln1c795.jpg)
支持多種數字音頻接口和集成多種音效算法的DSP音頻處理芯片-DU562
![支持多種數字<b class='flag-5'>音頻</b>接口和集成多種<b class='flag-5'>音效</b>算法的<b class='flag-5'>DSP</b><b class='flag-5'>音頻</b>處理芯片-DU562](https://file1.elecfans.com//web2/M00/FF/92/wKgZomapkh2AIgyDAABM1KHlums371.jpg)
山景BP1048B2-高性能32位DSP藍牙音頻處理器
![山景BP1048B2-高性能32位<b class='flag-5'>DSP</b>藍牙<b class='flag-5'>音頻</b>處理器](https://file1.elecfans.com//web2/M00/FD/A2/wKgZomadxnSARFrEAAHGPs8ssWo428.png)
DSP ARM FPGA 實驗箱_音頻處理_濾波操作教程:3-9 音頻信號的濾波實驗
高通推出三代S5和S3音頻平臺,拓展音頻功能
fx3枚舉成usb揚聲器,電腦無法播放音頻是哪里出了問題?
艾為重磅推出新一代Digital Smart K數字音頻功放產品AW88396FOR
![艾為重磅<b class='flag-5'>推出</b>新一代Digital Smart K數字<b class='flag-5'>音頻</b>功放產品AW88396FOR](https://file1.elecfans.com/web2/M00/C0/33/wKgZomXTKV6ACsw-AAAazDvJJzw583.png)
評論