在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

從Satin到Lyra為什么微軟、谷歌都盯向音頻編解碼器?

LiveVideoStack ? 來源:LiveVideoStack ? 作者:LiveVideoStack ? 2021-05-24 15:36 ? 次閱讀

回顧今年的2月份,可以說是音頻編解碼器最為熱鬧的一個月。先是微軟宣布推出最新款由AI支持的音頻編解碼器——Satin。僅一周后,谷歌推出了用于語音壓縮的新型超低比特率音頻編解碼器——Lyra,并且Android版本已開源。在此,也非常感謝來自國內音頻領域的知名業內人士對本文發表評論及審校。

不難發現,硅谷大佬們對音頻編解碼器的深度研發進度已提上日程,對未來可應用的場景讓人們充滿期待。值得注意的是這兩款音頻編解碼器都是基于AI的語音編碼,但它們又有各自不同的特點。

Satin:用于實時通信的AI音頻編解碼器 作為一款由人工智能驅動的音頻編解碼器,Satin可以在網速6kbps時提供超寬頻段的語音,17kbps時提供全頻段的立體聲音樂,網速越高,質量越高。

Satin旨在高丟包率下也提供良好的音頻質量。此外,在冗余算法的改進下,可以應對突發丟包情況,提供更好的保護。以下是經過改進的彈性算法和Satin編解碼器的最終效果: SILK@6kbps,突發數據包丟失(附加6kbps的冗余) Satin@6kbps,突發數據包丟失,改進的冗余算法(附加6kbps的冗余)

相對于Silk推出的超寬帶語音,12kHz的頻率,以24kHz的采樣率(在人類聲音超過12kHz的頻率時,能量會迅速下降);Satin重新定義了超寬帶,以覆蓋16kHz的頻率,采樣率在32kHz,以提供更高的清晰度和穩定性,而其高效的壓縮功能則可以實現6 kbps的超寬帶語音。

4f0e8eb2-bc62-11eb-bf61-12bb97331649.png

/ t /一詞在“ suit”一詞中的頻率分量。除了4 kHz的窄帶截止甚至8 kHz的寬帶截止以外,還有大量的能量。將能量保留在較高的頻譜分量中會導致聲音聽起來更加自然。 以下分別為在6kbps下,Silk窄帶和Satin超寬帶的音頻示例(建議使用耳機試聽): 為了保證在6kbps超寬帶下的語音質量,Satin使用對語音產生、建模和心理聲學的深度理解來提取和編碼信號的稀疏表達。

為了進一步降低所需的比特率,Satin只在較低的頻帶中編碼和傳輸某些參數。在解碼器上,Satin使用深層神經網絡從接收到的低頻帶參數以及通過導線發送的最少量輔助信息中估計高頻帶參數。 雖然這種方法解決了在超低比特率下對使用超寬帶語音的最大挑戰,但也帶來了計算復雜度的新挑戰。對此,微軟將重心放在對算法優化和循環向量化等技術上,使計算復雜度降低40%,并保障能夠在所有用戶的設備上運行。

4f31376e-bc62-11eb-bf61-12bb97331649.png

除此之外,微軟還關注到了關于Satin的丟包數據恢復能力。對此,Satin對每個數據包進行獨立編碼,因此丟失一個數據包的效果不會影響后續數據包的質量。編解碼器還被設計為有助于在內部參數域中隱藏高質量的丟包。這些功能可幫助Satin無縫處理隨機丟失,一次丟失一個或兩個數據包。

目前,Satin已被用于所有Teams和Skype兩方通話,并將很快用于Teams會議。目前,它以6-36 kbps的比特率范圍在寬帶語音模式下運行,并且在不久的將來將擴展為以48 kHz的最大采樣率支持全頻帶立體聲音樂。

Lyra:一款用于語音壓縮的新型超低比特率編解碼器 Lyra是由谷歌團隊研發并已開源了Android版本。它所擁有的能力在于能在3kbps網絡帶寬下為用戶提供自然清晰的語音聊天,以及僅90ms延遲的情況下在從高端云服務器到中端智能手機的任何設備上運行。(有關Lyra的詳細介紹請瀏覽:在3kbps的帶寬下還能清晰地語音聊天?)

對比Satin & Lyra:雖然這兩個音頻編解碼器都能夠在低比特率下進行操作,并通過AI提供動力,但它們有很大的不同。Lyra僅專注于窄帶,而Satin則致力于超寬帶。 另外,國內音頻領域的知名業內人士指出:“在AI Codec領域中,有兩種方式。一種是 end to end 也就是全AI,所以Lyra屬于全AI結構

。而另一種是hybird結構,就是只有部分模塊才使用AI,因此Satin是hybird結構。那么之所以現在才使用AI與音頻編解碼器結合,是因為在相同碼率下,使用AI能夠大幅提升音頻質量。”

相關鏈接: https://mp.weixin.qq.com/s/Y1wceNAuMO7X8Vq3NiJ_GQ https://techcommunity.microsoft.com/t5/microsoft-teams-blog/satin-microsoft-s-latest-ai-powered-audio-codec-for-real-time/ba-p/2141382 https://bloggeek.me/lyra-satin-webrtc-voice-codecs/

編輯:jq

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 寬帶
    +關注

    關注

    4

    文章

    1007

    瀏覽量

    61249
  • 數據
    +關注

    關注

    8

    文章

    7231

    瀏覽量

    90616
  • AI
    AI
    +關注

    關注

    87

    文章

    33257

    瀏覽量

    273520
  • 音頻編解碼器

    關注

    4

    文章

    142

    瀏覽量

    56160

原文標題:從Satin到Lyra 為何微軟、谷歌都盯向音頻編解碼器?

文章出處:【微信號:livevideostack,微信公眾號:LiveVideoStack】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    EE-212:將AD74111單聲道音頻編解碼器評估板連接到ADSP-21161N SHARC? EZ-KIT Lite板

    電子發燒友網站提供《EE-212:將AD74111單聲道音頻編解碼器評估板連接到ADSP-21161N SHARC? EZ-KIT Lite板.pdf》資料免費下載
    發表于 01-08 14:27 ?0次下載
    EE-212:將AD74111單聲道<b class='flag-5'>音頻</b><b class='flag-5'>編解碼器</b>評估板連接到ADSP-21161N SHARC? EZ-KIT Lite板

    國芯思辰| 單聲道音頻編解碼器SC2601應用于錄音筆,替換ES8311

    國芯思辰| 單聲道音頻編解碼器SC2601應用于錄音筆,替換ES8311
    的頭像 發表于 01-07 10:33 ?442次閱讀
    國芯思辰| 單聲道<b class='flag-5'>音頻</b><b class='flag-5'>編解碼器</b>SC2601應用于錄音筆,替換ES8311

    TLV320AIC28音頻編解碼器評估模塊

    電子發燒友網站提供《TLV320AIC28音頻編解碼器評估模塊.pdf》資料免費下載
    發表于 12-20 16:02 ?0次下載
    TLV320AIC28<b class='flag-5'>音頻</b><b class='flag-5'>編解碼器</b>評估模塊

    TAS25xx編解碼器控制EVM手冊

    電子發燒友網站提供《TAS25xx編解碼器控制EVM手冊.pdf》資料免費下載
    發表于 12-10 14:14 ?0次下載
    TAS25xx<b class='flag-5'>編解碼器</b>控制EVM手冊

    替換ES8311,音頻編解碼器SC2601在行車記錄儀中的應用

    替換ES8311,音頻編解碼器SC2601在行車記錄儀中的應用
    的頭像 發表于 11-29 10:07 ?569次閱讀
    替換ES8311,<b class='flag-5'>音頻</b><b class='flag-5'>編解碼器</b>SC2601在行車記錄儀中的應用

    配置I2S以編解碼器設備生成BCLK

    電子發燒友網站提供《配置I2S以編解碼器設備生成BCLK.pdf》資料免費下載
    發表于 10-21 10:30 ?0次下載
    配置I2S以<b class='flag-5'>從</b><b class='flag-5'>編解碼器</b>設備生成BCLK

    TMS320F2833x與AIC23B立體聲音頻編解碼器的接口

    電子發燒友網站提供《TMS320F2833x與AIC23B立體聲音頻編解碼器的接口.pdf》資料免費下載
    發表于 10-15 09:21 ?0次下載
    TMS320F2833x與AIC23B立體聲<b class='flag-5'>音頻</b><b class='flag-5'>編解碼器</b>的接口

    Linux上的編解碼器移植TMS320DM365預覽版

    電子發燒友網站提供《Linux上的編解碼器移植TMS320DM365預覽版.pdf》資料免費下載
    發表于 10-14 10:53 ?0次下載
    Linux上的<b class='flag-5'>編解碼器</b>移植TMS320DM365預覽版

    TMS320DM365中的智能編解碼器功能

    電子發燒友網站提供《TMS320DM365中的智能編解碼器功能.pdf》資料免費下載
    發表于 10-14 10:24 ?0次下載
    TMS320DM365中的智能<b class='flag-5'>編解碼器</b>功能

    音頻編解碼器和ADC中有哪些常見噪聲問題,如何幫助避免這些問題?

    音頻編解碼器和 ADC 中有哪些常見噪聲問題,如何幫助避免這些問題?
    發表于 10-10 08:09

    音頻編解碼器中的常見噪聲問題

    電子發燒友網站提供《音頻編解碼器中的常見噪聲問題.pdf》資料免費下載
    發表于 10-09 10:19 ?0次下載
    <b class='flag-5'>音頻</b><b class='flag-5'>編解碼器</b>中的常見噪聲問題

    帶你探索HiFi智能編解碼器的奇妙世界

    HiFi智能編解碼器就像是音頻世界的魔法師,它讓我們能聽到最真實、最動人的聲音。無論是家庭音響、智能音箱,還是無線耳機和專業設備,這個小小的設備都能帶來巨大的音質提升。讓我們一同期待,未來HiFi智能編解碼器為我們帶來的更多驚喜
    的頭像 發表于 07-18 17:20 ?1123次閱讀
    帶你探索HiFi智能<b class='flag-5'>編解碼器</b>的奇妙世界

    TP3094單芯片PCM編解碼器和濾波數據表

    電子發燒友網站提供《TP3094單芯片PCM編解碼器和濾波數據表.pdf》資料免費下載
    發表于 07-10 09:25 ?0次下載
    TP3094單芯片PCM<b class='flag-5'>編解碼器</b>和濾波<b class='flag-5'>器</b>數據表

    音頻編解碼器AC'97電壓轉換收發數據表

    電子發燒友網站提供《音頻編解碼器AC'97電壓轉換收發數據表.pdf》資料免費下載
    發表于 05-28 10:52 ?0次下載
    <b class='flag-5'>音頻</b><b class='flag-5'>編解碼器</b>AC'97電壓轉換收發<b class='flag-5'>器</b>數據表

    國產可編程振蕩在視頻編解碼器中的應用,兼容SiTime

    國產可編程振蕩在視頻編解碼器中的應用,兼容SiTime
    的頭像 發表于 04-17 09:39 ?3195次閱讀
    國產可編程振蕩<b class='flag-5'>器</b>在視頻<b class='flag-5'>編解碼器</b>中的應用,兼容SiTime
    主站蜘蛛池模板: 天天操夜夜操狠狠操 | 亚洲爱爱视频 | 久久视频免费 | 35pao强力打造| 国产理论精品 | 成人免费视频一区 | 亚洲福利视频一区 | 视色在线视频 | 国产chinesehd精品酒店 | 久久这里精品青草免费 | 手机在线看片福利盒子 | 精品国产午夜久久久久九九 | 久久啊 | 色妞导航 | 日本污全彩肉肉无遮挡彩色 | 国产一级做a爰片久久毛片 国产一级做a爰片久久毛片男 | 亚洲人毛茸茸bbxx | 欧美成人一区二区三区在线视频 | 精品手机在线 | 欧美视频精品在线 | 日本不卡视频一区二区 | 一区二区三区中文国产亚洲 | 一级特黄aa大片免费 | 免费在线观看污视频 | 亚洲成人高清在线观看 | bt天堂电影 | 色午夜在线| 亚洲色图激情 | 伊人网在线视频观看 | 亚洲三级毛片 | 最新版资源在线天堂 | 在线网址你懂的 | 国产福利在线观看你懂的 | 国产一级淫 | 性xxxxbbbb免费播放视频 | 大学生毛片 | 男女在线观看视频 | 亚洲开心激情网 | 狠狠色丁香婷婷久久 | 人人精品 | 老师受不了了好硬好大 |