浙江大學和網易伏羲AI實驗室的研究人員開發出一個端到端的機器學習系統Audio2Face，可以從音頻中單獨生成實時面部動畫，同時考慮到音高和說話風格。

我們都知道動畫里的人物說話聲音都是由后期配音演員合成的。

但即使利用CrazyTalk這樣的軟件，也很難將電腦生成的嘴唇、嘴型等與配音演員進行很好地匹配，尤其是當對話時長在數十甚至數百小時的情況下。

但不要氣餒，動畫師的福音來了——Audio2Face問世！

Audio2Face是一款端到端的機器學習系統，由浙江大學與網易伏羲AI實驗室共同打造。

它可以從音頻中單獨生成實時的面部動畫，更厲害的是，它還能調節音調和說話風格。該成果已經發布至arXiv：

arXiv地址：

https://arxiv.org/pdf/1905.11142.pdf

團隊試圖構建一個系統，既要逼真又要低延遲

“我們的方法完全是基于音軌設計的，沒有任何其他輔助輸入（例如圖像），這就使得當我們試圖從聲音序列中回歸視覺空間的過程將會越來越具有挑戰?！闭撐墓餐髡呓忉尩溃傲硪粋€挑戰是面部活動涉及臉部幾何表面上相關區域的多重激活，這使得很難產生逼真且一致的面部變形?！?/p>

該團隊試圖構建一個同時滿足“逼真”（生成的動畫必須反映可見語音運動中的說話模式）和低延遲（系統必須能夠進行近乎實時的動畫）要求的系統。他們還嘗試將其推廣，以便可以將生成的動畫重新定位到其他3D角色。

他們的方法包括從原始輸入音頻中提取手工制作的高級聲學特征，特別是梅爾頻率倒譜系數（MFC），或聲音的短期功率譜的表示。然后深度相機與mocap工具Faceshift一起，捕捉配音演員的面部動作并編制訓練集。

深度相機示意圖

之后研究人員構建了帶有51個參數的3D卡通人臉模型，控制了臉部的不同部位（例如，眉毛，眼睛，嘴唇和下巴）。最后，他們利用上述AI系統將音頻上下文映射到參數，產生唇部和面部動作。

1470個音頻樣本加持，機器學習模型的輸出“相當可以”

團隊使用一個訓練語料庫，其中包含兩個60分鐘、每秒30幀的女性和男性演員逐行閱讀劇本中臺詞的視頻，以及每個相應視頻幀的1470個音頻樣本（每幀總共2496個維度）。

團隊報告說，與ground truth相比，機器學習模型的輸出“相當可以”。它設法在測試音頻上重現準確的面部形狀，并且它一直“很好地”重新定位到不同的角色。此外，AI系統平均只需0.68毫秒即可從給定的音頻窗口中提取特征。

該團隊指出，AI無法跟隨演員的眨眼模式，主要是因為眨眼與言語的相關性非常弱。不過從廣義上講，該框架可能為適應性強、可擴展的音頻到面部動畫技術奠定基礎，這些技術幾乎適用于所有說話人和語言。

“評估結果顯示，我們的方法不僅可以從音頻中產生準確的唇部運動，還可以成功地消除說話人隨時間變化的面部動作，”他們寫道。