中國女孩偶像組合SNH48發布的最新圣誕音樂視頻中，六位明星出現了數字替身，只要用手機自拍一張照片，就能幾秒鐘內生成一個完整的3D頭像。

遇到“假”愛豆，還做不做舔狗？

中國女孩偶像組合SNH48最新發布圣誕音樂視頻，六位最受歡迎的明星一起唱歌和跳舞，值得注意的是，這六人都有假“替身”。

最近，南華早報報道了這項技術背后的公司ObEN。

一張自拍照生成3D頭像

以虛擬形式生成人的畫像是一項艱巨的任務，ObEN的CV團隊會在每張2D圖像上查看數十個標記，并分析每個標記如何在2D和3D之間移動和變化，從而改變3D模型。

3D建模從內部構建的面部數據庫開始。首先收集大量數據，幫助確定這些面部特征，并訓練AI算法識別它們。通過將2D圖像與3D對應物進行比較，團隊分析了這些標記如何變形以及如何在2D和3D之間轉換。然后訓練AI以自動變形（或重組）一個通用的3D頭部模型（網格線框），使其與2D圖像中描繪的面部匹配，可根據標記點檢查其準確性。

ObEN首席執行官Nikhil

最厲害的地方在于，只要用手機自拍一張照片，就能幾秒鐘內生成一個完整的3D頭像。

ObEN計算機視覺科學家王睿哲博士講述了背后的一些技術。

形象逼真是件好事，但過于真實可就不見得了。用戶希望他們的虛擬形象看起來像一個增強的、“美化”的版本，而不是一個完全的復制品。這就是為什么他們可以通過訓練人工智能來生成虛擬化身，在人物真實形象和改善外觀之間取得良好平衡，縮小藝術與技術之間的差距。

要快速完成此過程，必須教會AI識別這些標記的變化（換句話說，用戶個體臉部的紋理）如何與標準的線框模式合并，以最好地模擬用戶的視覺外觀。

與傳統媒介的藝術家一樣，某些屬性比其他屬性更重要，并且難以捕捉到，特別注意眼睛和嘴巴周圍的區域。

此外，CV團隊還在探索在講話時如何更自然，并對視覺語音的研究涉及訓練AI來識別各類人的說話方式、臉部動畫，尤其是嘴巴的動作。通過足夠的訓練，AI可以接收任何文本或音頻輸入，并根據其面部特征自動設置用戶模型說話時的動態。

ObEN的語音合成技術應用深度學習，可以捕獲完整的聲波紋，創建任何語言的數字聲紋，比如美國人錄制的聲音可以用來說中文，同時，錄聲音也不需要專業錄音環境，只要沒有太多背景噪音就OK。

構建明星替身：虛擬形象可能比明星還厲害

ObEN成立于2014年，軟銀旗下SB Next Media創新基金投出的第一筆錢就是這家公司，目前ObEN完成數輪融資：

2014年7月，完成種子輪融資；

2016年11月，完成770萬美元A輪融資；

2017年3月，獲軟銀韓國的投資。

2017年7月，完成500萬美元的A2輪融資，騰訊領投

2018年1月，完成1000萬美元B輪可轉債融資。

另外，通過與SM Entertainment（韓國最大的娛樂機構）合資，ObEN成立了世界上第一個名人AI機構AI Stars，為世界上一些超級明星創建PAI（定制AI），他們可以創造新的體驗，與世界各地的粉絲建立聯系。

這其中的基礎技術與之前說提到的技術類似，該團隊通過對合作的明星進行全面3D面部掃描來獲取更多數據。通過更多數據，模型可以使用更多數據，從而獲得更高質量的虛擬形象。

但是，對于ObEN的研究人員來說，一個漂亮的面孔是不夠的。團隊正在進行的工作不僅涉及不斷改進AI模型，還為更具表現力的虛擬化身創建定制的面部裝備。現在，ObEN正在收集各種表情的數據集，分析這些不同面部表情的相應標記，并訓練模型來預測不同表情的面部形狀。

很快，你的愛豆模型便不再只是單純長得像你的愛豆了——它可能比你的愛豆還要厲害。