時域科技是一家專注于 AI 領域的科技公司，致力于讓 AI 滿足人類的情感需求，通過“富情感”人聲合成技術，賦予 AI 表現(xiàn)情感的能力。時域科技服務以“游戲”+“虛擬偶像”為主的元宇宙業(yè)務客戶，為客戶提供高情感、高質量、高可控、高定制、全場景的 AI 人聲，幫助客戶通過 AI 與用戶建立情感連接，給用戶帶來情感價值的享受。

時域科技旗下ACE studio是 PC 平臺上的一款歌聲合成軟件，主要面向較為專業(yè)的用戶。ACE 虛擬歌姬是移動平臺上的一款歌聲合成軟件，用戶可以很方便的進行自由創(chuàng)作，二次創(chuàng)作，并且將自己的作品分享在平臺上，目前已有眾多炙手可熱的作品流傳。同時，時域科技還為多個合作伙伴提供接口服務。

時域科技歌聲合成引擎，由一組高性能模型組成，包括韻律模型，唱法模型，音色模型，參數(shù)模型等。采用云端部署方式，選用 NVIDIA A10 GPU 作為推理芯片，實現(xiàn)快速完成各種復雜的合成任務。

歌聲合成引擎迭代部署面臨諸多挑戰(zhàn)

歌聲合成引擎的迭代與部署過程中，團隊也遇到了諸多挑戰(zhàn)：

• 歌聲合成服務的用戶，由于很多正在進行創(chuàng)作活動，對于調用延遲耐受度很低，使得我們必須在各個環(huán)節(jié)進行極致優(yōu)化，進一步提高合成吞吐瓶頸。

• 不同類型的服務，需要多個模型協(xié)同完成，有些請求需要 2-3 個模型的串聯(lián)處理，多則需要包含 8 個模型的處理管線。如何在復雜的算法設計下，進一步提高 GPU 資源的利用率也亟待解決。

• 模型可熱插拔與版本管理。歌聲合成系統(tǒng)包含多個模型，每個模型都發(fā)揮了重要的作用，算法團隊對于模型也在一直進行效果優(yōu)化。因此，需要一個架構可以支持不同版本模型管理及快速上線。

NVIDIA Triton為歌聲合成引擎

迭代部署提供算力支持

為應對上述挑戰(zhàn)，時域科技算法團隊與 NVIDIA 技術團隊合作，使用 NVIDIA TensorRT 對模型進行推理加速，并且利用 NVIDIA Triton 推理服務器進行部署。

首先，模型迭代團隊使用 PyTorch 框架快速迭代模型效果，每個模型通過 Torch-TensorRT 集成，僅用一行代碼就可以獲得最高 6 倍的性能提升。Torch-TensorRT 是 TorchScript 的延伸，經(jīng)過編譯后使用與 TorchScript 模塊無異，同時模型中大部分算子可經(jīng) TensorRT 優(yōu)化后獲得大幅性能提升。

結合 NVIDIA Triton 的 Python Backend，通過 BLS (Business Logic Scripting)靈活配置多個模型組合，并且實現(xiàn)必要的業(yè)務邏輯處理，顯著的降低了部署成本。而且基于 Triton 的 Tracing 能力，可更快速調試、定位問題，提高了部署效率。

經(jīng)過優(yōu)化，使得單個歌聲片段的平均合成耗時降低 28%，單機 GPU 利用率提升 25%，并且顯著提高了模型迭代效率。

2022年，時域科技加入了 NVIDIA 初創(chuàng)加速計劃，與 NVIDIA 專業(yè)技術團隊進行了深入溝通，獲得了包括架構選擇，部署方案等方面的技術支持。

時域科技也參加了 2022 初創(chuàng)企業(yè)展示活動，并入圍最終展示榮耀企業(yè)，在產品折扣，市場宣傳，業(yè)務對接等方面也獲得了 NVIDIA 的多方支持。后續(xù)雙方會進一步加強合作。

NVIDIA 初創(chuàng)加速計劃

時域科技是 NVIDIA 初創(chuàng)加速計劃 (NVIDIA Inception) 會員企業(yè)。NVIDIA 初創(chuàng)加速計劃為免費會員制、旨在培養(yǎng)顛覆行業(yè)格局的優(yōu)秀創(chuàng)業(yè)公司。該計劃聯(lián)合國內外知名的風投機構，創(chuàng)業(yè)孵化器，創(chuàng)業(yè)加速器，行業(yè)合作伙伴以及科技創(chuàng)業(yè)媒體等，打造創(chuàng)業(yè)加速生態(tài)系統(tǒng)。能夠提供產品折扣，技術支持，市場宣傳，融資對接，業(yè)務推薦等一系列服務，加速創(chuàng)業(yè)公司的發(fā)展。