早在大語言模型如GPT-3.5等的興起和被日漸廣泛的采用之前，教育行業已經在AI輔助教學領域有過各種各樣的嘗試。在教育行業，人工智能技術的采用幫助教育行業更好地實現教學目標，提高教學質量、學習效率、學習體驗、學習成果。例如，人工智能技術可以幫助教師更好地管理課堂，更好地識別學生的學習需求，更好地提供個性化的學習內容，更好地評估學生的學習成果，更好地提供學習支持。此外，人工智能技術還可以幫助教育行業更好地實現自動化，提高教育行業的效率和效果。總之，人工智能技術在教育行業的采用將會帶來巨大的變化，為教育行業帶來更多的發展機遇。

亞馬遜云科技也一直致力于提供更方便快捷，功能更強大的AI服務來支持教育行業客戶的技術創新和業務創新。特別是Amazon Transcribe、Amazon Polly、Amazon Textract、Amazon Translate、Amazon Personalize、Amazon Rekognition、Amazon SageMaker等產品分別從自然語言處理、圖形圖像處理、模型研發部署等方面為教育行業提供了強有力的技術支持。

本文結合Amazon Transcribe、Amazon Polly，以及OpenAI的大語言模型和D-ID.com公司的2D數字人生成技術，介紹實現一個演示用的可語音對話的智能2D數字人設計的服務和具體的實現過程。

方案架構

為了能在一個統一的用戶界面呈現語音輸入、語音輸出，以及2D數字人視頻播放的整體效果，本方案選擇Gradio框架實現WebUI的功能。呈現的WebUI如下：

用戶可以通過直接輸入文字內容或者使用麥克風輸入語音，文字內容會使用Langchain附加上一定的上下文后送給OpenAI的GPT接口調用，語音輸入會先調用Amazon Transcribe服務進行語音到文字的轉換。經過GPT接口返回的文字內容，會調用AWS Polly形成語音文件，同時語音文件會作為D-ID.com提供的API渲染出2D的動態視頻在前端自動展示和播放。

本方案中語音輸入，語音輸出，文字響應生成，以及數字人視頻生成的功能都可以做自由的組合和替換。特別是對于OpenAI接口的調用可以置換為對自部署的大語言模型的調用，同時2D數字人視頻的生成也可以考慮其他類似服務，如Heygen等。

具體實現

語音輸入部分

Amazon Transcribe支持實時轉錄語音（流式傳輸），也可以轉錄Amazon S3存儲桶中的語音文件（批處理）。Transcribe支持多達幾十種的不同國家的語言。

Transcribe的實時轉錄能力非常的強大，處理流數據的同時，不斷的利用之前的上下文進行結果的實時矯正，可以通過下面這個截圖看到Transcribe實時轉錄輸出的效果：

應答內容生成部分

在本方案里，應答內容的生成借助Langchain這個開源框架，調用基于OpenAI的coversation接口，同時使用memory庫對對話的上下文做了5輪保存。在實際的客戶場景里，可以考慮更豐富的方式來規范回復的內容的有效性和客觀性。

比如可以使用Langchain的對話模版來對大模型的角色進行預設，或者使用Amazon Kendra，Amazon Opensearch這樣的知識庫構建和檢索引擎，來進一步限制大模型應答的內容范圍。

語音輸出部分

Amazon Polly可以將文本轉化為逼真的語音。它支持多種語言并且包含各種逼真的聲音模擬，也包含中文普通話語音的模擬。

可以構建支持語音并能用于各種位置的應用程序，并選擇適合客戶的聲音。Amazon Polly也支持語音合成標記語言（SSML），它是一種基于XML的W3C標準標記語言，適用于語音合成應用程序，且支持使用通用SSML標簽進行斷句、重音和語調。自定義Amazon SSML標簽提供了獨特的選項，例如，能夠以新聞播音員說話風格發出某些聲音。這種靈活性能夠幫助您創建逼真的語音，從而吸引并維持聽眾的注意力。

在本方案中，可以使用Polly的實時語音生成接口，使用了中文普通話發音的VoiceID：Zhiyu，同時對特定的字符的發音做了定制化，這也是Polly一個非常有用的功能（Lexion）。

2D數字人視頻的生成部分

這里可以使用一個外部第三方的SaaS服務。該服務由D-ID.com公司提供，對應的API可以直接接收文本輸入和一張人臉圖片來生成對應的動態播報視頻，也可以接受語音文件加圖片作為輸入。

當你輸入文本的時候，該API接口可以選擇制定AWS的Polly服務中的不同的Voice ID來自動為你合成語音。

在本方案中，想體現中文的語音輸出的效果，但是D-ID的API接口中暫時無法直接為中文文本指定中文的Voice ID。所以選擇了先用Polly的API生成語音，再把語音和圖片傳送給D-ID的接口生成視頻。

總結

今年是AIGC爆發的一年，也是教育行業所在的客戶看到行業拐點的一年。在這個關鍵的歷史性節點上，亞馬遜云科技愿意和客戶一起面對這些新的機會和挑戰，以客戶的需求為導向，幫助客戶抓住AI浪潮帶來的紅利。

目前除了本文展示的2D數字人的方案，亞馬遜云科技也可以幫助客戶提供基于3D數字人或者其他3D數字形象的直播，互動等方案。同時亞馬遜云科技也會引入更多的技術合作伙伴如躍遷引擎來豐富整個數字人，數字形象直播、點播、互動等場景的解決方案，助力更多的教育行業客戶加速AI技術的采用和落地。

原發標題：近實時智能應答 2D 數字人搭建

審核編輯 黃宇