人工智能（ AI ）已經(jīng)將合成語音從單調(diào)的機器人呼叫和幾十年前的 GPS 導(dǎo)航系統(tǒng)轉(zhuǎn)變?yōu)?a href="http://m.xsypw.cn/v/tag/11230/" target="_blank">智能手機和智能揚聲器中虛擬助理的優(yōu)美音調(diào)。

對于組織來說，為其特定行業(yè)和領(lǐng)域使用定制的最新語音 AI 技術(shù)從未如此容易。

語音 AI 正被用于 power 虛擬助理 ，擴展呼叫中心， 使數(shù)字化身人性化 ， 增強 AR 體驗 ，并通過自動化臨床記錄為患者提供無摩擦的醫(yī)療體驗。

根據(jù) Gartner Research ，到 2023 年，客戶將傾向于使用語音接口啟動 70% 的自助式客戶互動 （ 2019 年為 40% ）。對個性化和自動化體驗的需求只會繼續(xù)增長。

在這篇文章中，我將討論語音 AI ，它是如何工作的，語音識別技術(shù)的好處，以及語音 AI 用例的示例。

什么是語音人工智能，其好處是什么？

語音 AI 將 AI 用于基于語音的技術(shù)：自動語音識別（ ASR ），也稱為語音對文本和文本對語音（ TTS ）。例如，虛擬會議中的自動實時字幕顯示，以及向虛擬助理添加基于語音的界面。

Sim i 通常，基于語言的應(yīng)用程序，如聊天機器人、文本分析和數(shù)字助理，將語音 AI 與自然語言處理（ NLP ）一起作為大型應(yīng)用程序或系統(tǒng)的一部分。有關(guān)更多信息，請參閱 對話 AI 詞匯表 。

語音 AI 有很多好處：

High availability ：語音 AI 應(yīng)用程序可以在人工代理時間內(nèi)外響應(yīng)客戶呼叫，使聯(lián)絡(luò)中心能夠更高效地運行。

Real-time insights： 實時記錄被指定為以客戶為中心的業(yè)務(wù)分析的輸入，如情緒分析、客戶體驗分析和欺詐檢測。

Instant scalability： 在高峰時，語音 AI 應(yīng)用程序可以自動擴展，以處理客戶的數(shù)萬個請求。

Enhanced experiences ：語音人工智能通過減少等待時間、快速解決客戶查詢并提供可定制語音界面的人性化交互，提高了客戶滿意度。

數(shù)字可訪問性： 從語音到文本再到文本再到語音應(yīng)用，語音 AI 工具正在幫助那些有閱讀和聽力障礙的人從生成的語音和書面文本中學(xué)習(xí)。

誰在使用語音 AI 以及如何使用？

今天，語音 AI 正在徹底改變世界上最大的行業(yè)，如金融、電信和統(tǒng)一通信即服務(wù)（ UCaaS ）。

從深度學(xué)習(xí)、基于語音的技術(shù)起步的公司以及擴展現(xiàn)有基于語音的 conversational AI 平臺的成熟公司都受益于語音 AI 。

以下是語音 AI 提高效率和業(yè)務(wù)成果的一些具體示例。

呼叫中心轉(zhuǎn)錄

全球約有 1000 萬呼叫中心代理 每天接聽 20 億個電話 。呼叫中心用例包括以下所有內(nèi)容：

趨勢分析

法規(guī)遵從性

實時安全或欺詐分析

實時情緒分析

實時翻譯

例如，自動語音識別記錄客戶和呼叫中心代理之間的實時對話，以進行文本分析，然后用于為代理提供 快速解決客戶查詢 的實時建議。

臨床記錄

在醫(yī)療保健領(lǐng)域，語音 AI 應(yīng)用程序改善了患者與醫(yī)療專業(yè)人員和理賠代表的聯(lián)系。 ASR automates note-taking 在患者 – 醫(yī)生對話和索賠代理信息提取期間。

虛擬助理

每個行業(yè)都有虛擬助理，可以增強用戶體驗。 ASR 用于為虛擬助手轉(zhuǎn)錄音頻查詢。然后，文本到語音

生成虛擬助理的合成語音。除了使交易情境人性化之外，虛擬助理還幫助視力受損者與非盲文文本、語音障礙者以及兒童進行互動。

語音 AI 是如何工作的？

語音 AI 使用自動語音識別和文本到語音技術(shù)為對話應(yīng)用程序提供語音接口。典型的語音人工智能管道包括數(shù)據(jù)預(yù)處理階段、神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練和后處理。

在本節(jié)中，我將討論 ASR 和 TTS 管道中的這些階段。

圖 3 ：。對話 AI 應(yīng)用的語音接口

自動語音識別

為了讓機器能夠聽到并與人類對話，它們需要一種將聲音轉(zhuǎn)換為代碼的通用媒介。設(shè)備或應(yīng)用程序如何通過聲音“看到”世界？

ASR pipeline 將包含語音的給定原始音頻文件處理并轉(zhuǎn)錄為相應(yīng)的文本，同時最小化稱為 字錯誤率 （ WER ）的度量。

WER 用于測量和比較不同類型的語音識別系統(tǒng)和算法的性能。它是由錯誤數(shù)除以正在轉(zhuǎn)錄的剪輯中的單詞數(shù)來計算的。

ASR 管道必須完成一系列任務(wù)，包括特征提取、聲學(xué)建模以及語言建模。

圖 4 ：。 ASR 管道

特征提取任務(wù)涉及將原始模擬音頻信號轉(zhuǎn)換為頻譜圖，頻譜圖是表示信號在不同頻率下隨時間變化的響度的視覺圖表，類似于熱圖。轉(zhuǎn)換過程的一部分涉及傳統(tǒng)的信號預(yù)處理技術(shù)，如 standardization 和 windowing 。

然后使用 Acoustic modeling 來建模音頻信號與語言中語音單位之間的關(guān)系。它將音頻片段映射到最可能不同的語音單元和相應(yīng)的字符。

ASR 管道中的最后一項任務(wù)涉及語言建模。 language model 添加了上下文表示并更正了聲學(xué)模型的錯誤。換句話說，當您擁有聲學(xué)模型中的字符時，您可以將這些字符轉(zhuǎn)換為單詞序列，這些單詞可以進一步處理為短語和句子。

歷史上，這一系列任務(wù)是使用生成方法執(zhí)行的，該方法要求使用語言模型、發(fā)音模型和聲學(xué)模型將發(fā)音轉(zhuǎn)換為音頻波形。然后，可以使用 高斯混合模型 或 隱馬爾可夫模型 來嘗試查找最可能與音頻波形中的聲音匹配的單詞。

這種統(tǒng)計方法在實施和部署的時間和精力上不太準確，而且更加密集。當試圖確保音頻數(shù)據(jù)的每個時間步與字符的正確輸出相匹配時，尤其如此。

然而，端到端的深度學(xué)習(xí)模型，如 連接主義時間分類 （ CTC ）模型和 注意序列到序列模型 ，可以直接從音頻信號生成轉(zhuǎn)錄本，并且具有較低的 WER 。

換言之， Jasper 、 QuartzNet 和 Citrinet 等基于深度學(xué)習(xí)的模型使公司能夠創(chuàng)建成本更低、功能更強大、更精確的語音 AI 應(yīng)用程序。

文本到語音

TTS 或 speech synthesis 管道負責(zé)將文本轉(zhuǎn)換為自然發(fā)音的語音，這種語音是人工生成的，具有類似人類的語調(diào)和清晰的發(fā)音。

圖 5 ：。 TTS 管道

TTS 管道可能必須完成許多不同的任務(wù)，包括文本分析、 linguistic analysis 和波形生成。

在 text analysis 階段，原始文本（帶有符號、縮寫等）被轉(zhuǎn)換為完整的單詞和句子，擴展縮寫，并分析表達式。輸出被傳遞到語言分析中，以精煉語調(diào)、持續(xù)時間，并以其他方式理解語法結(jié)構(gòu)。結(jié)果，產(chǎn)生 spectrogram 或 mel 頻譜圖以轉(zhuǎn)換為連續(xù)的類人音頻。

我之前介紹的方法是一個典型的兩步過程，需要一個合成網(wǎng)絡(luò)和一個 vocoder 網(wǎng)絡(luò)。這是兩個獨立的網(wǎng)絡(luò)，用于從文本生成頻譜圖（使用 Tacotron architecture 或 FastPitch ）和從頻譜圖或其他中間表示（如 WaveGlow 或 HiFiGAN ）生成音頻的后續(xù)目的。

除了兩階段方法外， TTS 管道的另一個可能實現(xiàn)涉及使用端到端的深度學(xué)習(xí)模型，該模型使用單個模型直接從文本生成音頻。神經(jīng)網(wǎng)絡(luò)直接從文本 – 音頻對中訓(xùn)練，不依賴中間表示。

端到端方法降低了復(fù)雜性，因為它減少了網(wǎng)絡(luò)之間的錯誤傳播，減少了對單獨培訓(xùn)管道的需要，并最大限度地降低了手動注釋持續(xù)時間信息的成本。

傳統(tǒng)的 TTS 方法也傾向于產(chǎn)生更多機器人和不自然的聲音，影響用戶參與，尤其是面向消費者的應(yīng)用程序和服務(wù)。

構(gòu)建語音 AI 系統(tǒng)的挑戰(zhàn)

成功的語音 AI 應(yīng)用程序必須啟用以下功能。

獲取最先進的模型

從頭開始創(chuàng)建訓(xùn)練有素、準確的深度學(xué)習(xí)模型既昂貴又耗時。

通過在前沿模型發(fā)布后立即提供對其的訪問，即使是數(shù)據(jù)和資源受限的公司也可以在其產(chǎn)品和服務(wù)中使用高度精確、經(jīng)過預(yù)訓(xùn)練的模型和 transfer learning 。

高精度

要在全球或任何行業(yè)或領(lǐng)域部署，必須對模型進行定制，以適應(yīng)多種語言（世界上 6500 種口語的一小部分）、方言、口音和上下文。一些域使用 特定術(shù)語和技術(shù)術(shù)語 。

實時性能

由多個深度學(xué)習(xí)模型組成的管道必須以毫秒為單位運行推斷，以實現(xiàn)實時交互，精確到 300 毫秒，因為大多數(shù)用戶在 100 毫秒左右開始注意到 滯后和通信故障 ，在此之前，對話或體驗開始感覺不自然。

靈活且可擴展的部署

公司需要不同的部署模式，甚至可能需要混合使用云、內(nèi)部部署和邊緣部署。成功的系統(tǒng)支持擴展到需求波動的數(shù)十萬并發(fā)用戶。

數(shù)據(jù)所有權(quán)和隱私

公司應(yīng)該能夠為其行業(yè)和領(lǐng)域?qū)嵤┻m當?shù)陌踩珜嵺`，例如在本地或組織的云中進行安全數(shù)據(jù)處理。例如，可能要求遵守 HIPAA 或其他法規(guī)的醫(yī)療保健公司限制數(shù)據(jù)訪問和數(shù)據(jù)處理。

語音 AI 的未來

由于計算基礎(chǔ)設(shè)施、語音 AI 算法的進步，對遠程服務(wù)的需求增加，以及現(xiàn)有和新興行業(yè)令人興奮的新用例，基于語音 AI 的產(chǎn)品和服務(wù)現(xiàn)在有了一個強大的生態(tài)系統(tǒng)和基礎(chǔ)設(shè)施。

當前的語音 AI 應(yīng)用程序在推動業(yè)務(wù)成果方面功能強大，但下一代語音 AI 應(yīng)用程序必須能夠處理多語言、多領(lǐng)域和多用戶對話。

能夠成功地將語音 AI 技術(shù)集成到其核心運營中的組織將具備良好的能力，能夠根據(jù)尚未列出的用例擴展其服務(wù)和產(chǎn)品。

關(guān)于作者

MikikoBazeley 是 Mailchimp 的高級 ML 操作和平臺工程師。她擁有豐富的工程師、數(shù)據(jù)科學(xué)家和數(shù)據(jù)分析師經(jīng)驗，為初創(chuàng)公司和高增長公司利用機器學(xué)習(xí)和數(shù)據(jù)開發(fā)面向消費者和企業(yè)的產(chǎn)品。她積極貢獻有關(guān)開發(fā) ML 產(chǎn)品的最佳實踐的內(nèi)容，并在數(shù)據(jù)科學(xué)職業(yè)生涯中發(fā)言和指導(dǎo)非傳統(tǒng)候選人。

審核編輯：郭婷