摘 要

探索使用瑞薩電子硬件和AI軟件平臺的Reality AI Tools語音反欺騙應(yīng)用示例。

Palash Koutu

Customer Support Engineering Manager

什么是語音反欺騙？

為什么它很重要？

語音反欺騙是一組技術(shù)，旨在防止涉及模仿語音的詐騙企圖，并通過防止意外觸發(fā)來改善VUI系統(tǒng)的整體UI/UX體驗(yàn)。這些技術(shù)對于防止與以下方面相關(guān)的問題尤為重要：

語音合成（SS）：這種類型的攻擊使用計(jì)算機(jī)模擬語音

語音轉(zhuǎn)換（VC）：在這種攻擊中，使用過濾器和其他工具使冒名頂替者的聲音聽起來盡可能接近目標(biāo)個人的聲音

重放攻擊（RA）：欺詐者使用預(yù)先錄制的受害者聲音樣本

模仿：攻擊者模仿受害者的聲音音調(diào)、韻律特征和詞匯等特征

滋擾觸發(fā)：當(dāng)人工語音意外觸發(fā)系統(tǒng)時，就會出現(xiàn)此問題，從而給用戶帶來不便

這些攻擊和問題會嚴(yán)重破壞語音系統(tǒng)的完美使用體驗(yàn)，因此需要一個強(qiáng)大的解決方案。

語音反欺騙是如何工作的？

語音反欺騙的工作原理是檢測和防止語音欺騙攻擊，這些攻擊可能涉及錄制的、計(jì)算機(jī)生成的或計(jì)算機(jī)修改的語音。以下是其工作原理的一些關(guān)鍵組成部分：

圖1 反欺騙解決方案組件

關(guān)鍵字檢測：系統(tǒng)需要經(jīng)過訓(xùn)練，以識別某人何時在說話或觸發(fā)命令。例如：“Hi Renesas”觸發(fā)系統(tǒng)。

特征提取：系統(tǒng)從輸入語音信號中提取特定特征，例如音色、發(fā)音、語調(diào)和詞匯行為

欺騙性語音檢測（SSD）：這組措施用于識別和防止語音欺騙攻擊。例如，重放攻擊會產(chǎn)生某些信號偽影，這些偽影有時是人耳無法區(qū)分的，但高級算法會找到并識別這些偽影以準(zhǔn)確確定活度。

分類：提取特征后，使用分類器將語音分類為真實(shí)語音或錄制語音

通過使用這些技術(shù)，語音反欺騙系統(tǒng)可以有效地對抗不同類型的語音欺騙攻擊，并增強(qiáng)整體用戶體驗(yàn)......此外，它還能向各地的智能門鈴用戶保證，門外的人真的是您的鄰居。

瑞薩電子應(yīng)用實(shí)例

瑞薩電子的語音反欺騙技術(shù)專為速度和響應(yīng)能力而設(shè)計(jì)，同時保持高精度，并且完全在邊緣完成。我們將RA MCU系列（RA6、RA4、RA2系列）和RX MCU系列的硬件與Cyberon語音技術(shù)棧相結(jié)合，以識別觸發(fā)/喚醒詞，然后使用Reality AI生成的模型來檢查信號中的真實(shí)語音與錄制的語音。

瑞薩電子的Reality AI模型使用“Hi Renesas”作為喚醒詞。用戶可以使用任何常見的英語口音和自然的聲調(diào)質(zhì)量（男性或女性）來使用此解決方案。我們的測試結(jié)果表明，使用手機(jī)揚(yáng)聲器（iPhone或Android）播放的錄制語音時該模型的準(zhǔn)確率為96%，在訓(xùn)練K-Fold驗(yàn)證中準(zhǔn)確率為~99%。

圖2 e2 Studio解決方案工作流程

我們是如何創(chuàng)建應(yīng)用示例的？

利用瑞薩電子的IDE，e2 studio，用戶可以收集數(shù)據(jù)，集成Cyberon的語音技術(shù)棧進(jìn)行喚醒詞檢測（Hi Renesas），并最終集成使用Reality AI Tools模塊生成的任何AI模型。

圖3 e2 studio – Reality AI工具集成工作流程

我們收集了一小群人的真實(shí)數(shù)據(jù)（通過瑞薩電子硬件麥克風(fēng)錄制）和錄音數(shù)據(jù)。這些數(shù)據(jù)被輸入到Reality AI的特征提取和訓(xùn)練引擎，以開發(fā)和輸出模型。我們實(shí)現(xiàn)了~99%的訓(xùn)練K-Fold準(zhǔn)確率，這促使我們選擇該模型進(jìn)行現(xiàn)場測試和基準(zhǔn)測試。

然后，該模型被集成到e2 studio項(xiàng)目，并在不包括在訓(xùn)練集中的人員的實(shí)際辦公室環(huán)境中進(jìn)行了廣泛測試，以進(jìn)行基準(zhǔn)測試，準(zhǔn)確率達(dá)到96%。

圖4 Reality AI工具訓(xùn)練結(jié)果

在基于VUI的系統(tǒng)中整合此應(yīng)用示例，必將引發(fā)更多的適配需求。為了簡化這一過程，我們可以借鑒“語音反欺騙應(yīng)用示例”作為參考。有關(guān)更多信息，您可以在Reality AI工具頁面上找到開發(fā)資源，或聯(lián)系您當(dāng)?shù)氐匿N售代表。

結(jié)論

瑞薩電子的反欺騙應(yīng)用示例展示了Reality AI工具應(yīng)對現(xiàn)實(shí)世界挑戰(zhàn)、改善用戶體驗(yàn)和增強(qiáng)語音用戶界面（VUI）系統(tǒng)的能力。我們的AI模型占用空間小，并且可以通過利用廣泛的數(shù)據(jù)收集來進(jìn)行靈活的擴(kuò)展。

瑞薩電子(TSE: 6723)

科技讓生活更輕松，致力于打造更安全、更智能、可持續(xù)發(fā)展的未來。作為全球微控制器供應(yīng)商，瑞薩電子融合了在嵌入式處理、模擬、電源及連接方面的專業(yè)知識，提供完整的半導(dǎo)體解決方案。成功產(chǎn)品組合加速汽車、工業(yè)、基礎(chǔ)設(shè)施及物聯(lián)網(wǎng)應(yīng)用上市，賦能數(shù)十億聯(lián)網(wǎng)智能設(shè)備改善人們的工作和生活方式。