“快點(diǎn)!導(dǎo)航去最近的醫(yī)院!”,當(dāng)你焦急地對車載助手說到。
“好的,正在為您規(guī)劃路線……”,傳統(tǒng)AI在幾秒后,以平淡語氣回應(yīng)。一個真正AI應(yīng)該迅速回應(yīng),以沉穩(wěn)語氣說到:“好的,已為您規(guī)劃最快路線,預(yù)計12分鐘到達(dá)。請小心駕駛!”
讓AI感知用戶情緒,從冰冷服務(wù)進(jìn)化成為心意相通的助手,這并非存在于《Her》或《鋼鐵俠》等科幻電影。大模型加持的語音交互全新升級,能夠輕松應(yīng)對多輪對話,而且實(shí)現(xiàn)情緒響應(yīng)和個性定制。
2024年8月,科大訊飛發(fā)布了星火極速超擬人交互技術(shù),在響應(yīng)和打斷速度、情緒感知情感共鳴、語音可控表達(dá)、人設(shè)扮演四個方面實(shí)現(xiàn)巨大突破,讓語音交互速度變得更快,能夠感知你話語里的喜怒哀樂并用合適的情緒回復(fù),還可根據(jù)需要讓超擬人的聲音變換節(jié)奏、大小,甚至切換不同的角色聲音和性格對話。
現(xiàn)在超擬人交互API正式上線訊飛開放平臺,面向開發(fā)者開放調(diào)用。通過接入相應(yīng)的API,開發(fā)者無需從零開始搭建復(fù)雜架構(gòu),即可實(shí)現(xiàn)用戶與AI的實(shí)時語音互動,構(gòu)建契合業(yè)務(wù)場景的AI實(shí)時對話能力,提供高效流暢的溝通體驗(yàn)。從游戲NPC、虛擬助手到智能客服與數(shù)字導(dǎo)游,語音交互的想象邊界正在被重新定義。
01秒級響應(yīng),雙商在線的超擬人交互
作為人類與AI交流的最主要入口,語音交互已滲透至我們的日常工作生活中:叫音箱播放指定音樂、讓掃地機(jī)器人定時工作、對車載系統(tǒng)喊一句“導(dǎo)航回家”。AI游戲陪玩、AI虛擬陪伴、AI口語陪練等,各種AI應(yīng)用對語音交互的需求也呈爆發(fā)式增長。
然而,在實(shí)際使用中,傳統(tǒng)語音交互仍存在明顯痛點(diǎn):
響應(yīng)遲緩:動輒數(shù)秒的延遲,打斷對話節(jié)奏,帶來強(qiáng)烈的割裂感。
情緒單一: 機(jī)械化的語調(diào),缺乏情感溫度,難以建立真正的連接。
語境缺失: 難以理解言外之意,導(dǎo)致交互中斷或理解錯位。
大模型時代下,當(dāng)我們從技術(shù)層面分析傳統(tǒng)語音交互體驗(yàn)不佳的原因會發(fā)現(xiàn),傳統(tǒng)語音交互如同一個需要分布處理的流水線:語音輸入后,先由“語音識別”車間轉(zhuǎn)成文字,再交由“大模型”車間思考回復(fù)文本,最后由“語音合成”車間將文字朗讀出來。這個串聯(lián)過程不僅步驟繁瑣,且每個環(huán)節(jié)都存在延遲,累加起來,3秒的響應(yīng)時間已是常態(tài)。
同時,文本是其中傳遞信息的載體,在語音轉(zhuǎn)文字再轉(zhuǎn)語音的過程中,語音的很多情感、副語言信息甚至是環(huán)境信息都會丟失,導(dǎo)致語音交互系統(tǒng)只能針對語音的文本內(nèi)容進(jìn)行回應(yīng),會忽略我們在語音中本身真實(shí)的情感、語氣等元素。
在許多關(guān)鍵場景中,延遲意味著無法用,甚至危險。如:導(dǎo)航指令若晚幾秒反饋,用戶可能已錯過路口;與智能客服溝通時,頻繁的“空白加載”足以讓用戶不耐煩地掛斷電話。大模型的“聰明”,只有搭配“實(shí)時”的響應(yīng),才能成為真正有溫度、有價值的交互智能。正如智能手機(jī)時代的流暢滑動是用戶接受觸屏的關(guān)鍵,「實(shí)時」是AI接口從“嘗鮮”走向“常用”的門檻。
星火極速超擬人交互則跨文本和音頻模態(tài),采用了統(tǒng)一神經(jīng)網(wǎng)絡(luò)直接實(shí)現(xiàn)語音到語音的端到端建模:
1語音通過音頻編碼器得到音頻表征后,通過適配器與文本語義表征進(jìn)行對齊;
2對齊完成之后的內(nèi)容輸入多模LLM,預(yù)測輸出表征;
3經(jīng)過音頻解碼器后,最終輸出情緒自然、節(jié)奏準(zhǔn)確的合成語音。
星火極速超擬人語音交互技術(shù)框架圖
相比于傳統(tǒng)的交互系統(tǒng),統(tǒng)一的模型大大提升了整體的響應(yīng)和打斷速度,人與AI的交互也從你問我答的“微信語音模式”,切換到了實(shí)時響應(yīng)的“微信通話模式”。
但反應(yīng)迅速只是第一步,沒有情感的交互依舊是“冷冰冰”的機(jī)器。如何讓語音交互更有溫度?
在星火極速超擬人交互系統(tǒng)中,基于端到端框架之上,融入了多維度語音屬性解耦表征訓(xùn)練,將內(nèi)容、情感、語種、音色、韻律等屬性進(jìn)行解耦,進(jìn)行對比學(xué)習(xí)和掩碼預(yù)測。不僅實(shí)現(xiàn)了內(nèi)容識別更準(zhǔn)、情感等屬性感知度更高,還可以更便捷進(jìn)行定制,方便系統(tǒng)快速落地。
02“快、準(zhǔn)、真”,打造下一代AI語音應(yīng)用
基于語音交互技術(shù)的突破,面向開發(fā)者開放的超擬人交互API具有三大核心優(yōu)勢:
同時,訊飛開放平臺還為開發(fā)者提供了詳細(xì)開發(fā)文檔,方便開發(fā)者們快速上手并了解超擬人交互API 的各項(xiàng)功能特色、調(diào)用過程中的常見錯誤。
03多場景快速落地,成本低至0.1元/分鐘
超擬人交互API的上線,不僅為開發(fā)者提供了一種新的語音應(yīng)用開發(fā)范式,降低了開發(fā)門檻,也讓開發(fā)者能夠更加聚焦應(yīng)用創(chuàng)新和場景落地,以更天馬行空的想象力,創(chuàng)造出更具“生命力”的AI應(yīng)用。
文旅場景
結(jié)合故事演繹和RAG(檢索增強(qiáng)生成),AI可以作為數(shù)字導(dǎo)游為游客介紹景點(diǎn),在特定場景下與游客進(jìn)行角色扮演互動,讓游客“沉浸于”歷史。
游戲場景
基于角色人設(shè),模型與玩家互動時,可以自動生成符合該角色價值觀、人生經(jīng)歷、語氣的對話,讓虛擬角色栩栩如生。
智能助手場景
可自由設(shè)定AI助理各種不同的人設(shè),并以符合人設(shè)的背景、語氣與用戶互動,為每個用戶打造獨(dú)一無二的AI助理。
智能玩具場景
通過生動復(fù)刻各類IP角色,并以角色特有的性格、口吻與兒童互動,建立強(qiáng)烈的情感鏈接與代入感。
為進(jìn)一步降低高質(zhì)量語音交互的落地門檻,讓開發(fā)者“輕裝上陣”,在API調(diào)用成本上,訊飛開放平臺也提供了極具誠意的產(chǎn)品價格:每分鐘交互成本低至0.1元,這意味著,僅需用一杯咖啡的錢,就能讓應(yīng)用與用戶“暢聊”數(shù)小時。
此外,通過企業(yè)認(rèn)證,開發(fā)者還可“解鎖”有效期3個月,長達(dá)10小時的免費(fèi)試用,實(shí)現(xiàn)對產(chǎn)品的快速驗(yàn)證。
從OpenAI、微軟、谷歌等AI巨頭,到Character AI 的新銳AI創(chuàng)業(yè)公司,語音交互正成為AI應(yīng)用公司最強(qiáng)大的突破口之一。科大訊飛憑借在語音技術(shù)領(lǐng)域持續(xù)二十余年的深耕,在這一賽道上有著強(qiáng)大的技術(shù)實(shí)力和市場競爭力。
IDC發(fā)布的報告顯示,2024年上半年,中國人工智能語音語義整體市場規(guī)模為 72.3 億元人民幣,同比增長18%,科大訊飛市場份額在主要廠商中位居第一,持續(xù)引領(lǐng)行業(yè)發(fā)展。
現(xiàn)在,借助訊飛開放的超擬人交互API,開發(fā)者可以輕松打造真正“能聽會說、情感在線”的AI應(yīng)用,提高產(chǎn)品競爭力。
-
AI
+關(guān)注
關(guān)注
88文章
35010瀏覽量
278817 -
科大訊飛
+關(guān)注
關(guān)注
19文章
841瀏覽量
62405 -
交互技術(shù)
+關(guān)注
關(guān)注
0文章
35瀏覽量
12879
原文標(biāo)題:首次開放,訊飛超擬人交互API上線!
文章出處:【微信號:訊飛開放平臺,微信公眾號:訊飛開放平臺】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
科大訊飛攜手西安鐵路局打造人工智能平臺
訊飛星火原生應(yīng)用接入DeepSeek
訊飛開放平臺支持DeepSeek
訊飛開放平臺上線DeepSeek大模型
科大訊飛推出大模型極速超擬人交互軟硬件方案
科大訊飛即將發(fā)布訊飛星火深度推理模型X1
科大訊飛AI虛擬人交互平臺榮獲行業(yè)最高評級

評論