自然語言技術(shù)的未來，其關(guān)鍵點(diǎn)是'自然'兩個(gè)字。

11月最后一天，思必馳聯(lián)合創(chuàng)始人、首席科學(xué)家俞凱博士在清華x-lab主辦的人工智能研習(xí)社第七課上，如此評(píng)價(jià)自然語言處理，并與現(xiàn)場(chǎng)聽眾一起暢想了這一潛力巨大的技術(shù)將走向哪里。

思必馳聯(lián)合創(chuàng)始人俞凱在清華演講

在這場(chǎng)題為《認(rèn)知型口語對(duì)話智能》的講座上，俞凱認(rèn)為認(rèn)知交互面臨的最主要的挑戰(zhàn)一定不是語音，因?yàn)閺?a href="http://m.xsypw.cn/tags/語音識(shí)別/" target="_blank">語音識(shí)別的角度上來說，問題明確，只要專門向這個(gè)領(lǐng)域去做，絕大部分都可以優(yōu)化的很好。

他認(rèn)為其最大的挑戰(zhàn)還是對(duì)話的過程，例如針對(duì)抑郁癥患者治療的這類場(chǎng)景，語音對(duì)話更像是有目的的聊天，如果沒有很強(qiáng)的數(shù)學(xué)背景在后面做支持，是很難的，只有在一個(gè)垂直領(lǐng)域積累更多的數(shù)據(jù)，才能做得更好。

大數(shù)據(jù)文摘整理的俞凱博士本次講座內(nèi)容如下，在不改變?cè)獾那疤嵯掠袆h改：

今天的題目叫認(rèn)知型口語對(duì)話智能，核心點(diǎn)是兩個(gè)字：“對(duì)話”。

這兩個(gè)字不單單包含語音，還包含語言。從人機(jī)變遷講起來，我在清華待了八年時(shí)間，在這八年當(dāng)中，我們經(jīng)歷了人和機(jī)器在不同時(shí)代交互的幾個(gè)變遷。

我們?yōu)槭裁撮_始關(guān)心口語對(duì)話智能

今天第一個(gè)要講的問題，就是我們?yōu)槭裁撮_始關(guān)心口語對(duì)話智能。

剛開始的時(shí)候我們使用的是Windows圖形交互界面，通過機(jī)器圖形交互界面使得人和信息可以進(jìn)行交流，我們奇跡般的看到了打印出來很工整的排版。而到了現(xiàn)在，在2011年開始，手機(jī)變成智能手機(jī)，使用開始變的非常廣泛，這個(gè)時(shí)代自然的語言（手動(dòng)輸入、語音）逐漸形成了我們現(xiàn)在的交互手段。再往后我們發(fā)現(xiàn)通過口語溝通是未來智能信息獲取最核心的東西，而移動(dòng)互聯(lián)網(wǎng)的時(shí)代，最關(guān)鍵的是這一類溝通產(chǎn)生了一種新的模式，那就是交互。

講座現(xiàn)場(chǎng)圖

在上世紀(jì)出現(xiàn)Google、百度等搜索引擎的時(shí)候，交互還是單向的，但出現(xiàn)智能手機(jī)之后我們的交互變成了雙向。比如蘋果的交互史，在剛開始做出來第一代iPhone的時(shí)候并沒有語音交互的能力，但經(jīng)過市場(chǎng)調(diào)研之后發(fā)現(xiàn)有75%的用戶都希望有語音控制。于是，在后面兩代iPhone加入了語音控制，但到后面發(fā)現(xiàn)實(shí)際使用的用戶竟然不到5%，蘋果經(jīng)過總結(jié)之后發(fā)現(xiàn)不僅僅是語音，還必須有自然語言交互。于是在iPhone4S上面出現(xiàn)了Siri,再次經(jīng)過市場(chǎng)調(diào)研之后發(fā)現(xiàn)，大概有87%的用戶至少在一個(gè)月會(huì)使用一次Siri。

而且，他們還發(fā)現(xiàn)了一件事情，這87%的用戶使用Siri的時(shí)候基本上都是在調(diào)戲Siri，并不做其它的事情，這導(dǎo)致蘋果并不能賺到錢。這也促使了蘋果在2015年收購了一家做統(tǒng)計(jì)對(duì)話交互的公司VocalIQ,這會(huì)讓技術(shù)語音識(shí)別和語義連在一起形成完整的閉環(huán)，Siri就可以為我們提供新的功能了。

講座現(xiàn)場(chǎng)圖

現(xiàn)如今大家都說是互聯(lián)網(wǎng)時(shí)代，那么如今的信息發(fā)展到什么程度了呢？有一個(gè)統(tǒng)計(jì)顯示，到2017年年底，全世界物聯(lián)網(wǎng)智能設(shè)備的總數(shù)將首次超過人類總數(shù)。而且這些智能設(shè)備絕大部分是沒有或者擁有很小的屏幕，并沒有辦法進(jìn)行很復(fù)雜的操作，這些設(shè)備如果想要去訪問最核心抽象復(fù)雜的信息，只能是語音或者對(duì)話的形式。這也是眾多巨頭從2014年的音箱開始，推出一系列智能音箱的原因。從技術(shù)上講，這件事情不僅僅是要解決框架的問題，還包括了對(duì)話管理、識(shí)別、合成以及我們的理解。

語音識(shí)別存在的問題和機(jī)遇

我們會(huì)碰到什么樣的問題，以及在這個(gè)過程中有多少和我們的應(yīng)用相關(guān)的機(jī)會(huì)。

首先是語音識(shí)別。

語音識(shí)別是感知技術(shù)這一類里面前沿的技術(shù)，當(dāng)許多人看到語音識(shí)別，第一個(gè)會(huì)想到的問題就是語音識(shí)別似乎已經(jīng)被解決了，當(dāng)我們使用一個(gè)包羅萬象的語音識(shí)別系統(tǒng)的時(shí)候，我講“疏影橫斜水清淺，暗香浮動(dòng)月黃昏”這樣的東西都可以比較完整的出來。但盡管采用了深度學(xué)習(xí)的技術(shù)，仍然避免不了錯(cuò)誤，它也會(huì)偶爾的有一些語音識(shí)別的錯(cuò)誤出現(xiàn)，而我們的任務(wù)就是使得它像人一樣，在有錯(cuò)誤的時(shí)候，完整的去進(jìn)行人機(jī)交互，修正錯(cuò)誤，這需要感知技術(shù)和認(rèn)知技術(shù)相互的幫助來實(shí)現(xiàn)。

第二是計(jì)算能力。

語音識(shí)別的解決是與計(jì)算能力有關(guān)的，舉一個(gè)例子，剛才我在做演示的時(shí)候，這個(gè)演示的應(yīng)用背后早期使用的深度神經(jīng)網(wǎng)絡(luò)，共有7層，每層有2048個(gè)節(jié)點(diǎn)，輸入是1320，輸出是將近1萬，這大概有4500萬的參數(shù)，在做語音識(shí)別的時(shí)候我們是把每秒鐘的語音切成100份，每一份提取1320個(gè)向量，大家想象我在一秒鐘要讓特征向量經(jīng)過100次深度神經(jīng)網(wǎng)絡(luò)計(jì)算，之后還要在數(shù)以億計(jì)節(jié)點(diǎn)的搜索網(wǎng)絡(luò)里再去搜它，所以這個(gè)運(yùn)算是非常非常復(fù)雜的。曾經(jīng)有過統(tǒng)計(jì)，整個(gè)語音識(shí)別會(huì)分成搜索的速度和做神經(jīng)網(wǎng)絡(luò)前向傳遞的速度，這兩個(gè)速度的比例，在傳統(tǒng)系統(tǒng)里面前向傳遞的速度占30%-40%，后面在各種各樣的語言空間搜索的速度大體占60%-70%。所以，在技術(shù)上必須突破速度的問題。

現(xiàn)場(chǎng)聽眾提問

感知智能另外一件事是如何把它做得更小。整個(gè)信息技術(shù)的變化和推進(jìn)一定是和技術(shù)基礎(chǔ)的推進(jìn)有關(guān)，性能抗噪能不能達(dá)到90%、能不能在手機(jī)手表上面也做到大詞匯等新的挑戰(zhàn)不斷應(yīng)運(yùn)而生，隨著在智能物聯(lián)網(wǎng)方面我們做出各種各種的優(yōu)化之后，這樣的挑戰(zhàn)開始被一個(gè)個(gè)的克服掉。

認(rèn)知這個(gè)事情更加麻煩。人機(jī)對(duì)話并不是大家想象那樣，對(duì)話也是分成很多種形態(tài)的，有的可以很好的解決，有的卻毫無頭緒。如果以不同的輪回次數(shù)來分類，大概可以分為下面幾種。第一種是模式最少的，單輪模式，即我說一句它回答一句，而且沒有什么特定的結(jié)構(gòu)化語義，這種情況基本上是命令式的，十分簡單。復(fù)雜一點(diǎn)的則是問答，現(xiàn)在的經(jīng)典深度學(xué)習(xí)技術(shù)很多是用來解決問答這個(gè)問題的，因?yàn)閱柎鸹旧鲜且粏栆淮穑阏f一句它會(huì)給你一個(gè)答案，偶爾會(huì)帶有一點(diǎn)上下文，這并不是真正意義上多輪的東西。還有一類是閑聊，比如微軟小冰，你不停的說，它就不停的跟你聊天。閑聊的準(zhǔn)則就是以聊得時(shí)間來定義的，曾經(jīng)有一位用戶，聊了好幾個(gè)小時(shí)依然在繼續(xù)。但這里面是沒有什么目標(biāo)意義的，所以閑聊要考慮的是如何把一些比較有趣的東西融入進(jìn)去。

但是里面究竟有什么意義，機(jī)器是不會(huì)去關(guān)注的，只要有用戶黏性跟它一直聊下去，特點(diǎn)是多輪，沒什么結(jié)構(gòu)化的東西。偶爾會(huì)加一些知識(shí)，現(xiàn)在希望把這個(gè)東西融合起來，這是方向，本質(zhì)上沒有什么結(jié)構(gòu)化的東西。所以閑聊這一類事情實(shí)際上更多的是怎么樣能夠把一些比較有趣的東西融進(jìn)去。實(shí)事求是來講目前還缺乏一套比較扎實(shí)的理論體系，能夠真正在理論上解決掉。

最后一類是任務(wù)型的多輪對(duì)話，這類對(duì)話是有比較扎實(shí)的數(shù)學(xué)基礎(chǔ)的，把對(duì)話看做是一個(gè)序列決策過程。

這一技術(shù)的三個(gè)層面

如果從認(rèn)知層級(jí)的結(jié)算上來講，我們會(huì)把認(rèn)知技術(shù)分為三個(gè)層面。

第一種是靜態(tài)層面，我隨便說一句話，自然語言能不能理解，能不能映射到正確的意思上面去。

第二類是交互決策，意思是我在說話的時(shí)候如何進(jìn)行反饋，比如我對(duì)一個(gè)機(jī)器說我要找到餐館，它要明白我想去哪、吃什么。

第三是進(jìn)化，我想要便宜的東西，它卻以為我想要貴的，當(dāng)它發(fā)現(xiàn)錯(cuò)了之后下一次一定要更新自己的反饋策略，進(jìn)化出自己的認(rèn)知。

聊一件和各位相關(guān)的事情：大規(guī)模可定制對(duì)話智能。在講整個(gè)對(duì)話智能的時(shí)候，我們會(huì)發(fā)現(xiàn)在整個(gè)流程里面，每一個(gè)環(huán)節(jié)都看起來很美好，但一到專業(yè)領(lǐng)域的環(huán)節(jié)就會(huì)變得不一樣了。比如做對(duì)話模式，做購物的場(chǎng)景與金融、家庭的場(chǎng)景所理解的東西完全不一樣，這個(gè)時(shí)候就要看做出來的模型是否每一個(gè)場(chǎng)景都能識(shí)別，是否能很好的支持。在細(xì)節(jié)上面，還有很多個(gè)性化需求，例如喚醒。當(dāng)我們喊小樂給我放一首歌的時(shí)候，這個(gè)小樂就是一種喚醒。但有的時(shí)候我們希望它有好幾個(gè)名字，這種需要多喚醒詞的需求在未來會(huì)出現(xiàn)更多。

當(dāng)我們真正去做的時(shí)候，會(huì)希望在我們所使用的口語對(duì)話系統(tǒng)上的支撐可以定制。而大規(guī)模可定制是我們提出的新概念，在2013年我們發(fā)布了一個(gè)叫“對(duì)話工場(chǎng)”的平臺(tái)，2017年升級(jí)到大規(guī)模可定制的“Dialogue User Interface”，DUI，其本質(zhì)上是把圖形界面和語音界面在對(duì)話交互的框架下結(jié)合在一起。

定制性的語音交互技術(shù)可以做什么？

這時(shí)候，我們會(huì)好奇，這些定制技術(shù)能做什么呢？比如可以在做實(shí)時(shí)語音識(shí)別和大詞匯語音識(shí)別的時(shí)候，做出來一個(gè)功能，當(dāng)語義改變的時(shí)候，語音識(shí)別會(huì)對(duì)我們自動(dòng)添加的詞做自動(dòng)識(shí)別，比如我們添加了“瀧澤蘿拉”四個(gè)字，語音識(shí)別系統(tǒng)能自動(dòng)把它加入詞表并具有識(shí)別的能力，繼而在實(shí)現(xiàn)理解和交互。

我們想要做一件事情，在一個(gè)車載的系統(tǒng)里面，自動(dòng)選擇一些聲音添加進(jìn)去，當(dāng)想要林志玲甜甜聲音的時(shí)候，喊一聲林志玲出來，絕對(duì)不會(huì)再出來郭德綱的聲音，讓它回去它就會(huì)切換為原本的郭德綱聲音。我們希望這樣的事情可以很自由的來回切換。更進(jìn)一步，我們要支持對(duì)理解和對(duì)話進(jìn)行相應(yīng)的定制。

在這個(gè)過程里，在我們真正背后的技術(shù)上來說，已經(jīng)不再是一般的語音的和對(duì)話的交互，不再僅僅是前面我們提到的感知和認(rèn)知的獨(dú)立框架。在這里要解決的問題是所謂大規(guī)模可定制的一些新技術(shù)。比如說在識(shí)別里，要解決所謂的自適應(yīng)的問題。比如說話人和環(huán)境的自適應(yīng)、領(lǐng)域主題的自適應(yīng)等這些東西可以及時(shí)的去改變它，可以使得對(duì)話有很多的自適應(yīng)。如果實(shí)現(xiàn)這些自適應(yīng)規(guī)模化的話還需要有相應(yīng)的系統(tǒng)支持。在這個(gè)過程里需要有具體的技術(shù)拆借、需要有模型定制，能夠使得它規(guī)模化的擴(kuò)展，并且在個(gè)性的基礎(chǔ)之上去進(jìn)行進(jìn)化，這一類東西里會(huì)有很多新型的技術(shù)出現(xiàn)，但這些技術(shù)都需要技術(shù)基礎(chǔ)的支撐。