第二屆百度AI開發(fā)者大會在北京舉行，百度AI交互設(shè)計(jì)院在首次舉辦的AI設(shè)計(jì)分論壇上，分享了《AI時代的人因工程》主題演講，他們認(rèn)為：在AI時代，全新的設(shè)計(jì)將會重構(gòu)我們身邊的工具、生產(chǎn)力、生活甚至心理學(xué)。AI時代的人因工程，是關(guān)于人的能力、行為、限制的特點(diǎn)，也關(guān)于人的社會、文化、心理，是真正以人類為中心的系統(tǒng)工程。他們還將腦電、肌電和眼動等生理測量方法引入了人因工程研究中，將研究方法進(jìn)行創(chuàng)新迭代，不斷助力百度的AI產(chǎn)品進(jìn)行“重構(gòu)”。百度開發(fā)者大會剛剛結(jié)束，百度AI交互設(shè)計(jì)院又隨即推出了最新的研究報告《多維對話——走向視聽融合的語音交互新體驗(yàn)研究》，進(jìn)一步用扎實(shí)的研究彰顯了他們在AI交互設(shè)計(jì)領(lǐng)域的專業(yè)實(shí)力。

過去四十年，人與機(jī)器的交互方式在不斷進(jìn)化，幾乎每十年就會有一次重大革新。來到人工智能時代，生活中越來越多的設(shè)備開始支持語音交互，語音交互逐漸成為人們傳達(dá)意圖和與設(shè)備交流的優(yōu)先選擇（Voice First）。與傳統(tǒng)交互相比，語音交互解放了雙手和雙眼，人們可以低成本與設(shè)備互動；而且，語音是多維的，除了言語本身的信息，言語中還蘊(yùn)含著豐富情感，允許人們與設(shè)備進(jìn)行更充分的互動。

語音交互也有局限性。語音交互是非可視化的，容易增加人們的記憶負(fù)擔(dān)，設(shè)想語音查詢信息的場景，你可能需要集中精力聽，如果不留神就容易錯過一些內(nèi)容。鑒于此，正如人工智能專家吳恩達(dá)提到的，人與機(jī)器交流最高效的方式是語言，而機(jī)器與人最高效的交流方式是語言加上視覺，即需要在聽覺基礎(chǔ)上融入視覺信息彌補(bǔ)語音交互的不足。從語音向視覺延伸，在語音交互中融入可視化信息，已經(jīng)是業(yè)界探索下一代語音交互范式的重要趨勢。以智能音箱為例，除了無屏音箱以外，市場上開始出現(xiàn)帶屏幕的音箱。

百度人工智能交互設(shè)計(jì)院本期以有屏智能設(shè)備為研究對象，聚焦語音交互反饋和內(nèi)容輸出環(huán)節(jié)的體驗(yàn)。考慮到屏幕尺寸差異可能對反饋和內(nèi)容輸出體驗(yàn)的影響，研究選擇了兩種不同屏幕尺寸的設(shè)備，分別是智能音箱（7英寸）和智能電視（55英寸）。本期的主要研究問題包括：

1）有屏設(shè)備的指令上屏反饋體驗(yàn)，主要指用戶輸入語音指令后，文本指令上屏的延遲時間以及文本指令在屏幕上呈現(xiàn)的合理時間；

2）有屏設(shè)備內(nèi)容輸出的音量干擾體驗(yàn)，主要指用戶在特定場景下（如聽音樂/看視頻），插入其它任務(wù)后（如查詢百科），不同內(nèi)容輸出時的音量合理設(shè)置。

有屏設(shè)備的指令上屏體驗(yàn)研究

與無屏設(shè)備相比，顯示屏的融入使語音交互過程有更豐富的反饋形式。以語音識別階段為例，在無屏設(shè)備上，用戶通常無法直接知道輸入指令的識別結(jié)果。而有屏設(shè)備直接在屏幕上顯示指令的識別結(jié)果，用戶可以方便的查看識別結(jié)果的正確或錯誤情況，例如上屏后的指令"我要聽周杰倫的青花瓷"。然而，目前很多設(shè)備在指令上屏?xí)r存在一定程度的延遲現(xiàn)象，本實(shí)驗(yàn)對指令上屏合理的延遲時間和呈現(xiàn)時間進(jìn)行研究。

1、指令上屏延遲時間實(shí)驗(yàn)

由于市場上的有屏設(shè)備多數(shù)采用實(shí)時上屏方式，即用戶輸入語音指令的同時就開始在屏幕上呈現(xiàn)識別結(jié)果，因此，本實(shí)驗(yàn)只研究實(shí)時上屏。在實(shí)驗(yàn)中我們使用實(shí)時逐字上屏的方式，并以控制首字上屏延遲時間為主要變量（注：首字上屏延遲時間指從用戶開始說到第一個字上屏的時間間隔），我們設(shè)置了不同的首字延遲時間，以此獲取用戶對指令上屏速度的滿意度評價（5點(diǎn)量表：1-非常不滿意，2-比較不滿意，3-一般，4-比較滿意，5-非常滿意）。在實(shí)驗(yàn)中，我們分別提供了3種不同長度的指令。

實(shí)驗(yàn)結(jié)果表明，首字延遲時間越短，用戶的滿意度越高，不同屏幕尺寸設(shè)備的首字延遲時間滿意度略有差異，我們將"4-比較滿意"看做用戶滿意的得分下限，將"3-一般"看做用戶可接受的得分下限，不同設(shè)備間用戶滿意和可接受的上屏?xí)r間如下：

1）對于有屏音箱，用戶滿意的首字延遲時間下限在500ms左右，可接受的首字延遲時間下限在1500-1600ms左右；

2）對于智能電視，用戶滿意的首字延遲時間下限在600-700ms左右，可接受的首字延遲時間下限在1100-1200ms左右；

結(jié)合對市場上其它設(shè)備的研究發(fā)現(xiàn)，部分設(shè)備的首字上屏?xí)r間明顯比用戶滿意的時間下限長，少數(shù)甚至比可接受的下限還要長。關(guān)于指令上屏速度，產(chǎn)品仍有改善和優(yōu)化的空間，即語音識別ASR（Automatic Speech Recognition）技術(shù)除了在不斷提升識別準(zhǔn)確率以外，同時也需要關(guān)注識別速度指標(biāo)的提升。

2、指令上屏呈現(xiàn)時間實(shí)驗(yàn)

除了指令上屏?xí)r間，我們進(jìn)一步對指令上屏后合理的呈現(xiàn)時間進(jìn)行研究，以避免指令呈現(xiàn)時間太短導(dǎo)致用戶無法看清，或者呈現(xiàn)時間太長導(dǎo)致整個交互過程拖沓冗余。在實(shí)驗(yàn)中，我們以文字呈現(xiàn)時間為主要變量（注：文字呈現(xiàn)時間指文本指令最后一個字上屏后到全部指令消失的時間間隔），獲取用戶對不同呈現(xiàn)時間的滿意度評價。由于語音識別涉及語言模型技術(shù)，實(shí)際的指令上屏并不是逐字的方式，因此，本部分實(shí)驗(yàn)我們也模擬了逐塊上屏的方式，以指令"我想看劉德華2010年以前主演的香港電影"為例，"劉德華"被整體識別后才上屏。在實(shí)驗(yàn)中，我們也分別提供了3種不同長度的指令。

實(shí)驗(yàn)結(jié)果表明，存在最優(yōu)的文字上屏呈現(xiàn)時間，不同屏幕尺寸設(shè)備之間，最優(yōu)的文字上屏呈現(xiàn)時間無顯著差異。不同上屏方式間存在差異，逐字上屏和逐塊上屏的最優(yōu)呈現(xiàn)時間分別如下：

1）逐字上屏方式下，最優(yōu)的指令呈現(xiàn)時間為200-500ms的區(qū)間；

2）逐塊上屏方式下，最優(yōu)的指令呈現(xiàn)時間為400-700ms的區(qū)間。

由于逐塊上屏方式更接近真實(shí)產(chǎn)品的上屏方式，因此建議主要參考400-700ms的呈現(xiàn)時間。需要說明的是，由于實(shí)時上屏的方式允許用戶在輸入語音指令過程中就可以查看已經(jīng)上屏的文字，這與整體識別后上屏的方式明顯不同，因此，如果產(chǎn)品采用的是整體識別后上屏的方式，不建議參考本部分實(shí)驗(yàn)的結(jié)論。

有屏設(shè)備的音量干擾體驗(yàn)研究

有屏設(shè)備除了使語音交互有更豐富的反饋以外，屏幕的引入也擴(kuò)展了設(shè)備過去不具備的功能，例如視頻內(nèi)容消費(fèi)和視頻通訊能力等。同時設(shè)備的使用也在經(jīng)歷從過去單一任務(wù)到多個任務(wù)的變化，當(dāng)看視頻時，你可以隨時插入任務(wù)查找信息，例如看電視劇《扶搖》時查詢演員楊冪的信息。本部分實(shí)驗(yàn)主要研究用戶插入任務(wù)后，前景內(nèi)容和背景內(nèi)容間的音量干擾體驗(yàn)，如當(dāng)前景內(nèi)容正在語音播報信息時，背景視頻或音樂的合理音量范圍，以避免過高的背景音對用戶獲取信息產(chǎn)生干擾。

1、音量干擾實(shí)驗(yàn)

在實(shí)驗(yàn)中，用戶被要求分別在看視頻和聽音樂兩種場景下進(jìn)行信息查詢。我們設(shè)置了兩種初始音量（注：初始音量是用戶看視頻/聽音樂的音量）：60和65分貝，用戶查詢?nèi)宋锘虬倏菩畔⒑螅ㄟ^設(shè)置不同的背景音量（注：此時前景內(nèi)容為語音播報信息，背景內(nèi)容為視頻或音樂），獲取用戶對背景音量的滿意度評價。同時結(jié)合實(shí)驗(yàn)后問卷了解用戶對前景和背景信息展示的態(tài)度。由于不同設(shè)備間音量刻度范圍存在差異，實(shí)驗(yàn)中對有屏音箱和智能電視的背景音量進(jìn)行了分別設(shè)置。

實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，無論背景是視頻還是音樂，用戶都不喜歡背景完全靜音（注：下圖中"0"代表背景完全靜音）。針對有屏音箱和智能電視，當(dāng)初始音量約為60分貝時，背景音量舒適范圍略有差異，具體結(jié)果如下：

1）針對有屏音箱，背景視頻音量下降至36-53分貝范圍，背景音樂音量下降至39-56分貝范圍時，用戶主觀感覺較舒適；

2）針對智能電視，背景視頻音量下降至39-53分貝范圍，背景音樂音量下降至36-53分貝范圍時，用戶主觀感覺較舒適。

實(shí)驗(yàn)中我們同時研究了初始音量為65分貝時背景音量的舒適范圍，因?qū)嶒?yàn)結(jié)果與上述趨勢基本一致，篇幅所限，暫不一一展開。

此外，結(jié)合實(shí)驗(yàn)后的問卷調(diào)研結(jié)果發(fā)現(xiàn)，關(guān)于背景的播放狀態(tài)，背景為音樂時用戶更傾向繼續(xù)播放，而背景為視頻時有屏音箱端傾向視頻暫停的用戶更多。主要是由于有屏音箱端背景視頻被完全覆蓋，因此，用戶認(rèn)為背景視頻暫停較好，以避免錯過感興趣的視頻內(nèi)容。

關(guān)于前景內(nèi)容的播放狀態(tài)，無論屏幕尺寸差異和背景媒體類型，多數(shù)用戶希望能夠?qū)η熬靶畔⑦M(jìn)行語音播報，而不僅僅是在屏幕上以文字或圖文的形式展示。

本文針對有屏設(shè)備的語音交互體驗(yàn)進(jìn)行研究，重點(diǎn)探索整合視覺系統(tǒng)后交互反饋和內(nèi)容輸出環(huán)節(jié)的體驗(yàn)問題。對指令上屏的延遲時間和指令呈現(xiàn)時間給出了我們的研究結(jié)果和設(shè)計(jì)建議，以及不同內(nèi)容輸出時前景和背景的合理音量設(shè)置等。

從語音向視覺的延伸，語音交互的邊界和外延仍將不斷變化。語音交互與傳統(tǒng)的交互方式并不是互斥的、非此即彼的關(guān)系，未來的人機(jī)交互將融入聽覺、視覺、觸覺、味覺、嗅覺等多模態(tài)的交互方式。未來的交互范式必然不是這些交互方式的簡單堆砌和羅列，而是在考慮特定場景、人的因素、環(huán)境條件等因素后有序的、合理的組合和設(shè)計(jì)。百度人工智能交互設(shè)計(jì)院也將會持續(xù)的關(guān)注多模態(tài)交互領(lǐng)域的研究和設(shè)計(jì)，并不斷輸出我們的研究成果和觀點(diǎn)。