近年來對話系統(tǒng)迅速發(fā)展，同時(shí)也出現(xiàn)了一系列豐富的數(shù)據(jù)集。但對于剛剛進(jìn)入這一領(lǐng)域團(tuán)隊(duì)來說，迅速搭建起對于特定任務(wù)的可用的對話系統(tǒng)依然充滿挑戰(zhàn)。這主要是由于這一領(lǐng)域內(nèi)缺乏結(jié)構(gòu)完善、易于使用的開源系統(tǒng)，讓研究人員可以便捷的搭建和測評對話機(jī)器人。

眾所周知，基礎(chǔ)性的開源系統(tǒng)為AI研究的突破打下了堅(jiān)實(shí)的基礎(chǔ)，在這一領(lǐng)域的Moses、HTK和CoreNLP等項(xiàng)目都被廣泛用于機(jī)器翻譯、語音識(shí)別和自然語言處理，推動(dòng)了各層次研究的飛速發(fā)展。

為了促進(jìn)這一領(lǐng)域的發(fā)展，微軟美國研究院和清華聯(lián)合推出了一款開源的多領(lǐng)域端到端對話系統(tǒng)平臺(tái)—ConvLab，使得研究人員可以便捷地搭建對話系統(tǒng)、自動(dòng)訓(xùn)練對話模型、構(gòu)建并評測對話機(jī)器人的各方面表現(xiàn)。

ConvLab

為了便于用于構(gòu)建不同類型任務(wù)導(dǎo)向的機(jī)器人、將更多的自動(dòng)化引入構(gòu)建、訓(xùn)練和測評過程中，ConvLab包含了豐富的模型工具和運(yùn)行引擎、以及端到端的測評平臺(tái)。簡單來講臺(tái)中包含了基于模塊和端到端兩種架構(gòu)類型的對話系統(tǒng)：基于模塊的架構(gòu)系統(tǒng)包含了自然語言理解(NLU)、對話系統(tǒng)追蹤(DST)、對話策略(POL)和自然語言生成(NLG)等模塊；完全端到端神經(jīng)架構(gòu)減少了手工編程的工作量，并減小了誤差在工作流程中的傳播。

與先前工具集集中于系統(tǒng)策略或者受限于固定的預(yù)訓(xùn)練模型不同，ConvLab基于全標(biāo)注的數(shù)據(jù)集覆蓋了所有可訓(xùn)練的統(tǒng)計(jì)模型，解決了先前對于系統(tǒng)性能度量的困難。

很多時(shí)候用戶需要在多子域之間無縫銜接實(shí)現(xiàn)高層用戶目標(biāo)，多層級的對話系統(tǒng)對數(shù)據(jù)收集、標(biāo)注以及模型的開發(fā)都提出了復(fù)雜的要求。有研究人員提出了MultiWOZ數(shù)據(jù)集（包含了旅行相關(guān)的多鄰域?qū)υ拑?nèi)容），但目前卻缺乏對應(yīng)的開源平臺(tái)來處理多域多意圖對話。為了加速多領(lǐng)域?qū)υ挼难芯緾onvLab研究了MultiWOZ任務(wù)的特征，并提供了一系列完整的參考模型（包含了獨(dú)立的模塊和端到端模型）、這些模型在為用戶對話額外標(biāo)注的MultiWOZ數(shù)據(jù)集上進(jìn)行了訓(xùn)練。ConvLab目前還作為DSTC18多領(lǐng)域端到端對話追蹤的標(biāo)準(zhǔn)平臺(tái)，得到了更廣泛的應(yīng)用和實(shí)際的檢驗(yàn)。為了更好的支持端到端評價(jià)、ConvLab提供了兩個(gè)互補(bǔ)模塊、分別集成了亞馬遜Amazon Mechanical Turk平臺(tái)用于人類測評、同時(shí)也集成了虛擬用戶用于自動(dòng)測評。針對用戶仿真，平臺(tái)同時(shí)提供了基于規(guī)則和基于數(shù)據(jù)驅(qū)動(dòng)的模擬器。ConvLab在開發(fā)模擬用戶的過程中也研發(fā)出了一系列先進(jìn)的用戶模擬技術(shù)。

架構(gòu)設(shè)計(jì)

整個(gè)系統(tǒng)基于模塊化的設(shè)計(jì)保障了靈活性和適應(yīng)性。為了支持多領(lǐng)域?qū)υ捪到y(tǒng)的搭建，平臺(tái)使用了主體-環(huán)境-對話實(shí)體的組合設(shè)計(jì)（Agents-Environments-Bodies，AEB），除了單環(huán)境和單主體的配置外，系統(tǒng)還包含了一系列先進(jìn)的研究實(shí)驗(yàn)、包括多任務(wù)學(xué)習(xí)、多主體學(xué)習(xí)和角色扮演、無需復(fù)雜的代碼即可導(dǎo)入到實(shí)例中使用。

此外，為了系統(tǒng)性地對比不同的主體和環(huán)境，并實(shí)現(xiàn)自動(dòng)超參數(shù)搜索，平臺(tái)充分利用了SLM Lab和Ray^2 作為實(shí)驗(yàn)組件。他們提供了多層級的控制，從會(huì)話、嘗試和試驗(yàn)上為每一層次生成評測報(bào)告。

其中會(huì)話用于初始化主體和環(huán)境、并以預(yù)設(shè)的輪次運(yùn)行。隨后利用隨機(jī)種子來啟動(dòng)多個(gè)會(huì)話進(jìn)行嘗試、并最終在會(huì)話上分析并求平均。最后利用實(shí)驗(yàn)來確定不同超參數(shù)的表現(xiàn)。

對話主體和環(huán)境的配置

在系統(tǒng)中每個(gè)層代表了構(gòu)建對話系統(tǒng)的不同方式，在下圖中可以看到最上層代表了傳統(tǒng)方式構(gòu)建對話系統(tǒng)的架構(gòu)路線圖，包括了NLU,DST,POL,NLG。研究人員近年來通過引入詞級對話狀態(tài)追蹤、對話策略和端到端模型等典型組件，探索了構(gòu)建對話系統(tǒng)不同可能的組合實(shí)現(xiàn)形式。在ConvLab平臺(tái)上，研究人員可以聚焦于下圖中的任意組件，并以端到端的簡單方式進(jìn)行測試。

對于環(huán)境構(gòu)建來說，可以由很可能的組件來進(jìn)行構(gòu)建。在研究對話策略優(yōu)化的強(qiáng)化學(xué)習(xí)算法中，典型的方法是利用用戶模擬器在對話行為層級上進(jìn)行操作。對話主體會(huì)盡可能利用端到端的方式嘗試減小對標(biāo)注數(shù)據(jù)的需求，對于人類評測來說平臺(tái)提供了基于Amazon Mechanical Turk來作為最后一層進(jìn)行環(huán)境構(gòu)建。

參考模型和跨域數(shù)據(jù)實(shí)驗(yàn)

在ConvLab中還涵蓋了針對多重任務(wù)的模型供研究人員進(jìn)行參考評測，包括了自然語言理解領(lǐng)域的Semantic Tuple Classi-?er (STC)、 OneNet以及作為拓展的Multi-intent LU (MILU)；對話狀態(tài)追蹤引入了DSTCs基準(zhǔn)模型、詞級對話狀態(tài)追蹤領(lǐng)域集成了MDBT模型將域識(shí)別與置信狀態(tài)追蹤進(jìn)行結(jié)合；在系統(tǒng)策略方面平臺(tái)支持DQN,REINFORCE\PPO以及自模仿等；自然語言生成領(lǐng)域則使用了SC-LSTM方法。在詞級策略上使用了Budzianowski等人提出的基準(zhǔn)；在用戶策略上ConvLab提供了基于agenda的方法和基于數(shù)據(jù)驅(qū)動(dòng)（例如HUS等）的方法，模型在對話行為級別進(jìn)行并可與NLU等模塊協(xié)同構(gòu)架出完整的用戶模擬器；最后再端到端模型上則包含了Mem2Seq，Sequicity，并使得Sequicity實(shí)現(xiàn)了對于多域的支持。目前ConvLab主要支持MultiWOZ和Movie兩個(gè)不同復(fù)雜度的數(shù)據(jù)域。其中MultiWOZ的主要任務(wù)是幫助旅客，其中引入了包含景點(diǎn)介紹和酒店預(yù)訂等不同方面的內(nèi)容。MultiWOZ中主要包含了7個(gè)子領(lǐng)域的問題：景點(diǎn)、醫(yī)院、酒店、警察、餐廳、出租車、火車等方面的內(nèi)容。其中包含了10438個(gè)標(biāo)注對話。對于單領(lǐng)域和多領(lǐng)域的對話輪次平均為8.93和15.93輪。ConvLab對于用戶對話行為進(jìn)行了額外的標(biāo)注、并為對話系統(tǒng)元件和用戶模擬器提供了預(yù)訓(xùn)練基準(zhǔn)模型、以及基于此數(shù)據(jù)訓(xùn)練的端到端的自然對話模型。Movie則來自于微軟對話挑戰(zhàn)賽，主要集中于電影票預(yù)訂場景，包含了2890個(gè)標(biāo)注對話，評論為7.5輪，同時(shí)還提供了針對主體和用戶模擬器的一系列完整的參考模型。研究人員表示在未來還會(huì)加入Taxi和Restaurant等領(lǐng)域的任務(wù)不斷豐富平臺(tái)支持的領(lǐng)域。