1.

引言

由于構(gòu)建任務(wù)型對(duì)話數(shù)據(jù)集的成本較高，目前任務(wù)型對(duì)話的研究主要集中在少數(shù)流行語(yǔ)言上（如英語(yǔ)和中文）。為了降低新語(yǔ)言的數(shù)據(jù)采集成本，我們通過結(jié)合純?nèi)斯しg和人工編輯機(jī)器翻譯結(jié)果的方式創(chuàng)建了一個(gè)新的多語(yǔ)言基準(zhǔn)——X-RiSAWOZ，該數(shù)據(jù)集將中文RiSAWOZ翻譯成4種語(yǔ)言：英語(yǔ)、法語(yǔ)、印地語(yǔ)、韓語(yǔ)，以及1種語(yǔ)碼混合場(chǎng)景（印地語(yǔ)-英語(yǔ)混合）。X-RiSAWOZ中每種語(yǔ)言都有超過18,000個(gè)經(jīng)過人類驗(yàn)證的對(duì)話語(yǔ)句，與之前大多數(shù)多語(yǔ)言工作不同的是，它是一個(gè)端到端的數(shù)據(jù)集，可用于建立功能齊全的對(duì)話代理。除數(shù)據(jù)集外，我們還構(gòu)建了標(biāo)注和處理工具，使得向現(xiàn)有數(shù)據(jù)集中添加新語(yǔ)言變得更快、更經(jīng)濟(jì)。

2.

數(shù)據(jù)集介紹

任務(wù)定義：端到端任務(wù)型對(duì)話通常被分解為若干子任務(wù)，這些任務(wù)可以由流水線系統(tǒng)或單個(gè)神經(jīng)網(wǎng)絡(luò)執(zhí)行。下圖展示了這些子任務(wù)及其輸入和輸出：

圖1：端到端任務(wù)型對(duì)話流程

數(shù)據(jù)來源：我們翻譯了RiSAWOZ數(shù)據(jù)集的驗(yàn)證集與測(cè)試集，同時(shí)為了促進(jìn)少樣本對(duì)話系統(tǒng)的研究，我們還隨機(jī)選取了1%的訓(xùn)練集進(jìn)行翻譯，統(tǒng)計(jì)數(shù)據(jù)如下表所示：

圖2：X-RiSAWOZ數(shù)據(jù)集統(tǒng)計(jì)

數(shù)據(jù)集構(gòu)建方案：為了實(shí)現(xiàn)低成本和高質(zhì)量的多語(yǔ)言端到端任務(wù)型對(duì)話數(shù)據(jù)構(gòu)建，我們使用以下幾種技術(shù)從源語(yǔ)言數(shù)據(jù)（中文RiSAWOZ數(shù)據(jù)集）創(chuàng)建目標(biāo)語(yǔ)言的訓(xùn)練數(shù)據(jù)：

1. 翻譯：為了在質(zhì)量和成本之間取得平衡，我們使用純?nèi)斯しg從中文翻譯成英文，并使用機(jī)器翻譯和后期編輯將英語(yǔ)數(shù)據(jù)翻譯成其他語(yǔ)言，以盡可能避免兩次翻譯過程中可能的錯(cuò)誤傳播。

2. 對(duì)齊：我們提出了一種混合對(duì)齊策略，以確保實(shí)體在話語(yǔ)和信念狀態(tài)中都能被替換為所需的翻譯。具體而言，我們首先嘗試使用基于實(shí)體標(biāo)注構(gòu)建的字典對(duì)齊，如果輸出中沒有匹配的翻譯，則退回到神經(jīng)對(duì)齊（即使用encoder-decoder cross-attention權(quán)重匹配源語(yǔ)言和目標(biāo)語(yǔ)言中相對(duì)應(yīng)的實(shí)體）。

3. 自動(dòng)標(biāo)注檢查：我們開發(fā)了一個(gè)標(biāo)注檢查器來自動(dòng)標(biāo)記和糾正可能存在的錯(cuò)誤，包括1）實(shí)體檢查階段——確保在實(shí)體的英語(yǔ)翻譯中所做的更改傳播到其他目標(biāo)語(yǔ)言的翻譯，以及2）API檢查階段——通過將翻譯后API調(diào)用的結(jié)果與提供的真實(shí)值進(jìn)行比較來檢查API的一致性。

數(shù)據(jù)構(gòu)建與檢查的流程如下圖所示：

圖3：數(shù)據(jù)集構(gòu)建流程（以漢語(yǔ)到英語(yǔ)為例）

圖4：數(shù)據(jù)集檢查流程（以漢語(yǔ)到法語(yǔ)為例）

3.

實(shí)驗(yàn)結(jié)果

我們使用了mBART和m2m100 (for Korean only) 進(jìn)行實(shí)驗(yàn)。對(duì)于零樣本實(shí)驗(yàn)，我們不使用任何人工創(chuàng)建的目標(biāo)語(yǔ)言數(shù)據(jù)，只使用基于機(jī)器翻譯自動(dòng)創(chuàng)建訓(xùn)練數(shù)據(jù)。對(duì)于少樣本實(shí)驗(yàn)，我們從零樣本模型開始，并在目標(biāo)語(yǔ)言的少樣本數(shù)據(jù)集上進(jìn)一步對(duì)其進(jìn)行微調(diào)。實(shí)驗(yàn)的評(píng)估方式有兩種：Turn by Turn Evaluation和Full Conversation Evaluation。

Turn by Turn Evaluation：在這種設(shè)定下，我們?cè)谠u(píng)估中使用所有先前輪次和子任務(wù)的ground truth數(shù)據(jù)作為輸入。結(jié)果表明，在零樣本設(shè)置中，性能因添加的語(yǔ)言而異，各個(gè)語(yǔ)言在對(duì)話狀態(tài)追蹤 (DST)達(dá)到了34.6％-84.2％的準(zhǔn)確率，在對(duì)話動(dòng)作生成 (DA)上達(dá)到了42.8％-67.3％的準(zhǔn)確率，而在回復(fù)生成 (RG)上達(dá)到10.2-29.9的BLEU值，這意味著零樣本任務(wù)型對(duì)話在低資源語(yǔ)言場(chǎng)景下仍然是極具挑戰(zhàn)的任務(wù)。在少樣本數(shù)據(jù)上進(jìn)行微調(diào)可以改善所有語(yǔ)言的所有指標(biāo)，其中DST提高到60.7％-84.6％，DA提高到38.0％-70.5％，而BLEU則提高到了28.5-46.4。從下圖的數(shù)據(jù)中可以看到，在印地語(yǔ)、韓語(yǔ)和英語(yǔ)-印地語(yǔ)中，DST的改進(jìn)尤其明顯，因?yàn)樵谶@些語(yǔ)言中，機(jī)器翻譯的質(zhì)量可能不太好。盡管如此，將自動(dòng)翻譯的數(shù)據(jù)添加到訓(xùn)練中也能夠大大提高這些語(yǔ)言上任務(wù)型對(duì)話系統(tǒng)的準(zhǔn)確性，超過了僅用少量人工構(gòu)建數(shù)據(jù)訓(xùn)練的效果。

圖5：零樣本Turn by Turn Evaluation的結(jié)果

圖6：少樣本Turn by Turn Evaluation的結(jié)果

Full Conversation Evaluation：在這種設(shè)定下，對(duì)于每個(gè)輪次，模型從上一個(gè)子任務(wù)的輸出中獲取輸入，用于下一個(gè)子任務(wù)。這反映了與用戶進(jìn)行交互式對(duì)話時(shí)的實(shí)際情況。結(jié)果顯示，在零樣本設(shè)置中，性能同樣因語(yǔ)言而異，其中英語(yǔ)、法語(yǔ)、印地語(yǔ)、韓語(yǔ)和英語(yǔ)-印地語(yǔ)的對(duì)話成功率分別達(dá)到了使用完整數(shù)據(jù)訓(xùn)練的中文對(duì)話模型的35％、16％、9％、11％和4％。在少-shot設(shè)置中，這個(gè)比率提高到了38％、26％、25％、23％和5％。可以看到，最小和最大的改進(jìn)分別在英語(yǔ)和印地語(yǔ)數(shù)據(jù)集上。這表明，當(dāng)預(yù)訓(xùn)練數(shù)據(jù)的質(zhì)量較低時(shí)，少樣本數(shù)據(jù)的影響更大，這可能與中文和目標(biāo)語(yǔ)言之間的翻譯模型的質(zhì)量有關(guān)。

圖7：零樣本full conversation evaluation的結(jié)果

圖8：少樣本full conversation evaluation的結(jié)果

4.

結(jié)語(yǔ)

我們構(gòu)建了X-RiSAWOZ，這是一個(gè)新的端到端、高質(zhì)量、大規(guī)模的多領(lǐng)域多語(yǔ)種對(duì)話數(shù)據(jù)集，其涵蓋了5種不同的語(yǔ)言和1種語(yǔ)碼混合場(chǎng)景，以及一個(gè)工具包，以便將數(shù)據(jù)翻譯成其他語(yǔ)言。我們還為跨語(yǔ)言遷移的零/少樣本對(duì)話系統(tǒng)提供了強(qiáng)大的基線系統(tǒng)。總體而言，我們的工作為更高效、更具成本效益的多語(yǔ)言任務(wù)型對(duì)話系統(tǒng)的開發(fā)鋪平了道路。