導讀今天討論的是面向結構化數據的文本生成技術研究，這是現在AIGC特別火的場景之一。這種技術不同于傳統的文本生成，它的輸入是一種比較特殊的結構，比如幾百條不同的三元組或者很多種數字的信息。在使用傳統的ChatGPT時，我們可以通過做一些摘要任務、翻譯任務等來隨意提出問題，但是對于結構化數據，它需要更高的生成能力，因為它包含了更多的信息。因此，我們今天選擇這個主題來給大家講解。

01

文本生成介紹

首先介紹一下現階段熱門的文本生成。

1.人工智能的發展階段

人工智能的發展經歷了許多次的突破。早期，李世石下棋戰勝了電腦，但后來又輸給了AlphaGo，這拉開了人工智能快速發展的序幕。之后，無人車的感知智能以及能看會讀的人工智能模型也受到了很多資本的青睞。近幾個月來，以ChatGPT、GPT-4以及文心一言為首的對話式人工智能模型受到了巨大的關注，甚至被認為是一種認知智能。它基本上可以對人的問題以及意圖達到90%以上的理解能力，并且能根據意圖很好地生成你所要的文本。這被認為是當前最核心的一種前沿技術之一，這種方式通過大量無監督的學習再加上和人的對齊，實現了一種通用人工智能。經過不斷的發展，人工智能技術水平也在不斷提高。

2.文本生成概念

今天我們要講的文本生成是現在最流行的研究領域之一。文本生成的目標是讓計算機像人類一樣學會表達，目前看基本上接近實現。這些突然的技術涌現，使得計算機能夠撰寫出高質量的自然文本，滿足特定的需求。典型的一些任務有文本到文本的生成，例如傳統的摘要、翻譯以及回答等。除了傳統的文本生成，還有一種輸入結構化數據的生成，例如天氣預報、比賽數據以及傳感器數據等。雖然這些數據以結構化數據的形式進行存儲，但并不便于人們去理解或者找到其中的特點。因此，希望能通過文本的形式更易于閱讀或者理解。另外，最近混合模態的生成已經得到了突破，輸入圖像或者視頻可以對應輸出相關的文本。這些是之前文本生成領域主要做的一些研究。

如果不考慮不同的模態，它實際上是按照輸入的長短來生成的。起初我們常常用它來做一些比較簡單的任務，比如壓縮式的文本生成。輸入比較長，而輸出比較短，比如只有簡單的標題或者100多個字符的摘要。再之后，還有一種平行式的文本生成，比如我們來復述一句話或者潤色一句話。機器翻譯也是典型的平行式文本生成任務，只是我們會控制它用不同的語言來進行生成。其次，還有一種比較有挑戰性的擴展式的文本生成。比如，提供一個意圖生成篇章級文本，我們可以讓ChatGPT和GPT-4寫出好故事，甚至，它可以寫一些比較好的報告。我們認為，隨著輸入輸出比的不斷變化，讓它的挑戰也變得更多，因為隨著文本的輸出更長，它所要遵循的邏輯、層次以及其內部本身文本上有一些退化問題，都更具挑戰。

3.文本生成模型

技術層面，最早在2000年前后，生成方式采用的是所謂pipeline流水線的方式。它通過目標任務來找到寫作對應的一些詞單元，把這些單元和詞進行規劃、排序，再把每個單元合并成句子，最后再套入模板中，這是很復雜的流水線過程。

在2014年，我們采用了一種端到端的編碼器解碼器的方式，也就是基于深度學習的方式，典型的任務是機器翻譯，比如我們把每個詞變成向量，輸入到神經網絡里面，就可以把向量進行編碼。最后傳給解碼器進行解碼，每次解碼的時候，它實際上是從很大的幾萬個詞表中選取概率最大的詞作為當前的輸出。這種方式在機器翻譯領域或者當時的文本摘要任務上非常成功。

后來在2018年，人工智能領域又發生了一次變革，這次變革中出現了預訓練模型的方法，比較典型的有三個不同的模型：GPT-1、GPT-2、GPT-3。這三個模型在使用時，像GPT-1和GPT-2這樣的小模型通常采用微調的范式，即讓其提前學習海量的文本和知識，并在小規模數據上進行調優，以便更好地適應下游任務。當預訓練模型的規模變得非常大時，很難對模型內的參數進行finefune，這時就通過提示學習的方式，為不同的任務設計不同的表示，以引導模型輸出想要的內容。最新的方法被稱為instruct tuning（指令微調），它不需要改變預訓練模型，也不需要為每個任務學習專門的特征或表示，只需利用所有的自然語言文本即可。

4.文本生成技術

隨著預訓練模型的發展，其規模呈現出指數級的增長。目前，比較大的預訓練模型有Megatron- Turning和 OPT，它們分別來自于Nvidia和Meta。目前我們不知道ChatGPT相比于GPT-3在模型大小上的區別，也不確定GPT-4是達到了十萬億的參數還是像GPT-3一樣保持相對較小的規模。隨著新的預訓練語言模型的不斷提出，它們改變了我們基于傳統pipeline學習的文本生成方法，這些新的模型能夠解決過去在連貫性等方面所遇到的問題，例如微觀規劃。它們在詞的使用、詞的表達以及句子合成方面都更加流暢自然，讓人感覺與真人寫作的差別不大，甚至有時更好。現在，我們更關注的是如何圍繞輸入的內容來寫作，以及如何寫作。這些問題值得我們作為文本生成研究者去思考。

一方面我們主要圍繞不同的編碼器，如編碼文本、結構化數據（如表格）、圖像等，但GPT-4的多模態能力給這種任務帶來了巨大的沖擊。解碼會有不同的風格，例如，ChatGPT可以很好地生成一首李白風格的詩，雖然有可能存在一些事實性的問題。另外在寫長文本時，我們需要關注邏輯、主題、重復性等，也需要控制長度。這些問題在ChatGPT之前就經常被討論，但未來在具體實現方式上仍需深入研究。

02面向結構化數據的文本生成

接下來，將討論面向結構化數據的文本生成。

狹義上，這種生成任務是根據非語言結構信息生成自然語言文本的過程，這意味著只要輸入不是自然語言，都可以屬于這類范疇。具體地我們可以輸入表格，如財務報表，然后把它們生成為簡單的報表，使人們更容易理解。這與AIGC非常相似，它可以賦能企業自動寫作的場景，減輕企業用戶在撰寫報告方面的成本。整個任務的定義輸入是結構化數據，可以看作是知識圖譜中的三元組，包括不同的節點，例如數字和實體等。輸出則為自然語言文本，這可以被用來生成結構化數據的文本。

這種技術的應用也有著重要意義。知識圖譜的價值在于它更易于計算機理解，但不太便于人類理解，因此需要將結構化數據轉化為人類易于理解的文本。例如，當播報天氣預報時，不能簡單地說出“溫度-32度-哈爾濱”，而應該將其轉化為易于理解的文本形式。另外，在撰寫賽事報道時，原始的輸入數據以三元組的形式存儲在Excel表格或其它數據庫中，之前需要編輯去寫作，而現在騰訊、新浪等一些新聞網站已經可以通過自動化的方式將其轉化為易于理解的文本。另外，我們做了很多種柱狀圖或者是餅圖，其背后的原理都是一種三元組，可以把這種三元組都轉化成文本的形式，便于大家去閱讀和理解。

具體的場景，例如輸入體育比賽這種相對復雜一點的結構化表格，輸出一篇報道。隨著ChatGPT或者GPT-4的出現，自動化生產文本的能力得到了很大的提升，未來很多文本都會用這種技術來做。我們可以把它看成簡單的實體存儲的描述，用這種方式來播報它的具體內容，以便于人們理解。還可以把不同區域的經濟數值轉換成財報，這對很多銀行或者金融保險企業來說很重要，因為他們需要實時了解各地方的情況。還可以通過一些好的生成方法讓它自動挖掘出一些風險點，或者是誰的業績比較好等信息。

上圖中列舉了一些之前國內以及國外比較典型的生成系統，其中包括國內的新華社推出的快筆小新、阿里巴巴等。還有國外的一些種初創公司，獲得了很多的關注，比如美國明星企業Narrative Science、Automated Insights等，但是目前這種企業在ChatGPT和GPT-4的沖擊下具體情況還未可知。

這里也羅列一些近20年來自然語言處理領域中的典型任務。最早有數據支撐的任務是在2009年，涉及天氣預報數據集。2016年，出現了描述人物的維基百科任務，可以看作是簡單圖譜的分支。隨后在2017年，開始研究餐館的描述，例如給美團每個餐館打上廣告。此外，還有一些更偏向推理的任務，如棒球比賽等。在2020年之后，基于推理、事實一致性和數值計算成為更受關注的方向。事實一致性最早出現在結構化數據文本生成中，目前也被認為是ChatGPT沒有解決的最核心的問題。而針對如何解決事實不一致性問題，領域相關工作者可以進一步深入研究。

最后再說一下該任務的意義。它可以很好地提升我們工作的效率，幫助用戶理解離散的數據并進行正確的決策。面向結構化數據，未來我們可以把不同的圖像如餅圖、線圖等轉化為文字的形式，有廣泛的應用空間。實際上，GPT-4采用的策略不一定是三元組的存儲，而是采用一種視覺的方式。

結構化數據文本生成，與傳統的文本生成在評價指標上有一些不同。傳統的文本生成有經典的評價指標，如BLEU和ROUGE。在結構化數據上，更加關注抽取的三元組內容（content Selection），以及所寫的內容和原本輸入的結構化表格是否對應（Relation Generation），內容的順序是否一致（Content Ordering）。它構建了一些自己的打分方法，同時還會用一些經典的人工評價來指導或說明生成系統的好壞。

接下來介紹主要的技術架構：

最早期是使用pipeline的方式，研究了傳統的內容規劃，通過決定哪些內容是三元組來進行選擇，然后將這些三元組放到有序的條件下，最后將它們進行文字模板的嵌套生成最終的結果。這種方法的好處是易于控制，因為你了解其中每一步背后的含義，并且可以進行改進。但缺點是需要人為地從中寫入一些特征，并且存在錯誤傳播的現象。

之后采用了基于深度學習的方法，通過編碼器-解碼器來生成文本。其中編碼器是面向于結構化數據特殊設計的一種層次化的編碼器。通過解碼器加上注意力文本和拷貝文本，我們就能生成想要的合適的輸出。這種方法的好處是可以通過數據驅動的方式實施，只要收集足夠多的數據，就可以得到比較好的生成文本。但是它的問題是可解釋性比較強，難以針對某個錯誤進行控制。

很多人認為隨著ChatGPT的出現，整個NLP或NLG領域就不存在了。事實上，我們仍看到對于一些非常復雜的結構化表格，在建模能力方面它并沒有我們想象的那樣強大。首先，我們把整個表格以三組的形式或者以json的形式輸入到ChatGPT，這里它犯了一些錯誤，后面會講到如何解決。

首先，在講分數時選擇或者生成了錯誤的數據，犯了事實不一致的問題。例如，它提到國王和布魯克林的比分是99比90，但實際上應該是107比99。

第二，它對大小的認知程度不夠。例如，它寫到球隊中最高分的球員得了24分，但實際上我們在表格中看到有人得了更高的25分。盡管ChatGPT經過了很多輪的更新，但這種選擇性錯誤和不符合邏輯的表達表明它在數字的理解方面仍然很薄弱。

03目前主要挑戰

接下來介紹目前的主要挑戰，也是我們所研究的主要內容。

我們希望能夠對給定樣式的表格，能夠比較好地顯示它的結果。然而，結果是當前比較困難的，例如與其它數據集相比，這個賽事表格有600多個不同的單元和三元組。它使用的長度也很長，因此無法將所有信息都輸進去。我們需要解決如何選擇合理的結構化信息或單元來進行描寫，以及如何更好地表示數字的大小，使其能夠合理地輸出。例如很多情況不一定是完全要遵照表格數據，有時需要呈現兩個隊的比分以及分差，需要通過計算器計算的結果，這是任務本身不具備的能力。此外，還有一些風格的控制，例如每個人寫的新聞報道都有自己的風格，我們是否能夠通過參考之前報道的風格來寫整個內容。這些都是我們關于內容上不同方面的研究。

1.內容選擇

對于ChatGPT來說，其輸入通常是文本，是典型的序列化輸入，只有上下文。但對于結構化的表格來說，每一列和每一行之間都存在典型的相關性。例如，一列可以代表當前球隊誰得分最高，一行可以顯示有多少個得分，籃板和助攻等特殊信息，是否拿到了兩雙或三雙等等。同時，我們需要考慮一些球隊的歷史信息，比如球隊表現的差異等。因此，我們需要解決如何更好地表示這些信息。

對此，研究人員進行了一種層次化的建模，首先使用行的編碼器來確定各項數值之間的比較，同時使用列的編碼器來整合不同維度的信息，以及用不同的三元組來建模人物整體的表示，判斷是否應該被選擇出來。

基于之前提到的RG、CS、CO評估指標，效果很明顯，且在各個指標上都達到了最優效果。這種層次化的方式實際上也是比較符合結構化數據的，但是剛才跟ChatGPT做對比的時候，實際上是把它當作一種json模式在用。

2.數字表示

如何讓模型更好地學習數字表示，我們發現ChatGPT在選擇數字大小時會出現錯誤，因此需要將數字大小的信息嵌入到寫作過程中，這是非常核心的內容。由于ChatGPT是典型地根據概率去建模生成內容，即本質上是0/1問題，兩者存在不一致性，這導致ChatGPT在數值問題上建模能力稍有欠缺。

我們嘗試將數值之間的大小關系轉化為模型中的表示，以便比較大小關系。我們獲取同類型的content表示，并將比較信息嵌入到數字表示過程中。這樣，在理解表格和結構化信息時就可以更加準確，這相當于在預訓練過程中學習了數字大小比較能力。其次，在建模每個三元組時，我們會設計多維度的reward，以提升模型選擇內容的能力。

最后新的方法在結果上也獲得了很好的性能。其中一個值得探索的問題是，我們是否加入了數字大小的能力。我們在不同的比賽或數據上做了二維空間映射的對比實驗，其中紅色表示之前的建模方法，藍色表示加入數字大小后的方法。結果顯示，加入數字大小后，模型的不同維度表示之間呈現出典型的線性關系，這樣就能更好地拉寬不同數字之間的屬性或表示的性質，從而更好地選擇要生成的內容。

3.數值推理

另外，我們也希望模型能在數值推理時能夠合理地推出原始表中沒有出現的信息，并根據這些信息給出總結性或分析性的結論。以賽事表格為例，表格中除了有像107代表一隊的總分，103代表另一隊的總分的信息之外，還有很多數字是與原始表格里不匹配的，比如有兩個球員一起合作得到了9分，還有兩隊有4分的差別，差距對應的是險勝。這些信息實際上從原始的表格是得不到的，需要對數字內容實現推理來計算。

在生成過程中可以采用一種填槽的方式。我們采用了雙解碼器的策略。除了文本解碼器外，還可以建模表格中的實體、類型和分數，使用三元組的方式將其結構化。在解碼文本時，除了解碼文本本身外，我們還會使用關鍵的槽位。這些槽位類似于觸發器或gate。當槽位被啟動時，就會引入公式的計算。我們嘗試用這種方式讓它解碼出不同的數字。例如，針對當前的三分，它可以解碼出差距是三分的107-104。但在真實場景中，它無法直接計算答案，因為基本的語言模型不具備計算能力。因此可以將其放在計算器中計算出結果，然后將結果放回原文中使用。這種方式可以很好地將數值推理的能力嵌入到文本中。

為了更好地讓它理解表格的結構和數據，結合我們的任務，我們提出了一種叫做tablemask的策略。我們可以隨意從表格中摳掉一些，然后使用它的行列嘗試恢復它。例如，如果某個球員的得分被扣掉了，我們可以用總分減去其它所有區域的分數來獲得該球員的分數。這樣就可以基于樣例來訓練，提前保證預訓練公式計算器的解碼能力。之后，把解碼能力嵌入到文本解碼器內，兩者相互配合就可以得到比較好的結果。

從實驗數據來看，我們除了做文本生成任務，也去看能否產生比較有意思的結果。我們就做了一些對比，例如“尼克斯戰勝了灰熊”，給它“#”，讓模型生成下一個詞。因為當時很多用的都是transformer，沒有預訓練。我們看到，通過調整數字構造器的方法，大于70% 的數字都是可以正確生成的，而這些數字都是通過計算得到的，并不是在原始的表格里存在的。

同時我們找了一些其它好的例子，發現確實是可以生成原始內容中沒有的信息。比如生成兩隊在上半場的比分，在實際數據中只有每一節的分數，沒有上半場的總分數，就需要分別計算兩個球隊上半場分數之和，相加之后再把兩個數字導回去，獲得合理的生成結果。

4.風格控制

我們還希望能夠指定寫作的風格。前文介紹的更加傾向于能夠產生有價值的信息，現在是考慮是否能遵照不同人的風格生成更加可定制、個性化的內容。我們提出了一種篇章級的風格遷移任務。以前的風格遷移是源于圖像視覺領域，比如要求模型畫一個達芬奇風格的畫。后來在文本中，我們會希望模型生成積極的表達，或者生成更加正式的一段表達。

我們提到的篇章級風格控制是指，給定一個表格和需要新聞報道的樣式素材，將這些材料整合為一篇文章。由于這些數據本身并不匹配，因此要寫出符合這種文體的文章是一項具有挑戰性的任務，只能通過一種無監督的方式進行。為了解決這個任務，我們設計了不同種學習的損失函數，保證內容可信度和語言風格，并生成類似于back-translation的內容，以指導我們將文章寫回原來的文本。

在建模方面，我們將表格和參考文本用層次化的方式建模，再進行attention交互的矩陣計算，最后我們用它來指導文章生成。

文章在風格表達方面達到了比較好的效果。直接把原始文本上的數字摳掉去填充，這種風格匹配是百分之百的，一些內容可行性上的準確率、召回率以及BLEU值都還是很好的。實際上，在生成內容方面，模型的效果還不錯，比如輸入表格和左側文本，能夠按照風格生成理想中的內容。由于模型建模能力有限，還是會犯一些小錯誤，不過大部分情況下，它都能夠學習并正確生成所需的文本。

04總結

最后做一個簡單的總結，首先隨著ChatGPT的出現，結構化數據的文本生成的應用會越來越多，未來很難找到一些典型的問題。其次，ChatGPT可以幫助我們做文本生成的評價，因為目前文本生成評價的進展依舊不容樂觀。另外，我們還需要對ChatGPT做一些特殊的優化，比如如何設計給ChatGPT的結構化數據的模板形式。同時我們還可以設計一些特殊的prompt。這方面還有研究空間。此外，現在是以三元組方式去建模，但是在做summarization的時候，它是以一種跨模態的圖片形式，我們也需要思考表格是否能采用這種多模態的形式處理。

05Q&A

Q1:table2txt的工作中，行編碼器或者列編碼器會將table中的數據解析成三元組的形式，喂給到模型中進行建模嗎？

A1：是的，這確實是個很好的問題。它確實是以三元組形式輸入到我們的模型中。因為當時它不一定都是序列化的，像現在這種transformer的編碼方式。比如我們把人名和他的對應的得分加上他的分數，他們三個組合成三元組的形式，通過MLP的簡單形式進行編碼。它的效果還可以，讓我們覺得這種方式還不錯。

Q2：大規模的結構化數據的建模（大寬表，freebas）有什么比較好的思路嗎？

A2：我們還試驗了其他例子，剛才給大家展示的是ChatGPT，它生成會存在的一些問題。那我們內部也測了一下，GPT-4能讀一些結構化的信息，就比如你把它存成json這種有一定層次的表達也可以讀取。而且它的輸入效果要比ChatGPT好，基本上找不出來明顯的錯誤。

Q3：多元時序結構化的數據表的建模，請問有好的建模的思路嗎？

A3：我覺得可以參考我們在做序列化建模時候加入類似position embedding的時間戳的做法，這是一種最直接的方式。

Q4：GPT對于知識圖譜的研究最大的挑戰和啟示是什么？未來知識圖譜的研究會發生根本性的轉變嗎？

A4：我覺得確實也是現在很值得思考的問題。我覺得也是我們要開次峰會的原因，因為大家看到把知識存到參數化的效果里面是很好的，那很多時候我們基本上也不需要去搜索知識圖譜或者是檢索一些外部知識，它就能給出來很好的答案。像采用New Bing的形式，我通過實時檢索，返回一些文本信息，它來作為補充，那這對于時效性和準確性的提升也是很明顯的。那在整個過程中，圖譜能發揮的作用確實是值得我們去思考。我個人感覺可以想辦法，他們有的文章提出可以讓模型去恢復圖譜，去預測圖譜中的節點。可以說能把知識的這種方式嵌入到我的模型中，就類似先Mask原本的文本再去恢復它，這樣你能學到文本的上下文。那你把圖譜中的節點刪除摳掉之后，你讓模型去恢復圖譜，你就能學到些不同知識間的相關性。確實是很難回答的問題。