從語(yǔ)言模型角度看，ChatGPT 的天花板非常低，但在觸及天花板之前，還有很多紅利。

ChatGPT在產(chǎn)業(yè)界掀起商業(yè)化與資本狂潮的同時(shí)，也給自然語(yǔ)言處理（NLP）研究界拋出了許多問(wèn)題，NLP正在重新成為最熱的研究領(lǐng)域之一，但也在面臨以ChatGPT為代表的大規(guī)模預(yù)訓(xùn)練語(yǔ)言模型帶來(lái)的沖擊，ChatGPT將如何重塑NLP技術(shù)？NLP的下一步要如何走？

在2月24日深圳人才研修院由鵬城實(shí)驗(yàn)室主辦的第四屆OpenI/O啟智開(kāi)發(fā)者大會(huì)上，張民教授做了題為《語(yǔ)言智能與機(jī)器翻譯》的主題演講，對(duì)這一問(wèn)題展開(kāi)了深刻的思考。

張民教授在1991年至1997年于哈爾濱工業(yè)大學(xué)先后獲學(xué)士、碩士和博士學(xué)位，長(zhǎng)期從事自然語(yǔ)言處理、機(jī)器翻譯和人工智能研究。在這次演講中他談到ChatGPT背后的NLP技術(shù)，他認(rèn)為ChatGPT是一個(gè)技術(shù)、數(shù)據(jù)、算力和工程架構(gòu)相結(jié)合的復(fù)雜系統(tǒng)，它的能力來(lái)自于基礎(chǔ)模型、指令學(xué)習(xí)和強(qiáng)化學(xué)習(xí)。NLP人要有復(fù)雜系統(tǒng)的觀念。

在他看來(lái)，ChatGPT給NLP研究者帶來(lái)的不是威脅，而是為NLP提供了新機(jī)會(huì)、新研究范式，可更好地解決NLP問(wèn)題，同時(shí)擴(kuò)大了NLP研究領(lǐng)域，為NLP領(lǐng)域提出了更多待解決的命題，如研究新一代語(yǔ)言大模型、保證模型的可信與安全、提高模型的復(fù)雜推理能力和可解釋性、增強(qiáng)模型對(duì)人類意志的學(xué)習(xí)、發(fā)展多模態(tài)大模型等等。

以下是張民教授本次主題演講的原文，AI科技評(píng)論做了不改變?cè)獾木庉嫞?/p>

1

ChatGPT：NLP 技術(shù)的一大步

打開(kāi)了通用AI的大門

在講這次報(bào)告的內(nèi)容之前，我先就ChatGPT談幾個(gè)觀點(diǎn)。

第一，要高度認(rèn)可、擁抱、跟蹤而不是跟風(fēng)跨時(shí)代的以ChatGPT為代表的新一代NLP/AI技術(shù)。

第二，跟蹤之后，要在OpenAI的這個(gè)大模型基礎(chǔ)上做創(chuàng)新性研究。很多人擔(dān)心，在大模型的時(shí)代，NLP是不是不需要再做了，其實(shí)完全不是，我們要做的事情更多，而且極多。

大家想一下我們的人腦是怎么學(xué)習(xí)語(yǔ)言的，3歲小孩的語(yǔ)言能力已經(jīng)很強(qiáng)了，但人腦只有5%的神經(jīng)元被激活進(jìn)行語(yǔ)言相關(guān)的活動(dòng)，小孩是怎么做到舉一反三的？我們?nèi)祟悓W(xué)語(yǔ)言是真正去理解，自頂向下和自底向上相結(jié)合的學(xué)習(xí)方式，具有演繹、歸納、推理、聯(lián)想、舉一反三的能力。而ChatGPT是自底向上學(xué)習(xí)。所以未來(lái)的語(yǔ)言模型一定不是ChatGPT這個(gè)樣子。

本次報(bào)告要講的，是我覺(jué)得未來(lái)5至10年甚至20年以ChatGPT為代表的NLP要解決的問(wèn)題。先講什么是ChatGPT，再講什么是語(yǔ)言模型、ChatGPT能給NLP什么啟發(fā)。

首先來(lái)講什么是ChatGPT。第一點(diǎn)，ChatGPT做的事就是使機(jī)器像人一樣與人對(duì)話、交流。自然語(yǔ)言是人類交流最方便、最重要的媒介，語(yǔ)言是用來(lái)描述知識(shí)和傳承文化的工具。因此，ChatGPT很快就被大眾迅速接受，所以說(shuō)ChatGPT是人投票投出來(lái)的，這也是ChatGPT能如此之火的一個(gè)很重要的原因。

ChatGPT的本質(zhì)是大規(guī)模預(yù)訓(xùn)練語(yǔ)言模型，是一個(gè)統(tǒng)一的、極簡(jiǎn)的大模型，這是第二點(diǎn)。

第三個(gè)關(guān)鍵點(diǎn)，就是ChatGPT做的是一個(gè)NLP問(wèn)題，但是大家一定要意識(shí)到它是一個(gè)技術(shù)+數(shù)據(jù)+算力+工程結(jié)構(gòu)的復(fù)雜系統(tǒng)。

經(jīng)常有人問(wèn)我，ChatGPT帶給我們的經(jīng)驗(yàn)是什么？我通俗地講，自然語(yǔ)言處理干三件事：讓機(jī)器聽(tīng)懂人話（理解）、講人話（生成）、干人事（應(yīng)用）。相應(yīng)地，ChatGPT的驚艷之處是什么？第一，非常強(qiáng)的語(yǔ)言理解能力和生成能力，理解人類的意圖，然后侃侃而談，娓娓道來(lái)；第二，它能把倫理、道德等方面的不當(dāng)內(nèi)容去掉，并可拒絕回答；第三，它使用了三項(xiàng)技術(shù)，包括表示學(xué)習(xí)、注意力機(jī)制和學(xué)習(xí)人類意志，沒(méi)有這些技術(shù)就沒(méi)有大模型，更沒(méi)有ChatGPT。

非嚴(yán)格講，“學(xué)習(xí)人類意志”是ChatGPT這類模型所獨(dú)有的，這個(gè)說(shuō)法聽(tīng)起來(lái)很高大上，其實(shí)就是通過(guò)算法調(diào)整模型參數(shù)，進(jìn)而讓機(jī)器知道人到底想要機(jī)器做什么、怎么能干好。

ChatGPT的理論基礎(chǔ)是什么？就是從語(yǔ)料當(dāng)中學(xué)東西。語(yǔ)料數(shù)據(jù)里面能蘊(yùn)涵多少知識(shí)，ChatGPT最多就能擁有多少知識(shí)。從這個(gè)角度看，ChatGPT因此也是一個(gè)知識(shí)工程。所以語(yǔ)料庫(kù)語(yǔ)言學(xué)、認(rèn)知語(yǔ)言學(xué)和計(jì)算語(yǔ)言學(xué)是ChatGPT的語(yǔ)言學(xué)理論基礎(chǔ)。如果你相信語(yǔ)言能夠表達(dá)知識(shí)，那么ChatGPT就能學(xué)會(huì)其中的知識(shí)。

所以我們對(duì)ChatGPT的一個(gè)評(píng)價(jià)是：NLP技術(shù)的一大步，開(kāi)啟了AGI（通用人工智能）的一扇門。

2ChatGPT 背后的語(yǔ)言模型

只要上過(guò)中學(xué)、學(xué)過(guò)中文或英文，大家就都知道，語(yǔ)言模型包括詞、短語(yǔ)、句法結(jié)構(gòu)、語(yǔ)義和篇章等不同層面。從另外一個(gè)角度講，語(yǔ)言模型涵蓋很多種表示方法，比如產(chǎn)生式、邏輯、謂詞、框架等等。從知識(shí)表述的角度看，語(yǔ)言模型則包括規(guī)則、統(tǒng)計(jì)和神經(jīng)網(wǎng)絡(luò)的方法。

抽象講，語(yǔ)言模型是計(jì)算機(jī)表示和處理自然語(yǔ)言的數(shù)學(xué)模型。語(yǔ)言模型是一個(gè)單純的、統(tǒng)一的、抽象的形式化系統(tǒng)，自然語(yǔ)言經(jīng)過(guò)語(yǔ)言模型的描述，就能被計(jì)算機(jī)處理了，因此語(yǔ)言模型對(duì)于自然語(yǔ)言處理極其重要。

那么ChatGPT所用的語(yǔ)言模型是什么？它的語(yǔ)言模型其實(shí)早在上世紀(jì)七八十年代就有了，即當(dāng)時(shí)語(yǔ)音識(shí)別領(lǐng)域最常用的N-gram語(yǔ)言模型。ChatGPT是一種基于N-gram的生成式語(yǔ)言模型。比如，在一個(gè)句子中，第二個(gè)詞的概率以第一個(gè)詞為基礎(chǔ)，第三個(gè)詞的概率以前兩個(gè)詞為基礎(chǔ)，如此類推。公式極其簡(jiǎn)單，ChatGPT所干的唯一一件事，就是學(xué)一堆神經(jīng)網(wǎng)絡(luò)參數(shù)，給定前N個(gè)詞，預(yù)測(cè)下一個(gè)詞是什么。比如“Where are we （going）”這個(gè)句子，ChatGPT會(huì)對(duì)所有可能的詞的概率進(jìn)行從低到高的排序，根據(jù)它的模型預(yù)測(cè)出第四個(gè)詞是going的概率最大。

大家想一想，為什么只做這一件事就能夠?qū)崿F(xiàn)復(fù)雜對(duì)話？只是如此簡(jiǎn)單地預(yù)測(cè)下一個(gè)詞，為何它就能這么驚艷，能夠?qū)懳恼隆?duì)話、編程序、制表等等？有一個(gè)經(jīng)典的“猴子打字機(jī)悖論”，如果你給一個(gè)猴子無(wú)限長(zhǎng)的時(shí)間，讓它在鍵盤上敲打，它就能在某個(gè)時(shí)間點(diǎn)寫出一部莎士比亞全集。這是沒(méi)錯(cuò)的，從數(shù)學(xué)的角度講一定能實(shí)現(xiàn)。

ChatGPT就相當(dāng)于一只猴子，把詞隨意地組合起來(lái)，但ChatGPT的好處是什么？猴子需要無(wú)限長(zhǎng)的時(shí)間，它也并不知道打出哪個(gè)字最好，而ChatGPT有非常強(qiáng)的預(yù)測(cè)下一個(gè)詞的能力，只要給它上文，它就能對(duì)下一個(gè)詞進(jìn)行精準(zhǔn)預(yù)測(cè)。ChatGPT寫一篇論文的時(shí)候，給人感覺(jué)是一氣呵成，實(shí)際上這時(shí)候它絕對(duì)不是簡(jiǎn)單地給定前一個(gè)N個(gè)詞預(yù)測(cè)下一個(gè)詞，而是已經(jīng)隱含在語(yǔ)言模型中地編碼了這篇文章的結(jié)構(gòu)。寫一篇學(xué)術(shù)論文一定要布局好結(jié)構(gòu)，ChatGPT就是根據(jù)這個(gè)布局來(lái)工作的。ChatGPT最擅長(zhǎng)的就是寫作，侃侃而談，“編故事”。

那么ChatGPT的原理到底是什么？有三個(gè)方面：基礎(chǔ)模型，指令學(xué)習(xí)，強(qiáng)化學(xué)習(xí)。

基礎(chǔ)模型使ChatGPT具備強(qiáng)大的能力。有了能力就是有了力氣，但有了力氣還不知道到底能干什么，指令學(xué)習(xí)就是讓模型知道干什么，強(qiáng)化學(xué)習(xí)則是讓模型干得更好。還有一個(gè)人類反饋，即獎(jiǎng)勵(lì)模型，是為了強(qiáng)化學(xué)習(xí)用的，用獎(jiǎng)勵(lì)模型去做強(qiáng)化學(xué)習(xí)，希望ChatGPT做到跟人類一樣、符合人類的意志。就像高文老師講的，ChatGPT太討好人類，表面上看是這樣，但其實(shí)我覺(jué)得問(wèn)題在于訓(xùn)練數(shù)據(jù)、獎(jiǎng)勵(lì)模型和強(qiáng)化學(xué)習(xí)的導(dǎo)向以及倫理道德的因素，導(dǎo)致它太像人類。

ChatGPT的核心技術(shù)有兩點(diǎn)，一個(gè)是基礎(chǔ)模型，一個(gè)是對(duì)基礎(chǔ)模型的人類意志對(duì)齊微調(diào)。至少?gòu)慕换サ慕嵌瓤?，微調(diào)是非常有效的。微調(diào)能做到什么效果？從交互的角度講，它能使原本13B的模型性能達(dá)到175B模型的水平，提高10倍。而從知識(shí)的角度講，13B的模型知識(shí)貧瘠，講得再花言巧語(yǔ)也沒(méi)有用。

3大模型時(shí)代，NLP 怎么做？

目前來(lái)看，ChatGPT不能干的、干錯(cuò)的，比它能干的要多得多。但是大家要堅(jiān)信一點(diǎn)，ChatGPT技術(shù)剛剛出現(xiàn)，那些不能干的很多問(wèn)題可以很快解決。

同時(shí)，我們也應(yīng)該看到ChatGPT有它的天花板，它確實(shí)是有很多問(wèn)題，說(shuō)一千道一萬(wàn)，ChatGPT本身模型能力有限，比如會(huì)出現(xiàn)張冠李戴的問(wèn)題。像對(duì)于“1+1=2”，ChatGPT不是用計(jì)算器去算的，而是利用模型去預(yù)測(cè)1+1等于幾，2出現(xiàn)的概率大，所以它認(rèn)為是2。如果你賦予ChatGPT計(jì)算能力，那么所有數(shù)字四則運(yùn)算問(wèn)題它都會(huì)。

我們應(yīng)該看到，ChatGPT的天花板非常低，但是在到達(dá)天花板之前，我們有很多紅利?？茖W(xué)的進(jìn)步畢竟是波浪式的。

再來(lái)談一談ChatGPT與語(yǔ)言智能和機(jī)器翻譯。這個(gè)方向我已經(jīng)做了幾十年了，但是我覺(jué)得機(jī)器翻譯是最容易被ChatGPT顛覆的，一定是。人類做翻譯的時(shí)候經(jīng)過(guò)語(yǔ)言理解和生成的過(guò)程，ChatGPT恰恰具有很強(qiáng)的語(yǔ)言理解和生成能力。目前機(jī)器翻譯模型嚴(yán)格依賴雙語(yǔ)數(shù)據(jù)，把機(jī)器翻譯看做是一個(gè)映射過(guò)程，而不是理解和生成過(guò)程。目前機(jī)器翻譯模型面臨很多難以解決的問(wèn)題，首先是雙語(yǔ)數(shù)據(jù)少，還有準(zhǔn)確性、篇章、指代、低資源領(lǐng)域和語(yǔ)種、噪聲等等問(wèn)題。這些問(wèn)題理論和技術(shù)上都可以被大模型很好解決。

再回答一下學(xué)術(shù)界普遍關(guān)心的問(wèn)題，在大模型的時(shí)代怎么去做NLP？我總結(jié)了12個(gè)問(wèn)題，任何一個(gè)問(wèn)題解決了我認(rèn)為都具有跨時(shí)代的意義。

一、新一代語(yǔ)言模型。Masked LM and GLM建模能力強(qiáng)，但模型的描述能力非常有限，理論上幾乎是所有LM中描述能力最弱的模型（除了BOW模型）。下一代可計(jì)算性更強(qiáng)、描述能力更強(qiáng)的語(yǔ)言模型是什么？至少不僅僅具有強(qiáng)大生成能力。

二、大模型時(shí)代的自然語(yǔ)言的深度理解（NLU）。至少?gòu)默F(xiàn)在開(kāi)始，所有的自然語(yǔ)言處理任務(wù)都很難繞開(kāi)大模型。基于連接主義的符號(hào)主義方法應(yīng)該是一個(gè)趨勢(shì)。

三、可信NLP。模型輸出結(jié)果可信、可驗(yàn)真。

四、安全可靠NLP。價(jià)值觀、道德、政治、隱私、倫理等。

五、具有復(fù)雜推理能力和可解釋NLP。連接主義和符號(hào)主義相結(jié)合的方法。

六、知識(shí)建模、獲取和使用。模型直接融入結(jié)構(gòu)化知識(shí)，或者作為功能插件。

七、具有增量學(xué)習(xí)、持續(xù)學(xué)習(xí)、人在回路能力的NLP。

八、小模型、模型編輯、領(lǐng)域適應(yīng)、領(lǐng)域模型、面向特定應(yīng)用和任務(wù)的模型、人類快速可干預(yù)。

九、人類意志的學(xué)習(xí)和對(duì)齊（物理、人類系統(tǒng)和信息智能社會(huì)的對(duì)齊）。

十、NLP引領(lǐng)的多模態(tài)大模型。自然語(yǔ)言模態(tài)偏向認(rèn)知，而其他模態(tài)偏向感知。除了NLP大模型，多模態(tài)大模型更應(yīng)該以NLP為引領(lǐng)或者基礎(chǔ)。

十一、NLP大工程和復(fù)雜系統(tǒng)的理念和認(rèn)知：算法模型、算力、數(shù)據(jù)、系統(tǒng)工程。

十二、開(kāi)源、開(kāi)放、共享、產(chǎn)業(yè)、人才、資本、政府、社會(huì)……

最后總結(jié)一下，一是非常感謝表示學(xué)習(xí)，有了它之后NLP從離散數(shù)學(xué)模型進(jìn)入連續(xù)數(shù)學(xué)模型時(shí)代，得到強(qiáng)大的數(shù)學(xué)工具的支持，比如可導(dǎo)、可微、神經(jīng)網(wǎng)絡(luò)等任意連續(xù)數(shù)學(xué)函數(shù)；二是注意力和人機(jī)對(duì)齊機(jī)制，注意力擬合NLP的上下文。三是大，模型大、參數(shù)多、數(shù)據(jù)量大，由量變產(chǎn)生質(zhì)變，涌現(xiàn)出各種能力。但這些才剛剛開(kāi)始，成績(jī)多，問(wèn)題更多，我們可做的事情極多。下一代模型的突破將加速發(fā)展，真正邁向通用人工智能。我們也期待下一代計(jì)算機(jī)能夠解決算力問(wèn)題。學(xué)、產(chǎn)、研、用、資、政，大家要一起來(lái)做。

審核編輯 ：李倩