作者｜李軍毅 陳杰 機(jī)構(gòu)｜中國人民大學(xué)

研究方向｜自然語言處理

來自| RUC AI Box

盡管大語言模型能力不斷提升，但一個持續(xù)存在的挑戰(zhàn)是它們具有產(chǎn)生幻象的傾向。本文構(gòu)建了幻象評測基準(zhǔn)HaluEval 2.0，并基于該評測框架從預(yù)訓(xùn)練/有監(jiān)督微調(diào)/提示設(shè)計/推理四個方面探索幻象來源。另外，還通過一系列技術(shù)深入研究了減輕LLM幻象的方法。

引言

大語言模型（LLM）在自然語言處理（NLP）的廣泛領(lǐng)域中展現(xiàn)出巨大的潛力。然而，盡管模型能力有所提升，但一個持續(xù)存在的挑戰(zhàn)在于它們具有產(chǎn)生幻象的傾向，即生成看似合理但事實上不準(zhǔn)確的內(nèi)容。這一問題嚴(yán)重限制了LLM在現(xiàn)實世界應(yīng)用（如臨床診斷）中的部署，在這些應(yīng)用中，生成值得信賴的可靠文本至關(guān)重要。

在 LLM 時代，幻象相關(guān)的研究顯著增加，這些研究主要圍繞三個問題展開，即 LLM 為何產(chǎn)生幻象（source），如何檢測幻象（detection）以及如何減輕幻象（mitigation）。現(xiàn)有的工作大多集中于分析或解決個別挑戰(zhàn)，仍然缺乏系統(tǒng)而深入的對 LLM 幻象的實驗分析。為此，我們針對事實性幻象，從幻象的檢測、來源和緩解三個方面進(jìn)行了全面系統(tǒng)的實驗性分析。我們的貢獻(xiàn)包括：

構(gòu)建了幻象評測基準(zhǔn) HaluEval 2.0，提出了一個簡單有效的幻象自動評估框架。

基于上述評測框架，我們從預(yù)訓(xùn)練（pre-training）、有監(jiān)督微調(diào)（supervised fine-tuning）、提示設(shè)計（prompt design）和推理（inference）四個方面探索幻象的來源。

我們還通過一系列廣泛使用的技術(shù)，包括基于人類反饋的強(qiáng)化學(xué)習(xí)（RLHF）、檢索增強(qiáng)（retrieval augmentation）、反思（self-reflexion）、提示改進(jìn)（prompt improvement）等，深入研究了減輕 LLM 幻象的方法。

總的來說，我們的工作帶來了一系列關(guān)于 LLM 幻象的來源和緩解的重要實證發(fā)現(xiàn)，構(gòu)建的幻象評測基準(zhǔn)可用于進(jìn)一步的研究。

幻象評測基準(zhǔn)HaluEval 2.0

HaluEval 2.0包括五個領(lǐng)域的 8770 個問題，其中生物醫(yī)學(xué)、金融、科學(xué)、教育和開放域的問題數(shù)量分別為1535、1125、1409、1701 和 3000。基于 HaluEval 2.0，我們在一些具有代表性的開源和閉源 LLM 上進(jìn)行了實驗：

開源模型：Alpaca (7B), Vicuna (7B and 13B), YuLan-Chat (13B), Llama 2-Chat (7B and 13B)

閉源模型：text-davinci-002/003, ChatGPT, Claude, Claude 2

幻象的檢測

我們提出了一個簡單而有效的評測框架，用于檢測 LLM 回答中的事實性錯誤。我們將具有挑戰(zhàn)性的幻象檢測任務(wù)分解為兩個較簡單的子任務(wù)：1）從回答中提取多個事實性陳述；2）確定每個陳述是否包含幻象。基于該檢測方法，我們可以在 HaluEval 2.0 上對各種 LLM 進(jìn)行評估。我們設(shè)計了兩個不同級別的指標(biāo)來衡量 LLM 回答中包含幻象的程度。

微觀幻象率（MiHR）衡量每個回答中幻象陳述的比例：

宏觀幻象率（MaHR）計算含有幻象陳述的回答比例：

我們在 HaluEval 2.0 上衡量了各種 LLM 產(chǎn)生幻象的傾向，實驗結(jié)果如下表所示：

我們可以看到，開源模型和閉源模型之間存在著明顯的性能差距。在開源模型中，我們可以發(fā)現(xiàn)擴(kuò)大模型規(guī)模可以有效降低產(chǎn)生幻象的傾向。另外我們發(fā)現(xiàn)，MaHR 和 MiHR 的正相關(guān)性并不強(qiáng)，這是因為有些模型傾向于用較少的事實生成較短的回答，從而減少幻象的發(fā)生，但同時也減少了回答中信息的豐富性。更多的實驗結(jié)論與分析詳見論文。

幻象的來源和緩解

我們進(jìn)行了廣泛的實驗，從預(yù)訓(xùn)練（pre-training）、有監(jiān)督微調(diào)（supervised fine-tuning）、提示設(shè)計（prompt design）和推理（inference）四個方面探索可能誘發(fā) LLM 幻象的因素：

我們研究了基于人類反饋的強(qiáng)化學(xué)習(xí)（RLHF）、檢索增強(qiáng)（retrieval augmentation）、反思（self-reflexion）、提示改進(jìn)（prompt improvement）等廣泛使用的方法減輕 LLM 幻象的有效性：

下面是各部分的實驗結(jié)論，更多的實驗細(xì)節(jié)、結(jié)果和分析詳見論文。

預(yù)訓(xùn)練：在更多 tokens 上進(jìn)行預(yù)訓(xùn)練對減少 LLM 幻象的影響較小，而將專業(yè)數(shù)據(jù)（如科學(xué)文本）納入預(yù)訓(xùn)練則可以極大地減輕特定領(lǐng)域的幻象。預(yù)訓(xùn)練知識的頻率對幻象的來源有很大影響，即頻率越低，幻象越多。

微調(diào)：通過改進(jìn)指令對 LLM 進(jìn)行有監(jiān)督微調(diào)有助于減輕幻象。平衡指令的復(fù)雜性有利于減少幻象，而使用過于復(fù)雜的指令則會導(dǎo)致更高水平的幻象。RLHF 是減輕 LLM 幻象的有效方法，但其效果依賴于所在領(lǐng)域。

推理：在專業(yè)領(lǐng)域如醫(yī)學(xué)，以多樣性為導(dǎo)向的解碼方法會誘發(fā)更多幻象，而在開放領(lǐng)域，貪心搜索會加劇幻象。逐個 token 生成的方式可能會讓 LLM 在先前生成錯誤的基礎(chǔ)上繼續(xù)出現(xiàn)錯誤，從而導(dǎo)致幻象。量化雖然加快了推理速度，但在很大程度上也會導(dǎo)致 LLM 幻象的產(chǎn)生。

提示設(shè)計：在任務(wù)描述中加入更多細(xì)節(jié)并利用上下文學(xué)習(xí)可以減少幻象的產(chǎn)生。改寫問題或?qū)⑷蝿?wù)描述放在問題之后會誘發(fā)更多幻象。對于更易讀和表達(dá)更正式、更具體的問題，LLM 產(chǎn)生幻象的傾向較低。

審核編輯：湯梓紅