微軟發(fā)布 Orca 2 LLM，這是 Llama 2 的一個(gè)調(diào)優(yōu)版本，性能與包含 10 倍參數(shù)的模型相當(dāng)，甚至更好。Orca 2 使用了一個(gè)合成訓(xùn)練數(shù)據(jù)集和一項(xiàng)稱(chēng)為 Prompt Erasure（提示詞擦除） 的新技術(shù)來(lái)實(shí)現(xiàn)這一性能。

Orca 2 使用了師生模式的訓(xùn)練方案，其中一個(gè)較大、較強(qiáng)的 LLM 作為另一個(gè)較小的 LLM（學(xué)生）的老師，老師的目標(biāo)是提升學(xué)生的性能，使其與更大模型的性能相媲美。微軟的訓(xùn)練技術(shù)教會(huì)較小的模型多種推理技巧，并教其如何為特定任務(wù)選擇最有效的技巧。

為此，老師被賦予了復(fù)雜的提示詞來(lái)觸發(fā)某種推理行為。不過(guò)，在一種被稱(chēng)為 Prompt Erasure 的方案中，學(xué)生只得到任務(wù)要求和期望的響應(yīng)，而不是老師的提示詞。在基準(zhǔn)測(cè)試中，一個(gè)擁有 13B 參數(shù)的 Orca 2 模型的表現(xiàn)超過(guò)了一個(gè) 13B 參數(shù)的基準(zhǔn) Llama 2 模型，提升了 47.54%。而一個(gè)擁有 7B 參數(shù)的 Orca 2 模型在推理任務(wù)方面與一個(gè)擁有 70B 參數(shù)的 Llama 2 模型相當(dāng)，甚至更好。

盡管像 ChatGPT 這樣的 LLM 在給定少量提示詞的情況下通常表現(xiàn)良好，但由于其內(nèi)存和計(jì)算需求較大，托管這些模型極具有挑戰(zhàn)性。經(jīng)過(guò)調(diào)優(yōu)的較小的模型也可以表現(xiàn)良好，許多研究人員已經(jīng)在研究使用較大 LLM 生成的合成數(shù)據(jù)集對(duì)它們進(jìn)行訓(xùn)練。

InfoQ 最近報(bào)道了谷歌的 Distilling Step-by-Step 方法，該方法會(huì)讓老師 LLM 自動(dòng)生成一個(gè)小型的調(diào)優(yōu)數(shù)據(jù)集，其中包含輸入和輸出標(biāo)簽，以及為何選擇輸出標(biāo)簽的“基本原理”。InfoQ 還報(bào)道了 Stability AI 的 Stable Beluga 模型，它使用微軟原始的 Orca 1 方案進(jìn)行訓(xùn)練，該方案使用了 Explanation Tuning，其中老師 LLM 被提示“生成詳細(xì)答案”。

與 Orca 1 類(lèi)似，Orca 2 訓(xùn)練數(shù)據(jù)集是由老師 LLM 生成的，而老師 LLM 收到了詳細(xì)的提示詞。然而，微軟新的訓(xùn)練方法 Cautious Reasoning 將訓(xùn)練任務(wù)與提示詞相結(jié)合，引導(dǎo)老師 LLM 使用特定的問(wèn)題解決策略，如“一步一步”或“解釋你的答案”。然后在學(xué)生的訓(xùn)練過(guò)程中，老師的提示詞被刪除，這促使學(xué)生學(xué)會(huì)選擇正確的策略。

為了評(píng)估這種方法，微軟將 Orca 2 模型的性能與幾個(gè)基準(zhǔn)模型進(jìn)行了比較，包括 Llama 2、ChatGPT（GPT-3.5）和 GPT-4。基準(zhǔn)任務(wù)包括推理、語(yǔ)言理解、文本完成和摘要。在推理基準(zhǔn)測(cè)試中，13B 參數(shù) Orca 2 模型優(yōu)于除 ChatGPT 和 GPT-4 之外的所有基準(zhǔn)。他們還發(fā)現(xiàn)，給 Orca 2 一個(gè)“謹(jǐn)慎”的系統(tǒng)提示詞（“你是一個(gè)謹(jǐn)慎的助手，你會(huì)仔細(xì)遵循指示”）相比無(wú)系統(tǒng)提示會(huì)略微提升其性能。

有幾位用戶(hù)在 X 上發(fā)表了關(guān)于 Orca 2 的帖子。一位用戶(hù)指出：“你不需要用‘一步一步解釋’這樣的技巧來(lái)提示它。它自己知道。” AI 研究員 Rudi Ranck 寫(xiě)道：

許多絕妙的想法都很簡(jiǎn)單……就像 Orca 2 中的“提示詞擦除”一樣：完整的提示詞不會(huì)呈現(xiàn)給模型，而只呈現(xiàn)任務(wù)和答案（它過(guò)濾了生成這些答案所使用的完整提示詞）。這有助于模型在更高層次上制定策略。這是一篇非常好的論文。我強(qiáng)烈建議通讀全文。

審核編輯：劉清