作者 |馬湘楠

單位|東北大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室

來(lái)自 | 機(jī)器翻譯學(xué)堂

引言

智能代理（AI Agents）長(zhǎng)期以來(lái)都被視為通往人工通用智能（AGI）的一條希望途徑，預(yù)期中其能夠通過(guò)自主規(guī)劃和指令來(lái)自動(dòng)完成相關(guān)任務(wù)。然而，早期的代理通常是一種編程實(shí)體，其通過(guò)傳感器感知環(huán)境，再通過(guò)執(zhí)行器對(duì)環(huán)境進(jìn)行操作，以自主實(shí)現(xiàn)用戶的特定目標(biāo)。該類代理已被大量應(yīng)用于各種日常任務(wù)，如自動(dòng)駕駛[2][3]、智能機(jī)器人[4][5]或AI助手（Siri，Cortana等）。但是，這些代理通常是由傳感器信號(hào)或關(guān)鍵詞進(jìn)行觸發(fā)，然后在設(shè)計(jì)好的程序流水線中執(zhí)行系列操作。它們無(wú)法真正的理解以自然語(yǔ)言形式表達(dá)的復(fù)雜指令，從而無(wú)法自主完成絕大多數(shù)任務(wù)。最近大型語(yǔ)言模型[6][8][8]的發(fā)展表明它們能夠一定程度上理解并遵循人類指令，有潛力成為AI agents的核心—“大腦”[9][10]。LLMs使得AI Agents能夠?qū)θ蝿?wù)進(jìn)行自主規(guī)劃，而后調(diào)用輔助模塊進(jìn)行執(zhí)行，從而實(shí)現(xiàn)更廣泛的智能化。本文中我們會(huì)介紹一些AI Agents的框架構(gòu)成以及LLMs的基礎(chǔ)知識(shí)，而后進(jìn)一步闡述基于LLMs構(gòu)建特定AI Agents的一些相關(guān)方法技術(shù)，以期給讀者帶來(lái)一個(gè)大體的了解。與本文相關(guān)的工作有Wang等人的綜述，感興趣的同學(xué)可以自行查閱[11]。

AI Agents and LLMs

(1)AI Agents

AI Agents應(yīng)該能夠自主化理解用戶的復(fù)雜意圖，并依賴歷史記憶信息進(jìn)行任務(wù)規(guī)劃，而后調(diào)用相應(yīng)的外部工具自動(dòng)完成相應(yīng)的目標(biāo)任務(wù)。根據(jù)Weng[1]的定義，AI Agents應(yīng)該主要由LLMs、任務(wù)規(guī)劃（Task Planning）模塊、記憶利用（Memory Utilization）模塊和工具調(diào)用模塊（Tools Calling）組成。LLMs作為AI Agents的“大腦”，是整個(gè)代理運(yùn)行的中樞組件，其負(fù)責(zé)配置系統(tǒng)信息，并理解用戶的輸入。任務(wù)規(guī)劃模塊則是利用LLMs，結(jié)合記憶模塊及工具調(diào)用的行動(dòng)反饋，對(duì)目標(biāo)任務(wù)進(jìn)行規(guī)劃，將復(fù)雜任務(wù)分解為多個(gè)簡(jiǎn)單的子任務(wù)，確定任務(wù)執(zhí)行流程。記憶模塊為L(zhǎng)LMs提供歷史信息作為指導(dǎo)，以便更好地進(jìn)行任務(wù)規(guī)劃工作。行動(dòng)模塊則將代理的決策轉(zhuǎn)為具體的動(dòng)作輸出，并將執(zhí)行反饋傳回LLMs進(jìn)行新一輪規(guī)劃。LLMs、任務(wù)規(guī)劃模塊和記憶模塊三者協(xié)同工作負(fù)責(zé)控制工具調(diào)用模塊完成行為動(dòng)作，而工具調(diào)用模塊的結(jié)果又會(huì)再次作用于其他模塊，實(shí)現(xiàn)AI Agents的整體運(yùn)行。接下來(lái)，我們將詳細(xì)介紹這些模塊。

Large Language Models：語(yǔ)言模型（LM）是基于概率計(jì)算，旨在通過(guò)根據(jù)已經(jīng)出現(xiàn)的單詞來(lái)預(yù)測(cè)下一個(gè)（或缺失的）標(biāo)記的概率。對(duì)于標(biāo)準(zhǔn)的語(yǔ)言模型，給定輸入和參數(shù)化的概率模型 p，我們的期望是最大化目標(biāo)輸出的似然性，如下所示：

其中表示第 i 個(gè)標(biāo)記，表示目標(biāo)輸出的長(zhǎng)度。

Task Planning：任務(wù)規(guī)劃模塊通常包括兩個(gè)子模塊：任務(wù)目標(biāo)分解模塊及目標(biāo)完善模塊。分解模塊負(fù)責(zé)將Agents接收到的復(fù)雜任務(wù)分解為多個(gè)較小、可管理的子目標(biāo)任務(wù)，從而能夠完成整體的任務(wù)目標(biāo)。完善模塊則使得代理可以對(duì)過(guò)去的行動(dòng)進(jìn)行自我評(píng)價(jià)和反思，從錯(cuò)誤中汲取教訓(xùn)，并為未來(lái)的步驟進(jìn)行改進(jìn)，從而提高最終的質(zhì)量。該模塊的相關(guān)任務(wù)主要由LLMs完成。

Memory Utilization：記憶模塊主要負(fù)責(zé)存儲(chǔ)從環(huán)境中感知到的相關(guān)信息，并利用存儲(chǔ)的記憶來(lái)指導(dǎo)LLMs的行動(dòng)策略，幫助代理積累經(jīng)驗(yàn)實(shí)現(xiàn)自我演化，其在構(gòu)建AI代理中扮演著非常重要的角色，使得AI Agents能夠以更統(tǒng)一、合理和有效的方式行事。

Tools Calling：本模塊引入外部工具是指通過(guò)集成外部工具和擴(kuò)展知識(shí)源來(lái)增強(qiáng)基于LLM的AI Agents的能力。負(fù)責(zé)將代理的決策轉(zhuǎn)化為具體的執(zhí)行結(jié)果，其與環(huán)境直接互動(dòng)，決定了Agents完成任務(wù)的能力。如果將LLMs比喻成AI Agents的智能大腦，那么Tools調(diào)用則是AI Agents這個(gè)系統(tǒng)的手和腳。

圖1 LLM驅(qū)動(dòng)的自主代理系統(tǒng)概覽[1]

(2)large language models

Transformer架構(gòu)的出現(xiàn)，使得語(yǔ)言模型進(jìn)入了預(yù)訓(xùn)練階段。通過(guò)在大量無(wú)標(biāo)注文本上進(jìn)行預(yù)訓(xùn)練，使得語(yǔ)言模型在下游任務(wù)上展現(xiàn)出了非常強(qiáng)大的通用性能。根據(jù)架構(gòu)選擇，預(yù)訓(xùn)練模型有三個(gè)主要分支：encoder-only模型[12]、decoder-only模型[13]和encoder-decoder模型[14]。

隨著預(yù)訓(xùn)練模型規(guī)模的不斷擴(kuò)大，研究人員發(fā)現(xiàn)增加LMs模型大小會(huì)持續(xù)改善各種下游任務(wù)的性能，并將其稱為語(yǔ)言模型的縮放定律（scaling-laws）。同時(shí)，人們也發(fā)現(xiàn)模型規(guī)模增大的同時(shí)，也會(huì)誘發(fā)出大語(yǔ)言模型（LLMs）的“涌現(xiàn)”能力：某些在大型模型中具備，但在較小模型中并不存在的能力。這些涌現(xiàn)出的能力使LLMs與早期的預(yù)訓(xùn)練模型得到了區(qū)分。隨著ChatGPT模型的公布，其強(qiáng)大的任務(wù)理解能力以及出色的對(duì)話能力引起了大家的廣泛關(guān)注，也預(yù)示著語(yǔ)言模型的研究正式進(jìn)入了大語(yǔ)言模型（large language models）的時(shí)代。

在ChatGPT[15]發(fā)布之后不久，openAI進(jìn)一步公布了其新一代的大語(yǔ)言模型—GPT4[6]。GPT4不僅具有更強(qiáng)大的語(yǔ)義理解能力和對(duì)話能力，還能夠處理多模態(tài)信息，并且具備了外部API調(diào)用的能力，使得其能夠開(kāi)始與外界進(jìn)行交互，為AI Agents及AGI的實(shí)現(xiàn)提供了可能性。直到目前為止，GPT4仍然是最為強(qiáng)大的大語(yǔ)言模型，感興趣的同學(xué)可以通過(guò)openAI提供的官方API進(jìn)行嘗試[16]。除openAI外，也有許多研究團(tuán)隊(duì)和組織開(kāi)發(fā)并公布了自己的基礎(chǔ)大語(yǔ)言模型，比如PaLM2[17]、LLama[7]、GLM[18]、Baichuan-13B[19]等。

LLaMA作為少數(shù)開(kāi)源大語(yǔ)言模型的一種，引起了來(lái)自研究界和工業(yè)界的廣泛關(guān)注。由于LLaMA模型在各種開(kāi)放基準(zhǔn)測(cè)試中的表現(xiàn)出色，其成為了最受歡迎的開(kāi)放語(yǔ)言模型。比如，有許多研究人員通過(guò)指令調(diào)整或持續(xù)預(yù)訓(xùn)練來(lái)擴(kuò)展LLaMA模型。特別是在指令微調(diào)方面，LLaMA已經(jīng)成為開(kāi)發(fā)定制或?qū)I(yè)化模型的主要基礎(chǔ)模型之一[20][22]。也有部分工作為了在非英語(yǔ)語(yǔ)言中有效地適應(yīng)LLaMA模型（主要在英語(yǔ)語(yǔ)料庫(kù)上訓(xùn)練），使用目標(biāo)語(yǔ)言數(shù)據(jù)擴(kuò)展了原始詞匯表并進(jìn)行了微調(diào)[21]。此外，LLama還在多模態(tài)領(lǐng)域得到了應(yīng)用[23][24]。最近發(fā)布的最新Llama2模型，由于其更為強(qiáng)大的性能表現(xiàn)，又引起了一股新的開(kāi)源大語(yǔ)言模型浪潮。

截止到目前，已有工作從多個(gè)角度對(duì)LLMs的發(fā)展現(xiàn)狀進(jìn)行了廣泛討論和調(diào)查[25]，并提供了非常全面的總結(jié)概括，涵蓋了模型設(shè)計(jì)、培訓(xùn)方法、在應(yīng)用中的利用以及評(píng)估技術(shù)等方面，感興趣的同學(xué)可以自行查閱。

Fine-tuning：雖然大語(yǔ)言模型通過(guò)大量的預(yù)訓(xùn)練文本具備了非常強(qiáng)的通用能力，但是其對(duì)于一些特定的領(lǐng)域知識(shí)掌握不足。為了增強(qiáng)LLMs的特定能力，與人類需求對(duì)齊，往往需要通過(guò)fine-tune的方式對(duì)模型進(jìn)行微調(diào)訓(xùn)練。然而，由于LLMs巨大的參數(shù)量，對(duì)其所有參數(shù)進(jìn)行微調(diào)將會(huì)非常昂貴。因此，高效的微調(diào)方法是非常有必要的，主流方法有：Adapter[26]、Prompt Tuning[27]、Low-Rank Adaptation (LoRA)[28]等。LoRA由于其可插拔的便利特性，成為了最常用的方法。

圖2 不同參數(shù)高效微調(diào)方法的示意圖[25]

Prompt Engineering：LLMs通常以自然語(yǔ)言為接口與人類進(jìn)行交互，而這部分自然語(yǔ)言描述則被成為prompt。由于LLMs對(duì)prompt非常敏感，prompt細(xì)微的改動(dòng)很可能就會(huì)帶來(lái)差別很大的結(jié)果，因此prompt工程對(duì)于LLMs的使用非常重要[29][30]。通常來(lái)說(shuō)，一個(gè)好的prompt應(yīng)該是指令明確、需求清晰，操作具體、并且內(nèi)容詳盡的。推薦同學(xué)觀看吳恩達(dá)教授的prompt課程進(jìn)行學(xué)習(xí)[31]。此外，LLMs可以通過(guò)In-context learning的方式進(jìn)一步提高下游任務(wù)上的性能，是一種非常有效的學(xué)習(xí)方法[13]。

Task Planning

任務(wù)規(guī)劃模塊主要是依托于LLMs強(qiáng)大的任務(wù)處理能力，將復(fù)雜任務(wù)分解為多個(gè)簡(jiǎn)單的子任務(wù)，然后逐個(gè)解決每個(gè)子任務(wù)。同時(shí)，在任務(wù)的規(guī)劃-執(zhí)行過(guò)程中引入一系列的反饋，對(duì)每個(gè)任務(wù)的目標(biāo)進(jìn)行完善。該模塊通過(guò)LLM賦予了AI Agents解決復(fù)雜任務(wù)的能力。

（1）Task Decomposition

任務(wù)分解模塊主要是通過(guò)prompt的使用，由LLMs來(lái)為復(fù)雜任務(wù)生成一系列的規(guī)劃序列，從而提高AI Agents執(zhí)行復(fù)雜任務(wù)的能力。Chain of Thought (CoT) [32]提出了一種簡(jiǎn)單有效的方法，通過(guò)在prompt中提供少量逐步解決復(fù)雜推理問(wèn)題的示例，極大提升了LLMs解決復(fù)雜任務(wù)的能力。Zero-shot-CoT[33]方法則是利用啟發(fā)式的prompt：“Let’s think step by step.”，使得LLM在零樣本的情況下自主生成復(fù)雜問(wèn)題的推理過(guò)程，并保證了一定的性能穩(wěn)定。Least-to-Most CoT[34]則是初步嘗試了任務(wù)分解，將原問(wèn)題分解為一系列簡(jiǎn)單的子問(wèn)題，并串行化解決這些相關(guān)聯(lián)的子問(wèn)題。Decomposed Prompting[35]方法同樣采用了類似的思路。

以上的CoT方法通常是以單一線性的方式進(jìn)行任務(wù)分解，然而復(fù)雜任務(wù)的多個(gè)子任務(wù)很可能存在依賴并且分解結(jié)果不唯一?？紤]到每個(gè)復(fù)雜問(wèn)題會(huì)有多種推理方式來(lái)得到最終答案，Self-consistent CoT (CoT-SC)[37]使用CoT生成多個(gè)推理路徑和答案，選擇出現(xiàn)最多次數(shù)的答案作為最終答案輸出。Tree of Thoughts (ToT)[38]則是以樹(shù)狀的形式進(jìn)行任務(wù)分解，而后通過(guò)廣度優(yōu)先和深度優(yōu)先搜索等搜索算法進(jìn)行回溯，以得到一個(gè)較為可行的全局規(guī)劃。這些方法提高了LLM在復(fù)雜推理任務(wù)上的性能。此外，也有部分工作在子任務(wù)生成過(guò)程中引入額外的prompt對(duì)路徑的進(jìn)行選擇，在受約束的情況下進(jìn)行任務(wù)規(guī)劃[39][40]。

圖3 主流的CoT方法示意圖[38]

然而，自然語(yǔ)言通常是復(fù)雜多義的，基于自然語(yǔ)言的任務(wù)規(guī)劃無(wú)法保證準(zhǔn)確執(zhí)行。雖然有些方法通過(guò)語(yǔ)義映射將生成的規(guī)劃限制到更小的結(jié)果空間中[41]，仍可能會(huì)導(dǎo)致規(guī)劃正確但執(zhí)行失敗的情況。為了生成更便于驗(yàn)證的任務(wù)規(guī)劃，部分工作選擇以可執(zhí)行代碼為生成形式。Faithful CoT[43]、LLM+P[44]等方法使用形式化的規(guī)劃領(lǐng)域定義語(yǔ)言（PDDL）作為目標(biāo)輸出。PAL[45]和PROGPROMPT[46]則是利用LLMs直接生成Python格式的任務(wù)規(guī)劃。然后由Agents根據(jù)生成的可執(zhí)行代碼來(lái)解決問(wèn)題。

（2）Refinement

為了進(jìn)一步完善目標(biāo)任務(wù)，AI Agents需要學(xué)會(huì)接受外部反饋，從而提高其整體的任務(wù)規(guī)劃能力。最常見(jiàn)的反饋來(lái)自于Agent自身。ReAct[47]在任務(wù)規(guī)劃的過(guò)程中引入了行動(dòng)反饋，其明確定義推理和行動(dòng)是順序執(zhí)行的，如果某個(gè)行動(dòng)的沒(méi)有獲得正確反饋時(shí)，將對(duì)規(guī)劃重新進(jìn)行推理，直到獲得正確答案。RAP[48]則是通過(guò)評(píng)估每個(gè)候選計(jì)劃導(dǎo)致任務(wù)成功的可能性進(jìn)行選擇。當(dāng)前環(huán)境狀態(tài)信息同樣可以幫助改善任務(wù)規(guī)劃結(jié)果[49]。除Agent環(huán)境外，反饋也可以來(lái)自于人類[50][51]。

此外，為了處理長(zhǎng)期任務(wù)，可以結(jié)合記憶模塊將反饋存入長(zhǎng)期記憶庫(kù)。例如，Reflexion [52]將反饋存儲(chǔ)到內(nèi)存中以便檢索。此外，部分方法引入技能庫(kù)，用于存儲(chǔ)正確執(zhí)行的任務(wù)規(guī)劃，同時(shí)這些規(guī)劃可以被重用或合成為更復(fù)雜的任務(wù)計(jì)劃[53]?？傊?，通過(guò)反饋信息的使用，特別是行動(dòng)執(zhí)行結(jié)果的反饋，極大增強(qiáng)了任務(wù)規(guī)劃的成功概率。

Memory Utilization

記憶模塊通常負(fù)責(zé)存儲(chǔ)Agents運(yùn)行中的歷史信息及額外的外部知識(shí)，為L(zhǎng)LMs的任務(wù)規(guī)劃提供幫助，提高整個(gè)Agents環(huán)境運(yùn)行的準(zhǔn)確性。根據(jù)類型通常可以分為短期記憶和長(zhǎng)期記憶。其中短期記憶可以通過(guò)prompt注入或調(diào)用臨時(shí)歷史信息實(shí)現(xiàn)。而長(zhǎng)期記憶則通常需要使用外部向量數(shù)據(jù)庫(kù)進(jìn)行存儲(chǔ)和快速檢索。因此，可以通過(guò)記憶讀取及存儲(chǔ)的工程化實(shí)現(xiàn)，達(dá)到利用短期或長(zhǎng)期記憶來(lái)改進(jìn)LLMs和AI Agents的相關(guān)能力。

通常來(lái)說(shuō)，長(zhǎng)期記憶保存著Agent對(duì)整個(gè)環(huán)境的認(rèn)知與總結(jié)，而短期記憶則是有關(guān)于某個(gè)事件的感知與體會(huì)。比如，Generative Agents[54]采用雙層的內(nèi)存結(jié)構(gòu)來(lái)分別存儲(chǔ)Agent的短期記憶與長(zhǎng)期記憶。而AgentSims[55]則是把Agent的短期記憶存儲(chǔ)到LLMs的歷史對(duì)話中。當(dāng)然，有些工作不會(huì)對(duì)短期記憶和長(zhǎng)期記憶加以區(qū)分，而是使用統(tǒng)一的方式進(jìn)行管理。比如Atlas 基于雙向編碼器模型來(lái)檢索相關(guān)的文檔記憶[56]。增強(qiáng)型LLM 則使用統(tǒng)一的外部媒介來(lái)存儲(chǔ)其記憶，并使用prompt的方式進(jìn)行訪問(wèn)[57]。通過(guò)記憶的存儲(chǔ)、讀取可以實(shí)現(xiàn)Agent的自我反思。

而記憶的存儲(chǔ)方式也多種多樣。自然語(yǔ)言的形式可以實(shí)現(xiàn)方便快捷的存儲(chǔ)，同時(shí)保證記憶的語(yǔ)義豐富性[52]。Embedding的使用則可以大幅度提高記憶的檢索和匹配效率，雖然進(jìn)行存儲(chǔ)的時(shí)候會(huì)花費(fèi)額外的編碼時(shí)間[58]。常見(jiàn)的向量數(shù)據(jù)庫(kù)有weaviate[59]和milvus[60]。此外結(jié)構(gòu)化列表[61]和傳統(tǒng)數(shù)據(jù)庫(kù)[62]也可作為記憶存儲(chǔ)的載體。

Tools Calling

外部工具調(diào)用模塊則是通過(guò)使用外部工具完成規(guī)劃中的任務(wù)。作為AI Agents的手和腳，其 直接與真實(shí)世界發(fā)生交互，并為L(zhǎng)LMs提供重要的執(zhí)行反饋信息。通過(guò)將可用工具封裝為API調(diào)用，Agent可以具備訪問(wèn)和使用各種模型、數(shù)據(jù)庫(kù)、Web應(yīng)用程序和其他外部工具的能力。

（1）External Tools

WebGPT[63]可以在使用ChatGPT時(shí)將從網(wǎng)站檢索到的相關(guān)結(jié)果合并到提示中，從而實(shí)現(xiàn)更準(zhǔn)確和及時(shí)的響應(yīng)。MRKL[64]則是包含了一組“專家”模塊，通過(guò)LLM充當(dāng)路由器，將查詢路由到最適合的專家模塊（這些模塊可以是例如深度學(xué)習(xí)模型、數(shù)學(xué)計(jì)算器、貨幣轉(zhuǎn)換器或天氣查詢API），以增強(qiáng)LLMs在若干特定任務(wù)上的性能。ChemCrow[65]則是一個(gè)化學(xué)領(lǐng)域的特定Agent，旨在借助十七種專家設(shè)計(jì)的工具完成有機(jī)合成、藥物發(fā)現(xiàn)和材料設(shè)計(jì)等領(lǐng)域的任務(wù)。此外，Toolformer[66]以自監(jiān)督的方式微調(diào)語(yǔ)言模型，在不失模型的通用性下，讓模型學(xué)會(huì)自動(dòng)調(diào)用一系列API，包括計(jì)算器、問(wèn)答系統(tǒng)、搜索引擎、翻譯系統(tǒng)和日歷等，實(shí)質(zhì)性改進(jìn)了模型在下游任務(wù)上的零樣本性能。

此外，針對(duì)大量的模型API，HuggingGPT[67]則是利用LLM將Hugging Face社區(qū)中的多樣化AI模型連接起來(lái)，以解決復(fù)雜的AI任務(wù)。HuggingGPT通過(guò)訓(xùn)練LLM進(jìn)行任務(wù)分解，從而生成一系列的代碼片段，然后使用這些片段從外部社區(qū)中調(diào)用所需的模型來(lái)完成任務(wù)。Gorilla[68]則是收集了三個(gè)主要的神經(jīng)網(wǎng)絡(luò)模型網(wǎng)站：Torch Hub、TensorFlow Hub 和 HuggingFace的API調(diào)用文檔，并進(jìn)行了數(shù)據(jù)清洗及增強(qiáng)，在7B規(guī)模的模型微調(diào)后能夠有效地實(shí)現(xiàn)適當(dāng)?shù)腁PI調(diào)用。OpenAI在ChatGPT中同樣支持了插件的使用，這些插件可以為L(zhǎng)LMs提供超越語(yǔ)言建模的更廣泛能力。

（2）Evaluation

API-Bank[69]是一個(gè)用于評(píng)估工具增強(qiáng)型LLM性能的測(cè)試集。它包含53個(gè)常用的API工具、完整的工具增強(qiáng)型LLM工作流程以及264個(gè)涉及568個(gè)API調(diào)用的帶注釋的對(duì)話。API的選擇非常多樣化，包括搜索引擎、計(jì)算器、日歷查詢、智能家居控制、日程管理、健康數(shù)據(jù)管理、帳戶驗(yàn)證工作流程等。由于API數(shù)量眾多，LLM首先可以訪問(wèn)API搜索引擎來(lái)查找要調(diào)用的正確API，然后使用相應(yīng)的文檔來(lái)進(jìn)行調(diào)用。ToolBench[70]收集了一個(gè)包含上萬(wàn)種API調(diào)用的數(shù)據(jù)集，可用于LLMs的微調(diào)工作。同時(shí)，其提出了一個(gè)通用框架ToolLLM用于數(shù)據(jù)構(gòu)建、模型訓(xùn)練以及一個(gè)自動(dòng)評(píng)估器ToolEval用于評(píng)估模型的API調(diào)用能力。

開(kāi)源框架

隨著人們對(duì)AI Agents的逐漸重視，部分項(xiàng)目致力于創(chuàng)建自主通用AI代理框架，以期開(kāi)發(fā)人員能夠快速且可靠地構(gòu)建、管理和運(yùn)行AI Agents。LangChain [71]是一個(gè)開(kāi)源框架，旨在能夠自動(dòng)化完成編碼、測(cè)試、調(diào)試和文檔生成任務(wù)。其通過(guò)prompt保證多個(gè)Agent之間的協(xié)作工作，實(shí)現(xiàn)了高效的軟件開(kāi)發(fā)。AutoGPT[72]則是一個(gè)完全自動(dòng)化的Agent框架，可以對(duì)目標(biāo)任務(wù)實(shí)現(xiàn)自動(dòng)分解及動(dòng)作執(zhí)行，返回最終結(jié)果，但是可能會(huì)由于任務(wù)規(guī)劃錯(cuò)誤導(dǎo)致陷入死機(jī)狀態(tài)。BMTools[73]則是一個(gè)基于語(yǔ)言模型的開(kāi)源可擴(kuò)展工具學(xué)習(xí)平臺(tái)。研究團(tuán)隊(duì)將各種各樣的工具（例如文生圖模型、搜索引擎、股票查詢等）的調(diào)用流程都統(tǒng)一到一個(gè)框架上，使整個(gè)工具調(diào)用流程標(biāo)準(zhǔn)化、自動(dòng)化。使得開(kāi)發(fā)者可以通過(guò) BMTools給所用的模型（如ChatGPT、GPT4）調(diào)用多種多樣的工具接口，實(shí)現(xiàn)特定的功能。

問(wèn)題與挑戰(zhàn)：

(1)LLM的魯棒性

LLM的魯棒性對(duì)于確保AI代理的整體穩(wěn)定性至關(guān)重要。作為AI代理的大腦，LLM以自然語(yǔ)言為接口，并通過(guò)prompt保證內(nèi)部模塊通信并與外部世界進(jìn)行交互，以確保整個(gè)系統(tǒng)的正確運(yùn)行。然而，LLM對(duì)提示非常敏感，一些研究表明，即使對(duì)prompt進(jìn)行微小的更改，便可能產(chǎn)生完全不同的結(jié)果。特別是在AI agent的框架下，這種敏感性尤為顯著，因?yàn)橐粋€(gè)模塊的提示變化可以直接影響其他模塊的性能表現(xiàn)，甚至導(dǎo)致整個(gè)代理的崩潰。此外，不同LLMs的有效提示是不同的，這使得AI代理和LLM之間具有高度的耦合性。更換LLM時(shí)，便需要手動(dòng)重新編寫大量prompt。因此，高效生成各種LLM的穩(wěn)定提示框架是這個(gè)領(lǐng)域的重要挑戰(zhàn)。此外，現(xiàn)有的LLM經(jīng)常存在幻覺(jué)問(wèn)題，會(huì)引起性能下降甚至系統(tǒng)的崩潰，對(duì)實(shí)際部署造成潛在風(fēng)險(xiǎn)[74]。識(shí)別幻覺(jué)并在LLM的使用中避免它們也至關(guān)重要。

(2)垂直領(lǐng)域表現(xiàn)不佳

盡管LLM已經(jīng)學(xué)會(huì)生成連貫的文本，并在一般領(lǐng)域取得了令人稱贊的結(jié)果，但在處理專業(yè)領(lǐng)域或任務(wù)時(shí)，它們的生成能力可能會(huì)受到限制。領(lǐng)域知識(shí)對(duì)于模型的專業(yè)化非常重要，然而將這種專業(yè)知識(shí)注入LLM并不容易。由于神經(jīng)網(wǎng)絡(luò)訓(xùn)練中的災(zāi)難性遺忘問(wèn)題，當(dāng)LLM被用于特定領(lǐng)域時(shí)，可能會(huì)損害其在別的領(lǐng)域上的性能。比如OpenAI指出，在使LLM與人類的價(jià)值觀保持一致的過(guò)程中可能需要支付“對(duì)齊稅”（即上下文學(xué)習(xí)能力的損失）。因此，構(gòu)建特定領(lǐng)域的AI代理的一個(gè)關(guān)鍵挑戰(zhàn)是如何增強(qiáng)LLM的專業(yè)化能力。

（3）安全性

盡管LLM具有出色的能力，但它們也面臨著更大的安全挑戰(zhàn)。LLM可能生成有害、偏見(jiàn)或有毒的文本，可能會(huì)被惡意系統(tǒng)濫用[75]。雖然基于人類反饋的強(qiáng)化學(xué)習(xí)方法（RLHF）已經(jīng)可以將LLM與人類需求進(jìn)行一定程度的對(duì)齊，但仍然可以通過(guò)一些提示注入規(guī)避現(xiàn)有的安全措施?？傊?，由于AI代理具有與外部環(huán)境互動(dòng)的能力，可以自主制定規(guī)劃并調(diào)用外部工具，因此安全性應(yīng)始終是其開(kāi)發(fā)的主要關(guān)注點(diǎn)。

總結(jié)

本文針對(duì)基于LLMs的AI Agents的構(gòu)建進(jìn)行了簡(jiǎn)要的綜述。首先描述了AI Agents的基本框架構(gòu)成以及LLMs的基礎(chǔ)知識(shí)。同時(shí)對(duì)于AI Agents的關(guān)鍵模塊：Task Planning、Memory Utilization、Tools Calling的部分相關(guān)工作分別進(jìn)行了介紹，希望能為對(duì)該領(lǐng)域感興趣的讀者帶來(lái)一些幫助。

審核編輯：湯梓紅