原文鏈接：https://www.letta.com/blog/ai-agents-stack

一，理解AI智能體

盡管市面上有許多關于智能體堆棧和市場的分類，但我們認為這些分類并不總能準確反映開發者實際使用的工具和技術。隨著內存、工具使用、安全執行和部署方面的進步，我們決定分享基于我們一年多的開源AI工作和7年以上的AI研究經驗的“智能體堆棧”。

2024年末的AI智能體堆棧，被組織成三個關鍵層：

智能體托管/服務

智能體框架

LLM模型與存儲

二，從LLM到LLM智能體

2022年和2023年見證了LLM框架和SDK的興起，以及通過API消費LLM和自部署LLM推理的平臺的建立。2024年，我們看到了對AI“智能體”的興趣急劇轉變，智能體通常指被賦予輸出動作（工具調用）并在自治環境中運行的LLM。

三，智能體堆棧的獨特之處

智能體比基本的LLM聊天機器人是一個更復雜的工程挑戰，因為它們需要狀態管理（保留消息/事件歷史，存儲長期記憶，執行多個LLM調用在智能體循環中）和工具執行（安全執行LLM輸出的動作并返回結果）。

因此，AI智能體堆棧與標準的LLM堆棧看起來非常不同。讓我們從模型服務層開始，分解今天的AI智能體堆棧：

1，模型服務

LLM是AI智能體的核心，需要通過推理引擎提供服務，通常運行在付費API服務后面。OpenAI和Anthropic在封閉API模型推理提供商中領先，而Together.AI、Fireworks和Groq等提供開放權重模型服務。vLLM在本地模型推理提供商中領先。

2，存儲

存儲是智能體的基本構建塊，智能體需要持久狀態，如對話歷史、記憶和外部數據源。向量數據庫如Chroma、Weaviate等流行于存儲智能體的“外部記憶”。Postgres通過pgvector擴展支持向量搜索。

3，工具和庫

智能體與AI聊天機器人的主要區別在于智能體能夠調用“工具”。LLM生成結構化輸出指定要調用的函數和參數。智能體服務必須使用沙箱以確保安全執行。智能體通過OpenAI定義的JSON模式調用工具，這意味著智能體和工具可以跨不同框架兼容。

4，智能體框架

智能體框架協調LLM調用和管理智能體狀態，不同框架在狀態管理、上下文窗口結構、跨智能體通信和內存方法上有不同的設計。智能體框架的選擇取決于應用程序的需求。

5，智能體托管和智能體服務

大多數智能體框架設計為智能體僅存在于編寫的腳本或筆記本中。我們認為智能體的未來是作為服務部署到本地或云基礎設施，通過REST API訪問。部署智能體作為服務比部署LLM更復雜，涉及狀態管理和安全工具執行。

四，總結

智能體堆棧仍處于早期階段，我們期待看到生態系統的擴展和演變。有興趣的讀者可以查看Letta OSS項目和注冊Letta Cloud的早期訪問。

看了以上內容，你的看法是？歡迎評論區留言討論！

審核編輯 黃宇