ChatGPT引發(fā)了大型語言模型（LLM）的創(chuàng)新浪潮，比以往任何時候都有更多的公司將自然語言交互的能力融入到他們的產(chǎn)品中。LLM API的應用正在創(chuàng)造一個新的生態(tài)，將生成式文字和語音的融合發(fā)展到一個新的水平，使得人機交互更加便捷。許多企業(yè)都正在積極探索，并制定新的人工智能（AI）戰(zhàn)略，以不同的方式來定制各個領(lǐng)域或行業(yè)的大型模型。未來充滿了發(fā)展的潛力，讓我們共同期待吧。 ?

1. 紅杉網(wǎng)絡中的幾乎每家公司都在為他們的產(chǎn)品建立大語言模型。 我們已經(jīng)看到了神奇的自動完成功能，從代碼（Sourcegraph, Warp, Github）到數(shù)據(jù)科學（Hex）。我們已經(jīng)看到了更好的聊天機器人：從客戶支持、員工支持到消費者娛樂。其他公司正在用“AI優(yōu)先”的理念重新想象整個工作流程：視覺藝術(shù)（Midjourney）、營銷（Hubspot、Attentive、Drift、Jasper、Copy、Writer）、銷售（Gong）、聯(lián)絡中心（Cresta）、法律（Ironclad、Harvey）、會計（Pilot）、生產(chǎn)力（Notion）、數(shù)據(jù)工程（dbt）、搜索（Glean、Neeva）、雜貨購物（Instacart）、消費者支付（Klarna）和旅行規(guī)劃（Airbnb）。這些只是幾個例子，它們只是開始，未來這類應用會有爆發(fā)式增長。

2. 這些應用新生態(tài)：以語言模型API、檢索和協(xié)調(diào)為中心，但開源的使用也在增長。

65%的人開始使用這類LLM的應用程序，比兩個月前的50%要高，而其余的人仍在試驗。

94%的人正在使用基礎模型API。在我們的樣本中，OpenAI的GPT顯然是最受歡迎的，占91%，然而Anthropic的興趣在上個季度增長到15%。(一些公司正在使用多種模型）。

88%的人認為檢索機制，如矢量數(shù)據(jù)庫，仍然是應用生態(tài)的一個關(guān)鍵部分。檢索相關(guān)的上下文供模型推理，有助于提高結(jié)果的質(zhì)量，減少 "幻覺"（不準確），并解決數(shù)據(jù)新鮮度問題。有些人使用特制的矢量數(shù)據(jù)庫（Pinecone、Weaviate、Chroma、Qdrant、Milvus等等），而其他人則使用pgvector或AWS的產(chǎn)品。

38%的人對LangChain這樣的LLM協(xié)調(diào)和應用開發(fā)框架感興趣。一些人將其用于原型設計，而其他人則在生產(chǎn)中使用。在過去的幾個月里，采用率有所增加。

10%以下的人在尋找監(jiān)測LLM產(chǎn)出、成本或性能以及A/B測試提示的工具。我們認為，隨著更多的大公司和受監(jiān)管的行業(yè)采用大語言模型，對這些領(lǐng)域的興趣可能會增加。

少數(shù)公司正在研究互補的生成技術(shù)，如生成性文本和語音如何更好結(jié)合起來。我們也相信這是一個令人興奮的增長領(lǐng)域。

15%的公司從零開始或開放源碼建立了自定義語言模型，通常在使用LLM的API之外。自定義模型訓練比幾個月前有意義地增加。這需要自己的計算、模型中心、托管、訓練框架、實驗跟蹤等方面的能力，這些能力的組件來自Hugging Face、Replicate、Foundry、Tecton、Weights & Biases、PyTorch、Scale等公司。

我們采訪的每一位從業(yè)者都說，人工智能發(fā)展太快，對最終狀態(tài)的堆棧信心不足，但大家一致認為，LLM的API仍將是一個關(guān)鍵支柱，其次是檢索機制和LangChain等開發(fā)框架的普及。開源和定制的模型訓練和調(diào)整似乎也在上升，而且有必要，但目前成熟度較低。

3. 公司希望根據(jù)其獨特的環(huán)境定制大語言模型。 通用的大語言模型是強大的，但對于許多用例來說并不具有差異性或充分性。公司希望在自己的數(shù)據(jù)上實現(xiàn)自然語言交互，能充分使用開發(fā)者文檔、制品庫或測試件、人力資源或IT規(guī)則等。在某些情況下，公司也想根據(jù)用戶的數(shù)據(jù)定制應用領(lǐng)域大模型：用戶的個人筆記、設計布局、數(shù)據(jù)指標或代碼庫。 現(xiàn)在，有三種主要的方式來定制領(lǐng)域/行業(yè)大模型：?

從頭開始訓練一個自定義模型，困難程度最高。這是解決這個問題的經(jīng)典和最難的方法。它通常需要高度熟練的ML科學家、大量的相關(guān)數(shù)據(jù)、訓練基礎設施和計算。這也是歷史上許多自然語言處理（NLP）創(chuàng)新發(fā)生在巨型科技公司內(nèi)的主要原因之一。BloombergGPT是一個很好的例子，它是在巨型科技公司之外的定制模型工作，它使用了Hugging Face和其他開源工具的資源。隨著開源工具的改進和更多公司對LLMs的創(chuàng)新，我們希望看到更多的定制和預訓練模型的使用。

微調(diào)一個基礎模型。難度中等。這是通過進一步的專有或特定領(lǐng)域數(shù)據(jù)的額外訓練來更新預訓練模型的權(quán)重。開放源碼的創(chuàng)新也使得這種方法越來越容易獲得，但它仍然經(jīng)常需要一個復雜的團隊。一些從業(yè)者私下承認，微調(diào)比聽起來要難得多，而且可能會產(chǎn)生意想不到的后果，比如模型漂移和在沒有警告的情況下 "破壞 "模型的其他技能。雖然這種方法有更大的機會變得更普遍，但目前對大多數(shù)公司來說仍然遙不可及，但另一方面，這種情況正在迅速得到改善。

使用預先訓練好的模型并檢索相關(guān)背景。最低的難度。人們常常認為他們想要一個只為他們而微調(diào)的模型，而實際上他們只是想讓模型在正確的時間對他們的信息進行推理。有很多方法可以在正確的時間為模型提供正確的信息：對SQL數(shù)據(jù)庫進行結(jié)構(gòu)化查詢，在產(chǎn)品目錄中搜索，調(diào)用一些外部API或使用嵌入（embedding）檢索。嵌入檢索的好處是，它使非結(jié)構(gòu)化數(shù)據(jù)很容易使用自然語言進行搜索。從技術(shù)上講，這是通過收集數(shù)據(jù)將其轉(zhuǎn)化為嵌入，將其存儲在一個矢量數(shù)據(jù)庫中，當查詢發(fā)生時，搜索這些嵌入數(shù)據(jù)以獲得最相關(guān)的背景，并將其提供給模型。這種方法可以幫助我們破解模型有限的上下文窗口，成本較低，解決了數(shù)據(jù)的新鮮度問題（例如，ChatGPT不知道2021年9月以后的世界），而且它可以由一個沒有經(jīng)過正式機器學習培訓的單獨開發(fā)者完成。

矢量數(shù)據(jù)庫很有用，因為在高規(guī)模下，它們使存儲、搜索和更新嵌入更容易。到目前為止，我們觀察到較大的公司停留在其企業(yè)云協(xié)議內(nèi)，并使用其云供應商提供的工具，而初創(chuàng)公司傾向于使用特制的矢量數(shù)據(jù)庫。然而，這類應用也是高度動態(tài)的。上下文窗口增長很快（將 LLaMA、GPT-4 上下文都擴展到32k token，這相當于 50 頁的文字，基于 OpenLLaMA 大型語言模型將上下文的長度擴展到 256k token），未來上下文的擴展能力不可限量。基礎模型和云數(shù)據(jù)庫可能直接將檢索嵌入其服務中。我們正在密切關(guān)注這個市場的發(fā)展。

4. 今天，LLM APIs的生態(tài)與定制模型訓練生態(tài)是分開的，但隨著時間的推移，這些正在融合在一起。 我們感覺有兩個生態(tài)的故事：利用LLM API的生態(tài)（更封閉的源代碼、面向開發(fā)者）與訓練自定義LLM的生態(tài)（更開放的源代碼、面向更復雜的ML團隊）。有些人想知道，LLM通過API隨時可用是否意味著公司會減少自己的定制訓練。到目前為止，我們看到的情況正好相反。隨著對AI興趣的增長和開源開發(fā)的加速，許多公司對訓練和微調(diào)自己的模型越來越感興趣。我們認為，隨著時間的推移，LLM API和自定義模型兩種生態(tài)將越來越趨于一致。例如，一家公司可能會從開源中訓練自己的LLMs，但通過矢量數(shù)據(jù)庫補充檢索以解決數(shù)據(jù)的新鮮度問題。聰明的初創(chuàng)公司為定制LLM建立工具，也在努力擴展他們的產(chǎn)品，使之與LLM API革命更加相關(guān)。 ? ?

5. LLM生態(tài)正變得越來越對開發(fā)者友好。 LLM API將強大的現(xiàn)成模型交到普通開發(fā)者的手中，而不僅僅是ML團隊。現(xiàn)在，使用LLM的人群已經(jīng)顯著地擴展到了所有的開發(fā)者，我們相信未來會看到更多面向開發(fā)者的工具。例如，LangChain通過抽象化常見的問題來幫助開發(fā)者建立LLM應用：將模型結(jié)合到更高層次的系統(tǒng)中，將對LLM的多個調(diào)用鏈能組合在一起，通過工具將模型和數(shù)據(jù)源連接起來，建立可以操作這些工具的代理，并通過使LLM轉(zhuǎn)換更加容易，以幫助我們避免廠商鎖定。一些人將LangChain用于原型設計，而另一些人則繼續(xù)在生產(chǎn)中使用它。

6. LLM需要變得更值得信賴（輸出質(zhì)量、數(shù)據(jù)隱私、安全）才能被全面采用。 在我們應用中完全釋放LLM能量之前，許多公司希望有更好的工具來處理數(shù)據(jù)隱私、隔離、安全、版權(quán)和監(jiān)控模型輸出。從金融科技到醫(yī)療保健等受監(jiān)管行業(yè)的公司特別關(guān)注這個問題，并報告說很難找到軟件解決方案來解決這個問題。好消息是，chatGPT可以在具有防火墻保護的安全沙箱環(huán)境中運行，確保代碼執(zhí)行、數(shù)據(jù)分析和文件管理的最大安全性，具體可以參考：chatGPT 神器 Code Interpreter 的三大超級特性、十大驚人魔法。理想的情況是，有軟件可以提醒（如果不是阻止）模型產(chǎn)生錯誤/幻覺、歧視性內(nèi)容、危險內(nèi)容或其他問題。一些公司還關(guān)注與模型共享的數(shù)據(jù)如何用于訓練：例如，很少有人清楚：ChatGPT消費者數(shù)據(jù)是默認用于訓練的，而ChatGPT商業(yè)版本和API數(shù)據(jù)則不會用于訓練。隨著政策的明確和更多護欄的到位，LLM將得到更好的信任，我們可能會看到采用的另一個步驟的變化。

? 7. 語言模型應用將變得越來越多模態(tài)

公司已經(jīng)在尋找有趣的方法來結(jié)合多種生成模型，以達到巨大的效果：融合了文本和語音生成的聊天機器人體現(xiàn)了更高的對話體驗水平。文字和語音模型可以結(jié)合起來，幫助我們快速地修正/覆蓋視頻錄制的一些錯誤，而不是重新錄制整個過程。模型本身正變得越來越多的多模態(tài)。我們可以想象，未來豐富的消費者和企業(yè)AI應用將結(jié)合文本、語音/音頻和圖像/視頻生成，創(chuàng)造更有吸引力的用戶體驗，完成更復雜的任務。 AI剛剛開始滲入技術(shù)的每個縫隙。今天，只有65%的受訪者在產(chǎn)品開發(fā)中應用LLM，而且其中許多是相對簡單的應用。隨著越來越多的公司推出LLM應用，新的障礙、困難將會出現(xiàn)，需要我們面對挑戰(zhàn)、去克服困難。基礎設施層將在未來幾年內(nèi)繼續(xù)快速發(fā)展，進一步推動LLM的應用，越來越多的產(chǎn)品會融入LLM，增加產(chǎn)品用戶體驗，更高效完成任務，未來越來越多的產(chǎn)品將讓我們更加興奮，值得期待。

編輯：黃飛

?