電子發(fā)燒友網(wǎng)報(bào)道（文/周凱揚(yáng)）隨著AGI生態(tài)的蓬勃發(fā)展，各種支持多模態(tài)的大模型推陳出新，比如最近比較火的音樂大模型Suno和文生視頻大模型Sora等等。然而在傳統(tǒng)基于文本的大語言模型上，除了追求更快更精準(zhǔn)的推理和高并發(fā)流量以外，似乎已經(jīng)沒有太多值得廠商大肆宣傳的特性了，直到最近超長文本處理的爆火。

國產(chǎn)大模型的新卷法，長文本處理

當(dāng)下將大模型長文本處理炒熱的，無疑是來自月之暗面的Kimi。作為去年發(fā)布的大模型，Kimi的主要賣點(diǎn)就是長文本，當(dāng)時(shí)發(fā)布的初版Kimi，就已經(jīng)支持到最多20萬漢字的輸入處理。

然而僅僅20萬字的文本處理，還不至于給用戶帶來質(zhì)變的交互體驗(yàn)，畢竟GPT-4 Turbo-128k已經(jīng)支持到約合10萬漢字的長文本處理，谷歌的Gemini pro也支持到最多70萬個(gè)單詞的上下文，但不少長篇小說、專業(yè)書籍的字?jǐn)?shù)要遠(yuǎn)超這一數(shù)字。

Kimi支持200萬字上下文 / 月之暗面

Kimi在最近爆火源于一項(xiàng)重大迭代升級(jí)，月之暗面將長文本處理的字?jǐn)?shù)限制擴(kuò)展到200萬字，遠(yuǎn)超Claude3、GPT-4 Turbo和Gemini Pro模型。在新功能推出和有效推廣下，Kimi很快涌入了一大批用戶，其app甚至短暫地沖進(jìn)了蘋果App Store前五的位置。然而這樣也對Kimi的運(yùn)營造成了不小的壓力，Kimi在上周經(jīng)歷了多次宕機(jī)，這還是在月之暗面對服務(wù)器連續(xù)擴(kuò)容的前提下。

面對競爭對手Kimi的用戶量激增，阿里巴巴和360很快就坐不住了。3月22日，阿里巴巴宣布通義千問將向所有用戶免費(fèi)開放1000萬字的長文檔處理功能；3月23日，360智腦宣布正式內(nèi)測500萬字長文本處理功能，且該功能即將入駐360 AI瀏覽器。

除了阿里巴巴和360外，目前國內(nèi)訪問量第一的百度文心一言據(jù)傳也會(huì)在下月開放長文本處理功能，并計(jì)劃把字?jǐn)?shù)上限提高至200萬甚至500萬字。

超長文本實(shí)現(xiàn)的技術(shù)難點(diǎn)和商業(yè)桎梏

盡管在用戶看來，阿里巴巴、360等廠商宣布支持超長文本處理好像是一件無需多少時(shí)間的易事，但實(shí)際上超長文本處理的實(shí)現(xiàn)存在不少技術(shù)痛點(diǎn)和商業(yè)成本問題。要知道在2022年，絕大多數(shù)的LLM上下文長度最多也只有2K，比如GPT-3。

直到GPT-4和Claude 2等，這些大模型才從架構(gòu)上對文本長度進(jìn)行了優(yōu)化，可即便如此，主流的文本輸入長度依然不會(huì)超過100K。這也是因?yàn)閷Σ糠执竽Ｐ投裕L文本不一定代表著更好的使用體驗(yàn)，尤其是在查全率和準(zhǔn)確率上。

Claude的上下文長度和召回率關(guān)聯(lián)圖 / Anthropic

以Anthropic給出的數(shù)據(jù)為例，從上圖可以看出，隨著文本長度的增加，召回率是在逐步降低的，即便是最新的Claude3也是如此，而召回率代表了檢索出相關(guān)信息量占總量的比率。至于精確度，則與上下文中的事實(shí)位置存在很大的關(guān)系，如果用戶問題的事實(shí)存在于文本開頭或后半部分的位置，那么更容易得到精確的結(jié)果，而位于10%到50%之間位置的文本，則精確度急劇下降。

除此之外，長文本對于GPU和內(nèi)存的資源消耗太大了，即便是小規(guī)模地?cái)U(kuò)展文本長度，動(dòng)輒也要消耗100塊以上的GPU或TPU，這里指代的GPU還是A100這種單卡顯存容量高達(dá)40GB或80GB的設(shè)備。

這也是Kimi在經(jīng)歷大量用戶訪問后，需要緊急擴(kuò)容的原因。而阿里巴巴之所以能這么快開放長文本能力，也是憑借著手握龐大的服務(wù)器資源。至于Anthropic，我們從Claude3 Opus高昂的Tokens價(jià)格，也可以猜到其硬件成本絕對不低。

另外，在持續(xù)火爆一年之后，目前的大模型應(yīng)用也難以單純靠技術(shù)立足市場吸引用戶了，商業(yè)推廣也已經(jīng)成了必行之路。就以Kimi為例，在社交媒體上有關(guān)該應(yīng)用的推廣可謂鋪天蓋地，很明顯對于新興的大模型應(yīng)用而言，收獲第一批用戶才是至關(guān)重要的。

據(jù)傳Kimi在廣告投放上，吸引每位新用戶的花費(fèi)在10元左右，而新用戶參與到使用中帶來的額外算力開銷在12元至13元左右。如果單單只是根據(jù)手機(jī)平臺(tái)app的下載量計(jì)算，那么Kimi的每日獲客成本至少為20萬人民幣，而這還未計(jì)算來自網(wǎng)頁端和小程序端的用戶。

AI產(chǎn)品國內(nèi)總榜 / AI產(chǎn)品榜

而且Kimi的推廣也不是從200萬長文本功能的推出才開始的，早在二月份Kimi就開始以長文本這一特性加強(qiáng)商業(yè)推廣了。從AI產(chǎn)品榜中可以看出，Kimi在2月的訪問量飆升，在國內(nèi)總榜中僅次于百度文心一言和阿里通義千問，足見其在商業(yè)推廣和產(chǎn)品運(yùn)營上都下了血本。但相對ChatGPT和New Bing之類的應(yīng)用而言，其訪問量還是存在很大的差距。

這也充分說明了為何國外的大模型應(yīng)用沒有去卷200K以上文本長度的原因，目前算力、準(zhǔn)確度和長文本之間的沖突限制了他們?nèi)グl(fā)展長文本。但這對于中國的大模型應(yīng)用來說，反而是一個(gè)彎道超車的機(jī)會(huì)，因?yàn)榇竽Ｐ蜕系拈L文本能力確實(shí)帶來了用戶體驗(yàn)上的改變。

長文本對于用戶體驗(yàn)的改變

國產(chǎn)大模型為什么要去卷長文本，這是一個(gè)與大模型應(yīng)用落地息息相關(guān)的問題。在過去，正是由于長文本能力不足，絕大多數(shù)大模型應(yīng)用才會(huì)給人不堪大用的感覺，比如虛擬助手由于長文本能力不足，會(huì)遺忘重要信息；基于大模型來設(shè)計(jì)劇本殺等游戲規(guī)則時(shí)，上下文長度不夠只能在規(guī)則和設(shè)定上縮水，從而簡化游戲難度；在論文分析和法律法規(guī)解讀這樣的關(guān)鍵領(lǐng)域，更是因?yàn)槿狈﹂L文本的支持，無法給到用戶精準(zhǔn)的答案。

這與大模型卷參數(shù)規(guī)模不同，因?yàn)橛脩粢呀?jīng)發(fā)現(xiàn)了即便是70B這個(gè)量級(jí)的大模型，在面對用戶的問題時(shí)，也會(huì)出現(xiàn)胡編亂造的問題。反倒是長文本提供了更多的上下文信息，大模型在對語義進(jìn)行分析判斷后，會(huì)提供更加精確的答案，所以不少用戶才會(huì)借助Kimi來分解長篇小說、總結(jié)論文等。

不過在享受長文本處理帶來便利的同時(shí)，我們也應(yīng)該注意下長文本處理背后潛在的信息安全和版權(quán)問題。對于過去短文本的處理，就已經(jīng)存在一些可能暴露用戶真實(shí)身份和隱私信息的問題，隨著長文本支持對于更大文件和更長文本的處理，有的人可能會(huì)選擇將合同、條例或標(biāo)準(zhǔn)等包含敏感信息的專業(yè)文件上傳到大模型上，又或是引入一些盜版文檔資源。

所以國家層面也開始出臺(tái)各種管理辦法，對于大模型語言模型在內(nèi)的生成式人工智能進(jìn)行規(guī)范，不能侵犯知識(shí)產(chǎn)權(quán)并保護(hù)個(gè)人隱私。如此一來，對于大模型應(yīng)用本身的信息脫敏也提出了更高的要求。

寫在最后

相信經(jīng)過一年的大模型應(yīng)用轟炸后，不少用戶對于基本的AGI玩法已經(jīng)玩膩了，所以長文本、文生視頻這種新的交互方式才會(huì)讓人趨之若鶩。但我們也很少看到成功的長文本大模型商業(yè)化落地項(xiàng)目，畢竟在高額的獲客成本下，RAG這種外掛知識(shí)庫的方式可能更適合手中資金有限的初創(chuàng)AGI應(yīng)用開發(fā)商。