最近c(diǎn)hatgpt逐漸變火，很多人也多少能夠發(fā)現(xiàn)，chatgpt能夠成為一個相對可靠的端到端解決方案，大有干掉很多智能對話助手、搜索引擎的趨勢，當(dāng)然現(xiàn)在已經(jīng)有不少用戶也在用這個來充當(dāng)搜索引擎來用了。然而，從技術(shù)角度，我們是否可以考慮去這么做了，或者說現(xiàn)階段是否合適真的去這么嘗試了。來看我的看法吧。

先說結(jié)論吧，我自己的分析結(jié)論是，大家都應(yīng)該去嘗試，但是不要指望短期內(nèi)徹底替換。

什么是端到端

先說一下端到端和非端到端的意思，簡單地說，就是一個模型完成全流程的任務(wù)，而非端到端，就是通過多個模型或者模塊有機(jī)組合最終完成的任務(wù)。

舉個例子，對話系統(tǒng)，可以用一個比較完善的生成模型來完成，也可以用一個系統(tǒng)，里面有各種模型，例如意圖識別模塊、召回模塊、排序模塊等多個模塊協(xié)同合作來共同完成，前者就是端到端的方案，后者就是非端到端的方案。

端到端和非端到端的競爭

其實(shí)端到端和非端到端的競爭，早在前幾年就有了，DSTC對話系統(tǒng)的比賽，榜單上就已經(jīng)分為了端到端和非端到端兩派進(jìn)行，從比賽的數(shù)據(jù)來看，非端到端的模型基本都能在A榜有個不錯的成績，而B榜上，端到端模型則能夠一舉超越非端到端模型獲得勝利，從這點(diǎn)我們其實(shí)可以推斷，非端到端模型更容易在已知情況達(dá)到更高的水平，但是因?yàn)槟Ｐ捅旧淼奶囟ǎ说蕉说哪Ｊ较拢瑒t更容易頂?shù)礁叩纳舷蓿夯芰σ材芾谋容^高。

正因?yàn)槎说蕉四Ｐ透菀啄茼數(shù)礁叩纳暇€，所以在科研界，多半也是朝著端到端的方案去走的，配合預(yù)訓(xùn)練模型這股東風(fēng)，絕大部分復(fù)雜任務(wù)的SOTA方案都是端到端模型的身影。

然而，與之相反的是工業(yè)界，在工業(yè)界，各大廠所采用的方案，基本都是非端到端的方案，前沿重器系列中我聊了很多場景下大廠的架構(gòu)：

前沿重器[1] | 微軟小冰-多輪和情感機(jī)器人的先行者

前沿重器[2] | 美團(tuán)搜索理解和召回

前沿重器[3] | 平安智能問答系統(tǒng)

前沿重器[4] | 騰訊搜索的Quer理解如何直擊心靈

大家都可以看到，這里面大家不約而同地選擇了這些方案，而沒有選擇比較直接的端到端方案，甚至，在一些小任務(wù)下，大家也傾向于拆解成非端到端的任務(wù)來進(jìn)行，例如糾錯（NLP.TM[37] | 深入討論糾錯系統(tǒng)），就拆解成3部分靈活處理。

為什么會選擇非端到端

我自己也經(jīng)常會對一些需求做技術(shù)方案，也會比較傾向于非端到端的方案，主要是出于這幾個原因吧：

非端到端出效果穩(wěn)定。拆解開的每個步驟都能監(jiān)控到，什么位置出問題成為短板能快速定位修復(fù)，且不影響其他模塊。

資源和需求多樣性導(dǎo)致必須拆分。不同的資源來源導(dǎo)致我們必須在內(nèi)部拆分，例如要出天氣要查天氣的庫，此時就要拆分各模塊做識別等任務(wù)。

可控性和可更新性。國內(nèi)外其實(shí)都有很多不能發(fā)布的信息或者價值觀，這些是需要控制的，另一方面，有些內(nèi)容是需要可更新的，此時需要可更新的模塊來處理，每次直接更新整個模型成本很高。

這應(yīng)該也是大家會在現(xiàn)實(shí)落地情況選擇花時間拆分模塊，逐步完成的核心原因了，也側(cè)面映射出，非端到端的方案最終沒選擇的原因：

調(diào)優(yōu)成本和風(fēng)險(xiǎn)大，除了問題后的效果調(diào)優(yōu)可控性其實(shí)不是很高，很依賴訓(xùn)練策略、資源等很多原因。

對現(xiàn)有資源的使用能力差，原來的端到端模型主要靠喂特定的樣本，現(xiàn)階段則是prompt，但是多種復(fù)雜的資源不見得能支持這樣的使用。

可控性和可更新性不足，一些風(fēng)險(xiǎn)問題，需要實(shí)時更新的問題（依舊舉天氣的例子），端到端模型的變化是不夠敏捷的，甚至在變化過程中可能引入新的不可控風(fēng)險(xiǎn)。

這些問題不解決，我們很難完全放心把整個大的任務(wù)交給一個模型的。

端到端模型是否有可能克服缺點(diǎn)

我的答案是，現(xiàn)階段是有可能但是還需要發(fā)展迭代。

隨著prompt的出現(xiàn)，大家會開始有一種錯覺，prompt的方式能讓模型快速學(xué)會一些比較好的知識，或者換個角度，prompt方案似乎能引導(dǎo)模型吐出我們想讓他吐出的東西，看起來非常有用，大家在體驗(yàn)chatgpt時多少有點(diǎn)這個感覺，然而仔細(xì)看過chatgpt有關(guān)原理的朋友們應(yīng)該會發(fā)現(xiàn)，他們在底層是花費(fèi)了很大成本來構(gòu)造很多prompt來讓模型學(xué)習(xí)的，標(biāo)注看著很簡單，但chatgpt這里其實(shí)非常困難，總結(jié)而說是有兩點(diǎn)：

prompt的數(shù)量，prompt訓(xùn)練是需要一定的數(shù)據(jù)支撐的，別給我說就幾條，那是一個類目下，但是類目層面就很多了，每個類幾條那也要很多條的對吧。

prompt的質(zhì)量，只有泛化的，多樣的prompt才能更好地引導(dǎo)模型訓(xùn)練，這種人工活動不同于標(biāo)注，他是帶有一定創(chuàng)造性的，此時難度其實(shí)就很高了。

當(dāng)然，有關(guān)靈活可控性，大家會有說adapter之類的結(jié)構(gòu)，就是輕量化微調(diào)的方案，這點(diǎn)我在之前的輕量化微調(diào)文章里也有說過（前沿重器[27] | 從遺忘問題到預(yù)訓(xùn)練輕量化微調(diào)），雖然這種方案能一定程度緩解，但是敏捷性其實(shí)還可以提升的，有些緊急的公關(guān)問題需要快速下線，類似天氣、新聞等需要快速更新的內(nèi)容，如果還需要慢慢吞吞地訓(xùn)adapter模塊，那速度大家肯定覺得會不太夠，還不如直接塞庫里，用dsl直接查的快對吧，當(dāng)然了，如果是實(shí)時性要求沒那么高的，這種控制起來其實(shí)已經(jīng)非常足夠了。

有關(guān)chatgpt的效果問題

現(xiàn)階段，chatgpt的口碑有目共睹，但是盛名之下是否能副，這里我是想打一個問號的。有幾個比較嚴(yán)謹(jǐn)?shù)膯栴}需要被拋出來：

開放域下的指標(biāo)如何。大家你一個我一個的試，從個人層面看就是超小樣本，統(tǒng)計(jì)能力不足，而把大家的都算上，基本一定程度算高頻問題，可以說是帶點(diǎn)偏的，然而拋開這批嘗試的用戶，只看用戶日常真正的提問，例如像百度那樣用戶當(dāng)做工具每天搜的情況，效果如何，這點(diǎn)還需要更為嚴(yán)格，數(shù)量更豐富的評測。

現(xiàn)階段大家的新鮮感還比較強(qiáng)，其實(shí)容忍度還是比較高的，很難避免一些錯誤可能會被我們縮小，如果對其他的一些軟件和產(chǎn)品，尤其是國產(chǎn)的，大家是否也能有這個容忍度呢，我自己看游戲領(lǐng)域、電影領(lǐng)域甚至一些奢飾品等領(lǐng)域的經(jīng)驗(yàn)來看，用戶多半對國產(chǎn)產(chǎn)品有著比同類外國產(chǎn)品更苛刻的要求的，例子就不舉了，相信大家都懂。

產(chǎn)品形態(tài)的問題。現(xiàn)階段的chatgpt的輸出形態(tài)其實(shí)還是比較局限的——文本和圖像，但是實(shí)際上我們需要的可能會更加復(fù)雜，例如智能家居的指令（幫我開燈），銷售場景的智能推薦（給我推薦一臺七千塊左右的電腦），天氣內(nèi)容展示（告訴我未來一周的天氣）等。

怎么做

講到這里，其實(shí)我們可以有這幾個共識吧：

非端到端模型在目前的落地場景下，仍有不可撼動的地位，直接切換或者使用端到端模型應(yīng)該是激進(jìn)的。

端到端有自己獨(dú)特且突出的優(yōu)勢，泛化能力強(qiáng)，這點(diǎn)也是毋庸置疑的，

在對這個東西有基本的共識后，我們可以繼續(xù)來聊怎么做，整體思路可以參考很多系統(tǒng)所常見的嵌入方式：新增召回路，參與篩選和把控。

之前我有文章聊過“召回-排序”這種在多個系統(tǒng)中被廣泛使用的一個架構(gòu)（心法利器[79] | 對話系統(tǒng)中的多路召回和排序），我們可以考慮在內(nèi)容的召回上，把這種端到端的方式作為其中一種召回鏈路放入到召回池子里，增加一種回復(fù)的可能性，最終的篩選則是在排序?qū)樱推渌氛倩氐膬?nèi)容進(jìn)行綜合排序，并完成拒識判斷（嚴(yán)謹(jǐn)起見端到端方案在特定場景不合適，此時需要過濾拒絕），此時就可以相對安全地利用上這個好東西，算是“馴服”了。在后續(xù)階段，隨著逐漸優(yōu)化，我們可以慢慢放開排序和拒識模塊，讓端到端方案的采納率逐步提升，在提升到一定階段后，就可以考慮下掉其他模塊，最終完成了從非端到端到端到端的切換了，中間階段也比較可控安全。

chatgpt是否會替代嗎

最后想夾帶點(diǎn)私貨，回應(yīng)一下最近很多人后臺希望和我聊的問題，簡單地說就是chatgpt是否能完全替代別的東西，尤其是人，最近c(diǎn)hatgpt逐漸變火，除了chatgpt很火之外，更多的聲音是“哀鴻遍野”，很多人覺得非常悲觀，很多工作都可能會被機(jī)器替代。不過從我自己的角度看，是兩個聲音：

chatgpt已經(jīng)能幫忙做很多事，能替代不少人了。

簡單任務(wù)已經(jīng)可以做了，所以基礎(chǔ)人力肯定會被壓縮，但是因?yàn)樯罡袠I(yè)的人更了解具體流程和chatgpt能做的事，所以明白終究是需要有指導(dǎo)機(jī)器干活的，需要搭建架構(gòu)的人，因此讓自己成長起來，這塊壓力其實(shí)沒想象中的大，而且在這個趨勢下，資本進(jìn)一步了解到AI的重要性，說不定對相應(yīng)從業(yè)人員的需求更多。

而且這兩個聲音的具有非常鮮明的特征，前者像是一些對有關(guān)領(lǐng)域了解不深的人，后者則是深耕某個領(lǐng)域時間比較久的老鳥。很多時候，老鳥的這個東西的理解很深，往往能參透這里的本質(zhì)。

說個很簡單的事吧，很多人發(fā)現(xiàn)了chatgpt會寫代碼，所以覺得程序員就要被淘汰了，其實(shí)這部分人只是單純的認(rèn)為程序員只有一個任務(wù)就是寫代碼罷了，但其實(shí)并非如此，以算法工程師為例，大家可以看看我的日常（心法利器[31] | 我的算法工程師日常），大家會發(fā)現(xiàn)，真正寫代碼的時間可能就10%左右了，在這種情況下，chatgpt更多的是一個幫助我們工作的工具，而不是替代我們的對手。

我們不能說外行如何如何，畢竟術(shù)業(yè)有專攻，但是對我們這些專業(yè)領(lǐng)域的人還是需要體現(xiàn)出自己的專業(yè)水準(zhǔn)的，冷靜思考，不能被不懂這個的人帶去了節(jié)奏，而是真正的深入了解某個東西的原理和優(yōu)缺點(diǎn)，并且找到自己的優(yōu)劣勢和機(jī)會，這個才是真正破局所需要的。

審核編輯 ：李倩