官场小说排行榜,绝色狂妃仙魅小说,神墓辰东小说

近日，星策開源社區(qū) LLMOps meetup V3直播活動(dòng)順利舉行，由星策開源和CSDN等多個(gè)平臺(tái)同時(shí)播出，共吸引來14000+觀眾觀看。中軟國際AIGC研究院執(zhí)行院長、解放號(hào)副總裁韓鵬受邀參加并分享當(dāng)前業(yè)界最為關(guān)注的大模型在企業(yè)場(chǎng)景中實(shí)際落地的案例和實(shí)踐，還演示了基于JointPilot平臺(tái)構(gòu)建AIGC企業(yè)應(yīng)用的典型模式、方法、工具和關(guān)鍵技術(shù)，小編整理了一下，為廣大開發(fā)者帶來超實(shí)用的AIGC應(yīng)用落地干貨。

企業(yè)級(jí)AIGC應(yīng)用導(dǎo)入LLM的典型落地模式和技術(shù)路線

大模型落地的技術(shù)路線有六種，企業(yè)要綜合考慮門檻高低、訓(xùn)練周期長短、算力數(shù)據(jù)成本要求等問題。經(jīng)過多方研究和驗(yàn)證測(cè)試后，中軟國際AIGC研究院最終選擇了“意圖模型+DKG+Plugin”作為企業(yè)級(jí)AIGC應(yīng)用導(dǎo)入LLM的典型落地模式和技術(shù)路線。這種模式有了能夠本地部署的意圖理解模型做為應(yīng)用調(diào)度的中樞，通過DKG做模型的前后約束，并集成Plugin的能力，更適合于面向?qū)?shù)據(jù)安全、業(yè)務(wù)邏輯規(guī)則要求比較嚴(yán)格的政企行業(yè)應(yīng)用場(chǎng)景。

一起來看看大模型賦能應(yīng)用的運(yùn)轉(zhuǎn)機(jī)制是怎樣的？

韓鵬以銷售助手為例介紹了大模型賦能應(yīng)用的運(yùn)轉(zhuǎn)機(jī)制。在傳統(tǒng)工作場(chǎng)景下，銷售在拜訪客戶前需要進(jìn)行客戶背調(diào)、項(xiàng)目收集及談資等準(zhǔn)備工作，在拜訪客戶后還需要詳細(xì)整理內(nèi)容形成拜訪記錄和工作總結(jié)，工作繁雜且耗時(shí)耗力。

銷售助手AI應(yīng)用通過大語言模型賦能之后，生成一套運(yùn)轉(zhuǎn)的流程和機(jī)制，用大語言模型去完成意圖理解，理解了用戶的意圖之后對(duì)用戶指令進(jìn)行任務(wù)拆分，分別調(diào)用不同的微應(yīng)用去執(zhí)行任務(wù)。最后輸出時(shí)，銷售助手也做了安全性的矯正，保障輸出的結(jié)果是準(zhǔn)確合規(guī)的。

在思維鏈加持下大模型可以進(jìn)行意圖識(shí)別和任務(wù)拆解，通過長思維鏈的技術(shù)方式增強(qiáng)大模型的規(guī)劃和推理能力，根據(jù)任務(wù)調(diào)微應(yīng)用執(zhí)行，同時(shí)使用內(nèi)部沉淀及外部抓取的數(shù)據(jù)，集成各類通用及定制的能力，共同構(gòu)建了以問答為基本交互形式的銷售助手。銷售助手幫助銷售人員完成了客戶拜訪前的談資和話術(shù)準(zhǔn)備，讓工作更高效精準(zhǔn)。

怎么利用JointPilot Studio編排一個(gè)AI應(yīng)用呢？

JointPilot平臺(tái)在應(yīng)用開發(fā)方面提供一款新型增強(qiáng)的開發(fā)工具Studio和一種全新的應(yīng)用組裝方法。一個(gè)普通的業(yè)務(wù)人員可以使用開發(fā)者工具進(jìn)行微應(yīng)用編排。

平臺(tái)支持多種非結(jié)構(gòu)化數(shù)據(jù)接入，支持各類文檔導(dǎo)入，比如上傳文檔，通過向量數(shù)據(jù)庫和大模型進(jìn)行知識(shí)重構(gòu)，構(gòu)建采購政策、項(xiàng)目方案知識(shí)庫；還可以調(diào)用模型的能力自動(dòng)生成問答對(duì)在平臺(tái)上預(yù)置，便于開發(fā)者快速調(diào)取；也支持行業(yè)專用詞典的知識(shí)接入，幫助大模型理解專用術(shù)語。

當(dāng)然，在實(shí)際場(chǎng)景還會(huì)有一些結(jié)構(gòu)化的數(shù)據(jù)需要接入到知識(shí)庫，比如CRM系統(tǒng)的客戶拜訪記錄數(shù)據(jù)，本地?cái)?shù)據(jù)集、數(shù)據(jù)表的導(dǎo)入，各種Excel文件導(dǎo)入等等，這些結(jié)構(gòu)化數(shù)據(jù)讓大模型能夠更懂企業(yè)場(chǎng)景私有的領(lǐng)域知識(shí)。大家可以使用JointPilot平臺(tái)自動(dòng)化的工具，快速實(shí)現(xiàn)百萬級(jí)條目數(shù)據(jù)導(dǎo)入，大大減輕了手工導(dǎo)入數(shù)據(jù)和知識(shí)費(fèi)時(shí)費(fèi)力的煩惱。

在微應(yīng)用編排過程中，大模型需要訪問各類數(shù)據(jù)庫，包括關(guān)系數(shù)據(jù)庫查詢、數(shù)據(jù)集查詢、文檔知識(shí)庫查詢等，比如查詢客戶歷史拜訪記錄，平臺(tái)提供NL2SQL生成器等工具，方便用戶通過Prompt工程讓大模型生成SQL查詢語句。

同時(shí)還要讓大模型會(huì)用工具，通過自動(dòng)化配置請(qǐng)求鏈接、接口參數(shù)等輕松實(shí)現(xiàn)API的調(diào)用，從而大幅降低用戶應(yīng)用生成的門檻。

在對(duì)話場(chǎng)景中，我們需要通過角色設(shè)定來讓大模型能夠更好的理解特定身份的任務(wù)，比如銷售助手中大模型在拜訪前輔助銷售人員進(jìn)行準(zhǔn)備工作梳理并提供鼓勵(lì)，可以通過配置好的Prompt模板，來實(shí)現(xiàn)角色扮演的任務(wù)。

那么，大模型是怎樣像人一樣會(huì)用大腦去思考用戶提出的問題，怎樣自動(dòng)分發(fā)應(yīng)用，自動(dòng)化編排、自動(dòng)化組裝？這就需要訓(xùn)練出一個(gè)意圖識(shí)別大模型作為應(yīng)用調(diào)度的中樞，通過大模型來識(shí)別提取需求要素，作為數(shù)據(jù)服務(wù)參數(shù)，傳遞給要調(diào)取的應(yīng)用。

揭秘怎樣“煉制”更符合企業(yè)場(chǎng)景需要的模型

想要“煉制”更符合企業(yè)場(chǎng)景需要的模型，首先要選擇一個(gè)基座模型，要準(zhǔn)備數(shù)據(jù)集，還要有一套合適的訓(xùn)練方案。目前用的比較多的是SFT監(jiān)督微調(diào)、LoRA 微調(diào)、P-tuning v2 微調(diào)方法。最后要對(duì)模型優(yōu)化效果進(jìn)行評(píng)估。整個(gè)訓(xùn)練過程會(huì)使用工具把很多腳本執(zhí)行的碎片化過程，通過可視化界面實(shí)現(xiàn)全過程管理。數(shù)據(jù)集的選取、封裝，以及具體參數(shù)的調(diào)整，都通過工具來完成。

解放號(hào)總結(jié)出了一套訓(xùn)練大模型的心得，分享給各位開發(fā)者：

1、鑒于每個(gè)模型的表現(xiàn)不太一樣，選擇一個(gè)合適的基座模型最重要。訓(xùn)練command模型最終選用百川大模型，它的優(yōu)勢(shì)是基于LLAMA做中文訓(xùn)練，在中文的表現(xiàn)很好。大模型尺寸選擇會(huì)影響模型推理能力。

2、數(shù)據(jù)集質(zhì)量特別關(guān)鍵。尤其是在企業(yè)場(chǎng)景里，需要跟大量業(yè)務(wù)部門和業(yè)務(wù)人員一起做監(jiān)督學(xué)習(xí)和數(shù)據(jù)標(biāo)注，也可借用大模型來擴(kuò)展增強(qiáng)數(shù)據(jù)集，使用instruction、input、output方式來整理。如果模型泛化能力弱，就需要增強(qiáng)訓(xùn)練數(shù)據(jù)多樣性。

3、精調(diào)的方案選擇和場(chǎng)景相關(guān)度非常高。建議通過做多種方案對(duì)比測(cè)試看實(shí)際效果。可以用5%-20%的數(shù)據(jù)集作為測(cè)試數(shù)據(jù)來測(cè)試精調(diào)的任務(wù)，建議測(cè)試數(shù)據(jù)和訓(xùn)練數(shù)據(jù)要分開用，通過測(cè)試后再去跑全量的數(shù)據(jù)。當(dāng)訓(xùn)練結(jié)果大量返回重復(fù)字符時(shí)，就需要調(diào)整數(shù)據(jù)集和訓(xùn)練參數(shù)，再重新做訓(xùn)練。

4、盡可能訓(xùn)練小尺寸模型，這對(duì)部署成本控制非常關(guān)鍵。一般情況4-8個(gè)節(jié)點(diǎn)才能滿足真正生產(chǎn)環(huán)境中使用的要求，所以在部署前盡可能做量化壓縮優(yōu)化，確保不損失太多性能的技術(shù)上降低資源的需求。

這一期干貨分享就到這了，相信小伙伴們還會(huì)有很多的問題想要交流，敬請(qǐng)繼續(xù)關(guān)注我們。中軟國際解放號(hào)將在JointPilot平臺(tái)的加持下，攜手廣大開發(fā)者，加速應(yīng)用創(chuàng)新，共贏企業(yè)級(jí)AIGC應(yīng)用未來！

原文標(biāo)題：開學(xué)咯！跟著解小放一起來學(xué)習(xí)企業(yè)級(jí)AIGC應(yīng)用如何落地

文章出處：【微信公眾號(hào)：中軟國際】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請(qǐng)聯(lián)系本站處理。舉報(bào)投訴