盗墓笔记,古风名字,完结小说排行榜

近日，星策開源社區 LLMOps meetup V3直播活動順利舉行，由星策開源和CSDN等多個平臺同時播出，共吸引來14000+觀眾觀看。中軟國際AIGC研究院執行院長、解放號副總裁韓鵬受邀參加并分享當前業界最為關注的大模型在企業場景中實際落地的案例和實踐，還演示了基于JointPilot平臺構建AIGC企業應用的典型模式、方法、工具和關鍵技術，小編整理了一下，為廣大開發者帶來超實用的AIGC應用落地干貨。

企業級AIGC應用導入LLM的典型落地模式和技術路線

大模型落地的技術路線有六種，企業要綜合考慮門檻高低、訓練周期長短、算力數據成本要求等問題。經過多方研究和驗證測試后，中軟國際AIGC研究院最終選擇了“意圖模型+DKG+Plugin”作為企業級AIGC應用導入LLM的典型落地模式和技術路線。這種模式有了能夠本地部署的意圖理解模型做為應用調度的中樞，通過DKG做模型的前后約束，并集成Plugin的能力，更適合于面向對數據安全、業務邏輯規則要求比較嚴格的政企行業應用場景。

一起來看看大模型賦能應用的運轉機制是怎樣的？

韓鵬以銷售助手為例介紹了大模型賦能應用的運轉機制。在傳統工作場景下，銷售在拜訪客戶前需要進行客戶背調、項目收集及談資等準備工作，在拜訪客戶后還需要詳細整理內容形成拜訪記錄和工作總結，工作繁雜且耗時耗力。

銷售助手AI應用通過大語言模型賦能之后，生成一套運轉的流程和機制，用大語言模型去完成意圖理解，理解了用戶的意圖之后對用戶指令進行任務拆分，分別調用不同的微應用去執行任務。最后輸出時，銷售助手也做了安全性的矯正，保障輸出的結果是準確合規的。

在思維鏈加持下大模型可以進行意圖識別和任務拆解，通過長思維鏈的技術方式增強大模型的規劃和推理能力，根據任務調微應用執行，同時使用內部沉淀及外部抓取的數據，集成各類通用及定制的能力，共同構建了以問答為基本交互形式的銷售助手。銷售助手幫助銷售人員完成了客戶拜訪前的談資和話術準備，讓工作更高效精準。

怎么利用JointPilot Studio編排一個AI應用呢？

JointPilot平臺在應用開發方面提供一款新型增強的開發工具Studio和一種全新的應用組裝方法。一個普通的業務人員可以使用開發者工具進行微應用編排。

平臺支持多種非結構化數據接入，支持各類文檔導入，比如上傳文檔，通過向量數據庫和大模型進行知識重構，構建采購政策、項目方案知識庫；還可以調用模型的能力自動生成問答對在平臺上預置，便于開發者快速調取；也支持行業專用詞典的知識接入，幫助大模型理解專用術語。

當然，在實際場景還會有一些結構化的數據需要接入到知識庫，比如CRM系統的客戶拜訪記錄數據，本地數據集、數據表的導入，各種Excel文件導入等等，這些結構化數據讓大模型能夠更懂企業場景私有的領域知識。大家可以使用JointPilot平臺自動化的工具，快速實現百萬級條目數據導入，大大減輕了手工導入數據和知識費時費力的煩惱。

在微應用編排過程中，大模型需要訪問各類數據庫，包括關系數據庫查詢、數據集查詢、文檔知識庫查詢等，比如查詢客戶歷史拜訪記錄，平臺提供NL2SQL生成器等工具，方便用戶通過Prompt工程讓大模型生成SQL查詢語句。

同時還要讓大模型會用工具，通過自動化配置請求鏈接、接口參數等輕松實現API的調用，從而大幅降低用戶應用生成的門檻。

在對話場景中，我們需要通過角色設定來讓大模型能夠更好的理解特定身份的任務，比如銷售助手中大模型在拜訪前輔助銷售人員進行準備工作梳理并提供鼓勵，可以通過配置好的Prompt模板，來實現角色扮演的任務。

那么，大模型是怎樣像人一樣會用大腦去思考用戶提出的問題，怎樣自動分發應用，自動化編排、自動化組裝？這就需要訓練出一個意圖識別大模型作為應用調度的中樞，通過大模型來識別提取需求要素，作為數據服務參數，傳遞給要調取的應用。

揭秘怎樣“煉制”更符合企業場景需要的模型

想要“煉制”更符合企業場景需要的模型，首先要選擇一個基座模型，要準備數據集，還要有一套合適的訓練方案。目前用的比較多的是SFT監督微調、LoRA 微調、P-tuning v2 微調方法。最后要對模型優化效果進行評估。整個訓練過程會使用工具把很多腳本執行的碎片化過程，通過可視化界面實現全過程管理。數據集的選取、封裝，以及具體參數的調整，都通過工具來完成。

解放號總結出了一套訓練大模型的心得，分享給各位開發者：

1、鑒于每個模型的表現不太一樣，選擇一個合適的基座模型最重要。訓練command模型最終選用百川大模型，它的優勢是基于LLAMA做中文訓練，在中文的表現很好。大模型尺寸選擇會影響模型推理能力。

2、數據集質量特別關鍵。尤其是在企業場景里，需要跟大量業務部門和業務人員一起做監督學習和數據標注，也可借用大模型來擴展增強數據集，使用instruction、input、output方式來整理。如果模型泛化能力弱，就需要增強訓練數據多樣性。

3、精調的方案選擇和場景相關度非常高。建議通過做多種方案對比測試看實際效果。可以用5%-20%的數據集作為測試數據來測試精調的任務，建議測試數據和訓練數據要分開用，通過測試后再去跑全量的數據。當訓練結果大量返回重復字符時，就需要調整數據集和訓練參數，再重新做訓練。

4、盡可能訓練小尺寸模型，這對部署成本控制非常關鍵。一般情況4-8個節點才能滿足真正生產環境中使用的要求，所以在部署前盡可能做量化壓縮優化，確保不損失太多性能的技術上降低資源的需求。

這一期干貨分享就到這了，相信小伙伴們還會有很多的問題想要交流，敬請繼續關注我們。中軟國際解放號將在JointPilot平臺的加持下，攜手廣大開發者，加速應用創新，共贏企業級AIGC應用未來！

原文標題：開學咯！跟著解小放一起來學習企業級AIGC應用如何落地

文章出處：【微信公眾號：中軟國際】歡迎添加關注！文章轉載請注明出處。

聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容侵權或者其他違規問題，請聯系本站處理。舉報投訴

中軟國際

中軟國際

+關注

關注
0

文章
647

瀏覽量
7580

原文標題：開學咯！跟著解小放一起來學習企業級AIGC應用如何落地

文章出處：【微信號：CSI00354，微信公眾號：中軟國際】歡迎添加關注！文章轉載請注明出處。

在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

搜索歷史

開學咯！跟著解小放一起來學習企業級AIGC應用如何落地

評論