11 RAGFlow 中配置 MaaS 模型服務(wù)使用全流程:
1.1 RAGFlow 平臺(tái)部署
方式 1-直接訪問(wèn) RAGFlow 官方 SaaS 服務(wù)(需翻墻):RAGFlow
方式 2-Docker Compose 方式部署:見(jiàn)官方 Github 倉(cāng)庫(kù):https://github.com/infiniflow/ragflow
1.2 MaaS 模型 API 接入 RAGFlow
1)MaaS 控制臺(tái)創(chuàng)建 API Key:
-訪問(wèn) MaaS 控制臺(tái):點(diǎn)此訪問(wèn)
-在 MaaS 左側(cè)導(dǎo)航欄中,選擇“鑒權(quán)管理”。
-在“鑒權(quán)管理”頁(yè)面,單擊“創(chuàng)建 API Key”,填寫(xiě)描述信息后,單擊“確認(rèn)”會(huì)返回“您的密鑰”,請(qǐng)復(fù)制保存密鑰,單擊“關(guān)閉”后將無(wú)法再次查看密鑰。(注:最多支持創(chuàng)建 5 個(gè)密鑰,密鑰只會(huì)在新建后顯示一次,請(qǐng)妥善保存。當(dāng)密鑰丟失將無(wú)法找回,請(qǐng)新建 API Key 獲取新的訪問(wèn)密鑰。)
2)選擇要接入的模型服務(wù)
預(yù)置服務(wù)接入:
-點(diǎn)擊控制臺(tái)左側(cè)“模型部署”,找到想要使用的模型服務(wù)后點(diǎn)擊“領(lǐng)取”
-領(lǐng)取后找到已領(lǐng)取額度的模型服務(wù),然后點(diǎn)擊 “調(diào)用”;
-在右側(cè)彈出界面中,可以查看到調(diào)用該服務(wù)需要的基礎(chǔ) API 地址和模型名稱信息
自部署“我的服務(wù)”接入:
在“模型部署-我的服務(wù)”頁(yè)簽,狀態(tài)為運(yùn)行中的模型服務(wù)操作一欄點(diǎn)擊“更多”中的“調(diào)用”;在右側(cè)彈出界面中,可以查看到調(diào)用該服務(wù)需要的基礎(chǔ) API 地址和模型名稱信息
3)RAGFlow 新增模型供應(yīng)商
進(jìn)入 RAGFLow 平臺(tái)界面,點(diǎn)擊右上角頭像后點(diǎn)擊左側(cè)導(dǎo)航欄中的“模型提供商頁(yè)簽”,找到“OpenAI-API-Compatible”供應(yīng)商點(diǎn)擊“添加模型”
4)MaaS 模型服務(wù)配置
在彈出的添加 LLM 彈窗中填入如下信息:
-模型類型:chat
-模型名稱:MaaS 服務(wù)調(diào)用界面顯示的模型名稱
-基礎(chǔ) Url:之前步驟中 MaaS 服務(wù)的基礎(chǔ) API 地址,需要去掉地址尾部的“/chat/completions” 后填入
-API Key:之前步驟中創(chuàng)建的 API Key
-最大 token 數(shù):各預(yù)置服務(wù)支持的最大 token 數(shù)見(jiàn)下表
5)修改系統(tǒng)模型設(shè)置
在模型供應(yīng)商界面點(diǎn)擊“系統(tǒng)模型設(shè)置”,將聊天模型設(shè)置為剛配置好的 MaaS 模型。嵌入和 Rerank 模型可使用系統(tǒng)預(yù)置的。
1.3 RAGFlow 中使用接入的 MaaS API 進(jìn)行知識(shí)庫(kù)問(wèn)答
1)知識(shí)庫(kù)創(chuàng)建
頂部切換到“知識(shí)庫(kù)”頁(yè)簽,點(diǎn)擊“創(chuàng)建知識(shí)庫(kù)”,在知識(shí)庫(kù)的詳情頁(yè)面配置頁(yè)簽可進(jìn)行文檔解析、文檔切分等規(guī)則的配置
2)上傳文檔
-在知識(shí)庫(kù)的“數(shù)據(jù)集”頁(yè)簽中,點(diǎn)擊“新增文件”-“本地文件”
-彈窗中上傳需要進(jìn)行問(wèn)答的知識(shí)文檔
-上傳完成后點(diǎn)擊動(dòng)作中的“運(yùn)行”按鈕,當(dāng)解析狀態(tài)為已完成時(shí),則知識(shí)庫(kù)已可以用于進(jìn)行問(wèn)答
3)創(chuàng)建助理
在“聊天”頁(yè)簽點(diǎn)擊“新建助理”,自定義姓名后選擇之前步驟中創(chuàng)建好的知識(shí)庫(kù)
4)與助理進(jìn)行文檔問(wèn)答
選擇創(chuàng)建好的 AI 助理,點(diǎn)擊旁邊的藍(lán)色加號(hào)即可開(kāi)始進(jìn)行文檔問(wèn)答,模型會(huì)基于外掛的知識(shí)庫(kù)中的內(nèi)容進(jìn)行問(wèn)題答復(fù);回答效果示例如下:
-
API
+關(guān)注
關(guān)注
2文章
1553瀏覽量
63255 -
模型
+關(guān)注
關(guān)注
1文章
3461瀏覽量
49773 -
GitHub
+關(guān)注
關(guān)注
3文章
480瀏覽量
17300
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
鴻蒙開(kāi)發(fā)接口公共事件與通知:【FFI能力】 N-API在Android、iOS平臺(tái)應(yīng)用的使用指導(dǎo)

使用 Canonical MAAS 部署 openEuler 測(cè)試
有線數(shù)字電視頻道配置指導(dǎo)性意見(jiàn)
FreeRTOS的API函數(shù)和配置選項(xiàng)參考手冊(cè)資料免費(fèi)下載

高級(jí)配置和電源接口規(guī)范

Compose中的動(dòng)畫(huà)API概覽及使用方法
什么是API,不同場(chǎng)景中的API
什么是API標(biāo)準(zhǔn)化?
阿里提及的MaaS,會(huì)如何改變?cè)破脚_(tái)?

為什么需要 API 網(wǎng)關(guān)?

云計(jì)算迎來(lái)中場(chǎng)戰(zhàn)役,MaaS或?qū)⒊蔀閺澋莱?chē)“新賽點(diǎn)”
多相芯片TPS53689的配置與使用指導(dǎo)

Chatbox中配置MaaS模型服務(wù)使用全流程

評(píng)論