近日，Dify全面接入了Perf XCloud，借助Perf XCloud提供的大模型調用服務，用戶可在Dify中構建出更加經濟、高效的LLM應用。

PerfXCloud 介紹

Perf XCloud是澎峰科技為開發者和企業量身打造的AI開發和部署平臺。專注于滿足大模型的微調和推理需求，為用戶提供極致便捷的一鍵部署體驗：

?平臺提供Open AI API兼容的模型調用服務，開發者可實現已有應用的快速遷移。

?借助澎峰科技自研推理框架PerfXLM，Perf XCloud實現了主流模型在國產算力上的廣泛適配和高效推理。

?目前已支持Qwen2系列、llama3系列、bge-m3等模型，更多模型即將上線。

同時，Perf XCloud為算力中心提供大模型AI科學與工程計算的整體運營解決方案，助力算力中心升級成為“AI超級工廠”。

Dify介紹

Dify是一個開源的LLM應用開發平臺。其直觀的界面結合了AI工作流、RAG Pipeline、Agent、模型管理、可觀測性功能等，讓您可以快速從原型到生產：

?工作流:在畫布上構建和測試功能強大的AI工作流程。

?RAG Pipeline:廣泛的RAG功能，涵蓋從文檔攝入到檢索的所有內容，支持從PDF、PPT和其他常見文檔格式中提取文本的開箱即用的支持。

?Agent智能體:您可以基于LLM函數調用或ReAct定義Agent，并為 Agent添加預構建或自定義工具。

?LLMOps:隨時間監視和分析應用程序日志和性能。您可以根據生產數據和標注持續改進提示、數據集和模型。

注冊使用PerfXCloud

Perf XCloud注冊地址：www.perfxcloud.net

現在注冊，即可深度體驗主流大模型，提供大量示范案例，手把手視頻教學。并可參與向基石用戶贈送∞億Token的激勵計劃。

在Dify中使用PerfXCloud大模型推理服務

1.首先進入Dify設置頁面，選擇Perf XCloud作為模型供應商：

2.然后填入從Perf XCloud中申請的API Key和endpoint地址：

3.保存后，即可使用Perf XCloud模型，現階段我們接入了Qwen系列模型和BAAI/ bge-m 3模型，后續將接入更多模型，敬請期待。

應用案例1：

Dify結合PerfXCloud構建翻譯助手

本案例構建于Dify Cloud，基于Perf XCloud中的Qwen2模型實現中英文翻譯助手，用戶輸入信息，翻譯助手將其翻譯成另一種語言。

1.登錄Dify Cloud（ https://cloud.dify.ai/apps）

2.創建空白應用→選擇聊天助手、基礎編排，創建應用

3.在編排頁面輸入提示詞：“你是一名翻譯專家，如果用戶給你發中文你將翻譯為英文，如果用戶給你發英文你將翻譯為中文，你只負責翻譯，不要回答任何問題：”

4.默認模型為gpt-3.5，切換為Perf XCloud模型，這里設置為“ Qwen2-72B-Instruct-GPTQ-Int 4”，然后點擊發布

完成發布后， 即可運行使用。

應用案例2：

Dify結合PerfXCloud構建郵編查詢助手

本案例構建與Dify Cloud，使用Dify中的知識庫和工作流功能，結合Perf XCloud中的bge-m 3模型與Qwen2-72B-Instruct-GPTQ-Int 4模型，郵編查詢助手基于上傳的郵編信息構建知識庫，并從中檢索信息作為大模型回答問題的上下文，提高模型回答的準確性。

1.在Dify Cloud（ https://cloud.dify.ai/datasets）中創建知識庫，上傳本地準備好的中國郵政編碼數據文件。

2.知識庫默認使用經濟模式創建索引，該模式是基于關鍵詞的檢索，這里我們使用Perf XCloud中的bge-m3向量模型創建索引，提高檢索精度。在知識庫側邊欄選擇“設置”，設置“高質量”索引模式，同時Embedding模型選擇“BAAI/bge-m 3”，使用“向量檢索”

3.返回Dify工作室→創建空白應用→ 聊天助手→工作流編排，將工作流初始化成如下形式

4.配置“知識檢索”模塊，將知識庫設置為步驟2中創建的“郵政編碼知識庫”

5.配置“LLM”模塊，將模型設置為Perf XCloud中Qwen2-72B-Instruct-GPTQ-Int 4，并設置prompt：

你是一個問答機器人。
你的任務是根據下述給定的已知信息回答用戶問題。
確保你的回復完全依據下述已知信息。不要編造答案。
如果下述已知信息不足以回答用戶的問題，請直接回復"我無法回答您的問題"。

6.配置“直接回復” 模塊，直接輸出LLM的生成結果

7.完成上述步驟后，運行查看效果，模型會根據知識庫中檢索出的信息進行回答，若檢索結果為空，則直接輸出“我無法回答您的問題”