分享 |迅為基于RK3588開發板部署測試DeepSeek模型

最近，AI界新星DeepSeek（中文名：深度求索）迅速崛起，憑借低成本、高性能的AI模型火爆全網。其核心是一個強大的語言模型，能夠理解自然語言并生成高質量文本，此外DeepSeek免費向全球開發者開放，加速了AI技術普及。

RK3588性能優勢

RK3588作為一款高性能AI芯片，采用了8nm LP 制程，搭載八核處理器，四核GPU以及6TOPS算力的NPU，依靠強大的性能和低功耗特性，非常適合邊緣計算場景。

RK3588開發板連接器版：

能否在RK3588部署Deepseek呢

在RK3588上部署Deepseek有兩種方法,分別是使用Ollama工具部署和使用瑞芯微官方的 RKLLM量化部署。下面分別對這兩種部署方式進行介紹。

01-使用Ollama工具部署

Ollama 是一個開源的大模型服務工具，可以支持最新的deepseek模型，以及Llama 3，Phi 3，Mistral，Gemma 和其他多種模型，在安裝Ollama工具之后，使用以下命令即可一鍵部署15億參數的deepseek-r1模型，運行之后如下圖所示：

ollama run deepseek-r1:1.5b

接下來就可以向該模型進行提問了，如下圖所示：

這里只是運行的15億參數大小的模型，所以回復的可能并不是很準確，如果想要更高的準確率可以切換為參數更大的模型，但參數變大之后相應的回復速度也會變慢，并且使用Ollama工具部署的推理模型調用的是CPU進行的運算，如下圖所示：

可以看到在回復的過程中CPU的負載達到了百分之百，并沒有調用NPU進行加速，那要如何將RK3588強悍的NPU調用起來呢，這就要看第二種方法使用瑞芯微官方的RKLLM進行量化部署了。

02-使用RKLLM量化部署

RKLLM-Toolkit 是為用戶提供在計算機上進行大語言模型的量化、轉換的開發套件。通過該工具提供的Python接口可以便捷地完成以下功能：

1.模型轉換：支持部分格式的大語言模型轉換為RKLLM 模型轉換后的RKLLM模型能夠在Rockchip NPU平臺上加載使用
2.量化功能：支持將浮點模型量化為定點模型

DeepSeek轉換完成的RKLLM模型如下圖所示：

然后將其傳輸到開發板上，使用對應的可執行文件運行即可，運行之后如下圖所示：

接下來向該模型提出問題即可，回復內容如下所示：

在回復的過程中查看CPU和NPU的利用率，可以看到CPU的占用率已經降了下來，并且調用了NPU的3個核心進行加速推理：

至此，關于DeepSeek在RK3588上的部署推理就測試完成了。

產品亮點：

高性能RK3588芯片：采用8核64位處理器，主頻高達2.4GHz，支持多任務并行處理，滿足復雜工控場景需求。

郵票孔設計：緊湊型郵票孔接口，便于快速集成到工控設備中，節省空間，提升安裝效率。

豐富接口：支持多種工業通信協議，兼容性強，輕松接入現有工控系統。

應用場景：智能制造：支持AI視覺檢測、自動化控制，提升生產效率。
智能交通：適用于交通監控、車牌識別等場景，助力智慧交通建設。
能源管理：支持數據采集與分析，優化能源使用，降低運營成本。
即插即用：郵票孔設計，帶外殼版本，簡化安裝流程，快速部署。
工業級品質：堅固外殼設計，適應復雜工業環境，確保設備長期穩定運行。
帶外殼版本：提供堅固外殼，適用于工業環境，確保設備穩定運行。

迅為電子——專注嵌入式系統，深度定制與構建。助力高可靠解決方案產品化落地。