DeepSeek作為國產(chǎn)AI大數(shù)據(jù)模型的代表，憑借其卓越的推理能力和高效的文本生成技術(shù)，在全球人工智能領域引發(fā)廣泛關注。DeepSeek-R1作為該系列最新迭代版本，實現(xiàn)了長文本處理效能躍遷、多模態(tài)擴展規(guī)劃、嵌入式適配等技術(shù)維度的突破。

RK3588作為瑞芯微推出的旗艦級芯片，憑借多核異構(gòu)計算能力以及強大的CPU、GPU和NPU性能，成為嵌入式AI應用的理想平臺。DeepSeek-R1與OK3588-C開發(fā)板的深度融合，標志著國產(chǎn)AI大模型從云端向邊緣端的延伸。這種“先進算法+定制化芯片”的協(xié)同模式，不僅解決了邊緣側(cè)實時性、隱私保護等關鍵需求，更構(gòu)建起從技術(shù)研發(fā)到產(chǎn)業(yè)賦能的完整價值鏈條，為各行業(yè)智能化轉(zhuǎn)型提供可復用的創(chuàng)新范式。接下來，讓我們深入探討這一過程是如何具體實現(xiàn)的。

01 移植過程

（1）下載DeepSeek-R1源碼

在Ubuntu虛擬機上從DeepSeek-R1官網(wǎng)地址下載DeepSeek-R1-Distill-Qwen-1.5B權(quán)重文件。

（2）安裝轉(zhuǎn)換工具

在Ubuntu創(chuàng)建虛擬環(huán)境并安裝RKLLM-Toolkit，以便將DeepSeek-R1大語言模型轉(zhuǎn)換為RKLLM模型格式和編譯板端推理的可執(zhí)行程序。

（3）模型轉(zhuǎn)換

使用RKLLM-Toolkit對模型進行轉(zhuǎn)換，RKLLM-Toolkit提供模型的轉(zhuǎn)換、量化功能。作為RKLLM-Toolkit的核心功能之一，它允許用戶將Hugging Face或GGUF格式的大語言模型轉(zhuǎn)換為RKLLM模型，從而將RKLLM模型在Rockchip NPU上加載運行。

（4）編譯DeepSeek-R1程序

安裝交叉編譯工具鏈，以編譯RKLLM Runtime可執(zhí)行文件，該程序包含模型初始化、模型推理、回調(diào)函數(shù)處理輸出和模型資源釋放等全部流程。

（5）模型部署

將編譯好的RKLLM模型和可執(zhí)行文件上傳至板端即可執(zhí)行，這樣就可以在OK3588-C開發(fā)板的調(diào)試串口上和DeepSeek-R1對話了，而且無需聯(lián)網(wǎng)。

02 效果展示

DeepSeek-R1是一款多功能的人工智能助手，它在多個領域內(nèi)均能提供高效而全面的支持。即便是本地離線版本，無論是日常的信息檢索需求、專業(yè)設備的維修指導建議、復雜數(shù)學問題的解答，還是編程任務的輔助完成，R1都能憑借其強大的數(shù)據(jù)處理能力和廣博的知識儲備庫，給出既準確且實用的建議，成為用戶在各領域探索時的可靠伙伴。

（1）普通信息搜索

DeepSeek-R1能夠快速檢索并提供準確的信息。例如，當詢問“保定飛凌嵌入式技術(shù)有限公司”時，DeepSeek-R1可以詳細介紹該公司的背景、主營業(yè)務、產(chǎn)品特點等，幫助用戶全面了解該公司的情況。

（2）專業(yè)設備問題維修意見

對于專業(yè)設備問題，DeepSeek-R1能夠提供詳細的故障分析和解決方案。例如，針對PLC報錯誤碼E01的問題，R1分析可能造成故障的原因，如電源問題、接線錯誤或硬件故障，并提供相應的解決步驟，幫助用戶快速排除故障。

（3）數(shù)學題解答

DeepSeek-R1擁有卓越的數(shù)學運算能力，擅長攻克各類數(shù)學難題。舉例來說，在面對紅藍鉛筆的采購問題時，它能夠巧妙地構(gòu)建方程組并迅速求解，精確計算出紅鉛筆與藍鉛筆的應購數(shù)量，為用戶提供即時且準確的解決方案。不僅如此，DeepSeek-R1還附帶了詳盡的驗證步驟，確保結(jié)果的準確無誤。

（4）編程任務

DeepSeek-R1在編程方面表現(xiàn)出色，能夠根據(jù)用戶需求編寫代碼。例如，針對OK3588-C開發(fā)板的串口通信需求，R1可以提供完整的C語言示例程序，包括串口初始化、數(shù)據(jù)接收和發(fā)送等功能，幫助用戶實現(xiàn)串口通信。

從上述內(nèi)容中不難發(fā)現(xiàn)，DeepSeek-R1在眾多領域內(nèi)彰顯了其卓越的實用價值與高效性能，已然成為用戶工作中不可或缺的智能伙伴。

03 性能測評

在完成移植后我們進行了全面的性能評測，以驗證 DeepSeek-R1在OK3588-C開發(fā)板上的運行效果。經(jīng)過詳細的測試與對比，歸納了以下幾個關鍵性能指標：

實時性：從視頻播放中可以看到，DeepSeek-R1輸出的回答結(jié)果清晰且流暢，未出現(xiàn)任何延遲或卡頓現(xiàn)象。

CPU占用：DeepSeek-R1在OK3588-C開發(fā)板上運行的CPU占用為12%~17%，這一表現(xiàn)證明了框架的高效性，使其即便在資源受限的設備上也能順利運行，擴展了其應用場景和商業(yè)潛力。

內(nèi)存占用：在進行上述功能測試時，DeepSeek-R1的內(nèi)存占用率約為825MB。這保證了系統(tǒng)的流暢運行，避免了由于內(nèi)存不足引起的性能問題，使得用戶的應用體驗更加順暢。

NPU占用：由下圖可見DeepSeek-R1在OK3588-C開發(fā)板上運行時，能夠更高效地分配計算資源，其NPU（神經(jīng)處理單元）的三個核心負載均達到了83%。

在此次演示中，我們?nèi)嬲故玖薉eepSeek-R1的實際應用成效，其強大功能與高效能表現(xiàn)得到了有力證明。后續(xù)文章中將詳細介紹DeepSeek-R1向OK3588-C開發(fā)板的移植細節(jié)，包括多樣化的移植方式及操作步驟。如果您對這一過程感興趣，歡迎隨時與我們聯(lián)系，飛凌嵌入式將為您提供全面的技術(shù)支持和詳細指導，期待與您共同探索更多可能性！