在DeepSeek迅速成為行業(yè)焦點(diǎn)之際，香橙派昇騰系列產(chǎn)品已經(jīng)率先完成了與 DeepSeek 模型的深度適配，通過(guò)在邊緣進(jìn)行離線部署，幫助用戶實(shí)現(xiàn)高效端側(cè)智能，確保數(shù)據(jù)處理的安全性和可控性。

緊接著，香橙派官方發(fā)布OrangePi5Plus運(yùn)行Deepseek-R1蒸餾模型實(shí)操指南，趕緊收藏起來(lái)吧！

OrangePi 5 Plus采用了瑞芯微RK3588八核64位處理器，具體為四核A76+四核A55，8nm工藝設(shè)計(jì)，主頻最高可達(dá)2.4GHz，集成ARM Mali-G610,內(nèi)置3D GPU，兼容OpenGL ES1.1/2.0/3.2、OpenCL 2.2和Vulkan 1.2；內(nèi)嵌的NPU支持INT4/INT8/INT16/FP16混合運(yùn)算，算力高達(dá)6TOPS，可以滿足絕大多數(shù)終端設(shè)備的邊緣計(jì)算需求；擁有4GB/8GB/16GB（LPDDR4/4X）、32GB LPDDR4X，和eMMC閃存插座，可以外接16GB/32GB/64GB/128GB/256GB eMMC模塊。OrangePi 5 Plus支持OrangePi官方研發(fā)的操作系統(tǒng)Orangepi OS，同時(shí)，支持Android12、Debian11、Ubuntu22.04等操作系統(tǒng)。OrangePi 5 Plus順利通過(guò)開(kāi)放原子開(kāi)源基金會(huì)XTS認(rèn)證，并獲頒OpenHarmony生態(tài)產(chǎn)品兼容性證書(shū)。

實(shí)操指南：OrangePi5Plus運(yùn)行Deepseek-R1蒸餾模型

1.1.6.DeepSeek-R1-Distill-Qwen-1.5B

1）參考用戶手冊(cè)在pc端安裝RKLLM工具鏈。

2）參考用戶手冊(cè)在pc端編譯llm_demo測(cè)試程序。

3）先在Ubuntu操作系統(tǒng)上安裝GitLFS，如果已安裝可跳過(guò)這一步。

test@test:~$sudo apt update

test@test:~$sudo apt install curl git git-lfs

4）接著下載DeepSeek-R1-Distill-Qwen-1.5B模型。

test@test:~$git clone https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B

5）參考下面的代碼修改test.py文件。

a. modelpath：DeepSeek-R1-Distill-Qwen-1.5B文件夾所在的絕對(duì)路徑。

b. llm.export_rkllm：轉(zhuǎn)換后模型保存路徑。

test@test:~$vimrknn-llm/rkllm-toolkit/examples/test.py

modelpath ="/path/your/DeepSeek-R1-Distill-Qwen-1.5B"#填你自己的路徑

ret = llm.export_rkllm("./DeepSeek-R1-Distill-Qwen-1.5B.rkllm")

6) 創(chuàng)建一個(gè)名為“data_quant.json”的文件。內(nèi)容可以參考下面的示例。

test@test:~$vimrknn-llm/rkllm-toolkit/examples/data_quant.json

[{"input":"Human: 你好！\nAssistant: ", "target": "你好！我是人工智能助手KK！"}]

7) 然后用python3運(yùn)行test.py文件來(lái)轉(zhuǎn)換大模型。

test@test:~$cdrknn-llm/rkllm-toolkit/examples

test@test:~/rknn-llm/rkllm-toolkit/examples$python3test.py

8) 轉(zhuǎn)換成功的輸出如下所示：

9) 最后轉(zhuǎn)換成功會(huì)在當(dāng)前目錄下得到DeepSeek-R1-Distill-Qwen-1.5B.rkllm文件，大小約為1.9G。

test@test:~/rknn-llm/rkllm-toolkit/examples$ls

data_quant.json test.py DeepSeek-R1-Distill-Qwen-1.5B.rkllm

10) 參考用戶手冊(cè)更新NPU內(nèi)核驅(qū)動(dòng)和rknn-llm相關(guān)文件。這里使用的版本是：

rkllm-runtime version: 1.1.4, rknpu driver version: 0.9.6

11) 將在Ubuntu PC端編譯好的llm_demo程序和DeepSeek-R1-Distill-Qwen-1.5B.rkllm模型文件上傳到開(kāi)發(fā)板中。

orangepi@orangepi:~$ls

llm_demo DeepSeek-R1-Distill-Qwen-1.5B.rkllm

12) 然后運(yùn)行下面的命令限制最多打開(kāi)的文件描述符（每開(kāi)一個(gè)終端都要運(yùn)行）。

orangepi@orangepi:~$ulimit -HSn 102400

13) 然后運(yùn)行下面的命令來(lái)啟動(dòng)模型。

orangepi@orangepi:~$chmod 777 llm_demo

orangepi@orangepi:~$./llm_demo ./DeepSeek-R1-Distill-Qwen-1.5B.rkllm256 320

14) 運(yùn)行成功的話就會(huì)彈出以下界面。

15) 如果運(yùn)行完彈出以下失敗界面的話，reboot重啟開(kāi)發(fā)板就可以了。第四步運(yùn)行成功的話則跳過(guò)這一步。

orangepi@orangepi:~$sudo reboot

16) 在交互界面輸入問(wèn)題后按回車，測(cè)試成功的結(jié)果如下：