背景

春節(jié)前，國(guó)產(chǎn)大模型 DeepSeek 橫空出世，迅速成為AI領(lǐng)域的焦點(diǎn)。作為端側(cè)AI能效比優(yōu)異的 AX650N、AX630C 芯片平臺(tái)早已在節(jié)前完成 DeepSeek R1 蒸餾版本 1.5B、7B、8B 的適配，并在春節(jié)期間，海外開發(fā)者已基于 AX630C 平臺(tái)順利復(fù)現(xiàn)，DeepSeek 端側(cè)部署順利出海！

本文將通過走馬觀花的方式，分享基于愛芯元智的 AX650N、AX630C 芯片適配 DeepSeek R1 系列模型的最新進(jìn)展，向業(yè)界對(duì)端側(cè)大模型部署的開發(fā)者提供一種新的思路，促進(jìn)社區(qū)對(duì)端側(cè)大模型的探索。

DeepSeek R1 介紹

DeepSeek R1 是幻方量化旗下大模型公司 DeepSeek 研發(fā)的系列推理模型，自誕生起就備受矚目。它采用強(qiáng)化學(xué)習(xí)訓(xùn)練，推理時(shí)包含大量反思和驗(yàn)證，思維鏈長(zhǎng)度可達(dá)數(shù)萬(wàn)字。在數(shù)學(xué)、代碼以及復(fù)雜邏輯推理任務(wù)上，DeepSeek R1 有著出色的表現(xiàn)，能取得媲美 OpenAI o1 的推理效果，還能為用戶展現(xiàn)完整的思考過程。

官方鏈接：https://www.deepseek.com/

論文：https://github.com/deepseek-ai/DeepSeek-R1/blob/main/DeepSeek_R1.pdf

DeepSeek R1 部署

考慮到端側(cè)AI芯片資源的局限性，我們選擇部署 DeepSeek-R1-Distill-Qwen-1.5B 版本進(jìn)行展示。感興趣的朋友可以通過我們的Pulsar2工具鏈

（https://pulsar2-docs.readthedocs.io/zh-cn/latest/appendix/build_llm.html）

轉(zhuǎn)換 DeepSeek-R1-Distill-Qwen-1.5B、DeepSeek-R1-Distill-Qwen-7B、DeepSeek-R1-Distill-Llama-8B 等模型。

為了方便快速嘗鮮，我們已經(jīng)開源基于 AX650N、AX630C 適配好的模型。

模型獲取

可以從 Huggingface 上獲取：

https://huggingface.co/AXERA-TECH/DeepSeek-R1-Distill-Qwen-1.5B

上板運(yùn)行

AX650N：

AX630C：

結(jié)束語(yǔ)

隨著大語(yǔ)言模型小型化的快速發(fā)展，特別是 DeepSeek 推動(dòng)了大模型的技術(shù)平權(quán)，相信從今年開始越來越多有趣的大模型應(yīng)用將逐漸從云端服務(wù)遷移到端側(cè)設(shè)備，高效AI推理芯片的應(yīng)用也將迎來更廣闊的天地。而愛芯元智作為專注于邊端側(cè)的智能芯片平臺(tái)，必將大有用武之地。

更多開源大模型適配案例請(qǐng)參考：

https://github.com/AXERA-TECH/ax-llm。