這個春節,科技界熱鬧非凡,DeepSeek的橫空出世猶如一顆重磅炸彈,迅速引爆全球AI市場。
DeepSeek憑借其V3和新推出的R1兩款模型,實現了與OpenAI 4o和o1比肩的性能,同時成本僅為十分之一,為AI技術的普及提供了經濟高效的解決方案。DeepSeek的崛起,不僅標志著中國AI技術的突破,更預示著全球AI市場將迎來一場新革命。
將其部署在望獲實時Linux與瑞芯微RK3588平臺上,能夠充分釋放其在邊緣計算和工業控制領域的巨大潛力,為智能化轉型提供強有力的技術支撐。
以下是詳細的部署步驟,幫助您快速實現這一國產技術組合的落地應用。
硬件準備:
RK3588開發板:京博航友善NanoPC-T6(預裝望獲實時Linux)
工作主機:ubuntu筆記本電腦
軟件準備:
瑞芯微rkllm-toolkit工具
部署步驟
一、拉取模型
從Hugging Face拉取DeepSeek-R1的1.5B蒸餾模型到x86平臺:
二、配置模型轉換腳本
在rknn-llm/rkllm-toolkit/examples/test.py中,修改如下內容:
三、模型轉換
執行模型轉換腳本,等待轉換完成:
四、部署模型
使用scp命令將轉換得到的DeepSeek-R1-Distill-Qwen-1.5B.rkllm文件拷貝到RK3588平臺:
五、生成運行文件
在RK3588平臺,進入rknn-llm/rkllm-runtime/examples/rkllm_api_demo目錄,生成llm_demo運行文件:
六、運行模型
運行llm_demo,并指定DeepSeek-R1-Distill-Qwen-1.5B.rkllm的路徑。
七、對話測試
在user : 后輸入對話內容,測試模型的運行效果。
通過將DeepSeek部署在望獲實時Linux與RK3588的平臺上,您可以輕松實現邊緣智能的高效落地。這一技術組合提升了工業控制與邊緣計算的智能化水平,為未來的工業應用開辟了新的可能性。如果您在部署過程中遇到任何問題,歡迎隨時與我們聯系!
關于望獲實時Linux系統
望獲實時Linux系統是國科環宇重點研發的嵌入式實時操作系統,具備強實時、高可靠、功能安全、智能化、兼容性強和國產生態的特性。不同于傳統的微內核實時操作系統,完整兼容Linux生態環境的同時,提供強大的行業中間件支持,助力客戶快速完成行業解決方案的構建。望獲實時Linux系統致力于國產基礎軟硬件的產業鏈構建,與國產主流芯片及硬件平臺適配,提供完整的國產化解決方案,保證功能和性能的同時,避免關鍵領域的卡脖子問題。
審核編輯 黃宇
-
嵌入式
+關注
關注
5094文章
19184瀏覽量
307823 -
操作系統
+關注
關注
37文章
6898瀏覽量
123780 -
DeepSeek
+關注
關注
1文章
106瀏覽量
25
發布評論請先 登錄
相關推薦
在龍芯3a6000上部署DeepSeek 和 Gemma2大模型
望獲實時Linux系統與Betaflight的結合:計算與飛控的完美協作
英偉達發布DeepSeek R1于NIM平臺
云天勵飛上線DeepSeek R1系列模型
![云天勵飛上線<b class='flag-5'>DeepSeek</b> <b class='flag-5'>R1</b>系列<b class='flag-5'>模型</b>](https://file1.elecfans.com/web3/M00/07/40/wKgZPGekIduALExKAAANc3crHk8806.png)
鯤云科技AI芯片CAISA 430成功適配DeepSeek R1模型
![鯤云科技AI芯片CAISA 430成功適配<b class='flag-5'>DeepSeek</b> <b class='flag-5'>R1</b><b class='flag-5'>模型</b>](https://file1.elecfans.com/web3/M00/07/68/wKgZO2elaQ-ASXGbAAAWO4rFvF0412.png)
芯動力神速適配DeepSeek-R1大模型,AI芯片設計邁入“快車道”!
![芯動力神速適配<b class='flag-5'>DeepSeek-R1</b>大<b class='flag-5'>模型</b>,AI芯片設計邁入“快車道”!](https://file1.elecfans.com//web3/M00/07/6E/wKgZPGelyoOABzheAAIATfZvII4602.png)
評論