日前,香橙派官方發(fā)布OrangePi AI Stuido、OrangePi AIpro(20T)本地部署Deepseek-R1蒸餾模型指南,通過在邊緣進行離線部署,幫助用戶實現(xiàn)高效端側智能,確保數(shù)據(jù)處理的安全性和可控性。
據(jù)了解,DeepSeek-R1專為數(shù)學、代碼生成和復雜邏輯推理任務設計,通過大規(guī)模強化學習(RL)提升推理能力,還摒棄監(jiān)督微調(SFT),采用純強化學習(GRPO算法)訓練基座模型。同時,DeepSeek-R1提供了高效模型蒸餾技術,可將大規(guī)模模型能力遷移至更小、更高效的版本,優(yōu)化模型性能、開源應用。經(jīng)蒸餾后的DeepSeek-R1模型支持部署于端側,大幅降低計算資源需求,顯著提升端側設備的AI推理效率。
目前,香橙派已經(jīng)發(fā)布在OrangePi AI Stuido、OrangePi AIpro(20T)上運行Deepseek-R1蒸餾模型的操作指南,香橙派表示,未來將加大研發(fā)投入,攜手昇騰推動不同算力等級的產(chǎn)品與DeepSeek等優(yōu)質模型相結合,進一步降低端側AI的門檻,為客戶創(chuàng)造更大的AI價值。
![wKgZO2etV3OALYa1AAH7ZSWfzuw933.png](https://file1.elecfans.com/web3/M00/08/20/wKgZO2etV3OALYa1AAH7ZSWfzuw933.png)
![wKgZPGetV3OAdA-eAAMYbYMd2pI996.png](https://file1.elecfans.com/web3/M00/08/11/wKgZPGetV3OAdA-eAAMYbYMd2pI996.png)
據(jù)了解,OrangePi AIpro(20T)是香橙派聯(lián)合昇騰AI打造的高算力開發(fā)板,根植于昇騰AI技術,集AI計算、ISP、圖形輸出等功能于一體,釋放高達20 TOPS的AI算力。可配12/24GB運行內(nèi)存,匯聚了MIPI DSI、雙MIPI CSI、USB3.0、Type-C、雙HDMI2.0、雙2.5G以太網(wǎng)、支持SATA/NVMe SSD 2280的M.2插槽等各類流行的接口。OrangePi AIpro(20T)依托昇騰AI基礎軟硬件能力的基礎,融合大模型與訓推一體化優(yōu)勢,實現(xiàn)端邊云全場景無縫部署,是構建昇騰計算產(chǎn)品、使能上層軟件和應用的底座,有高算力、高能效等特性。
![wKgZO2etV3SAEgasAAsLCfD-ZYA813.png](https://file1.elecfans.com/web3/M00/08/20/wKgZO2etV3SAEgasAAsLCfD-ZYA813.png)
OrangePi AI Studio采用昇騰AI技術路線,融合“ARM core,AI core,Vector core,Image core”于一體,提供“基礎通用算力+超強AI算力+編解碼核心”,充分滿足推訓一體AI任務需求,擁有48GB /96GB LPDDR4X,速率高達4266Mbps。
OrangePi AI Studio匯聚了Type-C(USB4.0)、電源接口、電源按鍵、LED指示燈等,可廣泛應用于OCR識別、目標識別、人臉識別、搜索推薦、大模型多模態(tài)、內(nèi)容審核、VR智能、數(shù)字醫(yī)療、物聯(lián)網(wǎng)等諸多AI應用場景。
![wKgZPGeqsH2AVsH9AAajDfrCWic698.png](https://file1.elecfans.com/web3/M00/07/C6/wKgZPGeqsH2AVsH9AAajDfrCWic698.png)
-
開發(fā)板
+關注
關注
25文章
5139瀏覽量
98369 -
香橙派
+關注
關注
1文章
34瀏覽量
11808 -
大模型
+關注
關注
2文章
2625瀏覽量
3238 -
DeepSeek
+關注
關注
1文章
258瀏覽量
89
發(fā)布評論請先 登錄
相關推薦
景嘉微與DeepSeek系列成功適配,拓展云邊端應用
天數(shù)智芯加速DeepSeek全系列模型適配
軟通計算機全量接入DeepSeek系列模型
中軟國際科創(chuàng)中心上線DeepSeek模型
AIBOX 全系產(chǎn)品已適配 DeepSeek-R1
![AIBOX 全系<b class='flag-5'>產(chǎn)品</b>已<b class='flag-5'>適配</b> <b class='flag-5'>DeepSeek</b>-R1](https://file.elecfans.com/web2/M00/10/E9/pYYBAGEfInyAb9dQAABH4pzjonI981.jpg)
后摩漫界M30芯片成功適配DeepSeek-R1系列模型
“兆瀚”算力產(chǎn)品強力支持DeepSeek,共筑國產(chǎn)AI新生態(tài)!
![“兆瀚”算力<b class='flag-5'>產(chǎn)品</b>強力支持<b class='flag-5'>DeepSeek</b>,共筑國產(chǎn)AI新生態(tài)!](https://file.elecfans.com/web2/M00/46/D0/pYYBAGKV5wiAQkFLAAA0HUPKaH4034.jpg)
靈汐KA200芯片完成DeepSeek-R1系列模型適配
香橙派與昇思MindSpore合作提速,軟硬結合助力開發(fā)者構建創(chuàng)新AI應用
![<b class='flag-5'>香橙</b><b class='flag-5'>派</b>與<b class='flag-5'>昇</b>思MindSpore合作提速,軟硬結合助力開發(fā)者構建創(chuàng)新AI應用](https://file1.elecfans.com/web2/M00/0A/AC/wKgZomckmTCAVPBbAADBpS6_wMw781.png)
昇騰與昇思原生,助力智譜打造自主創(chuàng)新大模型體系!
![<b class='flag-5'>昇</b><b class='flag-5'>騰</b>與<b class='flag-5'>昇</b>思原生,助力智譜打造自主創(chuàng)新大<b class='flag-5'>模型</b>體系!](https://file1.elecfans.com/web2/M00/03/8E/wKgZombEb_yAeStIAADUAA7ZV4E970.png)
香橙派亮相昇騰AI開發(fā)者創(chuàng)享日,打造“AI+鴻蒙”高算力開發(fā)板
![<b class='flag-5'>香橙</b><b class='flag-5'>派</b>亮相<b class='flag-5'>昇</b><b class='flag-5'>騰</b>AI開發(fā)者創(chuàng)享日,打造“AI+鴻蒙”高算力開發(fā)板](https://file1.elecfans.com/web2/M00/F8/57/wKgZomaHoT-AZsUHAADCTQvh0Fw669.png)
香橙派聯(lián)合華為的又一力作OrangePi?Kunpeng Pro發(fā)布,起售價1076元
![<b class='flag-5'>香橙</b><b class='flag-5'>派</b>聯(lián)合華為的又一力作OrangePi?Kunpeng Pro發(fā)布,起售價1076元](https://file1.elecfans.com/web2/M00/E3/87/wKgZomY8rgSAU_RWAACsDYO6jmY272.png)
評論