導(dǎo)語:
當(dāng)AI大模型從云端下沉至終端設(shè)備,一場關(guān)于效率、隱私與智能化的革命悄然展開。作為全球領(lǐng)先的無線通信模組及解決方案提供商,美格智能憑借其高算力AI模組矩陣與端側(cè)大模型部署經(jīng)驗,結(jié)合最新發(fā)布的AIMO智能體產(chǎn)品,正加速開發(fā)DeepSeek-R1模型在端側(cè)落地應(yīng)用及端云結(jié)合整體方案,助力國產(chǎn)優(yōu)質(zhì)模型滲透千行百業(yè),共塑智能化未來。
AIMO智能體硬件加速迭代,AI硬件與大模型協(xié)同優(yōu)化
美格智能基于高通驍龍高性能計算平臺打造的AIMO智能體產(chǎn)品,集成48Tops AI算力,支持混合精度計算(INT4/FP8)與異構(gòu)計算架構(gòu)(8核CPU+Adreno GPU+Hexagon NPU),可高效承載7B參數(shù)級大模型的端側(cè)推理需求。其板載16GB LPDDR5X內(nèi)存與256GB UFS 4.0存儲,為模型動態(tài)加載與實時數(shù)據(jù)處理提供硬件保障。2025年美格智能將推出單顆模組算力達(dá)到100Tops的高階AI硬件,遠(yuǎn)期規(guī)劃AI模組算力超過200Tops。
美格智能已成功在高算力AI模組上部署LLaMA-2、通義千問Qwen、ChatGLM2等大模型,驗證了從模型壓縮(量化、剪枝)到框架適配(ONNX/TFLite)的全流程能力。美格智能自研的MEIG AI算法部署平臺、AIMO智能體、模型優(yōu)化器等,可大幅縮短模型落地周期,支持開發(fā)者通過Python快速完成應(yīng)用開發(fā),并支持開發(fā)者進行模型訓(xùn)練。
AIMO智能體內(nèi)置的高算力AI模組的異構(gòu)計算架構(gòu),具備協(xié)同加速能力,支持模型并行計算與低功耗運行,LPDDR5X內(nèi)存提供超過60GB/s帶寬,滿足7B模型推理時的高吞吐需求。內(nèi)置專用AI加速引擎支持INT4/FP16混合精度計算,與DeepSeek-R1模型的量化格式(INT4/FP8)高度適配。
DeepSeek-R1低調(diào)亮相,蒸餾小模型超越OpenAI o1-mini
DeepSeek-R1采用強化學(xué)習(xí)邏輯,驅(qū)動通過多階段RL訓(xùn)練(基礎(chǔ)模型→RL→微調(diào)迭代),DeepSeek-R1在數(shù)學(xué)、代碼、邏輯推理任務(wù)中表現(xiàn)比肩國際頂尖模型,如AIME數(shù)學(xué)競賽準(zhǔn)確率達(dá)71%。DeepSeek-R1提供輕量化適配:DeepSeek-R1系列提供1.5B至70B參數(shù)蒸餾版本,其中7B模型經(jīng)INT4量化后僅需2-4GB存儲,完美適配終端設(shè)備內(nèi)存限制。DeepSeek-R1的動態(tài)思維鏈,支持?jǐn)?shù)萬字級內(nèi)部推理過程,解決復(fù)雜問題時能自主拆解步驟并驗證邏輯,輸出可解釋性更強的結(jié)果。
DeepSeek在開源DeepSeek-R1-Zero和DeepSeek-R1兩個660B模型的同時,通過DeepSeek-R1的輸出,蒸餾了6個小模型開源給社區(qū),其中32B和70B模型在多項能力上實現(xiàn)了對標(biāo)OpenAI o1-mini的效果。除32B和70B模型能力強悍外,DeepSeek-R1同步開源1.5B、7B、8B、14B等多個蒸餾小模型,極大擴展了終端側(cè)模型部署的可選性,并支持用戶進行“模型蒸餾”,明確允許用戶利用模型輸出、通過模型蒸餾等方式訓(xùn)練其他模型。
以DeepSeek-R1 7B模型的端側(cè)適配性舉例,該模型具備輕量化設(shè)計特征,經(jīng)蒸餾和量化后模型體積壓縮至2-4GB,很好的匹配移動端存儲限制。模型具備低延遲推理能力,在高算力模組平臺上,可實現(xiàn)10-20 tokens/s的生成速度。模型支持分塊推理和稀疏計算,結(jié)合美格智能高算力AI模組的能效優(yōu)化,能實現(xiàn)極低的功耗控制。
算力與模型的技術(shù)迭代,AI應(yīng)用的iPhone時刻即將帶來
美格智能研發(fā)團隊結(jié)合AIMO智能體、高算力AI模組的異構(gòu)計算能力,結(jié)合多款模型量化、部署、功耗優(yōu)化Know-how,正在加速開發(fā)DeepSeek-R1模型在端側(cè)落地應(yīng)用及端云結(jié)合整體方案。
?超低功耗
首先持續(xù)對DeepSeek-R1模型的推理延遲進行優(yōu)化,保證模型在高算力模組軟硬件環(huán)境下的超低功耗運行。
?開發(fā)工具鏈
不斷進行工具鏈打通,模組內(nèi)嵌的SNPE引擎直接支持DeepSeek-R1模型的ONNX/TFLite格式,大模型適配周期將大幅縮短。
?端云協(xié)同
結(jié)合動態(tài)卸載技術(shù),根據(jù)任務(wù)復(fù)雜度自動分配端側(cè)與邊緣計算資源,保障實時性與能效平衡。為客戶提供端云協(xié)同模板,面向開發(fā)者提供動態(tài)任務(wù)分配框架,簡單配置即可實現(xiàn)“本地優(yōu)先,云端兜底”。
通過高階AI硬件與DeepSeek-R1模型的能力結(jié)合,將突破端側(cè)AI的能力邊界。7B模型支持長文本理解、代碼生成等傳統(tǒng)端側(cè)小模型無法完成的任務(wù)。多模態(tài)融合能力,高算力AI模組的ISP+AI能力結(jié)合DeepSeek-R1模型,可實現(xiàn)端側(cè)圖文問答、視頻內(nèi)容解析(如實時字幕生成)。個性化持續(xù)學(xué)習(xí),通過AI模組的邊緣計算能力,支持聯(lián)邦學(xué)習(xí)框架下的本地模型微調(diào)(如用戶習(xí)慣適配)。
在算力+模型的不斷迭代背后,端側(cè)AI及端云協(xié)同的商業(yè)模式和商業(yè)競爭力都將面臨重構(gòu),DeepSeek-R1的發(fā)布,更是會極大刺激AI下游應(yīng)用,如工業(yè)智能化、汽車Agent、機器人、個人大模型等應(yīng)用場景的指數(shù)級增長,AI應(yīng)用即將迎來屬于自己的iPhone時刻。
?基于DeepSeek-R1的AI Agent開發(fā)應(yīng)用
結(jié)合美格智能自研的AIMO智能體及DeepSeek-R1模型的基礎(chǔ)能力,開發(fā)面向工業(yè)智能化、座艙智能體、智能無人機、機器人等領(lǐng)域的AI Agent應(yīng)用。
?端側(cè)AI能力包
推出面向AI場景的訂閱服務(wù),針對中小型的B端或C端客戶,推出“端側(cè)AI能力包”,與大模型廠商合作,針對Token輸入/輸出數(shù)量、不同類型模型調(diào)用、流量費用等領(lǐng)域,推出一體化端側(cè)AI Turn-key方案。
?智能化硬件增值
商業(yè)模式方面,各類高AI配置硬件疊加端側(cè)模型加載或云端模型接入,為高算力硬件帶來更多智能化增值。
?自建GPU服務(wù)器與個性化專屬大模型開發(fā)
美格研發(fā)團隊持續(xù)拓展通用模型的部署通路,并不斷向客戶開放相關(guān)教程和源代碼,并且以最新的高算力計算平臺搭建GPU服務(wù)器,可用于端側(cè)模型訓(xùn)練和支持客戶開發(fā)專屬大模型,結(jié)合DeepSeek-R1及其寬松、開放式的MIT授權(quán)協(xié)議,千行百業(yè)的個性化模型開發(fā)和應(yīng)用即將爆發(fā)。
2025年,端側(cè)AI、端云協(xié)同等各類AI應(yīng)用的iPhone時刻將加速到來。DeepSeek-R1的出現(xiàn),某種程度上改變了我們對于Scale的認(rèn)知,但也不會帶來云端算力的需求減少甚至崩塌,相反優(yōu)質(zhì)模型對于AI應(yīng)用場景的極大刺激,也會推動云端算力需求的提升,端側(cè)不斷進化,云端負(fù)責(zé)兜底,端云結(jié)合終將是不變的方向。
美格智能也將持續(xù)以高算力AI模組、AI Agent應(yīng)用、大模型部署服務(wù)、端側(cè)AI服務(wù)整體解決方案為基石,攜手大模型廠商、生態(tài)伙伴等不斷推動類似DeepSeek-R1等優(yōu)秀模型的應(yīng)用拓展,讓普惠、自主的高階AI實現(xiàn)應(yīng)有的社會價值。
-
AI
+關(guān)注
關(guān)注
87文章
31670瀏覽量
270472 -
智能體
+關(guān)注
關(guān)注
1文章
171瀏覽量
10623 -
美格智能
+關(guān)注
關(guān)注
2文章
252瀏覽量
11199 -
大模型
+關(guān)注
關(guān)注
2文章
2593瀏覽量
3210 -
DeepSeek
+關(guān)注
關(guān)注
1文章
172瀏覽量
69
發(fā)布評論請先 登錄
相關(guān)推薦
廣汽ADiGO SENSE端云一體大模型與DeepSeek-R1大模型完成深度融合
OPPO Find N5將接入DeepSeek-R1,可直接語音使用
AIBOX 全系產(chǎn)品已適配 DeepSeek-R1
![AIBOX 全系產(chǎn)品已適配 <b class='flag-5'>DeepSeek-R1</b>](https://file.elecfans.com/web2/M00/10/E9/pYYBAGEfInyAb9dQAABH4pzjonI981.jpg)
軟通動力天璇MaaS融合DeepSeek-R1,引領(lǐng)企業(yè)智能化轉(zhuǎn)型
deepin UOS AI接入DeepSeek-R1模型
行業(yè)首家!數(shù)勢科技SwiftAgent全面接入DeepSeek-R1
![行業(yè)首家!數(shù)勢科技SwiftAgent全面接入<b class='flag-5'>DeepSeek-R1</b>](https://file1.elecfans.com//web3/M00/07/70/wKgZPGel2ciAOfF0AAEnbVu-_Qw234.png)
芯動力神速適配DeepSeek-R1大模型,AI芯片設(shè)計邁入“快車道”!
![芯動力神速適配<b class='flag-5'>DeepSeek-R1</b>大<b class='flag-5'>模型</b>,<b class='flag-5'>AI</b>芯片設(shè)計邁入“快車道”!](https://file1.elecfans.com//web3/M00/07/6E/wKgZPGelyoOABzheAAIATfZvII4602.png)
DeepSeek-R1全尺寸版本上線Gitee AI
網(wǎng)易有道全面接入DeepSeek-R1大模型
原生鴻蒙版小藝App上架DeepSeek-R1, AI智慧體驗更豐富
行業(yè)首家!數(shù)勢科技SwiftAgent全面接入DeepSeek-R1
![行業(yè)首家!數(shù)勢科技SwiftAgent全面接入<b class='flag-5'>DeepSeek-R1</b>](https://file1.elecfans.com//web3/M00/07/53/wKgZO2ekVliAVuiUAAEnbVu-_Qw158.png)
中軟國際JointPilot平臺上線DeepSeek-R1模型
對標(biāo)OpenAI o1,DeepSeek-R1發(fā)布
![對標(biāo)OpenAI o<b class='flag-5'>1</b>,<b class='flag-5'>DeepSeek-R1</b>發(fā)布](https://file1.elecfans.com/web3/M00/06/DC/wKgZPGeQhzGAYiR7AAAwF47ND04277.png)
CES 2025 | 美格智能創(chuàng)新發(fā)布AI智能體產(chǎn)品AIMO
![CES 2025 | <b class='flag-5'>美格</b><b class='flag-5'>智能</b>創(chuàng)新發(fā)布<b class='flag-5'>AI</b><b class='flag-5'>智能</b><b class='flag-5'>體</b>產(chǎn)品<b class='flag-5'>AIMO</b>](https://file.elecfans.com/web2/M00/12/48/poYBAGEnTsKAasIPAAHPy18CSIY818.jpg)
評論