LeapFive
從“云端排隊(duì)”到“擁有私人 Co-Pilot”,邊緣AI也能行!
DeepSeek 問答響應(yīng)又超時(shí)了?
“無需機(jī)房,無需服務(wù)器,一枚U盤即可驅(qū)動(dòng)DeepSeek大模型?” 是的,我們做到了!
躍昉科技,作為國內(nèi)領(lǐng)先的RISC-V架構(gòu)SoC芯片公司,成功將DeepSeek大模型本地化運(yùn)行,以U盤形態(tài)重新定義AI計(jì)算的使用方式。
AMC(AI Mini Computer)由躍昉科技基于自研RISC-V芯片打造,通過USB 直連主機(jī),兼容多種操作系統(tǒng),支持本地化人工智能推理應(yīng)用部署,如基于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的視覺應(yīng)用。現(xiàn)在,AMC又有了大模型應(yīng)用的加持,不依賴云端、不受網(wǎng)絡(luò)波動(dòng),即插即用,隨時(shí)推理。讓普通電腦秒變AI工作站,讓AI隨時(shí)待命,快速響應(yīng),成為你的專屬智能助手(Co-Pilot)!
小身材藏著大機(jī)會(huì)|“可用”到“好用”的進(jìn)行時(shí)
即插即用,無需服務(wù)器,USB接入,10秒完成部署。
3W超低功耗,計(jì)算性能表現(xiàn)與模型本身,都具備優(yōu)化潛力。
本地私有知識(shí)庫,保護(hù)數(shù)據(jù)隱私,隨身攜帶,安全可控。
網(wǎng)頁本地化訪問(測試版),相比云端排隊(duì)、等待響應(yīng),你的AI助手隨時(shí)在線。
*已經(jīng)實(shí)際部署運(yùn)行成功的模型
UI 界面:設(shè)計(jì)簡潔直觀,用戶可快速上手,無需復(fù)雜配置,Less is More。
OTA + 場景化模型,開啟邊緣AI計(jì)算新范式!
在 AI 計(jì)算邁向多場景應(yīng)用的今天,開發(fā)者希望更靈活地訓(xùn)練和部署模型,用戶則期待AI能夠精準(zhǔn)適配個(gè)性化需求。然而,傳統(tǒng)AI計(jì)算依賴云端,高算力成本、網(wǎng)絡(luò)延遲、數(shù)據(jù)隱私等問題,使其難以真正落地到邊緣多樣化應(yīng)用場景。
部署DeepSeek到AMC的過程,也引發(fā)了我們更深層的思考并發(fā)現(xiàn):DeepSeek 的小型化、低成本、邊緣設(shè)備 OTA(Over the Air 空中升級(jí)) 特性,有機(jī)會(huì)成為邊緣AI計(jì)算全新的應(yīng)用落地方法,推動(dòng)AI計(jì)算從云端走向邊緣,讓AI適配更精細(xì)、更靈活地適配本地化應(yīng)用。
“大而全”的模型并不適用于邊緣AI應(yīng)用,應(yīng)該按場景的需要做更適配、更精巧、更高效的模型
邊緣 AI 計(jì)算的核心在于精準(zhǔn)解決特定場景問題,那么合適的模型從何而來?我們認(rèn)為可以通過開放的場景化模型市場,吸引更多的開發(fā)者加入進(jìn)來,針對(duì)教育、工業(yè)、辦公、個(gè)人助手等不同需求,訓(xùn)練更精巧的 AI 模型,以適配本地場景化的應(yīng)用需求。
OTA有可能成為AI場景動(dòng)態(tài)適配的標(biāo)準(zhǔn)方式
傳統(tǒng)OTA僅用于遠(yuǎn)程軟件升級(jí),如果考慮邊緣AI基于場景化的應(yīng)用,則OTA就需要一個(gè)新增的按需拉取和部署AI模型的能力,使邊緣設(shè)備盡管在硬件資源限制條件下,仍可以通過動(dòng)態(tài)的模型選擇,得到較好的AI交互體驗(yàn)。
商業(yè)模式也將有革新機(jī)會(huì),邊緣AI的生態(tài)將創(chuàng)造更高價(jià)值
“OTA + 場景化模型”這樣的新范式,將為邊緣AI計(jì)算構(gòu)建開放的,可訂閱、可迭代的模型市場提供可行性。用戶可以低成本試用AI模型,再按需訂閱,而開發(fā)者則可以通過市場提供AI模型,并接受用戶的反饋不斷優(yōu)化模型體驗(yàn),形成邊緣AI計(jì)算的正向循環(huán),加速AI在邊緣端的落地應(yīng)用。
我們認(rèn)為未來的AI計(jì)算,不應(yīng)該只存在于云端之上,更應(yīng)該真正地屬于個(gè)人!
而對(duì)于個(gè)人用戶來說,專屬AI 將可以變成個(gè)人成長的長期伙伴
每個(gè)人的知識(shí)、經(jīng)驗(yàn)、決策方式都是獨(dú)一無二的,所以AI應(yīng)用也應(yīng)該能做到個(gè)性化的應(yīng)用。AMC的隨身攜帶可以讓AI在不同場景中適應(yīng)用戶需求,即時(shí)響應(yīng)、智能輔助。與此同時(shí),AMC通過長期數(shù)據(jù)存儲(chǔ)與學(xué)習(xí),不斷沉淀、優(yōu)化,逐步構(gòu)建屬于個(gè)人的Digital Twins(數(shù)字孿生),讓AI計(jì)算真正理解,持續(xù)成長,成為個(gè)人的長期智慧資產(chǎn)。
離線運(yùn)行,多場景隨時(shí)調(diào)用,無論辦公、學(xué)習(xí)還是工業(yè)應(yīng)用,AI即插即用,不依賴云端。
存儲(chǔ)與回傳,依托AMC本體32GB的存儲(chǔ)能力,使用過程中的數(shù)據(jù)可本地化存儲(chǔ),也可主動(dòng)同步到個(gè)人主機(jī),形成專屬AI記憶 。
讓AI模型個(gè)性化成長,成為“最懂你的聰明助手”并且隨時(shí)隨地即時(shí)響應(yīng)。
從 “大而全” 到 “小而精”,我們看到了AMC在AI計(jì)算領(lǐng)域的潛力,有望讓AI計(jì)算變得更精準(zhǔn)、更高效。場景化模型 OTA能讓開發(fā)者更快構(gòu)建AI,用戶更自由地使用AI,推動(dòng)AI計(jì)算從通用向定制、從固定向靈活、從單一向多元發(fā)展,真正賦能千行百業(yè)。
躍昉科技,依托RISC-V計(jì)算架構(gòu),不斷探索芯片、邊緣AI計(jì)算與智能互聯(lián)的創(chuàng)新融合,加速推動(dòng)國產(chǎn)AI計(jì)算自主化。我們相信,未來的AI計(jì)算不再是一種昂貴的資源,而是普惠的能力。個(gè)性化的智能,是一股驅(qū)動(dòng)世界躍向更智能未來的核心動(dòng)力!
廣東躍昉科技有限公司聚焦研發(fā)基于RISC-V架構(gòu)的SoC芯片產(chǎn)品及系統(tǒng)解決方案,并提供從操作系統(tǒng)到云平臺(tái)的全棧基礎(chǔ)智能軟件服務(wù),通過融合人工智能、物聯(lián)網(wǎng)、區(qū)塊鏈等交叉領(lǐng)域技術(shù)為中國數(shù)字經(jīng)濟(jì)的創(chuàng)新應(yīng)用賦能。
躍昉科技作為RISC-V架構(gòu)SoC芯片設(shè)計(jì)及產(chǎn)業(yè)應(yīng)用的開拓者,已推出系列基于RISC-V架構(gòu)的高性能SoC芯片及產(chǎn)品,覆蓋AIoT邊端物聯(lián)、控制和計(jì)算等應(yīng)用領(lǐng)域,集高效能計(jì)算資源、豐富工業(yè)接口、穩(wěn)定可靠品質(zhì)等特性于一體。依托于全棧技術(shù)能力,躍昉科技正持續(xù)深耕于智慧能源、智慧物流、智慧城市、智慧工廠等領(lǐng)域,旨在為客戶帶來專業(yè)化、高品質(zhì)的產(chǎn)品和服務(wù)。
-
RISC-V
+關(guān)注
關(guān)注
46文章
2463瀏覽量
48087 -
躍昉科技
+關(guān)注
關(guān)注
0文章
75瀏覽量
2356 -
大模型
+關(guān)注
關(guān)注
2文章
2959瀏覽量
3700 -
DeepSeek
+關(guān)注
關(guān)注
1文章
759瀏覽量
1116
原文標(biāo)題:RISC-V計(jì)算新突破!躍昉AMC將DeepSeek大模型裝進(jìn)口袋
文章出處:【微信號(hào):躍昉科技LeapFive,微信公眾號(hào):躍昉科技LeapFive】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
SL1680 SoC本地運(yùn)行DeepSeek R1 1.5B大模型

軟通動(dòng)力助力黑龍江大學(xué)完成DeepSeek大模型本地化部署
博實(shí)結(jié)完成DeepSeek大模型本地化部署
RK3588開發(fā)板上部署DeepSeek-R1大模型的完整指南
行芯完成DeepSeek-R1大模型本地化部署
DeepSeek沖擊(含本地化部署實(shí)踐)

浪潮信息:元腦EPAI已接入DeepSeek,大幅提升DeepSeek企業(yè)應(yīng)用準(zhǔn)確率

曙光順利完成DeepSeek大模型本地化多點(diǎn)私有部署
紹興數(shù)據(jù)局率先實(shí)現(xiàn)政務(wù)環(huán)境下的DeepSeek模型部署

云天天書大模型訓(xùn)推一體機(jī)成功適配DeepSeek
了解DeepSeek-V3 和 DeepSeek-R1兩個(gè)大模型的不同定位和應(yīng)用選擇
龍芯處理器與DeepSeek完成適配
烽火通信推動(dòng)DeepSeek本地化部署,金融行業(yè)率先示范
英特爾酷睿Ultra處理器支持DeepSeek運(yùn)行
龍芯處理器成功運(yùn)行DeepSeek大模型

評(píng)論