隨著DeepSeek 的蒸餾技術的橫空出世,端側 SoC 芯片上運行大模型成為可能。那么端側芯片跑大模型的效果如何呢?本文將在全志 A733 芯片平臺上部署一個 DeepSeek-R1:1.5B 模型,并進行實測效果展示。 端側平臺環境
設備:全志A733平板
系統:Android 15
DDR:8GB LPDDR5 @2400MHz
Flash:128GB UFS3.0
測試模型:Deepseek-R1-Distill-Qwen-1.5B
首先,我們測試AI經典哲學問題“你是誰?”
實測視頻:
輸入運行命令之后可看到模型運行起來了,此時我們就可以開始和Deepseek對話了。
從實拍視頻可以看到,這個輸出速度基本可以滿足正常對話的交互體驗。
然后我們要求Deepseek“快速寫一段代碼計算1-9999的和”
實測視頻如下:
可以看到,Deepseek會先對題目進行分析,他很快就分辨出了這是一個經典的等差數列求和問題,并給出了計算公式。
然后,可以看到在沒有指定編程語言的情況下,Deepseek默認使用python寫出了計算代碼。
最后,Deepseek對整個解題思路進行了歸納總結。
我們再嘗試解一個一元二次方程:“求解方程x^2+4x+4=0”
實測視頻如下:
同樣,Deepseek也是快速理清了題意,判別出了這是一個解一元二次方程的題目,并給出了求解公式。
然后Deepseek知道先對方程進行重根判別,判別出這道題是只有一個重根的。
最后,Deeepseek 將題目代入公式進行求解,馬上便得出了正確的計算結果。
經測試,可以得出結論是Deepseek-R1-Distill-Qwen-1.5B 是可以在全志A733芯片平臺的平板電腦上較流暢地運行的,并且可以讓Deepseek擁有中學生級別的邏輯推理能力。而這才是一個開始。后續,隨著量化技術的不斷發展,模型的體積和計算復雜度將進一步降低,從而更好地適應端側設備的資源限制。未來,我們期待 DeepSeek 在更多場景中發揮其強大的功能,為用戶提供更加智能和便捷的體驗。
-
芯片
+關注
關注
457文章
51312瀏覽量
427961 -
全志
+關注
關注
24文章
251瀏覽量
53279 -
DeepSeek
+關注
關注
1文章
258瀏覽量
89
原文標題:【實測】用全志A733平板搭建一個端側Deepseek算力平臺
文章出處:【微信號:gh_79acfa3aa3e3,微信公眾號:全志在線】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
移遠通信邊緣計算模組成功運行DeepSeek模型,以領先的工程能力加速端側AI落地
![移遠通信邊緣計算模組成功運行<b class='flag-5'>DeepSeek</b>模型,以領先的工程能力加速<b class='flag-5'>端</b><b class='flag-5'>側</b>AI落地](https://file1.elecfans.com/web3/M00/08/16/wKgZPGetaEOAL_b_AAFf3dYKxZA380.jpg)
【實測】用全志A733平板搭建一個端側Deepseek算力平臺
端側AI元年爆發!廣和通AI模組及解決方案全面支持DeepSeek-R1蒸餾模型
![<b class='flag-5'>端</b><b class='flag-5'>側</b>AI元年爆發!廣和通AI模組及解決方案全面支持<b class='flag-5'>DeepSeek</b>-R1蒸餾模型](https://file.elecfans.com/web2/M00/8B/24/pYYBAGPBIIyADibSAACSf3GntcU919.png)
訊飛開放平臺支持DeepSeek
軟通動力天元智算接入DeepSeek系列模型
部署DeepSeek R1于AX650N與AX630C平臺
![部署<b class='flag-5'>DeepSeek</b> R1于AX650N與AX630C<b class='flag-5'>平臺</b>](https://file1.elecfans.com/web3/M00/07/93/wKgZPGeoBhiAbFSOAAAYmyujFsI606.jpg)
DeepSeek對芯片算力的影響
![<b class='flag-5'>DeepSeek</b>對芯片<b class='flag-5'>算</b><b class='flag-5'>力</b>的影響](https://file.elecfans.com/web2/M00/43/36/poYBAGJ82TeAPsAHAAA_r6nG8nE277.jpg)
![](https://file1.elecfans.com/web3/M00/06/DA/wKgZO2ePxA2AEaTzAAQet3Edt48898.jpg)
評論