電子發燒友網報道(文/李彎彎)隨著技術的發展,現在計算的任務越來越復雜,需要的數據也越來越多,而在馮諾依曼架構中,數據需要在存儲、內存、緩存、計算單元中不斷搬運,造成大部分時間、帶寬、緩存、功耗都消耗在數據搬運上,而不是計算上,因此內存墻都成了一個越來越嚴重的問題。
這種問題在人工智能計算中尤為明顯,知存科技創始人兼CEO王紹迪近日在某論壇分享到:“這種數據搬運消耗的功耗超過95%以上,帶寬也會達到80%以上,比如片上緩存,1MB的SRAM和8KB的SRAM在數據搬運上消耗的功耗相差10倍。”因此業界都在思考減少內存墻問題。
存算一體有效解決內存墻問題
存算一體主要有近存計算和存內計算。近存計算可以理解為通過先進封裝拉近存儲、內存和計算單元的距離,比如SRAM,在馮諾依曼架構中,很多時候SRAM用作緩存,多核共同使用,這樣緩存到每個核都有一定距離,數據搬運、訪問時間、功耗都會增加,王紹迪介紹:“近緩存計算把SRAM與計算單元合在一起,這個SRAM只供本地計算單元使用,數據訪問時間和帶寬都有很大提升。”
存內計算比近存計算更高效,同時也更難以實現,存內計算一般是使用存儲的參數去完成計算,比如SRAM存內計算,Flash存內計算、以及RRAM存內計算。存內計算實際上是一個計算的模塊,而不再是存儲的模塊,實踐的方式是用存儲的參數去完成運算,從存儲器中讀出的數據是運算的結果,而不是存儲的數據。
在馮諾依曼架構中,不管是做加法運算還是乘法運算,都需要把數據從存儲架構中讀出來,包括緩存、內存、以及片外的存儲,最終將數據讀到計算單元中完成運算。從緩存中讀取數據,要消耗運算幾倍、幾十倍、甚至幾百倍的功耗,從內存讀取數據,搬運功耗是運算的近千倍,從外部的存儲讀取,達到上萬倍。
因此在數據量很大的計算中,馮諾依曼架構的效率就會非常低,而存內計算,存儲器中存儲了參數,被處理的數據作為輸入信號,被處理的信號流過存儲器中所有的參數,從存儲器中輸出的數據就是運算的結果。
王紹迪表示,“存內計算的優勢在于,能夠將存儲器中眾多的存儲單元轉化為運算單元,這樣能計算的并行度就會大幅提高,從原來幾十、幾百個并行,到存內計算幾百萬、幾千萬、甚至幾億個乘加法的并行度,運算效率很高。”
除了可以大規模并行運算,還可以很大程度節省數據帶寬。簡單來說,一個傳統的存儲器,多行多列,一次至多激活一行,讀取出一行的數據,而要把多行數據讀取出來,需要進行多個存儲器周期,分別激活每一行,讀出每一行的數據。而存內計算可以同時把輸入數據給多行,同時多行的輸入數據與每一行的參數做乘法運算,在列的方向直接把運算的結果讀取出來,它是同時多行多列并行激活的方法。
現在的存內計算可以做到千行千列同時開啟,使用效率比傳統存儲器提高近千倍,王紹迪談到:“整體來看,包括輸入輸出,存內計算運算效率一般會有幾十倍的提升,而且提升倍數還一直在增加,存內計算的發展速度很快,最近處于早期的快速發展階段,每年都有數倍性能的提升。”
知存科技WTM2101智能解決方案
知存科技目前在存內計算領域較為領先,公司成立于2017年底,目前已經推出兩款存算一體芯片,其中WTM1001已經批量量產,WTM2101處于小批量階段,知存科技目前已經完成五輪融資。
WTM2101是一款尺寸很小的SOC芯片,包括一個1.8MB存內計算的Flash,該存儲模塊除了用于存內計算,也可以用于普通的存儲。王紹迪介紹:“這款芯片的封裝很小,可以用在可穿戴設備中,目前計算的功耗非常低,比如如果做連續100個詞到300個詞的識別,功耗可以控制在1mA以內,其中100個詞可以功耗可以到60微安。該芯片在運行語音識別、語音增強、物體識別、智能健康,以及其他的一些AI算法上,可以把算力和效率提升20倍到50倍。”
另外WTM2101首次用了獨有的專利HPU,它是一個混合計算單元,實際上是把數字計算和模擬計算結合在一起,因為模擬計算有精度上限,為了提高精度,加了一個稀疏的計算單元,可以把存內計算的精度進一步提高,最高提高4比特。
存內計算未來的發展趨勢
隨著存內計算的發展,未來的應用場景也會越來越廣,當前存內計算主要應用在端側,一是受精度的限制,8比特,二是受容量限制,在幾兆的級別,三是算力,基本在0.1T到1T的范圍。
不過未來一兩年將會發展到邊側,精度會提高到12比特,容量會達到16兆到64兆,算力也可以提升到最大32T,這樣可以覆蓋很多邊緣側的應用需求。未來還會向云端發展,存內計算精度會達到到16比特,容量會超過1000M,算力會達到256T到1024T。
存內計算在云側、邊側、端側,優勢各不相同,在端側,存內計算在功耗的限制下可以提供大的算力,在邊緣側,在功耗、體積限制下也有很強的算力,在云端,可以提供更低成本的解決方案。
存內計算現在處于一個很快的發展階段,未來幾年,每年都會有很快的迭代速度。早期,產業界對存內計算的關注不多,投入也很少,最近存內計算逐漸得到越來越多的關注,王紹迪認為,未來五年存內計算都會在處在非常快速的發展階段,在各種各樣的場景中,進行規模化的落地應用。
聲明:本文由電子發燒友原創,轉載請注明以上來源。如需入群交流,請添加微信elecfans999,投稿爆料采訪需求,請發郵箱huangjingjing@elecfans.com。
編輯:jq
-
存儲器
+關注
關注
38文章
7528瀏覽量
164350 -
SoC芯片
+關注
關注
1文章
617瀏覽量
35046 -
人工智能
+關注
關注
1796文章
47683瀏覽量
240337 -
存算一體
+關注
關注
0文章
104瀏覽量
4351
原文標題:有效解決內存墻問題 存算一體正處在快速發展階段
文章出處:【微信號:elecfans,微信公眾號:電子發燒友網】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
存算一體行業2024年回顧與2025年展望
直播預約 |開源芯片系列講座第24期:SRAM存算一體:賦能高能效RISC-V計算
![直播預約 |開源芯片系列講座第24期:SRAM<b class='flag-5'>存</b><b class='flag-5'>算</b><b class='flag-5'>一體</b>:賦能高能效RISC-V計算](https://file1.elecfans.com/web2/M00/E5/E7/wKgZomZFcsyAcT-5AAA2A4dQRkQ217.png)
存算一體化與邊緣計算:重新定義智能計算的未來
![<b class='flag-5'>存</b><b class='flag-5'>算</b><b class='flag-5'>一體</b>化與邊緣計算:重新定義智能計算的未來](https://file.elecfans.com/web2/M00/4E/DC/poYBAGLCjeiALm_WAAAYmfR7Qec474.png)
存算一體架構創新助力國產大算力AI芯片騰飛
科技新突破:首款支持多模態存算一體AI芯片成功問世
![科技新突破:首款支持多模態<b class='flag-5'>存</b><b class='flag-5'>算</b><b class='flag-5'>一體</b>AI芯片成功問世](https://file1.elecfans.com/web2/M00/09/01/wKgaomb09rmARsAYAANISILK6RA658.jpg)
后摩智能首款存算一體智駕芯片獲評突出創新產品獎
蘋芯科技引領存算一體技術革新 PIMCHIP系列芯片重塑AI計算新格局
![蘋芯科技引領存<b class='flag-5'>算</b><b class='flag-5'>一體</b>技術革新 PIMCHIP系列芯片重塑AI計算新格局](https://file1.elecfans.com/web2/M00/01/50/wKgZoma0jkyAA36kAANIR3SKl7U803.jpg)
后摩智能推出邊端大模型AI芯片M30,展現出存算一體架構優勢
知存科技助力AI應用落地:WTMDK2101-ZT1評估板實地評測與性能揭秘
探索存內計算—基于 SRAM 的存內計算與基于 MRAM 的存算一體的探究
![探索<b class='flag-5'>存</b>內計算—基于 SRAM 的<b class='flag-5'>存</b>內計算與基于 MRAM 的<b class='flag-5'>存</b><b class='flag-5'>算</b><b class='flag-5'>一體</b>的探究](https://file1.elecfans.com/web2/M00/E6/E2/wKgaomZFvUmAdDhcAAOm7CA4uuk723.png)
知存科技攜手北大共建存算一體化技術實驗室,推動AI創新
北京大學-知存科技存算一體聯合實驗室揭牌,開啟知存科技產學研融合戰略新升級
![北京大學-知<b class='flag-5'>存</b>科技<b class='flag-5'>存</b><b class='flag-5'>算</b><b class='flag-5'>一體</b>聯合實驗室揭牌,開啟知<b class='flag-5'>存</b>科技產學研融合戰略新升級](https://file1.elecfans.com/web2/M00/E2/05/wKgZomY6EYOAB0DSAAAVRRWYK_k030.jpg)
大算力時代, 如何打破內存墻
![大<b class='flag-5'>算</b>力時代, 如何打破<b class='flag-5'>內存</b><b class='flag-5'>墻</b>](https://file1.elecfans.com//web2/M00/C3/CE/wKgaomXoWMiACubKAAKA_x0O2eE407.jpg)
評論