91在线观看视频-91在线观看视频-91在线观看免费视频-91在线观看免费-欧美第二页-欧美第1页

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

AI推理的存儲,看好SRAM?

花茶晶晶 ? 來源:電子發燒友網 ? 作者:黃晶晶 ? 2025-03-03 08:51 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

電子發燒友網報道(文/黃晶晶)近幾年,生成式AI引領行業變革,AI訓練率先崛起,帶動高帶寬內存HBM一飛沖天。但我們知道AI推理的廣泛應用才能推動AI普惠大眾。在AI推理方面,業內巨頭、初創公司等都看到了其前景并提前布局。AI推理也使得存儲HBM不再是唯一熱門,更多存儲芯片與AI推理芯片結合,擁有了市場機會。

已經有不少AI推理芯片、存算一體芯片將SRAM替代DRAM,從而獲得更快的訪問速度、更低的刷新延遲等。

靜態隨機存取存儲器(Static Random-Access Memory,SRAM)是隨機存取存儲器的一種。這種存儲器只要保持通電,里面儲存的數據就可以恒常保持。相對之下,動態隨機存取存儲器(DRAM)里面所儲存的數據就需要周期性地更新。但當電力供應停止時,SRAM儲存的數據還是會消失,這與在斷電后還能儲存資料的ROM或閃存不同。

SRAM具有較高的性能,但SRAM的集成度較低,功耗較DRAM大,SRAM需要很大的面積。同樣面積的硅片可以做出更大容量的DRAM,因此SRAM顯得更貴。SRAM可作為置于CPU與主存間的高速緩存,不需要定期刷新,響應速度非常快,可用于CPU的一級緩沖、二級緩沖。

GroqLPU近存計算

在AI推理大潮下,Groq公司開發的語言處理單元(Language Processing Unit,即LPU),以其獨特的架構,帶來了極高的推理性能的表現。

Groq的芯片采用14nm制程,搭載了230MB SRAM以保證內存帶寬,片上內存帶寬達80TB/s。
SRAM 的訪問速度比 DRAM 快得多,這使得它在某些計算密集型應用中表現得非常出色。Groq LPU 芯片采用大容量 SRAM內存有助于提高機器學習人工智能等計算密集型工作負載的效率。

Groq成立于 2016 年,總部位于美國加利福尼亞州山景城,是一家 AI 推理芯片廠商。該公司核心團隊來源于谷歌最初的張量處理單元(TPU)工程團隊。Groq 創始人兼CEO Jonathan Ross是谷歌TPU項目的核心研發人員。

2024年8月,Groq 在最新一輪融資中籌集了 6.4 億美元,由 BlackRock Inc. 基金領投,并得到了思科和三星投資部門的支持。

2024 年 12 月Groq在沙特阿拉伯達曼構建了中東地區最大的推理集群,該集群包括了 19000 個Groq LPU,并在 8 天內上線。

今年2月,Groq成功從沙特阿拉伯籌集 15 億美元融資,用于擴展其位于沙特阿拉伯的 AI 基礎設施。

AxeleraAIPU芯片:內存計算+RISC-V架構

Axelera公司介紹,內存計算是一種完全不同的數據處理方法,在這種方法中,存儲器設備的橫桿陣列可以用來存儲矩陣,并在沒有中間數據移動的情況下“就地”執行矩陣向量乘法。專有的數字內存計算(D-IMC)技術是實現高能效和卓越性能的關鍵。基于SRAM(靜態隨機訪問存儲器)和數字計算相結合,每個存儲單元有效地成為一個計算單元。這從根本上增加了每個計算機周期的操作數(每個存儲單元每個周期一次乘法和一次累加),而不受噪音或較低精度等問題的影響。

Axelera的AIPU芯片采用了創新的內存計算技術。與傳統的磁盤存儲相比,內存計算將數據存儲在主內存(RAM)中,從而加快了數據處理速度。這一技術使得Axelera的芯片在提供高計算性能的同時,能以更低的成本和能耗來進行邊緣AI計算。該芯片還采用了開源的RISC-V指令集架構(ISA)。RISC-V作為一種低成本、高效且靈活的ISA,允許根據特定的應用需求進行定制。它為Axelera提供了極大的設計自由度和創新空間。

去年,Axelera獲得了來自三星電子風險投資部門三星Catalyst的大力支持,成功籌集了6800萬美元,至此Axelera的總融資額已達到1.2億美元。新投資者包括三星基金、歐洲創新委員會基金、創新產業戰略伙伴關系基金和Invest-NL。

EnCharge AI模擬存內計算

AI 芯片初創公司 EnCharge AI表示,已開發出一種用于 AI 推理的新型內存計算架構,EnCharge AI的核心技術是基于模擬存內計算的AI芯片。這種創新的芯片設計采用"基于電荷的存儲器",通過讀取存儲平面上的電流而非單個比特單元來處理數據,使用更精確的電容器替代了傳統的半導體

GPU等數字加速器相比,每瓦性能提高了 20 倍。EnCharge AI的推理芯片僅需一瓦的功率就能以8位元精度提供150 TOPS的AI運算。

EnCharge AI源自普林斯頓大學,該公司創始人兼CEO Naveen Verma的相關研究項目涉及到內存計算。用于機器學習計算的內存計算采用在RAM中運行計算的方式,以減少存儲設備帶來的延遲。

今年初,EnCharge AI完成超額認購的1億美元b輪融資。此輪超額認購融資使EnCharge AI的總融資額超過1.44億美元,將推動其首款以客戶端運算為主的AI加速器產品,并在2025年實現商業化。

d-Matrix數字內存計算DIMC架構

d-Matrix采用數字內存計算(DIMC)的引擎架構將計算移動到RAM(內存)附近,該數字存算一體技術將存儲器與計算單元中的乘法累加器(MAC)進行了合并,獲得了更大的計算帶寬和效率,降低延遲,減少能耗。首批采用d-Matrix的DIMC架構的產品Jayhawk II處理器,包含約165億晶體管的Chiplet。每個Jayhawk II Chiplet都包含一個RISC-V核心對Chiplet進行管理,每個核心有八個并行操作的DIMC單元。

去年底d-Matrix首款人工智能芯片Corsair開始出貨。每張Corsair卡由多個DIMC計算核心驅動,具有2400 TFLOP的8位峰值計算能力、2GBSRAM和高達256GB的LPDDR6。

d-Matrix公司是一家位于加利福尼亞州圣克拉拉市的初創公司,專注于人工智能芯片的研發。該公司的主要產品是針對數據中心云計算中的AI服務器設計的芯片,旨在優化人工智能推理工作負載。d-Matrix公司已經獲得了多家知名投資機構的支持,包括微軟風險投資部門、新加坡投資公司淡馬錫、Palo Alto Networks等,D-Matrix曾在2022年4月獲得了4400萬美元融資,由 M12 和韓國半導體制造商 SK 海力士公司領投。累計融資超過1.6億美元。

雖然說SRAM的擁有成本比較高,但其在AI推理運算中能夠減少數據來回傳輸的延遲,避免拖慢整個AI處理的速度。在AI推理的浪潮下,SRAM將發揮更大的作用。還有哪些存儲芯片因AI推理而贏得機會,我們將持續關注報道。
聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 存儲
    +關注

    關注

    13

    文章

    4531

    瀏覽量

    87421
  • sram
    +關注

    關注

    6

    文章

    785

    瀏覽量

    115926
  • AI
    AI
    +關注

    關注

    88

    文章

    35080

    瀏覽量

    279417
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    AI驅動新型存儲器技術,國內新興存儲企業進階

    為了加速AI的訓練與推理應用。但另一方面,新型存儲也在AI時代扮演越來越重要的角色,最近國內新興存儲企業也將目光投向于此,并推出新產品等,以
    發表于 10-16 08:10 ?1462次閱讀
    <b class='flag-5'>AI</b>驅動新型<b class='flag-5'>存儲</b>器技術,國內新興<b class='flag-5'>存儲</b>企業進階

    谷歌第七代TPU Ironwood深度解讀:AI推理時代的硬件革命

    谷歌第七代TPU Ironwood深度解讀:AI推理時代的硬件革命 Google 發布了 Ironwood,這是其第七代張量處理單元 (TPU),專為推理而設計。這款功能強大的 AI
    的頭像 發表于 04-12 11:10 ?1804次閱讀
    谷歌第七代TPU Ironwood深度解讀:<b class='flag-5'>AI</b><b class='flag-5'>推理</b>時代的硬件革命

    曙光存儲全新升級AI存儲方案

    近日,曙光存儲全新升級AI存儲方案,秉持“AI加速”理念,面向AI訓練、AI
    的頭像 發表于 03-31 11:27 ?494次閱讀

    英偉達GTC2025亮點:NVIDIA與行業領先存儲企業共同推出面向AI時代的新型企業基礎設施

    存儲提供商構建搭載 AI 查詢智能體的基礎設施,利用 NVIDIA 計算、網絡和軟件,針對復雜查詢進行推理并快速生成準確響應 NVIDIA 推出了 NVIDIA AI 數據平臺 ——
    的頭像 發表于 03-21 09:42 ?654次閱讀

    英偉達GTC25亮點:NVIDIA Blackwell Ultra 開啟 AI 推理新時代

    英偉達GTC25亮點:NVIDIA Blackwell Ultra 開啟 AI 推理新時代
    的頭像 發表于 03-20 15:35 ?722次閱讀

    英偉達GTC25亮點:NVIDIA Dynamo開源庫加速并擴展AI推理模型

    DeepSeek-R1 上的吞吐量提高了 30 倍 NVIDIA 發布了開源推理軟件 NVIDIA Dynamo,旨在以高效率、低成本加速并擴展 AI 工廠中的 AI 推理模型。 作
    的頭像 發表于 03-20 15:03 ?641次閱讀

    NVIDIA 與行業領先的存儲企業共同推出面向 AI 時代的新型企業基礎設施

    存儲提供商構建搭載 AI 查詢智能體的基礎設施,利用 NVIDIA 計算、網絡和軟件,針對復雜查詢進行推理并快速生成準確響應 ? 美國加利福尼亞州圣何塞 —— GTC —— 太平洋時間 2025 年
    發表于 03-19 10:11 ?243次閱讀
    NVIDIA 與行業領先的<b class='flag-5'>存儲</b>企業共同推出面向 <b class='flag-5'>AI</b> 時代的新型企業基礎設施

    AI變革正在推動終端側推理創新

    尖端AI推理模型DeepSeek R1一經問世,便在整個科技行業引起波瀾。因其性能能夠媲美甚至超越先進的同類模型,顛覆了關于AI發展的傳統認知。
    的頭像 發表于 02-20 10:54 ?547次閱讀

    不再是HBM,AI推理流行,HBF存儲的機會來了?

    NAND閃存和高帶寬存儲器(HBM)的特性,能更好地滿足AI推理的需求。 ? HBF的堆疊設計類似于HBM,通過硅通孔(TSVs)將多個高性能閃存核心芯片堆疊,連接到可并行訪問閃存子陣列的邏輯芯片上。也就是基于 SanDisk
    的頭像 發表于 02-19 00:51 ?2798次閱讀
    不再是HBM,<b class='flag-5'>AI</b><b class='flag-5'>推理</b>流行,HBF<b class='flag-5'>存儲</b>的機會來了?

    使用NVIDIA推理平臺提高AI推理性能

    NVIDIA推理平臺提高了 AI 推理性能,為零售、電信等行業節省了數百萬美元。
    的頭像 發表于 02-08 09:59 ?707次閱讀
    使用NVIDIA<b class='flag-5'>推理</b>平臺提高<b class='flag-5'>AI</b><b class='flag-5'>推理</b>性能

    生成式AI推理技術、市場與未來

    OpenAI o1、QwQ-32B-Preview、DeepSeek R1-Lite-Preview的相繼發布,預示著生成式AI研究正從預訓練轉向推理(Inference),以提升AI邏輯推理
    的頭像 發表于 01-20 11:16 ?829次閱讀
    生成式<b class='flag-5'>AI</b><b class='flag-5'>推理</b>技術、市場與未來

    AI推理CPU當道,Arm驅動高效引擎

    AI的訓練和推理共同鑄就了其無與倫比的處理能力。在AI訓練方面,GPU因其出色的并行計算能力贏得了業界的青睞,成為了當前AI大模型最熱門的芯片;而在
    的頭像 發表于 11-13 14:34 ?3382次閱讀
    <b class='flag-5'>AI</b><b class='flag-5'>推理</b>CPU當道,Arm驅動高效引擎

    NVIDIA助力麗蟾科技打造AI訓練與推理加速解決方案

    麗蟾科技通過 Leaper 資源管理平臺集成 NVIDIA AI Enterprise,為企業和科研機構提供了一套高效、靈活的 AI 訓練與推理加速解決方案。無論是在復雜的 AI 開發
    的頭像 發表于 10-27 10:03 ?811次閱讀
    NVIDIA助力麗蟾科技打造<b class='flag-5'>AI</b>訓練與<b class='flag-5'>推理</b>加速解決方案

    李開復:中國擅長打造經濟實惠的AI推理引擎

    10月22日上午,零一萬物公司的創始人兼首席執行官李開復在與外媒的交流中透露,其公司旗下的Yi-Lightning(閃電模型)在推理成本上已實現了顯著優勢,比OpenAI的GPT-4o模型低了31倍。他強調,中國擅長打造經濟實惠的AI
    的頭像 發表于 10-22 16:54 ?727次閱讀

    AMD助力HyperAccel開發全新AI推理服務器

    HyperAccel 是一家成立于 2023 年 1 月的韓國初創企業,致力于開發 AI 推理專用型半導體器件和硬件,最大限度提升推理工作負載的存儲器帶寬使用,并通過將此解決方案應用于
    的頭像 發表于 09-18 09:37 ?875次閱讀
    AMD助力HyperAccel開發全新<b class='flag-5'>AI</b><b class='flag-5'>推理</b>服務器
    主站蜘蛛池模板: 免费人成动漫在线播放r18 | 好黄好猛好爽好痛的视频 | 激情久久婷婷 | 久久精品免费视频观看 | 牛仔裤美女国产精品毛片 | 天天综合网天天综合色 | 18女人毛片 | 日本卡一卡2卡3卡4精品卡无人区 | 婷婷四房播客五月天 | 国产成年女一区二区三区 | 日本最好的免费影院 | 日韩高清性爽一级毛片免费 | 曰本性l交片视频视频 | 在线看一区二区 | 一区二区三区免费 | 性欧美精品 | 最新大黄网站免费 | 天天干天天骑 | 国产情侣出租屋露脸实拍 | 给个网站可以在线观看你懂的 | 在线播放色 | 曰本性l交片视频视频 | 色射色| 去毛片 | 一级片aaaa| bt天堂在线www种子搜索 | 狠狠色噜噜狠狠狠狠五月婷 | 日韩a毛片免费全部播放完整 | 亚洲欧美视频一区二区 | 四虎国产精品视频免费看 | 激情综合丁香 | 国产成人1024精品免费 | 黄色大毛片 | 中文天堂最新版www 中文天堂最新版在线精品 中文天堂最新版在线中文 中文天堂最新版资源新版天堂资源 | 亚洲一区二区三区免费在线观看 | 202z国产高清日本在线播放 | 色综合 成人 | 欧美aaaaaaaaa | 日韩久久精品视频 | 一级特级女人18毛片免费视频 | 中文字幕自拍 |