在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

生成式AI的I/O瓶頸,或許可以用光子IC來突破

E4Life ? 來源:電子發燒友網 ? 作者:周凱揚 ? 2023-10-13 00:02 ? 次閱讀

電子發燒友網報道(文/周凱揚)從回答問題對話到寫文章,ChatGPT這類應用已經幫我們展示了生成式AI帶來的第一波震撼,從OpenAI的路線也可以看出,他們已經在努力把處理對象從單純的文字,轉換成圖片、音頻乃至視頻了。但這也意味著待處理的數據大小以數量級提升,畢竟再長的文本和視頻文件大小比起來還是相去甚遠。

I/O瓶頸

要想進一步提升生成式AI的處理性能,我們就不得不看下背后為其提供動力的基礎設備,也就是GPU、AI加速器、高帶寬內存和光模塊。AI模型發展的早期,只需單個GPU甚至是CPU就能處理簡單的AI模型,而如今這些先進的AI模型,沒有大型機柜組成的服務器和成千上萬個GPU,是很難運行起來的。

比如特斯拉老版的自動駕駛訓練超算,就是由720個節點的8x英偉達A100 GPU構成的,算力高達1.8 EFLOPS。小鵬于去年建成的智算中心扶搖算力規模高達600PFLOPS,預計也用到了上千塊GPU。

盡管部署大量GPU是擴展算力的最直接途徑,但與此同時傳統的互聯方案還是創造了巨大的I/O瓶頸,嚴重影響了GPU的性能利用率,導致更多的時間花在了等待數據而不是處理數據上。

為此,常用的方案變成了添加更多的GPU來彌補性能和計算效率上的損失,可這樣的趨勢已經在逐漸被淘汰,因為從減少碳足跡的角度來看,全球范圍內各個國家都在開始考慮減少數據中心的能源損耗了。

光子IC

除此之外,另一解決方案就是利用光模塊來解決速度慢的節點間電氣連接,然而光模塊成本較高、密度較低,所以需要更高速、端到端又能降低成本互聯方案,即芯片到芯片之間的光學I/O。

利用更高帶寬的光學連接取代諸多并行和高速串行I/O通道,這一愿景促使了行業對近封裝光學和共封裝光學的追求。相較外部可插拔的管模塊,光子IC可將光學I/O集成到GPU封裝內部,用來與其他的GPU節點進行直接通信,進一步提高了AI算力的擴展效率,滿足了當下持續增長的AI需求。

近期,Sivers Semiconductors就在歐洲光通信展覽會上展出了他們打造的八波長分布式反饋(DFB)激光器陣列,該陣列集成在了Ayar Labs的SuperNova多波長光源中,支持GPU之間最高4TB/s的數據傳輸。根據Ayar Labs提供的數據,新的光源配合它們的TeraPHY封裝內光學I/O Chiplet,還提供了低上10倍的延遲和8倍的傳輸能效。

這樣的表現無疑極大地提升GPU的性能利用效率,解決當下生成式AI在I/O性能瓶頸上的燃眉之急。盡管光子計算芯片目前尚不能替代傳統的電子半導體器件,但從解決帶寬和延遲需求上已經有了長足的進步。

寫在最后

面對生成式AI模型大小的指數級上漲,以及逐漸龐大起來的推理數據量,傳統的I/O性能必然會面臨淘汰,而光子IC為高性能的AI芯片提供了一條更快更高效的通路。不過仍然需要注意的是,光子IC與傳統IC還有設計與制造上的區別,比如需要特定的設計工具以及工藝等。因此要想發展光子IC跟上這一波趨勢,就必須從EDA和晶圓代工廠開始抓起。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • IC
    IC
    +關注

    關注

    36

    文章

    6086

    瀏覽量

    178223
收藏 人收藏

    評論

    相關推薦
    熱點推薦

    MAX7325 I2C端口擴展器,提供8路推挽I/O和8個漏極開路I/O技術手冊

    MAX7325 2線串行接口外設具有16路I/O端口。其中8路為推挽輸出,另外8路為I/O端口,帶有可選擇的內部上拉和瞬態檢測功能。8路I/
    的頭像 發表于 05-22 15:27 ?96次閱讀
    MAX7325 <b class='flag-5'>I</b>2C端口擴展器,提供8路推挽<b class='flag-5'>式</b><b class='flag-5'>I</b>/<b class='flag-5'>O</b>和8個漏極開路<b class='flag-5'>I</b>/<b class='flag-5'>O</b>技術手冊

    光子 AI 處理器的核心原理及突破性進展

    光子 AI 處理器依靠光信號的傳輸、調制及檢測完成計算任務,因其具備高速、低功耗、高帶寬等突出優勢,被視作突破現有計算瓶頸的關鍵技術之一
    的頭像 發表于 04-19 00:40 ?2291次閱讀

    2025設備管理新范式:生成AI在故障知識庫中的創新應用

    生成 AI 提供了全新的解決方案,引領設備管理進入“健康治理”新紀元。傳統設備管理深陷知識困局,知識沉淀遭遇“三重斷點”,而生成
    的頭像 發表于 03-31 10:44 ?223次閱讀
    2025設備管理新范式:<b class='flag-5'>生成</b><b class='flag-5'>式</b><b class='flag-5'>AI</b>在故障知識庫中的創新應用

    AI Agent 應用與項目實戰》閱讀心得2——客服機器人、AutoGen框架 、生成代理

    行適應性學習。生成代理的技術實現為AI系統帶來了新的發展方向。項目中的記憶架構設計特別值得關注,它不僅解決了傳統AI系統中的記憶瓶頸問題,
    發表于 02-25 21:59

    Lightmatter借助Cadence工具構建光子芯片

    生成 AI 日益普及,托管和訓練這些算法所消耗的能源也隨之增加。光子技術以光子為主要計算源,基于光子
    的頭像 發表于 02-24 10:37 ?479次閱讀

    聚云科技榮獲亞馬遜云科技生成AI能力認證

    助力企業加速生成AI應用落地 北京2025年2月14日?/美通社/ -- 云管理服務提供商聚云科技獲得亞馬遜云科技生成
    的頭像 發表于 02-14 16:07 ?314次閱讀

    聚云科技榮獲亞馬遜云科技生成AI能力認證 助力企業加速生成AI應用落地

    北京 ——2025 年 2 月 14 日 云管理服務提供商聚云科技獲得亞馬遜云科技生成AI能力認證,利用亞馬遜云科技全托管的生成
    發表于 02-14 13:41 ?120次閱讀

    生成AI工具好用嗎

    當下,生成AI工具正以其強大的內容生成能力,為用戶帶來了前所未有的便捷與創新。那么,生成
    的頭像 發表于 01-17 09:54 ?356次閱讀

    國內生成AI備案數量突破300款

    服務數量高達238款,占據了總備案數量的絕大部分,充分展示了該領域技術創新和市場需求的強勁動力。這一快速增長不僅反映了國內企業在生成AI技術上的不斷突破,也體現了市場對該類服務的廣泛
    的頭像 發表于 01-09 11:14 ?742次閱讀

    Google兩款先進生成AI模型登陸Vertex AI平臺

    新的 AI 模型,包括最先進的視頻生成模型Veo以及最高品質的圖像生成模型Imagen 3。近日,我們在 Google Cloud 上進一步推動這一勢頭,客戶可以在Vertex
    的頭像 發表于 12-30 09:56 ?465次閱讀

    生成AI工具作用

    生成AI工具是指那些能夠自動生成文本、圖像、音頻、視頻等多種類型數據的人工智能技術。在此,petacloud.ai小編為您整理
    的頭像 發表于 10-28 11:19 ?606次閱讀

    谷歌Vertex AI助力企業生成AI應用

    過去的一段時間,我們看到了許多 Google Cloud 客戶對生成 AI 和 agent 的精彩應用,令我們拍案叫絕。為了讓企業能夠更快推出功能強大的 AI agent,Googl
    的頭像 發表于 09-09 15:59 ?780次閱讀

    使用OpenVINO GenAI API的輕量級生成AI

    機器人的進步很快、變化不斷,很難預測接下來會有什么突破,開發者應該關注什么。我們知道生成AI將繼續存在,開發人員希望看到在本地開發、維護和部署 A
    的頭像 發表于 07-24 15:08 ?999次閱讀

    生成AI的基本原理和應用領域

    生成人工智能(Generative Artificial Intelligence,簡稱Generative AI)是一種利用機器學習算法和深度學習技術,通過模擬人類的創造性思維過程,生成
    的頭像 發表于 07-04 11:50 ?2944次閱讀

    原來這才是【生成AI】!!

    隨著ChatGPT、文心一言等AI產品的火爆,生成AI已經成為了大家茶余飯后熱議的話題。可是,為什么要在AI前面加上“
    的頭像 發表于 06-05 08:04 ?290次閱讀
    原來這才是【<b class='flag-5'>生成</b><b class='flag-5'>式</b><b class='flag-5'>AI</b>】!!
    主站蜘蛛池模板: 天堂网中文 | 永久黄网站色视频免费 | 精品一区二区三区免费毛片爱 | 天天澡天天摸天天爽免费 | 亚洲一区日韩一区欧美一区a | 天堂最新版资源www在线 | 四虎四虎 | 日日操夜夜骑 | 亚洲婷婷影院 | 午夜在线视频观看版 | 黑人破乌克兰美女处 | 天天做天天看夜夜爽毛片 | 美女黄18以下禁止观看 | caoporn成人免费公开 | 一本到视频在线 | 99精品免费视频 | 日本天天操 | 成人a在线 | 欧美国产黄色 | 性xxxx奶大欧美高清 | 久操视频网 | 成人精品第一区二区三区 | 日本网站黄色 | 免费人成在线观看网站 | 性生交大片免费一级 | 天堂网在线.www天堂在线资源 | 国产精品免费视频拍拍拍 | 丁香婷婷开心激情深爱五月 | 69日本xxxhd| 日本a在线看 | 国产肥女bbwbbw| 五月婷婷色综合 | 鸥美三级 | 国产伦精品一区二区三区在线观看 | 午夜网站视频 | 天堂在线最新版在线www | 最新亚洲情黄在线网站 | 91大神成人偷拍在线观看 | 久久亚洲综合色 | 欧美另类丰满69xxxxx | а中文在线天堂 |