91在线观看视频-91在线观看视频-91在线观看免费视频-91在线观看免费-欧美第二页-欧美第1页

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

數據中心如何更快、更經濟地利用AI?

康普中國 ? 來源:康普中國 ? 2023-11-08 15:21 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

人氣科幻小說在描繪“機器智能的崛起”時,通常伴隨著激光、爆炸等場景,就算不是這般震撼,至少也會帶有些許哲學上的恐懼意味。但毋庸置疑的是,人們日益關注人工智能AI)和機器學習(ML)在更廣泛應用中的可能性,而且新的應用也層出不窮。

目前,數百萬人已經開始通過 ChatGPT 和其他AI界面來嘗試這些想法。但這些用戶中的許多人并沒有意識到,他們通過電腦屏幕與富有好奇心的AI助手之間的交流實際上是由位于全球各地的大型數據中心驅動的。

企業也在其數據中心內投資建立自己的AI集群,構建、訓練并完善自己的AI模型,以滿足其自身商業利益。這些AI的核心就是由大量 GPU(圖形處理器)機架所構成的,其可提供AI模型所需的驚人的并行處理能力,以便對其算法進行詳盡的訓練。

在導入數據集后,AI推理會對數據進行分析,并闡釋其中蘊含的意義。例如,基于貓與狗特征差異進行訓練,就能識別出圖片中呈現的是貓還是狗。然后,生成式AI就可以對此數據進行處理,以創建全新的圖像或文本。

正是這種“智能”的處理吸引著全球各地的人們、政府和企業發揮想象力。據IDC最新發布的《全球人工智能支出指南》預計,2027年中國AI投資規模有望達到381億美元,全球占比約9%。近年來,本土人工智能產業向高質量發展邁進,并加速與各行業的不同需求的融合落地。然而,創建一個有用的AI算法需要大量的數據用于訓練,而這是一個成本高昂且耗能的過程。

“智能”源自高效的訓練

數據中心一般都有著離散式的AI和計算集群,他們協同工作以提供訓練AI算法的數據。這些高能耗 GPU 產生的熱量限制了在給定機架空間內能夠安裝GPU的數量,因此必須優化物理布局。另一個令人擔憂的問題是,光纖線纜線路過長會增加插入損耗。

光纖是一種高效、低損耗、低延遲的基礎設施,AI集群的運行速度可達 100G 或 400G。然而,隨著大量數據在AI集群中傳輸,每增加一米光纖布線,都會帶來成本高昂的延遲和損耗。

一般認為,訓練大規模AI所需的時間中,約有三成消耗在網絡延遲上,其余七成用于計算時間。任何減少延遲的機會,哪怕是通過減少 10 米光纖來減少 50 納秒的延遲,都能節省大量的時間和成本。考慮到訓練這樣一個大型AI模型動輒需要花費 1000 萬美元或更多,延遲的代價就非常明顯了。

縮減光纖米數、延遲納秒數和功耗瓦數

運營商應仔細考慮在AI集群中使用哪些光收發器和光纜,以最大限度地降低成本和功耗。由于光纖運行必須盡可能短,因此光學成本將取決于收發器。使用并行光纖的收發器的優勢在于其無需用于波分復用的光復用器和解復用器。因此,使用并行光纖的收發器成本和功耗都更低。收發器成本的節省足以抵消多芯光纜(而非雙工光纜)成本的小幅增加。例如,使用8芯光纜的 400G-DR4 收發器比使用雙工光纜的 400G-FR4 收發器更具成本效益。

單模光纖和多模光纖應用可支持長達 100 米的鏈路。硅光等技術的進步降低了單模收發器的成本,使其接近同等多模收發器的成本。對于高速收發器(400G +)而言,單模收發器的成本往往是同等多模收發器成本的兩倍。雖然多模光纖的成本略高于單模光纖,但由于多模光纖線纜成本主要取決于 MPO 連接器,因此多模和單模之間的線纜成本差異較小。

此外,高速多模收發器的功耗比單模收發器低一到兩瓦。單一AI集群中最多有 768 個收發器,使用多模光纖的設置將節省高達 1.5 千瓦的功率。與每臺 GPU 服務器 10 千瓦的功耗相比,這似乎微不足道,但對于AI集群而言,任何節省功耗的機會都能在AI訓練和運行過程中節省大量費用。

收發器與AOC

許多 AI/ML 集群和 HPC 使用有源光纜(AOC)來實現 GPU 和交換機之間的互連。有源光纜是一種設備直連線纜,兩端集成了光發射器和接收器。大多數有源光纜用于短距離傳輸,其通常使用多模光纖和 VCSEL光源。高速(>40G)有源光纜和連接光收發器的光纜相同,使用的都是 OM3 或 OM4 光纖。AOC 中的發射器和接收器可能與同類收發器中的發射器和接收器相同,但它們不一定適合所有場合使用。每個發射器和接收器都不需要滿足嚴格的互操作性規范,它們只需要與連接到光纜另一端的特定設備一同運行即可。由于安裝人員無法接觸到光纖連接器,因此無需具備清潔和檢查光纖連接器的技能。

AOC 的缺點是不具備收發器能提供的靈活性。安裝 AOC 需要耗費大量時間,因為必須在連接著收發器的情況下布線。正確安裝帶分支的 AOC 尤其具有挑戰性。AOC 的故障率是同等收發器的兩倍。當 AOC 出現故障時,新的 AOC 必須通過網絡來布線,這也就占用了計算時間。最后,當需要升級網絡鏈路時,必須移除 AOC 并用新的 AOC 取而代之。對于收發器,光纖布線是基礎設施的一部分,并且可以在幾代數據速率下保持不變。

結論

AI/ML 已經到來,并將成為人、企業和設備之間交互方式中更重要、更集成的一部分。但不可否認的是,雖然與AI服務的交互可以在手機上實現,但它仍然依賴于大型數據中心基礎設施和算力的驅動,而能夠快速高效地訓練AI的企業將在當前瞬息萬變、超級互聯的世界中占據重要的一席之地。如若當下投資于先進的光纖基礎設施以推動AI的訓練和運行,日后就會收獲令人難以置信的成果。







審核編輯:劉清

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 人工智能
    +關注

    關注

    1807

    文章

    49029

    瀏覽量

    249698
  • 圖形處理器
    +關注

    關注

    0

    文章

    202

    瀏覽量

    27008
  • 機器學習
    +關注

    關注

    66

    文章

    8503

    瀏覽量

    134659
  • GPU芯片
    +關注

    關注

    1

    文章

    305

    瀏覽量

    6207

原文標題:康普觀點:數據中心如何更快、更經濟地利用AI

文章出處:【微信號:康普中國,微信公眾號:康普中國】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    簡單認識安森美AI數據中心電源解決方案

    面對AI算力需求爆發式增長,數據中心電力系統正面臨前所未有的挑戰。安森美(onsemi)推出的AI數據中心電源解決方案,直擊能效、尺寸等痛點,助力客戶把握
    的頭像 發表于 07-05 13:03 ?2060次閱讀
    簡單認識安森美<b class='flag-5'>AI</b><b class='flag-5'>數據中心</b>電源解決方案

    華為面向亞太地區發布全新星河AI數據中心網絡方案

    在華為數據通信創新峰會2025亞太站期間,以“星河AI數據中心網絡,賦AI時代新動能”為主題的分論壇上,華為面向亞太地區發布全新升級的星河AI
    的頭像 發表于 06-11 11:11 ?548次閱讀

    華為面向中東中亞地區發布全新星河AI數據中心網絡

    近日,在華為數據通信創新峰會2025中東中亞站期間,以“星河AI數據中心網絡,賦AI時代新動能”為主題的分論壇上,華為面向中東中亞地區發布全新升級的星河
    的頭像 發表于 05-21 15:49 ?321次閱讀

    數據中心液冷技術和風冷技術的比較

    近年來,隨著數字經濟的蓬勃發展,數據中心建設規模不斷擴大,導致機房單位面積功耗居高不下,對數據中心散熱制冷技術提出了更高的要求。同時,根據國家對數據中心的節能要求,全國范圍內新建
    的頭像 發表于 05-09 09:41 ?946次閱讀
    <b class='flag-5'>數據中心</b>液冷技術和風冷技術的比較

    晶科能源N型TOPCon組件滿足AI數據中心的能源剛需

    。面對這一挑戰,晶科能源依托高效N型TOPCon技術組件與儲能系統,響應“東數西算”國家戰略,為AI數據中心提供高可靠、高經濟性的綠色能源保障,破解高能耗與低碳化的兩難困局。
    的頭像 發表于 04-23 09:33 ?390次閱讀

    是德科技推出AI數據中心構建器

    是德科技(NYSE:KEYS)推出Keysight AI (KAI)數據中心構建器,這是一款先進的軟件套件,通過模擬真實工作負載來評估新算法、組件和協議對AI訓練性能的影響。KAI數據中心
    的頭像 發表于 04-07 11:06 ?507次閱讀

    適用于數據中心AI時代的800G網絡

    隨著人工智能(AI)技術的迅猛發展,數據中心面臨著前所未有的計算和網絡壓力。從大語言模型(LLM)訓練到生成式AI應用,海量數據處理需求推動了網絡帶寬的快速增長。在此背景下,800G網
    發表于 03-25 17:35

    華為全新升級星河AI數據中心網絡

    在華為中國合作伙伴大會2025期間,以 “星河AI數據中心網絡,賦AI時代新動能”為主題的數據中心網絡分論壇圓滿落幕。本次論壇匯聚了來自全國的300多位客戶和伙伴,共同探討
    的頭像 發表于 03-24 14:46 ?479次閱讀

    優化800G數據中心:高速線纜、有源光纜和光纖跳線解決方案

    一種經濟高效的方式,實現更大的帶寬傳輸。 800G有源光纜 800G有源光纜通過增加帶寬、降低延遲并減少功耗來優化性能,非常適合去中心數據中心和云環境。此外,VCSEL與PAM4 DSP技術
    發表于 03-24 14:20

    Cadence顛覆AI數據中心設計

    日前舉辦的英偉達 GTC 2025 開發者大會匯聚了眾多行業精英,共同探討人工智能的未來。而人工智能正在重塑全球數據中心的格局。據預測,未來將有 1 萬億美元用于 AI 驅動的數據中心升級。然而
    的頭像 發表于 03-21 15:43 ?459次閱讀

    數據中心發展與改造

    全球多數數據中心基礎設施已超六年,能耗高而效率低。隨著AI的發展,企業正致力于整合與提升能效的現代化改造。同時數據中心呈現規模化、高密化、綠色化發展趨勢。19821800313 一、目前數據中
    的頭像 發表于 02-28 16:50 ?396次閱讀
    <b class='flag-5'>數據中心</b>發展與改造

    韓國將建全球最大AI數據中心

    據最新報道,韓國即將啟動一項雄心勃勃的計劃——建設全球最大的人工智能(AI)數據中心。該數據中心不僅在規模上令人矚目,更在技術和投資上展現了韓國的強大實力。 據悉,該數據中心的電力容量
    的頭像 發表于 02-20 09:24 ?563次閱讀

    Meta AI數據中心網絡用了哪家的芯片

    ? 在Meta,我們相信開放的硬件會推動創新。在當今世界,越來越多的數據中心基礎設施致力于支持新興的AI技術,開放硬件在協助分解方面發揮著重要作用。通過將傳統數據中心技術分解為其核心組件,我們可以
    的頭像 發表于 11-25 10:05 ?1384次閱讀
    Meta <b class='flag-5'>AI</b><b class='flag-5'>數據中心</b>網絡用了哪家的芯片

    簡述數據中心網絡架構的演變

    隨著全球對人工智能(AI)的需求不斷增長,數據中心作為AI計算的重要基礎設施,其網絡架構與連接技術的發展變得尤為關鍵。
    的頭像 發表于 10-22 16:23 ?849次閱讀

    怎樣保障數據中心不間斷電源不斷電 提供可靠安全的供配電#數據中心

    數據中心配電系統
    安科瑞王金晶
    發布于 :2024年08月29日 14:51:36
    主站蜘蛛池模板: 午夜影视在线观看 | 一本到卡二卡三卡四卡 | 2021最新久久久视精品爱 | 精品久久香蕉国产线看观看亚洲 | 亚洲免费视频网址 | 欧美伊人久久大香线蕉综合69 | 欧美30p | 4438全国最大成人免费高清 | 四虎国产精品免费久久影院 | 激情久久婷婷 | 视频在线免费观看 | 美女扒开尿囗给男人玩的动图 | 五月天婷婷激情 | 久久精品香蕉视频 | 91久久国产青草亚洲 | 欧美女同网站 | 特黄特黄一级高清免费大片 | 免费网站直接看 | 国产黄在线观看免费观看不卡 | videossexotv极度另类高清 | 大尺度视频网站久久久久久久久 | 伊人99| 特级毛片aaa免费版 特级毛片a级毛免费播放 | 8050午夜一级二级全黄 | 五月天丁香婷婷综合 | 天堂网www在线 | 国产色网 | 久久久久综合中文字幕 | 天天摸天天做天天爽在线 | 福利社藏经阁 | 天天色天天射天天操 | 黄鳝钻进下面好爽小说 | 日韩一级片在线播放 | 最新亚洲情黄在线网站 | 卡2卡三卡四卡精品公司 | 182tv免费视视频线路一二三 | 免费免播放器在线视频观看 | 国产hs免费高清在线观看 | 视频在线h | 日本三级成人中文字幕乱码 | 午夜免费啪在线观看视频网站 |