近日，為推動智算集群異構混訓關鍵技術突破和生態建設，“智算集群異構混訓工作組啟動會”在北京圓滿召開，會議由人工智能產業工作委員會主辦，壁仞科技作為組長單位承辦。近五十家智算集群相關產業鏈上下游單位參與了本次交流，分享智算集群異構混訓的關鍵技術進展、成功落地案例，為突破大模型異構算力孤島難題指明了方向。

工信部電子司系統處處長金磊、人工智能產業工委會秘書長高宏玲、壁仞科技聯席CEO李新榮、中國信通院兩化所總工黃偉出席會議并致辭，來自壁仞科技、上海交通大學、北京智源研究院、上海人工智能實驗室、中國信通院兩化所等單位代表做了主題分享，來自中國移動研究院、中國電信研究院、上海智算科技、無問芯穹及摩爾線程等人工智能行業的企業相關代表參與了圓桌討論交流，智算集群異構混訓工作組組長代表、壁仞科技AI軟件首席架構師丁云帆主持會議。

01智算集群異構混訓工作組正式成立

肩負突破異構算力孤島使命

工信部電子司系統處處長金磊參加智算集群異構混訓工作組啟動會并致辭。他表示，電子司高度重視人工智能特別是AI芯片等產業發展，積極推動產業技術創新、標準研制、生態培育、應用推廣、國際合作等工作。希望工委會發揮好智算集群異構混訓工作組作用，凝聚共識，促進發展：一是以國家戰略為指引，強化使命擔當；二是促進技術創新，突破產業關鍵技術；三是加強先進計算芯片標準體系建設；四是推動協同創新，構建可持續發展的生態。

人工智能產業工委會秘書長高宏玲在致辭中指出，工委會聚焦人工智能產業的各個環節，為產業鏈提供交流合作的平臺。在國際高端算力供應鏈日益復雜形勢下，我國芯片產業持續自主創新，在AI芯片領域形成了多元化路徑。智算集群異構混訓工作組的成立，標志我國智算產業在異構混訓技術領域邁出關鍵一步。異構算力的規模化協同也成為突破算力孤島、釋放算力潛能的關鍵命題，希望工作組聯合產業鏈上下游共同努力，推動異構智算集群的規模化應用，促進算力資源的深度整合與高效利用。

壁仞科技聯席CEO李新榮在致辭中著重介紹壁仞科技異構混訓技術攻關的進展，業界首次實現四種及以上異構GPU混合訓練同一個大模型。他表示，異構混訓技術棧非常復雜，需要產學研用協同打造異構混訓生態。由此，壁仞科技聯合上海智算科技和中興通訊共同發起成立智算集群異構混訓工作組并當選組長，希望通過突破大模型異構算力孤島難題，加快國產GPU遷移落地，助力國產大模型創新發展。

中國信通院兩化所總工黃偉的致辭圍繞著異構混訓的相關產業現狀、問題挑戰和工作計劃展開。他表示在異構混訓領域，中國信通院未來將在深化技術體系研究、推進標準規范建設、構建協同創新平臺及培育示范應用生態四個方面重點開展工作。

會上，工信部電子司系統處金磊處長和工委會高宏玲秘書長一起為智算集群異構混訓工作組舉行了啟動授牌儀式，壁仞科技擔任工作組組長單位。智算集群異構混訓工作組組長代表、壁仞科技AI軟件首席架構師丁云帆匯報了工作組的目標和規劃，智算集群異構混訓工作組旨在共建智算集群異構混訓標準和規范，開展互連互通、異構混訓測試驗證和應用落地推廣，實現萬卡、十萬卡國產芯片異構智算集群，突破大模型異構算力孤島難題，加快國產GPU遷移落地，助力國產大模型創新發展。

02大規模智算集群異構混訓成功落地

推進異構混訓標準形成行業合力

丁云帆還在主題演講中重點介紹了壁仞科技異構混訓工作進展情況。壁仞科技此前已發布自主原創異構GPU協同訓練方案HGCT，近期再次取得新突破，業界首次實現四種異構芯片千卡混合訓練同一個大模型，混訓芯片種類、規模、效率98.5%三項指標均為行業第一，將逐步邁向萬卡異構集群。目前，壁仞科技已聯合中國移動、中國電信等發布了異構混訓相關成果，并與某實驗室深度合作、聯合優化，業界首次實現數千卡異構混訓落地，實現千億參數大模型訓練，為異構混訓行業樹立了新的標桿案例。

隨后，上海交大計算機學院常務副院長、特聘教授、國家杰青吳帆發表了《大小模型端云協同智能計算》的主題演講，分享大小模型端云協同多維度創新成果和落地案例；北京智源研究院AI框架研發負責人敖玉龍發表了《基于FlagOS的全棧開源異構混訓系統》的主題演講，介紹基于FlagOS的異構混訓端到端解決方案、FlagScale異構統一并行策略、FlagCX多芯片統一通信庫、實驗成果；上海人工智能實驗室編譯計算與國產化團隊負責人裴芝林發表了《DeepLink針對異構混訓的研究與突破》的主題演講，介紹DeepLink體系已成功實現多種異構芯片間的通信互通，并對異構互聯的并行訓練策略進行了深度優化，在數千卡規模的集群環境下，實現了高效、穩定的深度學習訓練任務。

為推動異構混訓生態建設，壁仞科技與中國信通院兩化所聯合制定了“智能集群異構混訓技術要求和測試規范”標準草案。會上，中國信通院兩化所先進計算研究部主任王駿成就該標準草案進行了詳細介紹。他表示，標準草案按照高效率、高通用性和可擴展性原則，設計異構混訓整體架構。下一步，標準制定方將聯合各領軍企業共同對當前標準草案進行完善并啟動相關報批流程，開展異構混訓相關測試驗證，推動異構混訓技術在各重點行業內應用落地，并評選出一批異構混訓的優秀應用案例，形成示范引領效應。

03智算集群產業鏈典型代表獻計獻策

共同推動異構混訓生態建設

圍繞“異構混訓如何突破大模型異構算力孤島難題“，中國移動研究院網絡與IT技術研究所所長張昊、中國電信研究院云網融合技術研究所副總監陳映、上海智算科技國產適配中心專家孫兆群、無問芯穹技術副總裁張權路和摩爾線程AI Infra負責人陳志進行了深入討論交流。

中國移動研究院、中國電信研究院、上海智算科技等作為典型用戶單位一致認為，異構混訓是解決異構算力孤島的關鍵手段。各位專家認為異構通信能力、異構混訓效率、大規模集群混訓穩定性、異構拆分策略自動調優、跨域異構混訓都是需要持續優化解決的關鍵問題，尤其是需要提升易用性和保障模型訓練效果，這樣更有利于異構混訓在大規模生產環境中的落地應用，期待數萬卡異構集群訓練出萬億參數大模型，突破大模型異構算力孤島難題！

本次工作組啟動會吸引了近五十家智算集群相關產業鏈上下游單位參與，包括AI芯片廠商，服務器廠商，AI Infra廠商，智算集群建設方、運營方和最終用戶，高校、研究機構，以及網絡設備、金融機構等，產、學、研、用協同打造智算集群異構混訓合作生態，推動國產AI芯片和大模型創新發展。

·