中科院高能物理研究所，是國際領先的高能物理研究基地之一，擁有一系列世界領先的大科學裝置和重要實驗。每時每刻，都有海量的科研數據從全國各地的試驗裝置生成，傳輸、匯聚到計算中心進行存儲、管理，并由研究人員利用科學軟件進行深入分析和利用。要承擔如此重任，底層的網絡和算力基礎設施必須滿足極為苛刻的要求。

為了適應未來的網絡和算力需求，高能物理所與華為開展了聯合創新，利用華為超融合數據中心網絡CloudFabric構建起了由近十萬顆CPU核及數百張GPU卡構成的跨地域的高性能計算系統，為研究工作提供了完善的ICT基礎設施。

科研機構面臨網絡難題

為滿足科研需求，高能物理所在北京、深圳、江門、稻城、東莞等地部署了由近十萬個CPU核心構成的算力資源，以及百PB級的數據存儲資源。高能物理所的ICT系統有三個特點，即多源異構、分布式部署和網絡環境復雜。多源異構是因為計算任務各不相同，使得研究人員使用的服務器來源、處理器種類及軟件各不相同。分布式部署是因為高能物理實驗設施分布在全國各地，其算力需要融合來自于國內外合作單位的計算中心。在網絡架構方面，不但要解決計算中心內部高效數據訪問及異地數據交換問題，還要保障大型實驗裝置與高能物理所之間的實時高速連接。

由于高能物理所ICT應用系統的特殊性，在規劃網絡系統時面臨兩個難題：一是科研數據失之毫厘差之千里，數據傳輸必須滿足零丟包、超低延時；二是網絡的管理和運維需簡單化和智能化，減少人工維護壓力。借助華為超融合數據中心網絡CloudFabric 3.0 解決方案，高能物理所升級了其底層網絡通訊系統，完全實現了預定目標。

CloudEngine助力
國家大科學裝置數字化升級

在廣東東莞，坐落著一座國家重大科技基礎設施——中國散裂中子源（CSNS），這是世界四大脈沖散裂中子源之一。在2018年CSNS建成后，隨著大量研究人員和課題的入駐，實驗過程產生了大量的科學數據，為高效支持依托CSNS的科研活動，高能物理所在東莞部署建設了大科學計算中心。

東莞大科學計算中心在網絡中全面采用了華為CloudEngine系列交換機，確保數據無損傳遞；在算力領域，運用華為鯤鵬計算平臺和超融合以太智能無損數據中心網絡形成了計算、存儲、網絡統一架構。由于華為CloudEngine交換機可以對數據進行一定整合后再做轉發，因此能夠有效減輕服務器的負擔，整體運行效率比傳統以太網提升31%。

實測發現，利用華為超融合以太方案替換原有計算專用網絡之后，整體性能基本持平，帶寬增加了一倍，建網和運維成本總體減少23%。利用超融合以太方案建設存儲網絡系統之后，切實做到了0丟包，同時時延縮小了40%，投資成本節省了25%。

CloudFabric賦能基礎科學創新

在北京懷柔科學城，高能同步輻射光源（HEPS）正在建設當中。該裝置提供了一種更加清晰、準確地觀察微觀世界的手段，在物理、材料、化工、生命等學科領域有非常廣泛的應用。HEPS實驗過程中會產生海量的數據，需要先進的高性能計算集群和存儲集群來處理、保存，同時還要借助日新月異的AI技術來輔助分析數據，因此新的網絡和算力基礎設施也必須有能力支撐大規模AI運算。為此高能物理所與華為合作，探索利用華為超融合數據中心網絡CloudFabric方案來建設網絡體系和計算集群。

目前的規劃是利用CloudEngine系列數據中心交換機來構建分布式網絡，后續將結合華為AI集群方案推進人工智能開放平臺建設，并探索適合高能物理研究發展方向的新興高性能網絡和計算架構。

自從華為數據中心網絡CloudFabric解決方案上市以來，已經在多個行業的21000多個數據中心投入了應用。中科院高能物理所與華為的多次合作，讓CloudFabric得以在全球頂尖科研機構中大顯身手，也為中國基礎科學研究的數字化、智能化升級探索出了一條前進之路。高能物理所計算中心主任齊法制表示，中科院高能物理所計算中心期待能和華為一道，在高性能計算領域取得更多的成果。