隨著物聯網 (IoT)、人工智能(AI) 、機器學習（ML）和 3-D 成像等技術的發展，數據的速度、種類和數量呈爆炸式增長，企業需要處理的數據規模和數量呈指數級增長。

對許多行業來說，如體育直播賽事、新產品測試或股票趨勢分析等，對實時處理數據的能力要求非常高。為了在競爭中領先一步，企業需要閃電般快速和高度可靠的IT基礎架構來處理、存儲和分析大量數據。這種工具就是高性能計算！

一、

HPC（高性能計算）概述

1.什么是HPC（高性能計算）？

高性能計算 (High Performance Computing，又叫HPC、超級計算)是指比傳統計算機和服務器提供更高馬力聚合計算能力的計算方法。與超級計算機或硬件加速機器不同，高性能計算特別強調使用分布式資源來組合存儲、應用程序、計算能力和網絡資源，以完成其他方式無法完成的任務。高性能計算需要處理的TB、PB、甚至ZB級別的數據，并且需要接近實時地處理，比如在幾分鐘或者幾小時內得到結果，而不是幾天或幾個星期。

2.HPC為什么重要？

HPC之所以重要，是因為它能幫助我們更快地完成大型模擬和大型工作負載。

HPC比普通PC更快更強更省力，它每秒可以執行千萬億次計算，配備3 GHz處理器的筆記本電腦或臺式機每秒可以執行大約 30 億次計算。

HPC 通過集群/并行計算、最新的 CPU 和GPU、低延遲網絡和塊存儲設備去實現高速處理。

HPC系統更具可擴展性。用戶可以在需要時進行縱向擴展（升級 CPU、GPU、內存或其他資源）和橫向擴展（將更多節點添加到集群中）。從云服務提供商 (CSP) 租用 HPC 資源可以進一步提高可擴展性并降低成本。

三種HPC解決方案：

本地HPC：本地的HPC就是傳統的HPC數據中心，需要有高性能服務器和存儲，用戶自己去搭建這個HPC集群。

HPC云：云上的高性能計算提供HPC即服務，用戶使用公有云去完成計算工作。

混合HPC：一個應用運行在私有云（private cloud）或數據中心（data center）中，當計算能力的需求達到頂峰時則動態地向公有云服務器請求一定量的計算(或存儲)能力。當本地的工作負載積壓時會立即啟動云資源，把工作負載遷移到公有云上去計算，支持的云比如說谷歌云、微軟云、Oracle云等。

3.HPC工作原理

HPC中處理信息的兩種主要方法是：

串行處理由中央處理單元 (CPU) 完成。每個 CPU 內核通常一次只處理一個任務。CPU 對于運行操作系統和基本應用程序（例如，文字處理、辦公效率）等功能至關重要。

可以使用多個 CPU 或圖形處理單元 (GPU) 執行并行處理。GPU 最初是為專用圖形開發的，可以同時跨數據矩陣（例如屏幕像素）執行多個算術運算。同時處理大量數據平面的能力使 GPU 非常適合機器學習 (ML) 應用程序任務中的并行處理，例如識別視頻中的對象。

二、

HPC應用場景

HPC出現在 1960 年代，用于支持政府和學術研究。HPC 在 1970 年代開始進入主要行業，以加速復雜產品的開發，例如汽車、航空航天、石油和天然氣、金融服務和制藥行業。在現在，各行各業都能用到，比如生命科學、天體物理學、基因組學、生物信息學、分子動力學、天氣和氣候預測。具體應用如圖所示：

三、

虹科高性能計算解決方案

1.Kubernetes上的高性能計算

Kubernetes作為目前容器管理框架的事實標準，在當下的應用十分火熱。隨著微服務和容器在企業中越來越流行，它們也在進軍機器學習和其他類似的HPC工作。這一趨勢模糊了傳統HPC和容器技術之間的界限，引發了對利用 Kubernetes進行HPC的可能性的探索。

使用容器和 Kubernetes 來管理和運行 HPC 應用程序有很多好處：

容器化是一種強大的工具，可以打包復雜的依賴關系并提高可重復性。

隨著企業將 Kubernetes 作為應用程序現代化的安全和多云平臺，在共享環境中托管 HPC 和企業容器工作負載將簡化運營并降低成本。

Kubernetes 本質上提供了一個包含 CPU、內存和加速器的共享資源池，就像工作負載管理器一樣。

更多深入閱讀可以參考《kubernetes上的HPC》白皮書。

2.HK-Nimbix HPC平臺

（1）什么是JARVICE XE

JARVICE XE 是世界上第一個容器原生混合/多云 HPC 平臺，可在任何與 Kubernetes 兼容的基礎設施上實現全球范圍的橫向擴展和加速 HPC 和 AI 工作流（SaaS 和 PaaS）。

JARVICE提供加速的應用程序和工作流，這些應用程序和工作流可以利用任何基礎設施，無論是裸機還是虛擬化，包括專用Kubernetes基礎設施上的InfiniBand、GPU和FPGA

JARVICE 使客戶能夠輕松地從本地解決方案突發到來自 Google、AWS 和 Azure 等的公有云系統，或者將內部系統作為私有云進行管理。

（2）使用JARVICE XE在 Kubernetes上運行HPC

JARVICE XE通過兩個主要改進彌補了在 Kubernetes上運行HPC代碼的差距：

兩級HPC調度器

調度器提供2個級別，一個將傳統的HPC作業請求轉換為一組Kubernetes Pod，一個將Pod綁定到節點的組調度器，如果請求的規模不可用，則將整個作業排隊。而且組調度器提供一些重要功能去幫助pod調度

JARVICE XE使用來自 HyperHub目錄中應用程序的元數據為最終用戶定義工作流，而不是要求用戶編寫PBS 或Slurm腳本來啟動工作。

HPC運行時環境

它在作業啟動時動態創建，可以根據來自調度程序的工作流請求的參數配置批處理運行或交互界面，可以確保工作流的有限完成，無論求解器成功還是失敗，也可以讓傳統的HPC代碼可以不加修改地在JARVICE上運行，如有需要，JARVICE XE還直接支持NFS和CephFS共享文件系統，運行時環境可以通過將主機級別的掛入點定義為機器定義的一部分來附加 Kubernetes原生不支持的存儲接口，并行存儲系統，例如 WekaIO2。

（3）HyperHub應用市場

Hyperhub是一個精選的點擊式目錄，提供HPC優化的仿真模擬、Al/ML/DL軟件，比如ansys、COMSOL、西門子、Matlab、TensorFlow等等，它具有有數百個加速的高性能工作流，內置支持高性能集群的自動縮放應用程序,將HPC和超級計算應用程序作為點選式的工作流程,并且會自動更新這些軟件到任何JARVICE XE部署中。

HYPERHUB與JARVICE XE相結合為nimbix cloud提供支持，使用戶能夠在任何基礎設施上以幾乎無限的超級計算能力訪問整個應用程序目錄，除了已有的軟件，hyperhub中沒有的軟件支持用戶自定義安裝，使用Jarvice的PushToCompute Tool 可以輕松設置應用程序。JARVICE提供了一個端到端的持續集成/持續部署（CI/CD）管道，用于編譯、部署、測試和維護容器化云計算應用程序。這都是該平臺的PushToCompute功能的一部分。

（4）JARVICE XE 優勢

“開箱即用”的計算能力

JARVICE XE支持私有云、公有云、混合云和多云部署

JARVICE XE使企業IT部門可以輕松地將HPC添加到他們的服務組合中

JARVICE XE附帶完整的 HPC 軟件目錄，該目錄會自動更新最新版本（接管 IT 負擔）

HK-Nimbix HyperHub 應用程序目錄可幫助用戶定義工作流程

能夠將 SLURM 作業轉換為低級“Pod”調度程序作業

通過容器靈活部署可擴展的 HPC 作業

租戶隔離，沒有客戶端共享相同的資源

（5）HK-Nimbix 基礎設施趨勢

1)計算加速器

Nimbix在公有云中提供最廣泛的FPGA和GPU功能目錄 → 支持高級求解器以加快計算速度并降低客戶成本.

2)更高密度的節點（內存、CPU 內核）

Nimbix計算節點具有物理內核（相對于“線程”或“VCPU”）

Nimbix計算節點的每個內核至少有8GB的RAM

>>各種可用的GB RAM節點和GPU節點

>>128GB、256GB和512GB RAM節點可用于16核

>>192GB、384GB和768GB RAM節點可用于20核

>>通過云供應商提供的業內最快結構中擴展到數千個內核

額外的GPU內存因類型而異，但最高可達 24GB/GPU

3)最快的互連

所有Nimbix計算節點在節點之間有56Gbps InfiniBand，在Spine上有100Gbps

RDMA用于節點之間的MPI，系統范圍內的延遲<2μs

四、

案例分享

HK-Nimbix幫助IDEX Biometrics在一周內完成指紋傳感器的設計：通過nimbix Cloud，IDEX可以使用相當于四個HPC工作站及其關聯的并行計算能力，而無需自己維護基礎設施，能夠幫助IDEX公司加快新產品研發和上市的速度。

《數據改變社會 BI助力發展》直播預告

直播講師：肖曉容

直播時間：10月27日 周四20點

直播精彩內容預告：

1.大數據概述

大數據時代

數據的重要性

企業目前面臨的數據難題

如何有效解決數據問題

2.BI軟件的功能

數據集成

數據可視化

數據分析

移動端應用

共享與協作

……

3.案例解析

Hk-Omniscope COVID19模擬演示

Hk-Domo幫助艾默生為易變質產品供應鏈提供保障

審核編輯 ：李倩