節(jié)點(diǎn)非易失性內(nèi)存（NVRAM）是一項(xiàng)改變游戲規(guī)則的技術(shù)，可以消除許多I / O和內(nèi)存瓶頸，并為百億億次存儲(chǔ)提供關(guān)鍵的推動(dòng)力。

這是歐洲NEXTGenIO項(xiàng)目的科學(xué)家和研究人員得出的結(jié)論，該項(xiàng)目是由歐洲委員會(huì)的Horizon 2020計(jì)劃資助的一項(xiàng)計(jì)劃，旨在探索這項(xiàng)新技術(shù)對(duì)高性能計(jì)算（HPC）的潛在影響。

“當(dāng)您在計(jì)算節(jié)點(diǎn)中放置大量的高性能，字節(jié)可尋址的NVRAM時(shí)，一切都會(huì)發(fā)生變化，” EPCC高級(jí)研究員，愛(ài)丁堡大學(xué)超級(jí)計(jì)算中心以及34位軟件架構(gòu)師的艾德里安·杰克遜（Adrian Jackson）說(shuō)。 NEXTGenIO合作伙伴組織共同開(kāi)發(fā)的節(jié)點(diǎn)原型平臺(tái)，以支持其研究。“計(jì)算節(jié)點(diǎn)既是存儲(chǔ)節(jié)點(diǎn)，又是存儲(chǔ)節(jié)點(diǎn)，您可以擴(kuò)展I / O帶寬并以不同方式使用I / O。您需要正確的工具來(lái)訪問(wèn)節(jié)點(diǎn)內(nèi)的數(shù)據(jù)，但是您可以根據(jù)應(yīng)用程序以不同的方式使用數(shù)據(jù)。”

對(duì)于像Tiago Quintino這樣的HPC用戶來(lái)說(shuō)，這是令人興奮的，他在歐洲中型天氣預(yù)報(bào)中心（ECMWF）處理大量，快速增長(zhǎng)的數(shù)據(jù)集。他說(shuō)：“我們可以做的更多。” “我們可以在內(nèi)存中擁有更復(fù)雜的結(jié)構(gòu)。我們可以在任何地方使用數(shù)據(jù)，而不必在整個(gè)工作流程中移動(dòng)數(shù)據(jù)。隨著我們節(jié)省時(shí)間，我們可以運(yùn)行更復(fù)雜的工作流程，進(jìn)行更多的物理工作，提高模型分辨率。根據(jù)我們的數(shù)據(jù)增長(zhǎng)（每?jī)赡暝鲩L(zhǎng)三倍）來(lái)推斷，基于此技術(shù)的I / O系統(tǒng)將使我適應(yīng)未來(lái)的10-15年。它是改變游戲規(guī)則的人。

探索非易失性節(jié)點(diǎn)上的內(nèi)存

除EPCC和ECMWF外，NEXTGenIO的合作伙伴還包括富士通，英特爾，巴塞羅那超級(jí)計(jì)算中心（BSC），德累斯頓工業(yè)大學(xué)，ARM和ARCTUR。他們共同設(shè)計(jì)的平臺(tái)遵循需求驅(qū)動(dòng)的流程，該流程還規(guī)定了現(xiàn)實(shí)的約束條件。它具有一個(gè)定制的主板，該主板裝有3 TB的Intel Optane DC永久內(nèi)存（DCPMM），雙第二代Intel Xeon可擴(kuò)展處理器和192 GB的DRAM。Intel Optane DC內(nèi)存作為駐留在內(nèi)存總線上的標(biāo)準(zhǔn)DIMM托管，并且可以由CPU的集成內(nèi)存控制器控制。節(jié)點(diǎn)還連接到兩個(gè)Intel Omni-Path高性能網(wǎng)絡(luò)，從而使MPI流量可以通過(guò)一個(gè)網(wǎng)絡(luò)傳播，而存儲(chǔ)通信可以跨另一個(gè)網(wǎng)絡(luò)傳播。

為該系統(tǒng)開(kāi)發(fā)的軟件包括一個(gè)多節(jié)點(diǎn)，本地和分布式NVRAM文件系統(tǒng)，使舊應(yīng)用程序可以透明地受益于新的內(nèi)存/存儲(chǔ)層，而無(wú)需更改應(yīng)用程序。分布式文件系統(tǒng)使用應(yīng)用程序?qū)ο蟠鎯?chǔ)來(lái)提供數(shù)據(jù)局部性并減少對(duì)并行文件系統(tǒng)（例如Lustre）的依賴。其他系統(tǒng)軟件包括性能分析和調(diào)試工具，以及SLURM計(jì)劃程序和工作負(fù)載管理器的擴(kuò)展，用于管理數(shù)據(jù)局部性并將工作的能耗納入工作安置決策中。

富士通在其位于德國(guó)奧格斯堡的工廠制造了該系統(tǒng)和主板，該系統(tǒng)于2019年3月下旬在EPCC安裝。在未來(lái)三年內(nèi)，NEXTGenIO合作者和精選I / O研究人員將可以使用該系統(tǒng)，這為歐洲提供了主要資源增進(jìn)對(duì)重要的新存儲(chǔ)技術(shù)的理解和使用。

項(xiàng)目成員已開(kāi)始共享初步結(jié)果，以證明該技術(shù)對(duì)各種HPC用例的影響。［1］這是三個(gè)例子。

ECMWF的集成預(yù)測(cè)系統(tǒng)：時(shí)間緊迫的工作流中的強(qiáng)大I / O

ECMWF總部位于英國(guó)，每天為全球客戶提供五到十五天，每天多次的天氣預(yù)報(bào)。其綜合預(yù)測(cè)系統(tǒng)（IFS）將其結(jié)果（每小時(shí)約25 TB）寫(xiě)入ECMWF的分布式字段數(shù)據(jù)庫(kù)（FDB）。后續(xù)工作流程涉及數(shù)百個(gè)后處理步驟，其中許多步驟是并行進(jìn)行的，需要快速訪問(wèn)數(shù)據(jù)輸出。如果中央并行文件系統(tǒng)因其他工作負(fù)載而減慢了速度，則預(yù)測(cè)人員必須限制預(yù)測(cè)并減慢模型的速度。

使用NEXTGenIO平臺(tái)，ECMWF展示了將數(shù)據(jù)輸出到新型內(nèi)存并顯著提高性能的能力。為了將IFS寫(xiě)入ECMWF的字段數(shù)據(jù)庫(kù)，在具有288個(gè)Lustre Object的系統(tǒng)上，16個(gè)NEXTGenIO節(jié)點(diǎn)提供了60 GiB / s的讀取帶寬和72 GiB / s的寫(xiě)入帶寬，而持續(xù)讀取吞吐量為22.4 GiB / s，寫(xiě)入吞吐量為20 GiB / s。存儲(chǔ)服務(wù)（OST）節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)具有10個(gè)磁盤(pán)。它在工作流程中實(shí)現(xiàn)了端到端的改進(jìn)，幅度超過(guò)了一個(gè)數(shù)量級(jí)。ECMWF期望在優(yōu)化FDB代碼時(shí)看到進(jìn)一步的改進(jìn)。

CASTEP：內(nèi)存需求量大，I / O最少

CASTEP是共享源軟件，使用密度泛函理論從第一原理計(jì)算材料特性。它用于多種材料和物質(zhì)，包括DNA以及新奇的外來(lái)元素。

許多CASTEP仿真每個(gè)MPI進(jìn)程都需要大量?jī)?nèi)存，超過(guò)了典型HPC系統(tǒng)的內(nèi)存容量。這通常迫使用戶減少每個(gè)節(jié)點(diǎn)的MPI進(jìn)程數(shù)量，使CPU不足，并在許多節(jié)點(diǎn)上運(yùn)行仿真，以使仿真適合DRAM。

EPCC使用CASTEP在NEXTGenIO平臺(tái)上運(yùn)行需要大量?jī)?nèi)存的DNA仿真，從而使僅使用DRAM的單個(gè)DNA仿真僅需要在單個(gè)節(jié)點(diǎn)上運(yùn)行就需要20個(gè)節(jié)點(diǎn)，盡管速度要慢得多。在四個(gè)節(jié)點(diǎn)（表1）上，DCPMM的實(shí)現(xiàn)使用的時(shí)間減少了五倍，而執(zhí)行速度卻比NEXTGenIO系統(tǒng)上的全DRAM執(zhí)行速度慢了三倍。

實(shí)際意義是巨大的，它為HPC站點(diǎn)提供了經(jīng)濟(jì)且省電的解決方案，即使對(duì)于內(nèi)存需求超出計(jì)算需求的工作負(fù)載部署全DRAM平臺(tái)的替代方案也要慢一些。釋放的節(jié)點(diǎn)可以用于其他作業(yè)，從而優(yōu)化整體吞吐量并增加成本優(yōu)勢(shì)。

OpenFOAM：具有大量小文件的繁重I / O

OpenFOAM是一個(gè)開(kāi)源3D計(jì)算流體動(dòng)力學(xué)軟件包，實(shí)際上是從網(wǎng)格創(chuàng)建到后處理的復(fù)雜任務(wù)工作流中使用的應(yīng)用程序的集合。

這里的挑戰(zhàn)不僅是數(shù)據(jù)的總量，而且是每個(gè)時(shí)間步寫(xiě)入的大量小文件。為了探討這個(gè)問(wèn)題，EPCC模擬了小型電動(dòng)飛機(jī)周圍的氣流。在1000個(gè)時(shí)間步中，OpenFOAM被配置為每五個(gè)時(shí)間步寫(xiě)入其結(jié)果。在16個(gè)節(jié)點(diǎn)上運(yùn)行448個(gè)進(jìn)程，中期結(jié)果達(dá)到806，400個(gè)文件和1.2 TB的數(shù)據(jù)。性能分析表明，在傳統(tǒng)的實(shí)現(xiàn)中，I / O消耗了50％的執(zhí)行時(shí)間，從而嚴(yán)重限制了可伸縮性。

EPCC使用系統(tǒng)軟件將節(jié)點(diǎn)本地文件系統(tǒng)有效地安裝在計(jì)算節(jié)點(diǎn)的Intel Optane DC內(nèi)存上。使用DCPMM作為存儲(chǔ)，并使系統(tǒng)軟件根據(jù)需要將數(shù)據(jù)移入或移出節(jié)點(diǎn)，然后將臨時(shí)結(jié)果寫(xiě)入本地節(jié)點(diǎn)。這將整體運(yùn)行時(shí)間減少了多達(dá)50％，并且優(yōu)勢(shì)隨著規(guī)模的增加而增加。這些節(jié)省的運(yùn)行時(shí)間為您提供了進(jìn)行更多計(jì)算和探索更多解決方案的機(jī)會(huì)。

早期采用者的見(jiàn)解

NEXTGenIO合作者為HPC用戶和技術(shù)創(chuàng)新者提供了以下建議。

換個(gè)角度思考。Quintino說(shuō)：“不要像判斷Lustre這樣的并行文件系統(tǒng)那樣來(lái)判斷這項(xiàng)技術(shù)。” “盧斯特（Lustre）就像一輛卡車，它在緩慢移動(dòng)大量數(shù)據(jù)。給定大量卡車，您可以移動(dòng)大量數(shù)據(jù)并具有大量吞吐量。這是一級(jí)方程式賽車，是I / O系統(tǒng)的巔峰之作。它可以是分層系統(tǒng)中的第一層，也可以是突發(fā)緩沖區(qū)，但是我們應(yīng)該進(jìn)一步考慮。它打開(kāi)了我們從未想過(guò)的工作流程。”

保持好奇心。考慮一下哪些用例與您的工作負(fù)載和數(shù)據(jù)中心挑戰(zhàn)有關(guān)。“在ECMWF，DCPMM是存儲(chǔ)層次結(jié)構(gòu)的一部分，” Jackson說(shuō)。“其他應(yīng)用程序可以將其用作文件存儲(chǔ)，也可以用作使用內(nèi)存執(zhí)行常規(guī)并行I / O的多節(jié)點(diǎn)文件系統(tǒng)。有些人正在使用它來(lái)創(chuàng)建更大的內(nèi)存空間，因此他們可以將問(wèn)題放在單個(gè)節(jié)點(diǎn)上，而不是20或30個(gè)節(jié)點(diǎn)上。利用DCPMM需要對(duì)應(yīng)用程序進(jìn)行認(rèn)真的思考和設(shè)計(jì)，但是好處可能很大。”

愿意做一些工作。Quintino將Intel Optane DC永久內(nèi)存與GPU進(jìn)行了比較，后者需要進(jìn)行一些代碼修改才能完全受益。盡管可以直接使用DCPMM，而無(wú)需修改代碼，但是許多應(yīng)用程序?qū)娘@式控制內(nèi)存中受益。英特爾提供工具和庫(kù)，以方便使用內(nèi)存的全部功能集。

一種做更多科學(xué)的方法

NEXTGenIO平臺(tái)將供研究目標(biāo)與NEXTGenIO項(xiàng)目的研究目標(biāo)兼容的HPC用戶使用。富士通為某些PRIMERGY和PRIMEQUEST型號(hào)提供了新的存儲(chǔ)類別，其技術(shù)團(tuán)隊(duì)在與客戶協(xié)商時(shí)正在運(yùn)用其NEXTGenIO知識(shí)。

EPCC資深研究員兼NEXTGenIO項(xiàng)目經(jīng)理MichèleWeiland表示，英特爾Optane DC永久內(nèi)存和NEXTGenIO合作伙伴添加的創(chuàng)新標(biāo)志著HPC領(lǐng)域的可喜變化。她說(shuō)：“ ？？DCPMM代表了內(nèi)存，I / O和存儲(chǔ)系統(tǒng)在未來(lái)幾年內(nèi)將如何發(fā)展的格局變化。” “它可能表明我們目前看不到的問(wèn)題還有解決的辦法。對(duì)于在當(dāng)前的傳統(tǒng)HPC系統(tǒng)中苦苦掙扎，沒(méi)有足夠的內(nèi)存或足夠快的存儲(chǔ)空間或受可寫(xiě)數(shù)據(jù)量限制的人來(lái)說(shuō)，這種方法可能會(huì)為他們提供一種改善方法，并做更多的事情科學(xué)。”