本文由半導(dǎo)體產(chǎn)業(yè)縱橫（ID：ICVIEWS）編譯自semiengineering

由于人工智能和分解而加速的性能改進(jìn)正在推動(dòng)計(jì)算前沿的重大變革。

由于人工智能的普及，超級(jí)計(jì)算機(jī)和高性能計(jì)算機(jī)變得越來(lái)越難以區(qū)分，這推動(dòng)了商業(yè)和科學(xué)應(yīng)用性能的巨大提升，也給兩者帶來(lái)了類似的挑戰(zhàn)。雖然超級(jí)計(jì)算和高性能計(jì)算 (HPC) 的目標(biāo)一直很相似（超快處理速度），但它們所服務(wù)的市場(chǎng)卻截然不同。超級(jí)計(jì)算機(jī)（例如Top 500 榜單上的超級(jí)計(jì)算機(jī)）通常是科學(xué)和學(xué)術(shù)計(jì)算的展示，其性能通常以百億億次浮點(diǎn)運(yùn)算來(lái)衡量。另一方面，HPC 的目標(biāo)是更傳統(tǒng)的應(yīng)用，使用高帶寬內(nèi)存、快速處理器間通信和每秒大量浮點(diǎn)運(yùn)算 (FLOPS)。但隨著對(duì) AI 訓(xùn)練和推理的關(guān)注，這些計(jì)算架構(gòu)之間的相似性正在增加。“從根本上講，HPC 基于高帶寬內(nèi)存訪問(wèn)、快速且低延遲的處理器間通信以及大量單精度和雙精度 FLOPS，”Eliyan 首席架構(gòu)師 Paul Hylander 解釋道。“在過(guò)去 20 年中，HPC 一直依靠基于服務(wù)器的計(jì)算，因?yàn)?HPC 的容量不足以證明其本身需要專用網(wǎng)絡(luò)、處理和內(nèi)存開(kāi)發(fā)。現(xiàn)在，隨著大量資金投入 AI 計(jì)算，人們重新重視更高帶寬的內(nèi)存、更高帶寬的網(wǎng)絡(luò)和更好的散熱解決方案——以及更重要的，芯片解決方案，以便能夠擴(kuò)展每個(gè)節(jié)點(diǎn)的計(jì)算量。”

如今，超級(jí)計(jì)算機(jī)可以分為兩大類。Arteris 產(chǎn)品管理總監(jiān) Ashley Stevens 表示：“有些超級(jí)計(jì)算機(jī)純粹基于處理器，包括配備加速器的超級(jí)計(jì)算機(jī)，通常是 GPU 等。有些問(wèn)題的代碼可以追溯到幾年前。有些甚至可以追溯到 20 世紀(jì) 60 年代的科學(xué)領(lǐng)域，如核建模等，而且只能在通用計(jì)算機(jī)上運(yùn)行。但還有一類問(wèn)題比較新，可以重新編碼以在加速器系統(tǒng)上運(yùn)行。因此，目前，性能最高的系統(tǒng)和最節(jié)能的系統(tǒng)將配備加速器，通常是 GPU。”具體來(lái)說(shuō)，超級(jí)計(jì)算機(jī)之所以成為超級(jí)計(jì)算機(jī)，是因?yàn)樗粋€(gè)具有一致互連的節(jié)點(diǎn)，以及一個(gè)節(jié)點(diǎn)到節(jié)點(diǎn)互連，因此它們可以相互通信。“通常使用消息傳遞接口 (MPI)，”史蒂文斯說(shuō)。“因此，有辦法將問(wèn)題拆分為多個(gè)節(jié)點(diǎn)，在兩個(gè)節(jié)點(diǎn)之間使用 MPI，或者有時(shí)使用遠(yuǎn)程 DMA (rDMA)，其中一臺(tái)計(jì)算機(jī)可以將數(shù)據(jù) DMA 傳輸?shù)搅硪慌_(tái)計(jì)算機(jī)。這就是超級(jí)計(jì)算機(jī)的定義。它們具有系統(tǒng)間通信。”

混合策略

AI 對(duì)超級(jí)計(jì)算和 HPC 都產(chǎn)生了深遠(yuǎn)的影響。過(guò)去五年來(lái)，異構(gòu)環(huán)境中 CPU 和 GPU 的集成發(fā)生了重大變化。GPU 曾經(jīng)主要用于游戲和比特幣挖礦，現(xiàn)在已成為加速 AI 計(jì)算任務(wù)的必備工具。GPU 如此受歡迎的原因在于其可擴(kuò)展性。

Alphawave Semi ASIC IP 解決方案總監(jiān) Shivi Arora 表示：“一切都?xì)w結(jié)于系統(tǒng)所包含的內(nèi)核數(shù)量。這取決于您是面向 HPC 數(shù)據(jù)中心，還是關(guān)注 DPU/CPU 類型的市場(chǎng)。HPC 和超級(jí)計(jì)算機(jī)都朝著同一個(gè)方向發(fā)展。系統(tǒng)上可以安裝的 CPU 數(shù)量決定了您要支持的市場(chǎng)。”這種混合搭配的粒度為混合系統(tǒng)打開(kāi)了大門，結(jié)合了經(jīng)典計(jì)算、超級(jí)計(jì)算甚至量子計(jì)算，以滿足各種應(yīng)用程序的性能、可靠性和安全性需求。是德科技流程和數(shù)據(jù)管理總經(jīng)理兼業(yè)務(wù)部負(fù)責(zé)人 Simon Rance 表示：“總體而言，超級(jí)計(jì)算正在不斷發(fā)展。但量子計(jì)算也正在真正獲得發(fā)展勢(shì)頭。

在高數(shù)學(xué)類型的計(jì)算應(yīng)用中（需要以非常快、激進(jìn)的速度進(jìn)行計(jì)算），我們看到越來(lái)越多的超級(jí)計(jì)算進(jìn)入量子計(jì)算。這是量子計(jì)算現(xiàn)在真正強(qiáng)大的領(lǐng)域。當(dāng)它處理來(lái)自各種來(lái)源的信息時(shí)，例如對(duì)于人工智能來(lái)說(shuō)，試圖理解它試圖實(shí)時(shí)處理的內(nèi)容，這就是我們看到的超級(jí)計(jì)算的自然演變。”然而，這加劇了一些常見(jiàn)的挑戰(zhàn)。IBM 高性能計(jì)算全球負(fù)責(zé)人 CT Rusert 表示：“當(dāng)我們對(duì)比 5 年前和現(xiàn)在的超級(jí)計(jì)算機(jī)時(shí)，會(huì)發(fā)現(xiàn)它們?nèi)〉昧梭@人的進(jìn)步。我們的超級(jí)計(jì)算機(jī)能夠以前所未有的速度進(jìn)行百億億次級(jí)的建模計(jì)算，而 5 年前我們還做不到這一點(diǎn)。這也帶來(lái)了挑戰(zhàn)。隨著我們成為一個(gè)更加注重能源和效率的社會(huì)，有了這些超級(jí)計(jì)算機(jī)，我們?nèi)绾巫屗鼈兏?jié)能呢？”

如今，這些挑戰(zhàn)已經(jīng)跨越到兩個(gè)計(jì)算領(lǐng)域，人工智能對(duì)更多馬力提出了無(wú)盡的需求，以訓(xùn)練多模型并解決龐大而復(fù)雜的計(jì)算問(wèn)題。Cadence 戰(zhàn)略與新業(yè)務(wù)集團(tuán)總監(jiān) Rob Knoth 表示：“人工智能工廠的概念，即消費(fèi)和生產(chǎn)代幣，是一項(xiàng)計(jì)算密集型的研究。它正像野火一樣蔓延，推動(dòng)整個(gè)生態(tài)系統(tǒng)發(fā)生變化，包括人們對(duì)超級(jí)計(jì)算機(jī)的看法、消費(fèi)設(shè)備中可接受的計(jì)算量、汽車中的計(jì)算規(guī)模、人形機(jī)器人或無(wú)人機(jī)的計(jì)算規(guī)模。需要大量的計(jì)算，而每種計(jì)算對(duì)功率計(jì)算、熱范圍、電網(wǎng)連接的要求都不同。它能在無(wú)需充電的情況下走動(dòng)或飛行多長(zhǎng)時(shí)間？“超級(jí)計(jì)算機(jī)”這個(gè)詞因人工智能而改變，以及它如何改變?nèi)斯ぶ悄埽@真是令人著迷、美麗、可怕和鼓舞。超級(jí)計(jì)算機(jī)的規(guī)模使我們能夠制作這些新前沿模型，制作這些多模式模型，能夠開(kāi)始談?wù)撐锢砣斯ぶ悄埽務(wù)撝圃煲粋€(gè)可維修的人形機(jī)器人所需的后果，以及它與汽車中的芯片或新數(shù)據(jù)中心中的芯片有何不同。”

關(guān)鍵推動(dòng)因素

這種融合的核心是技術(shù)進(jìn)步，例如高帶寬內(nèi)存、不同芯片內(nèi)部和之間的高帶寬通信以及可大規(guī)模擴(kuò)展的基于小芯片的解決方案。所有這些都是滿足人工智能需求的關(guān)鍵，因?yàn)槿斯ぶ悄苄枰獜?qiáng)大的計(jì)算能力來(lái)訓(xùn)練多模態(tài)模型和執(zhí)行推理任務(wù)。“在年度超級(jí)計(jì)算大會(huì)上，過(guò)去五到七年來(lái)一直在討論融合這個(gè)話題，” Rambus研究員、杰出發(fā)明家 Steven Woo 表示。“從最高層次來(lái)看，如果你看看 500 強(qiáng)榜單中的頂級(jí)超級(jí)計(jì)算機(jī)，你會(huì)發(fā)現(xiàn)它們不僅配備了傳統(tǒng) CPU（例如英特爾或 AMD 的 CPU），還配備了大量來(lái)自英偉達(dá)或 AMD 的顯卡或 AI 引擎。如果你從高層次看這些專門的 AI 集群，你會(huì)發(fā)現(xiàn)它們并沒(méi)有什么不同。至于 AI 引擎與傳統(tǒng) CPU 的比例，這將根據(jù)超級(jí)計(jì)算機(jī)或 AI 集群的構(gòu)成而變化。

但如果從 30,000 英尺的高度來(lái)看，它們非常相似。然后你會(huì)開(kāi)始意識(shí)到人們?cè)诔?jí)計(jì)算領(lǐng)域運(yùn)行的許多基準(zhǔn)測(cè)試在這些 AI 超級(jí)集群上也能很好地運(yùn)行，反之亦然，因此這引發(fā)了更多關(guān)于融合的討論。“是否需要有一類單獨(dú)的機(jī)器專門服務(wù)于超級(jí)計(jì)算市場(chǎng)？同時(shí)，人工智能是否變得如此基礎(chǔ)以至于這兩者正在融合在一起？”這種融合也帶來(lái)了挑戰(zhàn)。由于超級(jí)計(jì)算機(jī)消耗大量電力，因此能源效率和可持續(xù)性是主要問(wèn)題。冷卻系統(tǒng)和先進(jìn)的封裝技術(shù)對(duì)于管理熱封套和確保高效電力輸送必不可少。此外，數(shù)據(jù)移動(dòng)的成本已經(jīng)高于計(jì)算成本，因此需要采用新方法來(lái)最大限度地減少數(shù)據(jù)傳輸并提高整體系統(tǒng)效率。人工智能中的許多技術(shù)驅(qū)動(dòng)因素都進(jìn)入了超級(jí)計(jì)算機(jī)，反之亦然。“如果你看看超級(jí)計(jì)算機(jī)項(xiàng)目，你會(huì)發(fā)現(xiàn)它們大多是由國(guó)家推動(dòng)的，”Woo 說(shuō)。“美國(guó)的項(xiàng)目大約每 10 年運(yùn)行一次。大約每五年左右，就會(huì)有一臺(tái)新的超級(jí)計(jì)算機(jī)問(wèn)世。因此，五年的時(shí)間用于研究和思考原型和其他東西，五年的時(shí)間用于執(zhí)行以構(gòu)建機(jī)器。三個(gè)最大的超級(jí)計(jì)算機(jī)項(xiàng)目包括一個(gè)由美國(guó)贊助的項(xiàng)目，日本一直贊助一個(gè)非常大的項(xiàng)目，然后中國(guó)有自己的項(xiàng)目。美國(guó)上一次做的超級(jí)計(jì)算機(jī)項(xiàng)目被稱為 Exascale 項(xiàng)目。美國(guó)傳統(tǒng)上表示下一個(gè)標(biāo)準(zhǔn)將比之前的機(jī)器性能高 1,000 倍，它被稱為 Exascale。此外，美國(guó)政府與工業(yè)界合作，為學(xué)術(shù)界和工業(yè)界提供大量投資資金來(lái)開(kāi)發(fā)新技術(shù)，然后這些技術(shù)進(jìn)入超級(jí)計(jì)算機(jī)。它們也進(jìn)入了商業(yè)產(chǎn)品。”

人工智能也有助于縮小超級(jí)計(jì)算機(jī)和 HPC 之間的性能差距。“NVIDIA 的 Grace Blackwell 去年問(wèn)世，Rubin 將于今年問(wèn)世，因此您可以看到這一年的性能進(jìn)步令人驚嘆。兩者都是極其重要的技術(shù)驅(qū)動(dòng)因素，但人工智能目前似乎處于更快的發(fā)展周期。機(jī)器之間的目標(biāo)不一定像超級(jí)計(jì)算機(jī)程序那樣崇高，超級(jí)計(jì)算機(jī)程序的目標(biāo)是性能提高 1,000 倍。在人工智能中，很難逐年做到這一點(diǎn)，但它們確實(shí)每一代都取得了巨大的進(jìn)步。”

數(shù)據(jù)移動(dòng)的挑戰(zhàn)

超級(jí)計(jì)算發(fā)展面臨的另一個(gè)壓力是數(shù)據(jù)移動(dòng)。“十多年來(lái)，人們已經(jīng)充分認(rèn)識(shí)到數(shù)據(jù)移動(dòng)是一個(gè)大問(wèn)題。Exascale 計(jì)劃進(jìn)行了大量研究，并且有一些很棒的演示，如果你只是遵循技術(shù)發(fā)展曲線，你會(huì)發(fā)現(xiàn)數(shù)據(jù)移動(dòng)的成本比計(jì)算成本更高，”Woo 說(shuō)。“當(dāng)時(shí)有一些預(yù)測(cè)，以及經(jīng)過(guò)深思熟慮和非常清晰的研究，它們得出結(jié)論，這將是一個(gè)問(wèn)題。有幾種方法可以解決這個(gè)問(wèn)題。要么把組件放得更近，要么想辦法制造現(xiàn)在人們所說(shuō)的超級(jí)芯片。”

過(guò)去，問(wèn)題在于光罩。“芯片尺寸只能這么大。但現(xiàn)在他們正在尋找方法來(lái)超越這個(gè)尺寸，將多個(gè)光罩大小的芯片拼接在一起，現(xiàn)在它們彼此緊挨著，所以如果你從五英尺外看，它看起來(lái)就像一個(gè)大芯片，它們連接在一個(gè)基板上，”Woo 解釋道。“所有這些都是由先進(jìn)封裝和業(yè)界一直在研究的基于 HBM 等技術(shù)實(shí)現(xiàn)的。人工智能、高性能計(jì)算和超級(jí)計(jì)算之間存在著良性互動(dòng)，其中物理原理沒(méi)有改變，問(wèn)題很大，它們之間有細(xì)微的差別，但數(shù)據(jù)移動(dòng)已被證明是最大的問(wèn)題之一。你可以從邏輯上說(shuō)，‘我們不要把數(shù)據(jù)移動(dòng)太遠(yuǎn)’，但這又帶來(lái)了行業(yè)必須解決的其他挑戰(zhàn)，比如熱問(wèn)題。你如何處理熱問(wèn)題？我們知道液體冷卻注定會(huì)在未來(lái)幾年成為主流。另一個(gè)挑戰(zhàn)是電力輸送。我如何將所有的功率、電流和電壓集中到這個(gè)相對(duì)較小的區(qū)域？我們以前不常這樣做。這并不是說(shuō)我們做不到。這更像是尋找經(jīng)濟(jì)的方法。你如何以一種非常易于制造的方式來(lái)做到這一點(diǎn)？”

所有這些也帶來(lái)了一些復(fù)雜的分區(qū)挑戰(zhàn)，因?yàn)榫嚯x會(huì)影響獲得結(jié)果的時(shí)間。“我們現(xiàn)在擁有如此強(qiáng)大的處理計(jì)算能力，但我們現(xiàn)在面臨著處理器之間的延遲問(wèn)題，以及處理和顯示或?qū)崟r(shí)返回結(jié)果的問(wèn)題，”Keysight 的 Rance 說(shuō)。“這是我們從超級(jí)計(jì)算發(fā)展而來(lái)的一部分。這不僅僅是一臺(tái)超級(jí)計(jì)算機(jī)在計(jì)算一些東西。它是信息共享，并將其帶回，然后在一毫秒內(nèi)做出決定。”

準(zhǔn)確性現(xiàn)在是個(gè)問(wèn)題

而人工智能又帶來(lái)了另一個(gè)問(wèn)題。與傳統(tǒng)計(jì)算不同，人工智能是概率性的。結(jié)果基于分布，而分布并不總是完全準(zhǔn)確的。這在超級(jí)計(jì)算中是不可接受的。

“它需要不同的精度，”Arteris 的 Stevens 說(shuō)。“在科學(xué)計(jì)算中，通常使用雙精度 64 位，偶爾使用 32 位。但這些 AI 東西可能只使用 8 位或 16 位。OpenAI 顯然是 AI，而不是傳統(tǒng)的超級(jí)計(jì)算機(jī)類型的應(yīng)用程序，但運(yùn)行多年前的代碼是有要求的。最近很多都是 AI 訓(xùn)練。我過(guò)去參與的事情更多是嘗試以良好的性能運(yùn)行 60 年代的舊 Fortran 代碼。今天，最高效的機(jī)器是帶有加速器的機(jī)器，因?yàn)橐话銇?lái)說(shuō)，硬件越專業(yè)，效率就越高。它越通用，效率就越低。GPU 只適合某些東西。如果某些代碼是用 Fortran 編寫的，那么完成它并不容易。即使它們支持，雖然它們支持 IEEE 浮點(diǎn)，但它們不一定支持普通計(jì)算機(jī)支持的所有不同模式和極端情況。因此，它們適用于某些類型的問(wèn)題，但不一定適用于所有類型的問(wèn)題。我們現(xiàn)在看到的可能是越來(lái)越多的專業(yè)化，尤其是在人工智能領(lǐng)域。你已經(jīng)看到了這一點(diǎn)，人們更專注于一個(gè)特定的問(wèn)題，而不是更通用的計(jì)算。這使得它更有效率。”

不僅僅是技術(shù)除了技術(shù)層面，“超級(jí)計(jì)算機(jī)”一詞還具有重要的文化和啟發(fā)價(jià)值。它代表著技術(shù)的最前沿，是下一代工程師和科學(xué)家的燈塔。

“超級(jí)計(jì)算機(jī)不僅僅與工程有關(guān)，”Cadence 的 Knoth 說(shuō)道。“在超級(jí)計(jì)算大會(huì)上，很多人會(huì)告訴你‘超級(jí)計(jì)算機(jī)’的確切科學(xué)定義，但我認(rèn)為這并不重要。‘超級(jí)計(jì)算機(jī)’這個(gè)詞對(duì)于科學(xué)交流比對(duì)于科學(xué)更重要。它具有力量，因?yàn)樗S著時(shí)間而變化。房間里有 ENIAC 的照片，然后人們從口袋里掏出手機(jī)說(shuō)，‘我這里有它。’所以，對(duì)我來(lái)說(shuō)，超級(jí)計(jì)算機(jī)這個(gè)詞在文化和激勵(lì)背景下比在技術(shù)背景下更重要。超級(jí)計(jì)算機(jī)有助于激勵(lì)下一代工程師。它們是一個(gè)有助于使我們的工作民主化以幫助其他人了解工程領(lǐng)域正在發(fā)生的事情的術(shù)語(yǔ)。超級(jí)計(jì)算機(jī)揭示了最前沿的事物。我們要去哪里？我們?yōu)槭裁匆ィ课覀冋诮鉀Q哪些真正酷的問(wèn)題？與許多擺在你面前的東西相比，他們是開(kāi)拓者。”

能源效率和可持續(xù)性的作用

隨著超級(jí)計(jì)算和 HPC 系統(tǒng)的不斷發(fā)展，能源效率和可持續(xù)性已成為關(guān)鍵考慮因素。這些系統(tǒng)的巨大計(jì)算能力需要大量的能源。

為了解決這些問(wèn)題，研究人員和工程師正在開(kāi)發(fā)新技術(shù)和新方法，以提高超級(jí)計(jì)算和 HPC 系統(tǒng)的能源效率。這包括使用先進(jìn)的冷卻系統(tǒng)來(lái)管理熱包絡(luò)并降低能耗。此外，他們還在努力優(yōu)化這些系統(tǒng)的設(shè)計(jì)和架構(gòu)，以最大限度地降低功耗并提高整體效率。

很多人認(rèn)為 HPC 和超級(jí)計(jì)算面臨的最大挑戰(zhàn)是能耗和功耗。“舉個(gè)最壞的例子，微軟、OpenAI 和軟銀宣布的星際之門系統(tǒng)將需要 5 千兆瓦的電力，”Arteris 的史蒂文斯說(shuō)。“這比英國(guó)或美國(guó)的任何核電站都要大，盡管世界上也有一些這么大的核電站。在其他國(guó)家，典型的核反應(yīng)堆大約為 1 或 1.5 千兆瓦，因此星際之門將需要其中的三個(gè)。建造一座核電站至少需要 10 年。到那時(shí)他們還在建造同樣的東西嗎？我們這個(gè)行業(yè)的發(fā)展非常快，所以你可以想象為它建造一個(gè)發(fā)電站。你的目標(biāo)可能不是你 10 年后最終做的事情。最大的挑戰(zhàn)之一是功耗。目前頂級(jí)超級(jí)計(jì)算機(jī)需要大約 30 兆瓦的電力，有些甚至更多。近 15 年前，我曾參與過(guò)一項(xiàng)關(guān)于富岳超級(jí)計(jì)算機(jī)的研究。當(dāng)時(shí)，人們認(rèn)為極限是 10 兆瓦。但現(xiàn)在我們的系統(tǒng)耗電量是 30 兆瓦的三倍，而且他們計(jì)劃建造一座千兆瓦級(jí)的發(fā)電廠。因此，能源效率將變得非常重要。計(jì)算性能的極限實(shí)際上是能耗，而這一點(diǎn)尚未得到真正考慮。”

以不同方式將各個(gè)部件組合在一起

超級(jí)計(jì)算機(jī)為大規(guī)模異構(gòu)集成鋪平了道路。小芯片概念將這種方法帶到了封裝級(jí)別。

Alphawave Semi 的 chiplet 首席產(chǎn)品線經(jīng)理 Sue Hung Fung 表示：“我們現(xiàn)在將所有這些不同的東西都放在一個(gè)封裝中。這只是一個(gè)被分解的大型單片芯片。然后我們將所有這些都放入一個(gè)封裝中，這是一個(gè)系統(tǒng)級(jí)封裝，我們正在為 AI/ML 構(gòu)建這些東西，因?yàn)槲覀兛吹綌?shù)據(jù)中心中大量數(shù)據(jù)的巨大驅(qū)動(dòng)力，并為 AI 進(jìn)行 LLM 訓(xùn)練和推理。根據(jù)我們?cè)谟?jì)算中放入的內(nèi)核類型，我們可以從中獲得什么樣的性能。這將特定于該應(yīng)用程序用例，取決于內(nèi)核的類型，取決于您使用多少個(gè)內(nèi)核。”這是一臺(tái)超級(jí)計(jì)算機(jī)，還是一臺(tái)高性能計(jì)算機(jī)？還是介于兩者之間？答案并不總是顯而易見(jiàn)的，而且隨著給定時(shí)間內(nèi)計(jì)算量的不斷增加，答案也變得越來(lái)越不明顯。