最近在華爾街舉行的 HPC + AI展會上舉辦了一場小組討論，匯聚了主要供應(yīng)商來討論當前的 GPU Squeeze（短缺）問題。“擠壓”是由于生成型人工智能/ LLM的快速持續(xù)增長造成的，現(xiàn)在已將 GPU 的需求推向前所未有的水平，并對 GPU 的可用性造成了“擠壓”。

下面是主要討論內(nèi)容。

GPU到底有多缺貨？

根據(jù)我們報道的消息，我認為 HPC 用戶訪問 GPU（購買的或在云中）會遇到一些挑戰(zhàn)。我想檢查我的假設(shè)，并從貴公司的角度詢問“GPU 擠壓”問題有多大。

Supermicro 的 Thomas Jorgensen 分享了一個有趣的數(shù)據(jù)點。“我可以告訴你，由于缺乏 H100 GPU，我們有數(shù)以萬計的系統(tǒng)缺貨。但是，我還要說，市場上有很多替代品，例如，我們有一組更新的 CPU，用于 HPC 工作負載，而傳統(tǒng)上這些工作負載是由 GPU 提供服務(wù)的。”

Thomas 提到了帶有 64 GB 嵌入式 HBM2 內(nèi)存的新型 Intel Max Xeon CPU，極大地增強了一些 HPC 工作負載。他建議，如果無法獲得 Nvidia GPU，本地 HPC 是緩解這種情況的方法之一。作為硬件中立的供應(yīng)商，他還提到英特爾和 AMD 的其他 GPU 都很容易獲得。

Thomas還提到了重要的一點，“很多人都說我們依賴CUDA，但如果你要等NVidia GPUS一年，那段時間你可以轉(zhuǎn)換很多代碼。因此，市場上其他一些 GPU 絕對有生命力，其中一些可以在很短的等待時間內(nèi)被黑客攻擊。”

他最后還提到了 Nvidia L40 GPU，他認為這是一個很好的替代品，或者至少是你可以購買的東西。此外，Thomas還提到，“所以，我想說，對于我們的本地客戶來說，有很多替代方案，客戶現(xiàn)在正在探索這一點。我想補充一點，為了取得巨大成功。”

英特爾的 Kiran Agrahara 補充道：“這取決于用例。當您查看短缺時，這取決于您正在研究的用例。” 他繼續(xù)說道，“還有其他選擇，并且大多數(shù)學(xué)習(xí)和推理現(xiàn)在都可以使用 Xeon Gen 4 處理器來完成。” 他提到英特爾有針對不同用例的基準測試。他還指出，每個人都認為每個用例都需要 NVidia GPU。

Kiran 還指出，英特爾擁有 Gaudi 2，它更像是一個推理處理器，而不是學(xué)習(xí)處理器，并且可以在本地和云端使用。他繼續(xù)提到 Datacenter GPU Max 系列可以作為 A100 的替代品或替代品。最后，他呼吁大家關(guān)注英特爾的 OpenVINO（開放式視覺推理和神經(jīng)網(wǎng)絡(luò)優(yōu)化）——所有英特爾 HPC 和人工智能產(chǎn)品之上的軟件層。

Nvidia 全球合作伙伴成功經(jīng)理Prabhu Ramamoorthy 指出，人們認為 GPU 短缺是最近才發(fā)生的，但我們已經(jīng)看到這種情況好幾年了。例如，三年前，GPU 在云端運行進行 NLP（自然語言處理）。許多對沖基金都在運行所有這些工作負載。生成式人工智能就像 NLP 的新的、美麗的、更性感的術(shù)語，現(xiàn)在對這些 GPU 的需求要大得多。正如Thomas所指出的，我們希望客戶選擇正確的用例。他還提醒大家，NVidia 雇傭的軟件工程師比硬件工程師更多。作為這些努力的結(jié)果，他提到 TensorRT-LLM 等 Nvidia 軟件可以優(yōu)化應(yīng)用程序并確保更有效地利用 GPU。

Google Cloud HPC 和 AI 基礎(chǔ)設(shè)施解決方案經(jīng)理Wyatt Gorman 總結(jié)道，他認為長期規(guī)劃 GPU 需求非常重要。現(xiàn)在，看看替代方案，不要超出你的應(yīng)用程序太多。考慮一下現(xiàn)在有哪些可能性，并且有一些方法可以優(yōu)化 GPU 使用，這是很好的替代方案。是很好的選擇。

GPU 替代方案

有關(guān)短缺的報道可能還會持續(xù) 18 個月。是否有其他方法建議 HPC 用戶運行應(yīng)用程序（云、替代硬件、軟件優(yōu)化）？例如，NAMD（一種 HPC 分子動力學(xué)代碼）將使用 CPU 和 MPI 和/或 GPU 運行。用戶會恢復(fù)使用 MPI 嗎？

Kiran Agrahara 回憶起一個較舊的示例，其中用戶需要 20 個 GPU，而要完成相同的工作，他們需要大約 180 個 CPU。但他建議看看過去三年發(fā)生了什么變化。他繼續(xù)說道：“CPU 已經(jīng)取得了長足的進步。那時我們還沒有硬件加速器。如果你看看下一代 Xeon 處理器，我們有一個稱為 RMX 的先進矩陣架構(gòu)。所以今天，CPU 已經(jīng)取得了長足的進步。你看到的是 128 個核心，然后你就有了 RMX 架構(gòu)，我可以說它就像是增強版的 AVX512。所以答案是肯定的，你可以用 CPU 來實現(xiàn)這一點。”

Wyatt Gorman 補充說，讓人們意識到較小的 GPU 非常重要。現(xiàn)在每個人都在考慮 A100 和 H100。速度較慢的 Nvidia T4、L4 和 L40 GPU 有足夠的容量，并且可以在 Google Cloud 上使用，因為目前對它們的需求并不高。如果您對這些 GPU 進行一些調(diào)整和優(yōu)化，您可以看到代碼的加速。

HPC 和數(shù)據(jù)中心融合

通常，HPC 位于其自己的孤島中，然后您可以在另一個正在開發(fā)的孤島中使用快速增長的 GenAI 和類似的硬件。當人們開始認識到我們可以將這兩種資源整合在一起時，您是否認為這可能會使 HPC 受益？您如何看待在數(shù)據(jù)中心運行的 HPC 應(yīng)用程序與在具有單獨硬件的研發(fā)實驗室中運行的 HPC 應(yīng)用程序的融合？

Wyatt Gorman 表示，谷歌在 HPC RFP 中看到了更多人工智能功能。他認為，隨著這些問題類型的出現(xiàn)，隨著 HPC 和 AI 的融合，我們會看到 AI 技術(shù)被引入傳統(tǒng)的 HPC 問題解決應(yīng)用程序中，并且我們將看到越來越多的此類技術(shù)以及越來越多的資源。正如我提到的，Slurm 現(xiàn)在支持 Google TPU，現(xiàn)在或?qū)砟灰欢ㄐ枰?Kubernetes 來運行 HPC。你知道，即使它是一種選擇，也沒有必要。

Supermicro 的 Thomas Jorgensen 提到，英特爾第五代路線圖顯示，未來的某些 CPU 上將有多達 288 個核心。當然，CPU 平臺上也發(fā)生了一些事情，這些事情將帶來比傳統(tǒng) CPU 平臺更高的性能。還有一點是Intel打造的Max GPU是HPC+AI GPU。我們在 Supermicro 所做的第一次測試展示了使用該 GPU 的 HPC 的真實性能。

從硬件的角度來看， Supermicro 試圖成為中立者，與 Nvidia、AMD 和 Intel 合作。

Thomas 繼續(xù)說道：“與英特爾 AMD 平臺一樣，我們擁有非常高的核心數(shù)量 Epyc 處理器，并與 Nvidia 進行了科學(xué)實驗。在此測試中，我們可以在單個系統(tǒng)中放置十個 GPU。HPC 基準測試以及我們從 HPC 上的一個系統(tǒng)中獲得的性能令人震驚。但這是一種前進的方式，至少，我的意思是，它對擠壓沒有幫助，對吧，因為使用 H100，但那里的一些性能顯示出 HPC 工作負載的真正前景。因此，我對硬件和我們看到的一些優(yōu)化非常充滿希望，這些優(yōu)化可以從現(xiàn)有硬件中發(fā)揮更多作用。”

此外，一些用戶可能會發(fā)現(xiàn)傳統(tǒng) HPC 和 GenAI 之間的界限有點模糊。對快速 GPU 的需求表明這兩種類型的應(yīng)用程序都在進行大量的數(shù)字運算，但傳統(tǒng)的 HPC 蒙特卡羅風(fēng)險分析是否類似于經(jīng)過訓(xùn)練進行風(fēng)險分析的 GenAI？換句話說，您如何看待GenAI和HPC？它們屬于同一大類還是代表兩個不同的市場？它們相輔相成嗎？

NVidia 的 Prabhu Ramamoorthy 立即提到，他看到這種融合現(xiàn)在正在發(fā)生，他們看到客戶在致力于最終用例時混合使用 HPC 和 AI 解決方案。

Google Cloud 的 Wyatt Gorman 回答說，他看到人們將機器學(xué)習(xí)技術(shù)引入不同級別的 HPC 流程中。因此，請將其視為 HPC 中的一個子集、一個域。他認為，它可能會分拆出來，變得更加孤立，就像大數(shù)據(jù)從 HPC 中分離出來一樣。但就目前而言，他認為情況正在趨同。

編輯：黃飛