在過去六個月里，我們已經(jīng)目睹了人工智能應用程序的大規(guī)模增長——ChatGPT、Dall·E、Bard和Bing等。據(jù)估計，僅ChatGPT在推出兩個月后，月用戶就達到了1億。

網(wǎng)絡I/O瓶頸

人工智能流量的爆炸式增長給網(wǎng)絡和分布式計算基礎設施帶來了瓶頸。Enfabrica在2020年創(chuàng)立，該公司認為擴展現(xiàn)代高性能分布式計算的性能和容量受到I/O的限制。內存容量快速增長，GPU性能呈指數(shù)級增長，但I/O卻沒有跟上，如下圖所示。

EnfabricaCEO Rochan Sankar表示，人工智能的高級挑戰(zhàn)是“它通過100或200 Gig NIC將海量數(shù)據(jù)輸入/輸出服務器節(jié)點，而NIC最初是為與CPU配對而設計的。”他接著詳細闡述了與這個基本問題有關的三個問題:

大量的資源滯留。雖然CPU虛擬化做得很好，但GPU和內存等昂貴的資源卻沒有得到充分利用;

現(xiàn)有的I/O設備堆棧效率很低，因為它是為不同的需求而構建的;

與以太網(wǎng)、PCI和CXL等行業(yè)標準相反，其他創(chuàng)建產品解決方案的公司正在使用“更專有或更孤立”的方法。

解決日益增長的網(wǎng)絡I/O問題

Enfabrica聯(lián)合創(chuàng)始人Rochan Sankar和Shrijeet Mukherjee在Broadcom、谷歌和Cisco等行業(yè)巨頭工作過，擁有數(shù)十年的網(wǎng)絡基礎設施經(jīng)驗。正如Sankar解釋的那樣，他們并不是唯一認識到迫在眉睫的I/O問題的人，但他們相信有更好的方法來解決這個問題。有了這些想法，他們組建了自己的團隊，開始致力于顛覆互聯(lián)硅市場，據(jù)估計，這個市場的價值很快就會達到200億美元。

Enfabrica設計的核心是用其加速計算結構取代多層網(wǎng)絡基礎設施(見下圖)。Sankar表示Enfabrica架構“就像一個輪輻模型”，可以“分解和擴展任何計算資源”。他接著解釋道:“無論是CPU、GPU、加速器、內存還是Flash，它們都可以連接到這個集線器，這個集線器有效地充當了它們的聚合I/O結構設備。”

Sankar指出，除了在這些系統(tǒng)中引入新的硬件架構的挑戰(zhàn)之外，我們還不能改變軟件層。“從一開始就需要付出很多努力。因此，引入硬件技術或網(wǎng)絡技術來迫使這種情況發(fā)生改變實際上是很有挑戰(zhàn)的。”Enfabrica的目標是讓它的硬件“使用與現(xiàn)在相同的接口和API集”運行。

行業(yè)標準和開源

包括行業(yè)巨頭英偉達在內的其他公司都在使用專有接口解決方案來解決這一網(wǎng)絡問題，而Enfabrica則使用PCIe和CXL等行業(yè)標準與開源軟件框架相結合。

Sanker表示，他們“提供了另一種擴展方式”。他認為，“英偉達將在相當長一段時間內處于這個生態(tài)系統(tǒng)的核心地位。”因此，他們并不期望取代英偉達，而是增強現(xiàn)有的解決方案。“我們可以增加一層高容量內存”，客戶可以“利用它來擴展非常大的語言模型”。

第一代ACF

第一代高級計算結構交換機(ACF-S，如下圖所示）是在臺積電的5納米FinFET工藝上制造的，該工藝在一定程度上是為這樣的高性能計算應用開發(fā)的。

ACF-S設計用于在單個硅晶片中提供異構計算和內存資源之間的多太比特交換和橋接，而不改變設備驅動程序以上的物理接口、協(xié)議或軟件層。Sankar解釋道，該交換芯片像個“三明治”，包括“高性能以太網(wǎng)交換管道，一個大型共享緩沖區(qū)，即所謂的太比特NIC復制引擎，以及高性能PCIe Gen5和CXL 2.0+交換。”

“這些加速計算結構產品旨在創(chuàng)建彈性資源池，可以按需聯(lián)網(wǎng)和供應，以創(chuàng)建更靈活的實例。這能夠擴展以滿足下一代工作負載的需求，并以一種可持續(xù)的方式實現(xiàn)總擁有成本。”

云經(jīng)濟的超級計算機性能

如果目標是顛覆一個200億美元的行業(yè)，那么最好有一些重大改進。在我們的討論中，Sankar強調了他們預見到的先進計算結構的一些好處:

將AI集群從數(shù)百個節(jié)點擴展到數(shù)千個節(jié)點

每美元I/O帶寬提高2倍

緩解GPU、DRAM、SSD卡死，提高利用率

降低75%的節(jié)點到節(jié)點延遲

AI集群總擁有成本降低50%

GPU機架和集群功耗至少降低10%

Sanker認為，如果他們成功了，Enfabrica可以幫助“在高性能超級計算和云規(guī)模分布之間架起一座橋梁”，人工智能是驅動這些需求的核心工作負載。“人們想要云經(jīng)濟，但他們想要超級計算機的性能。”

Enfabrica計劃在今年晚些時候發(fā)布特定產品的公告，有興趣的讀者可以關注。

審核編輯 ：李倩