隨著大模型概念火熱，算力成為各行各業(yè)關(guān)注的熱門話題。英偉達(dá)顯卡被搶爆，媒體關(guān)注“大模型時代到來，算力夠不夠”，行業(yè)想要解決AIGC時代的算力瓶頸問題。然而，發(fā)展大模型，是否解決算力問題就夠了？

01 算力是大模型的底座

大模型是在智能算力驅(qū)動下最為典型的重大創(chuàng)新。得益于模型泛化能力強(qiáng)、長尾數(shù)據(jù)的低依賴性、以及下游模型使用效率的提升，大模型被認(rèn)為具備了“通用智能”的雛形，并成為業(yè)內(nèi)探索實現(xiàn)普惠人工智能的重要途徑之一。從算力的視角看，語言類、視覺類模型容量和相應(yīng)的算力需求都在快速擴(kuò)大，大模型發(fā)展的背后是龐大的算力支撐。作為算法的結(jié)晶，需要處理大量的數(shù)據(jù)。人工智能背后需要大量的硬件支撐，已經(jīng)成了新時代的“重工業(yè)”產(chǎn)品。

算力決定了數(shù)據(jù)處理能力的強(qiáng)弱。算力芯片是算力的具體載體，高算力芯片能夠提供超算算力、通用算力、智能算力和邊緣算力。搭載率最高的GPU芯片多用于圖形圖像處理、復(fù)雜的數(shù)學(xué)計算等場景，可較好支持高度并行的工作負(fù)載，經(jīng)常用于數(shù)據(jù)中心的模型訓(xùn)練，或用于邊緣側(cè)和端側(cè)的推理工作負(fù)載。

服務(wù)器是算力的基礎(chǔ)設(shè)施之一。服務(wù)器的邏輯架構(gòu)和普通計算機(jī)類似，但是由于需要提供高性能計算，因此在處理能力、穩(wěn)定性、可靠性、安全性、可擴(kuò)展性、可管理性等方面要求較高。人工智能服務(wù)器由于具備圖形渲染和海量數(shù)據(jù)的并行運(yùn)算等優(yōu)勢，能夠快速準(zhǔn)確地處理大量數(shù)據(jù)，市場價值逐漸凸顯。

隨著數(shù)據(jù)應(yīng)用的搭載率較低的NPU芯片，設(shè)計邏輯則更為簡單，常用于邊側(cè)和端側(cè)的模型推理，并生成結(jié)果，在處理推理工作負(fù)載時，具有顯著的能耗節(jié)約優(yōu)勢。根據(jù)IDC統(tǒng)計，2021年中國仍以GPU為主實現(xiàn)數(shù)據(jù)中心計算加速，市場占有率近90%，ASIC、FPGA、NPU等非GPU芯片市場占有率超過10%。據(jù)IDC預(yù)計，到2025年人工智能芯片市場規(guī)模或?qū)⑦_(dá)726億美元。

IDC數(shù)據(jù)顯示，2021年全球人工智能服務(wù)器市場的同比增速超過全球整體人工智能市場的增速，是整體人工智能市場增長的推動力。IDC發(fā)布的《全球人工智能市場半年度追蹤報告》顯示，2021年全球人工智能服務(wù)器市場規(guī)模達(dá)156.3億美元，約合人民幣1,045億元，這是全球年度人工智能服務(wù)器市場首次突破千億元人民幣，同比2020年增速達(dá)39.1%。

這樣的背景下，國內(nèi)算力芯片公司“快馬揚(yáng)鞭”。例如，龍芯中科計劃明年下半年將完成兼顧顯卡和算力加速功能的專用芯片流片；龍芯GPU的定位主要是為了與CPU形成自我配套，形成系統(tǒng)優(yōu)勢，降低系統(tǒng)成本。

02 國產(chǎn)存力需要重視

數(shù)據(jù)存力指的是以存儲容量為核心，包含性能表現(xiàn)、安全可靠、綠色低碳在內(nèi)的綜合能力。

在國家數(shù)字經(jīng)濟(jì)大戰(zhàn)略下，數(shù)據(jù)作為生產(chǎn)要素，已成為重要的資產(chǎn)。隨著海量數(shù)據(jù)呈指數(shù)級增長，數(shù)據(jù)流動加速，存儲作為承載數(shù)據(jù)的關(guān)鍵設(shè)施，其重要性更加凸顯。作為數(shù)據(jù)大國，數(shù)據(jù)存儲產(chǎn)業(yè)就需要跟上。大模型正在帶動各地建設(shè)AI算力中心，但是產(chǎn)業(yè)主要關(guān)心的都是運(yùn)算力。倪光南院士認(rèn)為算力中心的計算能力由三個因素決定：存力、算力、運(yùn)力。倪光南院士認(rèn)為，用廣義算力去定義一個算力中心，才更準(zhǔn)確。如果去計算存算比的話，美國的算力中心存算比為1.11TB/GFlops，中國約為美國的37.8%。

我國數(shù)據(jù)存力發(fā)展總體水平與發(fā)達(dá)國家相比仍有一定差距。據(jù)羅蘭公司測算，美國單位GDP存儲容量高于我國，我國存儲在經(jīng)濟(jì)發(fā)展中的支撐作用有待加強(qiáng)。據(jù)中國信通院統(tǒng)計，2021年我國存儲總量容量已達(dá)800EB，出貨量年均增長速度已達(dá)50%。

為了發(fā)展國產(chǎn)算力，在技術(shù)方面，需要加快部署下一代存儲技術(shù)，推動存儲核心技術(shù)底層研發(fā)和技術(shù)攻關(guān)，提升存儲介質(zhì)、安全設(shè)計、數(shù)據(jù)防護(hù)等關(guān)鍵技術(shù)水平，打造全球存儲的創(chuàng)新高地。存儲領(lǐng)域正在發(fā)生一場新的技術(shù)變革，即基于半導(dǎo)體技術(shù)的新型產(chǎn)品替代基于機(jī)械技術(shù)的傳統(tǒng)產(chǎn)品，這一個正在加速進(jìn)行的客觀趨勢。SSD可以實現(xiàn)用先進(jìn)的壓縮算法，把數(shù)據(jù)更好地壓縮，可以去重，可以更好的加密解密，用新的文件系統(tǒng)等等。

在標(biāo)準(zhǔn)方面，應(yīng)盡快研究建立存儲的行業(yè)規(guī)范和標(biāo)準(zhǔn)，完善數(shù)據(jù)存儲效率、數(shù)據(jù)保護(hù)、數(shù)據(jù)災(zāi)備、綠色低碳等數(shù)據(jù)存力關(guān)鍵標(biāo)準(zhǔn)體系。存儲相關(guān)企業(yè)及研究機(jī)構(gòu)進(jìn)行標(biāo)準(zhǔn)和評估體系研究，鼓勵行業(yè)龍頭企業(yè)通過硬件開放、軟件開源、使能生態(tài)伙伴等策略，給予合作伙伴尤其是創(chuàng)新型小微企業(yè)充分的發(fā)展空間，共同摸索形成存儲行業(yè)標(biāo)準(zhǔn)；另一方面，推進(jìn)數(shù)據(jù)存儲產(chǎn)業(yè)國際交流與合作，加強(qiáng)與國際標(biāo)準(zhǔn)組織的合作，加速我國技術(shù)標(biāo)準(zhǔn)的國際化進(jìn)程，積極參與數(shù)據(jù)存儲國際規(guī)則和技術(shù)標(biāo)準(zhǔn)制定。

在人才培養(yǎng)方面，存力市場有必要進(jìn)一步完善數(shù)據(jù)產(chǎn)業(yè)人才培養(yǎng)機(jī)制，建立多層次、多元化的人才培養(yǎng)系統(tǒng)，鼓勵培養(yǎng)專業(yè)理論與行業(yè)知識兼?zhèn)涞膹?fù)合型人才，鼓勵地方政府引導(dǎo)企業(yè)完善人才激勵機(jī)制，引進(jìn)和留住高端存儲專業(yè)人才，優(yōu)化人才的地域和行業(yè)布局。存力產(chǎn)業(yè)，包括數(shù)據(jù)存儲，數(shù)據(jù)管理技術(shù)。目前國內(nèi)對存儲的概念還停留在一個小的部件，沒有把它上升到一個產(chǎn)業(yè)的高度。

有強(qiáng)大先進(jìn)的數(shù)據(jù)存儲產(chǎn)業(yè)作為支撐，才能有發(fā)展算力主動權(quán)。

03 國產(chǎn)運(yùn)力，沉默的搬運(yùn)工

如果說存力已經(jīng)開始逐漸受到重視，那么國產(chǎn)運(yùn)力相對來說可能還是一個“小透明”。但對于大模型訓(xùn)練來說，“運(yùn)力”已經(jīng)成為關(guān)鍵因素。英特爾公司高級副總裁兼網(wǎng)絡(luò)與邊緣事業(yè)部總經(jīng)理Sachin Katti表示，在云端訓(xùn)練大模型，單個服務(wù)器已無法承載，對網(wǎng)絡(luò)需求的高要求前所未有，“我們訓(xùn)練一個大模型就需要5萬-20萬臺服務(wù)器，需要通過網(wǎng)絡(luò)來把這些服務(wù)器連接起來然后進(jìn)行訓(xùn)練，這個量是非常大的。”

數(shù)字世界的運(yùn)力，指的是數(shù)據(jù)傳輸流轉(zhuǎn)的能力，由帶寬、時延、安全可靠等要素組成。面對強(qiáng)勁的算力需求，英偉達(dá)推出了云算力平臺，企業(yè)可以租用算力，谷歌、微軟AZURE等云算力平臺會為其提供算力支持。而與租用的服務(wù)器的鏈接也會成為影響企業(yè)模型訓(xùn)練的因素。

各類智能化應(yīng)用的普及，導(dǎo)致大量視頻數(shù)據(jù)、科研數(shù)據(jù)需要流動、調(diào)度、分析處理，帶來的網(wǎng)絡(luò)壓力和運(yùn)力負(fù)擔(dān)也越來越大。

中國移動通信研究院發(fā)布的《面向AI大模型的智算中心網(wǎng)絡(luò)演進(jìn)白皮書》測算，以1750億參數(shù)規(guī)模的GPT-3模型訓(xùn)練為例，從理論估算模型分析，當(dāng)動態(tài)時延從10us提升至1000us時，GPU有效計算時間占比將降低接近10％；當(dāng)網(wǎng)絡(luò)丟包率為千分之一時，GPU有效計算時間占比將下降13％；當(dāng)網(wǎng)絡(luò)丟包率達(dá)到1％時，GPU有效計算時間占比將低于5％。“如何降低計算通信時延、提升網(wǎng)絡(luò)吞吐是AI大模型智算中心能夠充分釋放算力的核心問題。”

對于大模型來說，在訓(xùn)練大模型時，模型參數(shù)存儲于加速器（如GPU顯卡）的片外緩存中，隨著訓(xùn)練進(jìn)程對模型參數(shù)進(jìn)行不斷更新迭代。在訓(xùn)練過程中，不同加速器之間需要進(jìn)行頻繁且大量的數(shù)據(jù)交換，在數(shù)據(jù)交換完成之后，才能夠去算下一步的訓(xùn)練結(jié)果。從這個角度來說，好“運(yùn)”，才能好“算”。在這一點(diǎn)上，英特爾除了提供CPU、獨(dú)立顯卡等芯片，滿足人工智能模型訓(xùn)練、推理對算力的要求外，也提供了針對網(wǎng)絡(luò)的IPU（Infrastructure Processing Unit）產(chǎn)品。

從這一角度來看，在AI芯片賽道已經(jīng)有巨頭把控且新玩家層出不窮的情況下，布局運(yùn)力系統(tǒng)或許是另一片藍(lán)海。更重要的是，從宏觀角度來看，運(yùn)力是將算力和存力高效傳輸給終端用戶，它在基礎(chǔ)設(shè)施中起到非常重要的作用。以被熟知的“東數(shù)西算”工程為例，它還包含西數(shù)西算、南數(shù)南算、東數(shù)西存等，而實現(xiàn)這些規(guī)劃的前提是要有強(qiáng)有力的運(yùn)力做支撐。運(yùn)力網(wǎng)絡(luò)要讓用戶在調(diào)用成百上千公里以外的計算資源時的體驗與調(diào)用隔壁工作站的資源沒什么區(qū)別。對于一個城市的大數(shù)據(jù)中心，就需要實現(xiàn)城市乃至國家層面綜合調(diào)度的能力。

在“三力”基礎(chǔ)上打造智慧管控能力，實現(xiàn)高效調(diào)度，才有希望實現(xiàn)算力一體化服務(wù)。不久前，成都最新發(fā)布政策，指出將圍繞“算力”“存力”“運(yùn)力”等關(guān)鍵領(lǐng)域，大力發(fā)展芯片、服務(wù)器整機(jī)、液冷設(shè)備等高端硬件。顯然，行業(yè)已經(jīng)意識到，對于發(fā)展大模型，全面發(fā)展不能僅堆算力芯片。

審核編輯：劉清