作者：周立旸

IBM 大中華區(qū)科技事業(yè)部存儲(chǔ)軟件產(chǎn)品總監(jiān)

隨著 DeepSeek 等新一代開(kāi)源大模型的發(fā)布，AI 變得越來(lái)越智能，使用更少的資源就能夠創(chuàng)造更高的應(yīng)用價(jià)值，越來(lái)越多的企業(yè)都正在由內(nèi)而外、由淺入深地部署各種 AI 應(yīng)用。從更大的視角看，市場(chǎng)的不確定性進(jìn)一步加劇企業(yè)的“算力焦慮”，如何盤活現(xiàn)有計(jì)算資源、打通內(nèi)部數(shù)據(jù)已經(jīng)成為 CIO、CTO 們的當(dāng)務(wù)之急。

在今年 1月的 CES 大會(huì)上，英偉達(dá)等科技公司認(rèn)為 AI 發(fā)展至今，已經(jīng)需要新的定律來(lái)描述不同的計(jì)算資源配置如何影響模型性能，包括預(yù)訓(xùn)練擴(kuò)展、后訓(xùn)練擴(kuò)展和測(cè)試時(shí)擴(kuò)展 (也稱為長(zhǎng)思考)。在強(qiáng)化學(xué)習(xí)、模型調(diào)優(yōu)以及運(yùn)用 AI 推理模型階段，企業(yè)能夠用更小的算力增加來(lái)獲得更智能、更強(qiáng)大的 AI。為了防范數(shù)據(jù)泄露風(fēng)險(xiǎn)，大多用戶采用了本地化部署的 AI 基礎(chǔ)設(shè)施來(lái)進(jìn)行應(yīng)用開(kāi)發(fā)和調(diào)優(yōu)，并通過(guò)思維鏈和多模型矩陣來(lái)優(yōu)化 AI 推理效果。這些算力集群不僅需要對(duì)應(yīng)的高性能分布式存儲(chǔ)，更需要與之匹配的現(xiàn)代化數(shù)據(jù)訪問(wèn)和管理服務(wù)。

企業(yè)為什么需要 AI 存儲(chǔ)?

當(dāng)我們問(wèn) DeepSeek “AI 時(shí)代需要哪種存儲(chǔ)”，它給出了如下答案：

具體到真實(shí)的企業(yè)應(yīng)用場(chǎng)景，AI 存儲(chǔ)解決方案需要應(yīng)對(duì)如下挑戰(zhàn)：

昂貴的 GPU 資源：許多用戶投入了巨額資金來(lái)購(gòu)買一體機(jī)和算力平臺(tái)，需要存儲(chǔ)方案縮短 AI 開(kāi)發(fā)的時(shí)間、提升推理應(yīng)用的效率，更快地獲得所需的結(jié)果;

分散的 AI 數(shù)據(jù)：AI 需要實(shí)時(shí)、可信的數(shù)據(jù)才能發(fā)揮作用，企業(yè)端的應(yīng)用更是需要結(jié)合企業(yè)自有的歷史和實(shí)時(shí)數(shù)據(jù)。這需要企業(yè)有效地整合非結(jié)構(gòu)化數(shù)據(jù)，在需要的時(shí)間和地點(diǎn)交付數(shù)據(jù)，為各種 AI 應(yīng)用提供透明的數(shù)據(jù)訪問(wèn);

不斷增加的存儲(chǔ)成本：伴隨數(shù)據(jù)量的不斷增大，企業(yè)需要消除數(shù)據(jù)孤島，實(shí)現(xiàn)數(shù)據(jù)生命周期管理，用更低的成本實(shí)現(xiàn)更高性能的數(shù)據(jù)訪問(wèn)和更大容量的數(shù)據(jù)保留，通過(guò)智能化的數(shù)據(jù)分層降低總體開(kāi)銷;

確保數(shù)據(jù)安全合規(guī)：隨著數(shù)據(jù)成為關(guān)鍵生產(chǎn)要素，企業(yè)需要更安全的手段和更嚴(yán)格的規(guī)定來(lái)抵御安全風(fēng)險(xiǎn)、自然災(zāi)害和人為錯(cuò)誤，確保數(shù)據(jù)一直可用;同時(shí)實(shí)現(xiàn)網(wǎng)絡(luò)安全彈性，在勒索攻擊等事件發(fā)生后快速恢復(fù)數(shù)據(jù)，確保業(yè)務(wù)持續(xù)性。

AI 時(shí)代，企業(yè)需要怎樣的數(shù)據(jù)存儲(chǔ)?

以 DeepSeek 為代表的“小而美”開(kāi)源模型，通過(guò)算法層面的優(yōu)化實(shí)現(xiàn)了可觀的“降本增效”。那么，基礎(chǔ)架構(gòu)層面的優(yōu)化能否滿足以上需求，帶來(lái)更大收益呢?

答案是肯定的。得益于在高性能計(jì)算和并行計(jì)算領(lǐng)域的長(zhǎng)期積累，IBM 的 AI 數(shù)據(jù)存儲(chǔ)解決方案可以提供優(yōu)化的數(shù)據(jù)基礎(chǔ)架構(gòu)，包括：

加速 AI 發(fā)現(xiàn)和 GPU 的數(shù)據(jù)訪問(wèn)：IBM Storage Scale 軟件可以并行訪問(wèn)全局?jǐn)?shù)據(jù)，幫助實(shí)現(xiàn)協(xié)議互通 (如容器、對(duì)象、文件、POSIX 等)，支持 NVIDIA GPUDirect 提升 GPU 數(shù)據(jù)訪問(wèn)效率，通過(guò)“容器原生數(shù)據(jù)訪問(wèn)”為各種 AI 應(yīng)用和微服務(wù)提供更高性能;

增強(qiáng)基于分布式/云數(shù)據(jù)的協(xié)同工作：IBM 的全局?jǐn)?shù)據(jù)平臺(tái)可以實(shí)現(xiàn)存儲(chǔ)抽象和加速能力，將企業(yè)分布的數(shù)據(jù)整合為統(tǒng)一的數(shù)據(jù)資源，實(shí)現(xiàn)自動(dòng)化的數(shù)據(jù)加速和透明的遠(yuǎn)程數(shù)據(jù)訪問(wèn)，全局訪問(wèn)位于磁帶、云或現(xiàn)有存儲(chǔ)資源上的數(shù)據(jù)來(lái)幫助消除數(shù)據(jù)孤島;

綠色節(jié)能，降低成本：通過(guò) IBM 軟件定義存儲(chǔ)強(qiáng)大的數(shù)據(jù)調(diào)度能力，結(jié)合高性能存儲(chǔ)、對(duì)象存儲(chǔ)(如 Ceph)和磁帶存儲(chǔ)實(shí)現(xiàn)基于策略的數(shù)據(jù)分層，可以為 AI 應(yīng)用優(yōu)化數(shù)據(jù)存儲(chǔ)的性能和成本;

實(shí)現(xiàn)數(shù)據(jù)安全彈性：為 AI 治理提供集成的數(shù)據(jù)目錄，為實(shí)現(xiàn)網(wǎng)絡(luò)安全彈性提供快速恢復(fù)和 Safeguarded Copy(不可變副本)，通過(guò)高效的數(shù)據(jù)保護(hù)機(jī)制可以提供高達(dá)6個(gè) 9 的可用性。

AI 存儲(chǔ)的應(yīng)用場(chǎng)景

以上技術(shù)的集合將為企業(yè)打造更高效、更安全的存儲(chǔ)平臺(tái)，以解鎖數(shù)據(jù)價(jià)值，應(yīng)對(duì) AI 時(shí)代的數(shù)據(jù)挑戰(zhàn)。典型場(chǎng)景包括：

AI 調(diào)優(yōu)、推理與訓(xùn)練：其中，用于調(diào)優(yōu)和推理的系統(tǒng)往往采用容器化部署，需要豐富的數(shù)據(jù)管理功能和接口，同時(shí)提供企業(yè)級(jí)的安全容災(zāi)能力支持業(yè)務(wù)連續(xù)性;用于訓(xùn)練的系統(tǒng)需要能支持大規(guī)模 GPU 集群運(yùn)行所需的讀寫性能和擴(kuò)展能力。采用高效的數(shù)據(jù)存儲(chǔ)可以實(shí)現(xiàn)數(shù)據(jù)加速，提升應(yīng)用效率。

以 IBM watsonx.ai 平臺(tái)為例，IBM 配備了 AI 一體機(jī) IBM Fusion HCI，其后臺(tái)采用 IBM 軟件定義的高性能存儲(chǔ)，可以滿足不同規(guī)模大模型部署的需求，同時(shí)確保在幾十乃至上百個(gè)用戶并發(fā)訪問(wèn)的情況下，維持穩(wěn)定的 token 輸出速度來(lái)滿足推理應(yīng)用的服務(wù)水平。

在 AI 訓(xùn)練領(lǐng)域，全球許多千卡萬(wàn)卡的大集群都采用了 IBM 的 AI 存儲(chǔ)，例如部署在德國(guó)尤里希超級(jí)計(jì)算中心的 JUPITER、部署在西班牙巴塞羅那超算中心的 MareNostrum 5、IBM 用于訓(xùn)練 Granite 模型的 Blue Vela 等等。基于英偉達(dá) SuperPOD 的測(cè)試結(jié)果顯示，采用同樣數(shù)量的節(jié)點(diǎn)訓(xùn)練同樣的模型，采用 IBM SSS 6000 高性能并行存儲(chǔ)的 4個(gè)迭代訓(xùn)練時(shí)間，比基于全 NVMe 的 NAS 整整縮短一倍。對(duì)于一個(gè)投入幾千萬(wàn)甚至是幾億的基礎(chǔ)設(shè)施來(lái)講，這意味著經(jīng)濟(jì)成本的巨大節(jié)約。

在國(guó)內(nèi)，某智能駕駛應(yīng)用的領(lǐng)軍企業(yè)、某頭部量化私募基金以及某高校的冷凍電鏡項(xiàng)目都選擇了 IBM Storage Scale System，在多云環(huán)境中打造統(tǒng)一的全局?jǐn)?shù)據(jù)平臺(tái)，同時(shí)快速響應(yīng)數(shù)據(jù)調(diào)度需求，實(shí)現(xiàn)高效開(kāi)發(fā)迭代和系統(tǒng)管理。

AI 數(shù)據(jù)湖倉(cāng)

伴隨 AI 應(yīng)用的飛速發(fā)展，企業(yè)需要從快速增長(zhǎng)的非結(jié)構(gòu)化數(shù)據(jù)中提取洞察并用于推理，不斷擴(kuò)展檢索增強(qiáng)生成(RAG)、AI 推理等應(yīng)用場(chǎng)景。AI 數(shù)據(jù)湖倉(cāng)可以在不影響信任和安全的前提下，提供更實(shí)時(shí)、更可信的數(shù)據(jù)訪問(wèn)。以汽車制造為例，車企客戶可以通過(guò)車聯(lián)網(wǎng)實(shí)時(shí)收集和整理車載傳感器的數(shù)據(jù)，用于開(kāi)發(fā)更智能的模型，并利用這些數(shù)據(jù)為用戶提供更好的服務(wù)。

基于 IBM 全局?jǐn)?shù)據(jù)平臺(tái)強(qiáng)大的混合云支持能力和靈活的容器應(yīng)用接口，以及對(duì)多應(yīng)用多集群的多租戶的支持能力，用戶可以整合現(xiàn)有數(shù)據(jù)存儲(chǔ)，為數(shù)據(jù)構(gòu)建高效的 AI 數(shù)據(jù)管道。今年，IBM 還開(kāi)發(fā)了新一代內(nèi)容感知存儲(chǔ) (Content-aware Storage) 功能，以增強(qiáng)其檢索增強(qiáng)生成 (RAG) 能力來(lái)幫助用戶加速各種推理應(yīng)用。

數(shù)據(jù)深度歸檔

隨著 AI 應(yīng)用的拓展，企業(yè)對(duì)數(shù)據(jù)的安全性、可靠性、合規(guī)性的要求也不斷提高，需要采用更安全、更低成本的存儲(chǔ)來(lái)大幅降低數(shù)據(jù)保留的成本。

通過(guò)IBM 軟件定義存儲(chǔ)技術(shù)，IBM 磁帶庫(kù)可以提供 S3 接口，讓企業(yè)可以使用對(duì)象存儲(chǔ)或者公有云存儲(chǔ)一樣的方式實(shí)現(xiàn)數(shù)據(jù)歸檔。磁帶的大容量、低成本等優(yōu)勢(shì)，可以大幅降低 PB 級(jí)別數(shù)據(jù)的長(zhǎng)期保留成本。例如，采用 IBM Diamondback 的深度歸檔方案，27PB 數(shù)據(jù)的 10年保留成本比公有云存儲(chǔ)降低近 90%。

寫在最后

在 Gartner 發(fā)布的 2024年分布式文件和對(duì)象存儲(chǔ)魔力象限中，IBM 第九次被評(píng)為領(lǐng)導(dǎo)者，大量金融、汽車、電子等行業(yè)的全球領(lǐng)先企業(yè)都采用了 IBM AI 存儲(chǔ)解決方案。通過(guò)和全球 AI 技術(shù)領(lǐng)導(dǎo)者的合作，IBM 將持續(xù)創(chuàng)新，提供現(xiàn)代化、開(kāi)放、安全的數(shù)據(jù)基礎(chǔ)架構(gòu)，助力客戶在 AI 時(shí)代解鎖更多商業(yè)價(jià)值。

關(guān)于 IBM

IBM 是全球領(lǐng)先的混合云、人工智能及企業(yè)服務(wù)提供商，幫助超過(guò) 175個(gè)國(guó)家和地區(qū)的客戶，從其擁有的數(shù)據(jù)中獲取商業(yè)洞察，簡(jiǎn)化業(yè)務(wù)流程，降低成本，并獲得行業(yè)競(jìng)爭(zhēng)優(yōu)勢(shì)。金融服務(wù)、電信和醫(yī)療健康等關(guān)鍵基礎(chǔ)設(shè)施領(lǐng)域的超過(guò) 4000家政府和企業(yè)實(shí)體依靠 IBM 混合云平臺(tái)和紅帽 OpenShift 快速、高效、安全地實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型。IBM 在人工智能、量子計(jì)算、行業(yè)云解決方案和企業(yè)服務(wù)方面的突破性創(chuàng)新為我們的客戶提供了開(kāi)放和靈活的選擇。對(duì)企業(yè)誠(chéng)信、透明治理、社會(huì)責(zé)任、包容文化和服務(wù)精神的長(zhǎng)期承諾是 IBM 業(yè)務(wù)發(fā)展的基石。