AIGC，即人工智能生成內(nèi)容，是指利用人工智能技術(shù)，根據(jù)用戶的需求和意圖，自動(dòng)生成文本、圖片、音視頻等多種形式的內(nèi)容。AIGC具有高效、多樣、創(chuàng)新的特點(diǎn)，可以應(yīng)用于娛樂、教育、營銷、新聞等多個(gè)領(lǐng)域，為用戶帶來更豐富的體驗(yàn)和價(jià)值。

比如我這篇文章的配圖，就是用AIGC生成的。我在bing圖像創(chuàng)建器里面輸入提示詞“一個(gè)聊天機(jī)器人在給病人做心理咨詢”，就可以得到上面的圖片。

而大模型是指具備海量參數(shù)和復(fù)雜結(jié)構(gòu)的人工智能模型。例如，GPT-3是一種具有1750億個(gè)參數(shù)的大型語言模型，具備驚人的語言理解和生成能力。大模型的訓(xùn)練需要大量的計(jì)算資源和數(shù)據(jù)，但其帶來的創(chuàng)作能力和自動(dòng)化程度是前所未有的。大模型可以通過輸入一小段文本，自動(dòng)生成連貫、有邏輯的文章，為創(chuàng)作者提供了強(qiáng)大的輔助工具。

有大模型加持的AIGC隨著chatGPT的火爆，已經(jīng)是路人皆知了。很多企業(yè)也紛紛加入了這個(gè)領(lǐng)域的競(jìng)爭(zhēng)。對(duì)大模型AIGC的支持也成了很多先進(jìn)企業(yè)選擇云基礎(chǔ)設(shè)施重點(diǎn)考慮的因素。 而騰訊云作為國內(nèi)領(lǐng)先的云計(jì)算服務(wù)商，為AIGC大模型場(chǎng)景提供了全面的解決方案。今天，我們就從存儲(chǔ)的視角，看看騰訊云存儲(chǔ)給AIGC場(chǎng)景提供哪些針對(duì)性的解決方案。

崔劍作為騰訊云存儲(chǔ)產(chǎn)品團(tuán)隊(duì)的一員，他從騰訊云存儲(chǔ)團(tuán)隊(duì)的角度，向大家介紹他們對(duì)AIGC場(chǎng)景的思考以及目前的工作和未來計(jì)劃，旨在幫助國內(nèi)從事AIGC相關(guān)業(yè)務(wù)的公司更好地進(jìn)行大模型訓(xùn)練。

大規(guī)模訓(xùn)練對(duì)于開發(fā)者朋友們來說并不陌生。崔劍解釋說，大規(guī)模訓(xùn)練可以分為兩個(gè)階段：訓(xùn)練和推理。在訓(xùn)練階段，AIGC團(tuán)隊(duì)從各個(gè)網(wǎng)站收集各種待訓(xùn)練素材，包括他們自己生成的素材。這些初始素材經(jīng)過初步清洗和標(biāo)注后，被送入GPU進(jìn)行訓(xùn)練。訓(xùn)練完成后，訓(xùn)練結(jié)果被輸入到神經(jīng)網(wǎng)絡(luò)中，使得大模型訓(xùn)練的神經(jīng)網(wǎng)絡(luò)變得越來越智能。

在訓(xùn)練場(chǎng)景中，數(shù)據(jù)存儲(chǔ)起著至關(guān)重要的作用。為了滿足不斷增長的數(shù)據(jù)規(guī)模和多樣化的數(shù)據(jù)類型，訓(xùn)練場(chǎng)景對(duì)存儲(chǔ)系統(tǒng)有以下關(guān)鍵要求：

1. 數(shù)據(jù)湖統(tǒng)一存儲(chǔ)：訓(xùn)練場(chǎng)景需要一個(gè)統(tǒng)一的數(shù)據(jù)湖存儲(chǔ)系統(tǒng)，能夠容納不同來源和格式的數(shù)據(jù)。這種統(tǒng)一存儲(chǔ)能夠?qū)?shù)據(jù)集中管理，提供一致的接口和訪問方式，簡化數(shù)據(jù)管理和查詢操作，從而提高效率。

2. 自由流動(dòng)的數(shù)據(jù)：在訓(xùn)練場(chǎng)景中，數(shù)據(jù)的自由流動(dòng)至關(guān)重要。存儲(chǔ)系統(tǒng)應(yīng)該提供高效的數(shù)據(jù)交換和傳輸機(jī)制，以便數(shù)據(jù)在不同業(yè)務(wù)之間自由流動(dòng)。這樣可以實(shí)現(xiàn)數(shù)據(jù)共享和協(xié)作，避免數(shù)據(jù)孤島的問題，并且促進(jìn)跨部門和跨團(tuán)隊(duì)的合作。

3. 高吞吐、低時(shí)延：由于訓(xùn)練場(chǎng)景通常涉及大規(guī)模數(shù)據(jù)處理和計(jì)算，存儲(chǔ)系統(tǒng)需要具備高吞吐和低時(shí)延的能力。高吞吐能夠支持快速讀寫操作，提供穩(wěn)定的數(shù)據(jù)傳輸速度。低時(shí)延可以減少數(shù)據(jù)訪問的延遲，確保訓(xùn)練任務(wù)能夠及時(shí)響應(yīng)和迭代。

綜上所述，訓(xùn)練場(chǎng)景對(duì)存儲(chǔ)系統(tǒng)有著數(shù)據(jù)湖統(tǒng)一存儲(chǔ)、自由流動(dòng)的數(shù)據(jù)、高吞吐和低時(shí)延的關(guān)鍵要求。滿足這些要求的存儲(chǔ)系統(tǒng)能夠支持高效的數(shù)據(jù)管理、協(xié)作和處理，為訓(xùn)練場(chǎng)景的成功實(shí)施提供可靠的基礎(chǔ)。

基于這些訓(xùn)練結(jié)果，業(yè)務(wù)團(tuán)隊(duì)將其進(jìn)行推理和應(yīng)用的封裝。推理和應(yīng)用包括文本生成、圖像生成、視頻生成等功能。終端用戶可以提供輸入，例如一段文本，希望生成相應(yīng)的圖像或古詩。輸入進(jìn)入推理系統(tǒng)后，系統(tǒng)基于神經(jīng)網(wǎng)絡(luò)的積累，通過服務(wù)端返回結(jié)果。在這個(gè)過程中，還有一些重要的旁路模塊，如內(nèi)容審核。

由于所有內(nèi)容都由機(jī)器生成，可能涉及政治、色情或恐怖主義等問題，各大平臺(tái)都投入了大量資源進(jìn)行內(nèi)容審核。 推理的結(jié)果可以應(yīng)用于2B或2C的平臺(tái)。對(duì)于2B平臺(tái)，需要對(duì)推理結(jié)果進(jìn)行管理，可能還需要下游內(nèi)容管理的解決方案。崔劍表示，騰訊云在AIGC領(lǐng)域投入了大量精力，提供全面的解決方案，包括計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)、容器和云原生等調(diào)度能力。時(shí)間有限，崔劍僅從存儲(chǔ)團(tuán)隊(duì)的角度介紹了他們?cè)隍v訊云AIGC解決方案中的貢獻(xiàn)。

AIGC的核心要素包括內(nèi)容生成、內(nèi)容審核和內(nèi)容智理三個(gè)維度。內(nèi)容生成是指利用深度學(xué)習(xí)模型，根據(jù)用戶輸入的關(guān)鍵詞、語句或圖片等信息，生成相應(yīng)的內(nèi)容。內(nèi)容審核是指對(duì)生成的內(nèi)容進(jìn)行合法性、合規(guī)性和質(zhì)量的檢測(cè)和篩選，防止出現(xiàn)違規(guī)、低俗或不符合用戶期望的內(nèi)容。

內(nèi)容智理是指對(duì)生成的內(nèi)容進(jìn)行結(jié)構(gòu)化、分類、標(biāo)簽化等處理，提高內(nèi)容的可檢索性和可利用性。 騰訊云作為國內(nèi)領(lǐng)先的云計(jì)算服務(wù)商，為AIGC場(chǎng)景提供了全面的解決方案，其中和云存儲(chǔ)相關(guān)的包括：

- COS對(duì)象存儲(chǔ)數(shù)據(jù)湖：基于騰訊云對(duì)象存儲(chǔ)服務(wù)，為AIGC提供海量、安全、低成本的數(shù)據(jù)存儲(chǔ)空間，支持多地域部署和跨地域復(fù)制，滿足AIGC數(shù)據(jù)管理的需求。

- GooseFS數(shù)據(jù)加速：基于騰訊云自研的分布式緩存系統(tǒng)，為AIGC提供高性能緩存服務(wù)，利用GPU節(jié)點(diǎn)的內(nèi)存或NVME SSD作為緩存介質(zhì)，實(shí)現(xiàn)數(shù)據(jù)與計(jì)算節(jié)點(diǎn)的就近訪問，提升數(shù)據(jù)訪問效率。

- 數(shù)據(jù)萬象內(nèi)容審核：基于騰訊云數(shù)據(jù)萬象服務(wù)，為AIGC提供全方位的內(nèi)容審核服務(wù)，包括文本審核、圖片審核、音視頻審核等，利用業(yè)界領(lǐng)先的語義模型和海量的違規(guī)詞庫，快速識(shí)別出生成內(nèi)容中包含的違規(guī)、低俗或不合適的信息。

- 企業(yè)網(wǎng)盤數(shù)據(jù)智理：基于騰訊云企業(yè)網(wǎng)盤產(chǎn)品，為AIGC提供高效的數(shù)據(jù)智理服務(wù)，包括對(duì)用戶的數(shù)據(jù)集、Fine-tuned models、生成的內(nèi)容進(jìn)行結(jié)構(gòu)化、分類、標(biāo)簽化等處理，并支持多模態(tài)檢索和跨平臺(tái)分享。 通過以上解決方案，騰訊云為AIGC場(chǎng)景提供了端到端的支持，幫助開發(fā)者們快速搭建AIGC應(yīng)用平臺(tái)，實(shí)現(xiàn)內(nèi)容生成革命。

西瓜哥做存儲(chǔ)很多年，采用對(duì)象存儲(chǔ)做數(shù)據(jù)湖，采用分布式文件系統(tǒng)做大模型訓(xùn)練加速，這都是業(yè)界的常見做法，我也很容易想到，相信其他公有云廠商也是如此。但是，騰訊云引入了成熟的數(shù)據(jù)萬象內(nèi)容審核平臺(tái)，幫助用戶解決AIGC的合規(guī)問題，尤其有價(jià)值。并且最后通過網(wǎng)盤對(duì)AIGC的產(chǎn)出內(nèi)容進(jìn)行高效的管理，讓AIGC的價(jià)值充分釋放，我覺得也是騰訊云的一個(gè)亮點(diǎn)。

針對(duì)騰訊云存儲(chǔ)的AIGC解決方案，有四個(gè)重要的步驟。

Step.1

第一步是數(shù)據(jù)集下載和預(yù)處理，在這一關(guān)鍵步驟中，國內(nèi)的公司與國外的ChatGPT存在一些差距。崔劍認(rèn)為，這種差距主要體現(xiàn)在兩個(gè)方面。首先是算法方面，雖然ChatGPT在早期的幾個(gè)版本中公開了一些算法，但新版本的算法并沒有公開，因?yàn)樗麄冋J(rèn)為這是他們的核心競(jìng)爭(zhēng)力之一。

其次是標(biāo)注能力，這可能是大家容易忽視的因素。質(zhì)量好壞與標(biāo)注的準(zhǔn)確性有關(guān)。對(duì)于經(jīng)典的AI標(biāo)注來說，例如對(duì)一張圖片進(jìn)行標(biāo)注，判斷其中是否有人物或風(fēng)景，如果是人物，還要判斷性別和膚色等，這些問題可以通過簡單的問答進(jìn)行標(biāo)注。

然而，在大規(guī)模模型訓(xùn)練中，對(duì)結(jié)果的精確度要求非常高，且復(fù)雜度較高，因此標(biāo)注環(huán)節(jié)的技術(shù)要求較高。問題不在于是否能正確回答問題，而在于提問者如何提出問題，問題的質(zhì)量將決定標(biāo)注數(shù)據(jù)的水平，而標(biāo)注數(shù)據(jù)集的質(zhì)量則決定了最終產(chǎn)物的質(zhì)量，這也是一個(gè)核心競(jìng)爭(zhēng)力所在。

由于國內(nèi)公司在這方面的積累時(shí)間相對(duì)較短，可能會(huì)根據(jù)自身的技術(shù)積累進(jìn)行標(biāo)注，也會(huì)從國外網(wǎng)站獲取數(shù)據(jù)。國外有一些網(wǎng)站提供了這樣的服務(wù)，用戶可以免費(fèi)下載已標(biāo)注好的數(shù)據(jù)作為訓(xùn)練素材集的冷啟動(dòng)。 對(duì)于從國外網(wǎng)站獲取數(shù)據(jù)這個(gè)場(chǎng)景，國內(nèi)許多公司的第一步是拉取數(shù)據(jù)，但面臨一個(gè)問題，即如何快速將這些數(shù)據(jù)拉回國內(nèi)。

在這方面，騰訊云提供了多種解決方案，包括離線、在線、存量和增量數(shù)據(jù)等。針對(duì)這個(gè)場(chǎng)景，騰訊云的解決方案是MSP騰訊數(shù)據(jù)遷移平臺(tái)。它是一個(gè)PaaS平臺(tái)，通過可視化操作，可以將數(shù)據(jù)從國外網(wǎng)站快速拉取到國內(nèi)存儲(chǔ)桶中，這就完成了第一步的操作。

Step.2

第二步就是訓(xùn)練了。在訓(xùn)練過程中，存儲(chǔ)在配合GPU的使用上起到了重要的作用。由于GPU的稀缺性和珍貴性，我們必須在存儲(chǔ)方面做好數(shù)據(jù)拉取加速，以更好地提供數(shù)據(jù)給GPU，避免浪費(fèi)時(shí)間，并盡快將數(shù)據(jù)傳輸給GPU，從而減少GPU等待時(shí)間，提高GPU算力的利用率，從而節(jié)省成本。為了實(shí)現(xiàn)這個(gè)目標(biāo)，我們需要分析整個(gè)訓(xùn)練流程是怎樣的。

整個(gè)訓(xùn)練流程中，涉及到大量的IO操作。原始素材由用戶匯集在云上對(duì)象存儲(chǔ)的存儲(chǔ)桶中，上面架設(shè)了GPU。訓(xùn)練模型這一方面會(huì)進(jìn)行高帶寬的數(shù)據(jù)拉取，將待訓(xùn)練的素材批量拉取到本地，方便對(duì)待訓(xùn)練素材進(jìn)行向量化壓縮和本地模型運(yùn)算。

然而，在進(jìn)行本地模型算力過程中，會(huì)不斷進(jìn)行Checkpoint的回寫操作。不同廠家的回寫策略不同，但都會(huì)周期性回寫一次Checkpoint大文件，這對(duì)存儲(chǔ)側(cè)的寫帶寬和讀帶寬都有較高的要求。 為了滿足用戶對(duì)帶寬和IO性能的高要求，騰訊云提供了一套方案。

COS對(duì)象存儲(chǔ)匯集用戶全量素材的產(chǎn)品，決定要拉取哪些數(shù)據(jù)可能會(huì)根據(jù)每日或每周的待訓(xùn)練任務(wù)而變化。推薦用戶通過預(yù)熱的方式將數(shù)據(jù)Load到GooseFS中。GooseFS是部署在用戶計(jì)算端或近計(jì)算端的本地文件系統(tǒng)，它有效利用了GPU本地的SSD資源。

在常見的GPU卡中，都搭載了三到四塊SSD盤，我們可以充分利用多臺(tái)GPU本地SSD盤，將其構(gòu)建成一個(gè)統(tǒng)一的GooseFS文件系統(tǒng)。一旦數(shù)據(jù)拉到本地GooseFS后，用戶即可以在GPU本地進(jìn)行更高效的讀寫訓(xùn)練操作。 在這個(gè)方案中，騰訊云希望持續(xù)打磨GooseFS這一層的能力，充分發(fā)揮方案價(jià)值。

如果用戶直接從COS讀取數(shù)據(jù)可能會(huì)在性能上存在一些瓶頸，從絕對(duì)的數(shù)據(jù)角度來看，各家COS服務(wù)商根據(jù)單個(gè)邏輯桶提供OPS，一個(gè)單桶可能只能提供3萬OPS，也只能提供2GB的帶寬，即15-16 GBps。這顯然是不夠的。然而，如果能事先一次性將數(shù)據(jù)Load到GPU本地，運(yùn)行本地的GooseFS，釋放本地SSD的帶寬，那么GooseFS可以達(dá)到TB級(jí)的帶寬，能夠充分滿足GPU本地訓(xùn)練框架的性能要求。

整體的訓(xùn)練加速比可以提升數(shù)十倍。此外，除了GooseFS層面的加速，如果需要的話，還可以進(jìn)行AZ級(jí)服務(wù)端加速，進(jìn)一步提升整個(gè)訓(xùn)練過程的效率。

Step.3

第三步就是推理了。在推理階段，騰訊云已經(jīng)走得比較快，開始考慮商業(yè)化或產(chǎn)品化的封裝，這一步非常重要。騰訊云提供了一套內(nèi)容審核方案，整個(gè)流程相對(duì)簡單易懂。用戶首先在AIGC產(chǎn)品客戶端輸入一個(gè)要執(zhí)行的任務(wù)，但是用戶輸入的文字需要經(jīng)過審核，因?yàn)橛行┟枋隹赡懿缓弦?guī)范。

因此，騰訊云先進(jìn)行審核，檢查用戶輸入的內(nèi)容是否有問題。如果沒有問題，數(shù)據(jù)就會(huì)傳遞到模型大腦這一層。模型大腦根據(jù)輸入進(jìn)行分析和理解，并指導(dǎo)用戶獲取他們想要的結(jié)果。然后，在第③步中，產(chǎn)出的結(jié)果會(huì)再次發(fā)送到騰訊云內(nèi)容審核的服務(wù)端進(jìn)行審核。一旦審核通過，結(jié)果將在第④步和第⑤步之后再次返回給用戶。 崔劍介紹，騰訊云存儲(chǔ)數(shù)據(jù)萬象產(chǎn)品提供了數(shù)據(jù)處理和數(shù)據(jù)審核服務(wù)，已經(jīng)成功運(yùn)營多年。在審核能力和精準(zhǔn)度方面，騰訊云在行業(yè)內(nèi)處于領(lǐng)先地位。

Step.4

最后就是結(jié)果的管理了。在最后一步中，推理產(chǎn)物的使用者可能是個(gè)人，也可能是一家公司。對(duì)于后者，可能需要涉及到下游流程。根據(jù)業(yè)務(wù)需求，公司通過接口請(qǐng)求獲取推理產(chǎn)物，并需要進(jìn)行管理。這個(gè)產(chǎn)物可能會(huì)作為知識(shí)庫的一部分存儲(chǔ)在公司內(nèi)部，也可能需要在公司內(nèi)部進(jìn)行分發(fā)或匯總。為了解決這個(gè)問題，騰訊云存儲(chǔ)團(tuán)隊(duì)提供了企業(yè)網(wǎng)盤作為最終閉環(huán)的解決方案。企業(yè)網(wǎng)盤是一種常見的SaaS辦公軟件，可以提供文件多人協(xié)作、一對(duì)多、多對(duì)多、多對(duì)一的文件分發(fā)和共享功能，同時(shí)支持移動(dòng)辦公。

在上面的四個(gè)部分，比較觸動(dòng)俺西瓜哥的其實(shí)是第一步。因?yàn)槲抑溃瑪?shù)據(jù)的收集和整理是最難的，也是工作量最大的。騰訊云能夠提供很多自動(dòng)化的數(shù)據(jù)遷移和標(biāo)注工具，這個(gè)對(duì)用戶的幫助是真的很大。俗話說，數(shù)據(jù)管理匯-存-算-管-用，匯是第一步。騰訊云的AIGC解決方案也覆蓋了所有的這些標(biāo)準(zhǔn)動(dòng)作，形成了閉環(huán)。

除了在AIGC產(chǎn)品中提供閉環(huán)解決方案外，騰訊云存儲(chǔ)還在底層不斷升級(jí)引擎，降低成本、提高性能和可靠性。在產(chǎn)品能力方面，騰訊云存儲(chǔ)擁有三個(gè)核心產(chǎn)品。首先是公有云存儲(chǔ)COS，其次是私有云存儲(chǔ)TStor，該產(chǎn)品將存儲(chǔ)技術(shù)集成到一體機(jī)中，可供企業(yè)進(jìn)行線下部署。最后是智能存儲(chǔ)的核心產(chǎn)品數(shù)據(jù)萬象CI，它可以幫助用戶處理存儲(chǔ)在云上的數(shù)據(jù)，例如為圖片打水印、進(jìn)行轉(zhuǎn)碼和審核等智能存儲(chǔ)功能。

騰訊云存儲(chǔ)團(tuán)隊(duì)孵化了許多PaaS和SaaS級(jí)存儲(chǔ)產(chǎn)品，包括數(shù)據(jù)湖存儲(chǔ)GooseFS、企業(yè)網(wǎng)盤和視圖計(jì)算等。這些產(chǎn)品旨在滿足不同行業(yè)和使用場(chǎng)景的需求。 騰訊云存儲(chǔ)團(tuán)隊(duì)與騰訊云的各個(gè)行業(yè)團(tuán)隊(duì)緊密合作，為各個(gè)行業(yè)提供定制的解決方案，以滿足其特定需求。不論您所在的行業(yè)是哪個(gè)，騰訊云存儲(chǔ)團(tuán)隊(duì)都致力于提供優(yōu)質(zhì)的服務(wù)。

根據(jù)崔劍老師的介紹，我們了解到騰訊云存儲(chǔ)針對(duì)AIGC的解決方案主要包括以下幾個(gè)方面：

-在數(shù)據(jù)集的下載和預(yù)處理階段，提供MSP數(shù)據(jù)遷移平臺(tái)，幫助用戶快速將標(biāo)注好的數(shù)據(jù)遷移到云上對(duì)象存儲(chǔ)桶。

- 在大模型訓(xùn)練階段，提供 GooseFS 分布式文件系統(tǒng)，利用 GPU 本地的 SSD 資源，加速數(shù)據(jù)的拉取和緩存，提高 GPU 算力利用率，實(shí)現(xiàn)訓(xùn)練加速。

- 在推理階段，提供數(shù)據(jù)萬象的內(nèi)容審核服務(wù)，對(duì)用戶輸入和推理產(chǎn)物進(jìn)行質(zhì)量把控，防止涉政、涉黃、涉恐等問題。

- 在推理產(chǎn)物管理階段，提供企業(yè)網(wǎng)盤服務(wù)，支持文件多人協(xié)作、共享、分發(fā)和移動(dòng)辦公，幫助用戶管理和利用推理產(chǎn)物。

西瓜哥的簡單解讀就到這里了，我們看到，騰訊云存儲(chǔ)團(tuán)隊(duì)為 AIGC 領(lǐng)域提供了一套全面、高效、智能的解決方案，從數(shù)據(jù)集的下載和預(yù)處理，到大模型訓(xùn)練，再到推理和推理產(chǎn)物管理，展現(xiàn)了強(qiáng)大的技術(shù)實(shí)力和創(chuàng)新能力。這些解決方案不僅降低了用戶的成本和時(shí)間，提高了用戶的效率和質(zhì)量，還為用戶帶來了更多的可能性和價(jià)值。

審核編輯：劉清