電子發燒友網報道(文/莫婷婷)隨著大模型智能水平的提升,AIGC所需要的算力也在不斷增長。根據OpenAI的研究,AI訓練所需算力指數增長,且增長速度超越硬件的摩爾定律。燧原科技創新研究院負責人、首席科學家姚建國教授認為,算力分為需求、場景,還有芯片和系統四個層次。算力需求的變化給AI芯片以及系統都帶來了一定程度的挑戰。
多家廠商發布垂直類大模型,AIGC落地場景逐漸清晰
隨著各大公司對AIGC研究的不斷深入和技術投入,國內外廠商積極推出屬于自己的類ChatGPT模型,例如華為的“盤古”,商湯的“日日新”、深蘭科技的“硅基知識”、出門問問的“序列猴子”、深信服的“安全大模型”等等大模型。這么多的大模型,若是放在兩年前,業內人士可能會頭疼于它的落地場景。
得益于ChatGPT的出現,業內人士看到了更多AIGC落地的可能性,并且推動AI行業進入AIGC時代。百度創始人、董事長兼CEO李彥宏近期公開演講時就表示,“大模型即將改變世界”。
那么,大模型究竟會如何改變世界呢?這還得從落地場景看。目前,AIGC的典型應用分為文生文、文生圖、文生視頻。近期中國市場開放一些文生文的應用越來越多,具體的應用包括對話式功能,還支持搜索和營銷的場景。
盡管國內廠商還未推出像GPT-4如此強大的通用模型,但是在垂直領域的人工智能大模型卻迎來飛躍式的發展,并且有著巨大的想象空間。正如李彥宏提到的,每一個行業都應該有屬于自己的大模型。未來技術跟業務深度融合是AIGC發展的最終方向。
算力需求變化帶來系統級創新
談及大模型對算力的需求,姚建國教授表示,AIGC智算中心可以分為三類大模型:基礎大模型、場景大模型和應用大模型。
基礎大模型通過巨大的算力生成,然后通過預訓練算力、超大訓練算力支撐,例如ChatGPT。場景大模型是在大模型基礎進行調優,通過Fine Tune算力支撐,可以適應不同場景,也就能賦能到不同行業,可以引用一些普惠訓練算力。應用大模型主要是通過推理算力,包括云端推理和端側推理。
對于芯片的需求,基礎大模型和場景大模型分別需要大算力訓練芯片和中算力訓練芯片,且對機器之間的數據互聯帶寬有較高的要求,都需要高速芯片互聯。而應用大模型只需要云端推理算力,且可以使用分布式/單機訓練和推理,是性價比較高的大模型之一。
算力肉眼可見地不斷增長,燧原科技姚建國教授在公開演講時也提到了一組數據:從2012年到2018年,訓練AI算力增長了30萬倍,摩爾定律相同時間通用算力只有7倍的增長。從這里可以看出AIGC對算力需求之高。
算力需求變化帶來了三大問題,一是存/算性能失配,內存墻導致訪存時延高、效率低;二是馮諾依曼架構下,功耗墻導致傳輸能耗損失;三是滿足大模型需求,性能墻導致算力無法滿足。姚建國教授表示,未來不僅僅是單核芯片去解決算力問題,一定會是通過一個系統級解決方案去實現整個算力適應變化。
目前,單獨的服務器、集群難以解決大模型的預訓練,因此需要有大算力加速,比如說H100提供了Transformer引擎;此外還有機密計算、COP互聯加速、CXL協議等等各方面的創新。業內人士普遍認為,系統級創新會是未來的發展趨勢
對于大模型未來的發展趨勢,IDC中國首席分析師武連峰認為,AI大模型應用深化,從專屬AI到通用AI,會是趨勢之一。當然,最終實現通用AI的道路還有很長。
-
AIGC
+關注
關注
1文章
367瀏覽量
1621
發布評論請先 登錄
相關推薦
![](https://file1.elecfans.com/web3/M00/06/DA/wKgZO2ePxA2AEaTzAAQet3Edt48898.jpg)
AIGC入門及鴻蒙入門
《算力芯片 高性能 CPU/GPU/NPU 微架構分析》第1-4章閱讀心得——算力之巔:從基準測試到CPU微架構的深度探索
OCTC發布"算力工廠"!力促智算中心高效規劃建設投運
![OCTC發布"<b class='flag-5'>算</b><b class='flag-5'>力</b>工廠"!力促智<b class='flag-5'>算</b>中心高效規劃建設投運](https://file1.elecfans.com//web1/M00/F2/AC/wKgZoWcH1wKAaM73AAC65UEGzEo125.jpg)
大模型時代的算力需求
商湯大裝置算力服務獲國家級認證
云耀 X 實例:下一代柔性算力新物種,雙倍性能加速躍級體驗
![云耀 X 實例:下一代柔性<b class='flag-5'>算</b><b class='flag-5'>力</b>新物種,雙倍性能<b class='flag-5'>加速</b>躍<b class='flag-5'>級</b>體驗](https://file1.elecfans.com//web2/M00/E8/0A/wKgZomZN2L2Ad43HAAFBnkKDgqc911.png)
摩爾線程張建中:以國產算力助力數智世界,滿足大模型算力需求
隨著AI算力需求不斷增強,800G光模塊的需求不斷增大
![隨著AI<b class='flag-5'>算</b><b class='flag-5'>力</b><b class='flag-5'>需求</b>不斷增強,800G光模塊的<b class='flag-5'>需求</b>不斷增大](https://file1.elecfans.com//web2/M00/C8/CD/wKgaomYXUOWAFYzPAABmEGEmKeM189.jpg)
評論