大模型時代，怎樣的基礎設施與服務才能滿足行業所需？

4月9~11日，第十二屆中國電子信息博覽會（CITE 2024）在深圳舉行，商湯科技大裝置事業群首席運營官梁守星受邀參加博覽會期間的“2024 AI算力產業大會”，分享了商湯大裝置在AI基礎設施與服務領域的探索和實踐成果。

打造“數據、算力、算法”

三位一體的AI基礎設施

數據、模型、算力的量變，引發了AI行業的質變。

比如，大模型的語料規模5年間翻了1000倍，模型參數量更是百萬倍的增長，而算力也呈現數十萬倍的增長趨勢。

在這一趨勢下，以基礎算力、網絡、存儲服務為核心的傳統云架構，已難以滿足AI行業的需求。AI時代的基礎設施，需要做到“數據、算力、算法”三要素的一體化。

數據管理是一項復雜而重要的任務，涉及接入、采集、標注等體系化流程。而且相較英文，中文語料的變量更加多樣，增加一個標點就可能改變整個語境，進一步增加了數據管理難題。

對此，商湯大裝置打造了百億級非結構化的AI數據管理平臺，并支持秒級的數據可視檢索，同時還提供數據安全整套解決方案和優質公開數據集，讓數據管理更便捷、模型訓練更高效。

在算力層面，商湯前瞻布局SenseCore商湯大裝置，擁有高達12,000 petaFLOPS的算力規模，超過4.5萬塊GPU，為商湯自身大模型研發提供了豐沛算力的同時，也支持外部客戶訓練大模型和應用部署，國內主流大模型客戶達30家以上。

基于商湯大裝置及長期經驗積累，商湯構建了高效、完備、易用的大模型生產工具鏈，實現了基礎層、模型層、串聯層、應用層的標準化體系。

不僅如此，商湯還提供涵蓋從訓練系統優化、模型訓練、技術咨詢的全鏈條AI專家服務體系，滿足各行各業不斷涌現的大模型開發和應用需求。

在商湯大裝置的支持下，商湯在算法層面也實現了高效迭代?！叭杖招耂enseNova 4.0”在代碼編寫、數據分析和醫療問答等多個場景中，達到了與GPT-4相匹配的能力水平。本月，商湯日日新大模型體系還將發布最新更新。

助力各行各業

降本增效、產業升級

根據國際知名調研機構弗若斯特沙利文（Frost & Sullivan）聯合頭豹研究院發布的《2023年中國AI開發平臺市場報告》，商湯大裝置成為AI開發平臺領軍者，市場綜合競爭表現國內第一，全球位居第二，僅次于亞馬遜云。

作為AI原生時代稀缺的大模型基礎設施，商湯大裝置正在助力各行各業客戶實現降本增效和產業升級：

例如，助力某大模型客戶在1個月內完成500B tokens、千億規模參數LLM預訓練，顯著提升自動應答質量提升。

助力某電力客戶優化電力生產和運維流程、降低客戶生產成本和運維難度、提升電網運行效率和穩定性，促進新能源集成和消納。

此外，商湯還與重慶南岸區聯合打造重慶AIDC，助力重慶AIDC成為國產化示范點，賦能當地政務、民生、經濟等領域數字化應用及西南地區重點產業升級。

商湯大裝置致力于打造高效率、低成本、規?；?/strong>的下一代AI基礎設施產品與服務，構建豐富的產業上下游生態，共建、共創AI未來發展。