5 月 26 日-27 日，由 msup 主辦的 2023 年 A2M 峰會在上海南新雅皇冠假日酒店盛大舉行。本次 A2M 峰會以“AIGC 時代下的 AI 落地實踐、數據智能和基礎架構演進”為主題，邀請了 100 余位行業專家從支撐數字化轉型的幾個關鍵技術切面入手，甄選前沿有典型代表的 84 個技術創新及研發實踐的架構案例，分享他們本年度的總結和實踐啟示。

峰會第二日，華為云 Serverless 研發工程師朱安東帶來了主題為“Serverless“遇見”AI，釋放 AI 生產力”的分享，重點介紹了業界領先的基于函數計算的 ServerlessAI推理解決方案，并展示了華為云函數工作流（FunctionGraph）的靈活、速度，如何讓開發人員提升工程效率，縮短 TTM 等。

華為云serverless 研發工程師朱安東

朱安東表示：“AIGC 正逐漸在千行百業生根發芽，并且快速成為了行業中重要的生產力工具。伴隨著 AIGC 大模型以及領域專家類型的中小模型的快速演進，引發了海量 AI 推理、大模型托管以及底層強大算力的訴求。然而，要想實現 AI 扎根千行百業、實現“AIeverywhere”的最終目標，我們仍然有很長的路要走。”

Serverless——AIeverywhere 的下一塊拼圖

從業內工程師的角度來看，AI 應用迭代發展的核心痛點主要包含 2 個方面：

第一：算法工程師作為 AI 應用的核心開發者通常只會和模型、數據以及代碼打交道，主要工作圍繞數據清洗、數據工程、特征工程還有模型設計、開發、訓練等，偏研究和理論方向。但是一旦涉及到算法模型和 AI 應用的最終落地，推廣給大量用戶使用就會涉及到模型發布、上線等動作，為了完成這些流程，開發者通常需要去花時間和經歷學習托管類知識，尤其是云原生時代下的 docker還有 k8s 等；

第二：對于參數量很大的模型上線后很難找到足量、優質的算力資源快速獲得推理結果，推理性能差。從基礎架構工程師的視角來看，GPU 硬件設備成本高，研究階段的需求量尚且能夠滿足，但是上線后面對海量用戶和請求的資源量過于龐大，需要大量的投入；

另外，業務通常都是有浮動趨勢的，就像旅游業的淡季和旺季，為了滿足業務峰值準備的資源在業務量低的時候資源利用率也隨之降低，資源嚴重浪費。

綜上，AI 應用如果想深入到人們的生活仍有很多問題需要克服。那么如何加速 AI 應用快速落地、敏捷迭代呢？Serverless 是以應用為中心的新型云原生計算形態，這是業界的共識。而“用戶無感、按需使用、以應用為中心，無需關注基礎設施”這幾個特性正好可以解決 AI 應用的幾個痛點問題：

第一：以應用為中心：AI 工程師可以專注業務邏輯和模型 performance，節約下大量的時間和精力。

第二：無需關注基礎設施：企業和架構工程師無需提前準備海量計算資源、自建機房，只需按需使用，按量計費。

華為云 FunctionGraph 解決 AI 用戶上云 4 大問題

華為云 FunctionGraph 函數工作流是一項基于事件驅動的函數托管計算服務，通過函數工作流，只需編寫業務函數代碼并設置運行的條件，無需配置和管理服務器等基礎設施，函數便可以彈性、免運維、高可靠的方式運行。對于現階段人們對業務、彈性以及降本增效等訴求提升，華為云 FunctionGraph 無疑是 AI 推理 Serverless 化的優質選項。

在 Serverless 的開發模式下，開發人員和交付流程實際上是有明顯界限的。開發人員只需要上傳代碼包或者一個鏡像文件即可讓整個業務跑起來，不需要面對繁瑣的交付流程。

為了讓用戶能夠在 Serverless 平臺上更加絲滑、流暢的開發和運行 AI，華為云 FunctionGraph 推出了針對 AI 場景的解決方案，主要解決 AI 用戶上云的四大問題：

①工程效率

模型開發、編排：專注業務代碼，NoOps，低碼編排

支持代碼包，容器鏡像

②性能、彈性：

長時負載，支持異步函數調用，最長函數執行時間 72 小時

冷啟動問題：池化預熱、彈性調度

③運行時、異構計算：

支持 GPU/NPU，加速推理性能

支持 GPU 共享，提升資源利用率

④模型加載加速：

大文件加載：OBS+SFS 結合，解決 ML 模型庫 &模型自身大文件加載問題；

鏈路加速：高性能解壓縮轉換，降網絡開銷、CPU 解壓耗時；共享內存加速技術，降解壓 IO 開銷；依賴包預加載，降低公共依賴的下載、解壓耗時

同時華為云 FunctionGraph 基于函數計算的ServerlessAI推理解決方案具有 5 大優勢：

1.更低的學習成本，更卓越的工程效率，更短的 TTM

華為云 FunctionGraph 可以極大提升開發效率。精通 Python 的算法科學家無需學習如何安裝、配置和操作復雜的計算和數據存儲基礎設施,通過可視化拖拽式函數流便能編排復雜業務場景。此外，函數還支持容器鏡像，簡化了 AI 推理 Serverless 化。

2.豐富的函數開發生態。

華為云 FunctionGraph 支持 GPU/NPU 能力，具備 GPU 虛擬化技術，從而提高 GPU 硬件資源的利用率并降低使用成本。

3.更低的資源成本，按需付費，提供工作負載感知智能推薦能力。

函數計算以 1ms 粒度按量計費，函數編排基于節點執行次數計費

4.極致的冷啟動、彈性及更智能的調度能力。

資源池化預熱、分層預加載與彈性水位控制：通過單實例多并發、分層預熱提升性能、降低成本。函數實例百毫秒冷啟動時延，毫秒級彈性。

5.多維度結合的大文件加載加速能力。

高性能解壓縮轉換，降網絡開銷、CPU 解壓耗時。

共享內存加速技術，降解壓 IO 開銷。

依賴包預加載，降低公共依賴的下載、解壓耗時

Serverless 代表現代化架構的演進方向，與微服務將長期并存，在 5-10 年內將成為云的首要交付模式。根據 IDC 今天發布的《全球半年度公有云服務跟蹤報告》顯示，2020 年全球云計算市場同比增長 24.1%，收入總額達 3120 億美元。同時 Serverless 對客戶端還具有成本優化、效率提升的商業價值。面對 Serverless 的發展大勢，華為云將打造全棧全場景的 Serverless 能力，并在音視頻、數據處理、物聯網、端測應用等場景優先推廣落地，圍繞這些場景進行打穿，推動相關高階服務進行 Serverless 化改造。今年，華為云在能力打造上將優先推出函數計算 2.0、Serverless 應用托管CAE、事件網格服務 EventGrid、ADM 等；同時，也將在 Serverless 開發工具及可觀測性上構建端到端的能力，并重點在前端 Trigger、后端 BaaS 上進行豐富，全面打造 Serverless 應用生態。華為云 FunctionGraph 期待與更多的開發者見面。

華為云持續將最先進的技術提供給全球的客戶、伙伴和開發者，助力千行百業的客戶商業成功。

審核編輯 黃宇