在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

全域 Serverless+AI,華為云加速大模型應用開發

jf_81200783 ? 來源:jf_81200783 ? 作者:jf_81200783 ? 2023-10-25 21:30 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

日前,華為全聯接大會 2023 在上海召開。華為云 CTO 張宇昕在大會上發布了基于 Serverless 技術的大模型應用開發框架,框架以面向 AI 領域全新升級的 FunctionGraph3.0 為核心,將 BaaSforAI后端和開放平臺快速無縫集成,助力企業輕松商用 AI 應用。

wKgaomU5GICAErLYAABs25w9N_E63.jpeg

在“全域 Serverless+AI加速應用創新”專題演講上,華為云首席產品官方國偉、華為 2012 實驗室中軟分布式與并行軟件實驗室主任譚焜,分享了 Serverless 和 AI 如何結合的前沿理念和實踐,深度解析華為云在 Serverless 領域核心產品及基于元戎架構構建的分布式內核能力,為開發者打造 ServerlessAI 極優體驗,幫助企業加速應用創新;廣聯達科技股份有限公司首席業務專家/副總裁祁長福分享了在建筑行業,如何基于華為云 Serverless 產品 FunctionGraph 優化 AI 應用開發,提升交付效率。

全域 Serverless 為千行萬業深度用云

帶來新體驗

方國偉介紹,在 AI 時代背景下,軟件開發的方式由以代碼為中心,走向以模型為中心,如何將 AI 大模型能力充分利用起來,是當下云廠商積極探索的事情。

wKgZomU5GIGAe8LxAAB47r4ny-434.jpeg

華為云首席產品官方國偉

企業研發人員在構建 AIGC 應用時更多關注開發部署門檻能否降低,更快的完成企業需求。運維人員要確保系統能夠穩定運行,在業務量高峰時刻做到快速彈性,業務量小時節約成本,企業既能實現業務目標,又能保證系統可靠性高、成本較低。

為了更好的支撐 AIGC 應用,華為云提供了全域 Serverless 能力,推出了 CCEAutopilot、FunctionGraph、CAE 等 Serverless 產品,將一系列的 AI 原生技術構筑成后端服務,形成 BaaSforAI 能力,調用即可得。結合完善的工具鏈,幫忙企業快速構建應用。

wKgaomU5GIGAKs4BAAQs0Ki6_OA874.png

Serverless容器 CCEAutopilot、CCI 讓用戶無需關注底層資源,自動運維,幫助用戶降低運維成本。

在 CloudBursting 場景,去哪兒網基于 CCI 打造了靈活上云新體驗,完成業務 0 改造,實現 4000 實例/30s 的極致彈性。

FunctionGraph3.0 八大關鍵能力,

助力 AIGC 應用創新

全新升級的 FunctionGraph3.0,新增 Serverless 應用中心、獨創 Snapshot 冷啟動加速、預留實例智能推薦特性,配合異構資源虛擬化技術,實現 AIGC 應用低成本、低延遲,加上端到端的全鏈路壓測和全棧可觀測能力,助力 AIGC 應用快速開發,天級上線。

wKgZomU5GIKAaA_rAAOEIb3r2Wk412.png

杭州曼孚科技有限公司是行業領先的 AI 基礎架構與數據智能平臺服務商,基于 FunctionGraph 構建自動化 AI 訓練平臺,更細粒度的 GPU 算力供給加上按需全自動資源彈性,實現成本降低 40%。

華為云 Serverless 事件總線服務事件網格 EventGrid 能夠支持統一事件中心、事件驅動引擎、開放與集成、降低開發成本四大典型場景,為企業提供中心化的事件集成、治理和驅動能力。

在車聯網場景,某 Top 車企使用 EventGrid 構建 Serverless 化的事件驅動架構的同時,實現上下游異步解耦,便于擴展和避免單點故障;作為無碼化對接的事件中心,避免云服務間點對點對接,減少 50%開發工作量以及數據高可靠 0 丟失和數據規則調整 0 變更。降低成本。

Serverless 應用托管 CAE 產品升級:支持應用 0 代碼修改平遷上云,用戶無需修改業務代碼;支持 Web/微服務應用 Serverless 化,幫助企業降本增效,提升業務穩定性。

香港新世界旗下廣州新合創科技有限公司,使用 CAE 全托管模式提升 50%效率;后續還會根據商場人流峰值設定定時伸縮,節省資源以降低成本。

BaaSforAI:華為云 BaaS 服務 DWS3.0提供 PayByResource 彈性模式和 PayByQuery 彈性模式,幫助企業實現后端服務 Serverless 化。

“華為云提供全域 Serverless 能力,讓開發者 5 倍速開發行業大模型,支撐千行萬業的 AI 應用開發。面向 AI 領域全新升級的 FunctionGraph3.0,真正實現大模型應用即開即關、即時響應,無限擴展。”

Serverless挺進AI,

強強聯合加速 AI 應用創新

wKgaomU5GIKAMKUsAACLVd98qD821.jpeg

華為 2012 實驗室中軟分布式與并行軟件實驗室主任譚焜

基于自主創新元戎內核構建的 FunctionGraph3.0 如何保障 AI 應用開發部署低成本和響應低時延,譚焜做了深入的技術分享:

模型開發部署依賴昂貴的異構資源。傳統的異構函數,CPU 和 XPU 資源綁定分配,單一推理函數包含 CPU 和 XPU 操作,操作 CPU 時 XPU 空閑,操作 XPU 時 CPU 空閑,資源利用率低。元戎獨創的純 XPU 異構函數,CPU 和 XPU 資源綁定解耦,用戶可把不同類型資源的操作寫成不同的函數,執行時分解到不同算力處理器上,無閑置資源。

wKgZomU5GIOAUA8LAADTeEfPNNs133.png

FunctionGraph 打造 ServerlessAI 最佳平臺

在大模型推理場景,包括全量推理和增量推理兩個階段。全量推理階段算力需求遠高于增量推理階段,增量推理階段,耗時可能遠長于全量推理階段。針對這類場景,元戎可以做到全量推理和增量推理解耦,各自按需彈性擴縮,精確算力供給,真正按使用量計費,降低用戶成本。

更快的應用響應速度意味著更好的用戶體驗。元戎自主創新的 FoldFormerAI 模型可在線持續預測用戶業務負載,提前進行實例預熱,達到 85%~95%準確率,大大降低了冷啟動概率。無法被準確預測的流量,通過一系列優化措施加速冷啟動。在用戶模型下載階段,基于內置的內存數據系統和 SSD 構建的分級高速緩存,實現系統內緩存模型文件,大幅縮短下載時間。計算時,模型按 Layer 分批加載,并根據用戶 SLA 和模型推理時延歷史數據構建最優 pipeline,降低參數加載和模型推理總時延,冷啟動優化到秒級。

譚焜最后總結道:“基于元戎內核,FunctionGraph3.0 提供異構函數極速冷啟動,細粒度異構資源管理和按需彈性擴縮,打造 ServerlessAI 極低成本和極致性能;依托華為云豐富的 BaaS 服務和全托管的開發環境,打造 ServerlessAI 極優體驗。”

AI 賦能建筑行業數字化

廣聯達科技股份有限公司首席業務專家/副總裁祁長福發表 AI 賦能建筑行業數字化主題演講。“廣聯達作為數字建筑平臺服務商,立足建筑產業,圍繞工程項目的全生命周期,為客戶提供數字化解決方案,公司提出“數字建筑”理念,希望通過“數字建筑”系統、全面、深度地助力建筑產業轉型升級。”

wKgaomU5GISADC66AAB-TphkY0k22.jpeg

廣聯達科技股份有限公司首席業務專家/副總裁祁長福

祁長福介紹,在技術方面,廣聯達通過大力研發 BIM和云計算、大數據、物聯網、移動互聯網、人工智能等信息技術引領產業轉型升級。

在 AI 領域,廣聯達圍繞行業難點,圍繞設計、成本、施工等重點領域,打造核心 AI 應用。應用設計采用 Serverless 理念,依托華為云 Serverless 服務構建解決方案,將 AI 模型以鏡像方式部署在 FunctionGraph,對外提供通用 API,無需管理運維異構資源(GPU 等),模型實例隨業務量全自動擴縮容,無請求時實例縮容到 0,低成本高可用運行。上層應用采用 FaaS+BaaS 的 Serverless 應用架構,集成模型推理接口,只需專注于業務邏輯代碼,可函數級粒度并行開發,快速迭代應用。

華為云 FunctionGraph 技術極大的優化了 AI 應用的開發過程,讓 AI 團隊可以更關注業務實現,而無需關注底層技術細節。

“廣聯達以推動建筑行業數字化為己任,著力打造‘數字+連接+算法’的系統性數字化。圍繞行業痛點,我們以智能化技術為基礎,依托華為云 FunctionGraphSeverless 架構,打造建筑從業人員的 CoPilot,幫助行業人員提升作業效率,提高管理水平和決策質量。”

未來,華為云將持續落地全域 Serverless 產品,與華為 2012 實驗室深度合作,以 FunctionGraph3.0 為核心,打造 ServerlessAI 極低成本和極致性能,充分滿足大模型應用的敏捷要求,助力千行萬業深度用云。

審核編輯 黃宇

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 華為云
    +關注

    關注

    3

    文章

    2768

    瀏覽量

    18273
  • 大模型
    +關注

    關注

    2

    文章

    3116

    瀏覽量

    4028
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    震撼!2025ECDC螢石開發者大會,螢石藍海大模型2.0解鎖垂直場景AI新玩法!

    6月26日,以“藍海潮生全域進化”為主題的2025ECDC螢石開發者大會在杭州舉辦。作為全球領先的視覺物聯網平臺,螢石在過去一年以“AI
    的頭像 發表于 06-26 18:39 ?217次閱讀
    震撼!2025ECDC螢石<b class='flag-5'>云</b><b class='flag-5'>開發</b>者大會,螢石藍海大<b class='flag-5'>模型</b>2.0解鎖垂直場景<b class='flag-5'>AI</b>新玩法!

    軟通動力攜手華為發布AI應用創新領航計劃

    華為開發者大會 2025期間,作為華為全球戰略合作伙伴,軟通動力受邀出席華為多場重要活動和會
    的頭像 發表于 06-26 10:31 ?347次閱讀

    華為開發者大會2025(HDC 2025)亮點:華為發布盤古大模型5.5 宣布新一代昇騰AI服務上線

    HarmonyOS、昇騰AI服務、盤古大模型等最新科技創新成果。 在主題演講中,華為常務董事、華為
    的頭像 發表于 06-20 20:19 ?2092次閱讀
    <b class='flag-5'>華為</b><b class='flag-5'>開發</b>者大會2025(HDC 2025)亮點:<b class='flag-5'>華為</b><b class='flag-5'>云</b>發布盤古大<b class='flag-5'>模型</b>5.5 宣布新一代昇騰<b class='flag-5'>AI</b><b class='flag-5'>云</b>服務上線

    HarmonyOS5服務技術分享--Serverless抽獎模板部署

    活動。不用寫復雜代碼,跟著步驟走就能搞定,文末還有部署避坑指南哦~ 一、前期準備 1?? ??注冊賬號+創建項目?? 先到華為開發者平臺注冊賬號 創建新項目時記得勾選\"開發
    發表于 05-22 20:25

    HarmonyOS5服務技術分享--Serverless搭建抽獎

    ?【實戰指南】手把手教你用華為AGC Serverless模板快速搭建抽獎活動? 嗨各位開發者小伙伴!今天給大家分享一個超實用的技巧——用華為應用市場AGC的
    發表于 05-22 20:20

    HarmonyOS5服務技術分享--ArkTS開發Node環境

    函數將在??跨端協作??、??AI集成??(如調用華為HiAI)等場景中發揮更大價值。 ? ??下一步行動??: 嘗試在你的項目中添加一個函數,處理用戶反饋表單或實時天氣查詢,體驗Serve
    發表于 05-22 17:21

    首創開源架構,天璣AI開發套件讓端側AI模型接入得心應手

    基石。 Neuron Studio打造全流程一站式開發體驗,為AI應用開發按下加速AI 應用的開發
    發表于 04-13 19:52

    華為攜手合作伙伴加速城市全域數字化轉型

    華為基于“平臺+生態”合作戰略,攜手19家合作伙伴發布城市全域數字化轉型聯合行動計劃,共同構建端到端解決方案能力,加速城市全域數字化轉型。
    的頭像 發表于 03-31 09:20 ?453次閱讀

    科技榮獲亞馬遜科技生成式AI能力認證 助力企業加速生成式AI應用落地

    、數據處理、模型調優到應用集成與部署等方面,助力企業加速生成式AI應用落地。此外,聚科技還基于亞馬遜科技打造RAGPro企業知識庫、
    發表于 02-14 13:41 ?149次閱讀

    NVIDIA推出加速物理AI開發的Cosmos世界基礎模型

    經數百萬小時的駕駛和機器人視頻數據訓練的先進模型,可用于普及物理 AI 開發,并以開放模型許可形式提供。
    的頭像 發表于 01-09 11:05 ?755次閱讀

    華為 Flexus X 實例部署安裝 Jupyter Notebook,學習 AI,機器學習算法

    的,由于華為 Flexus X 實例做了很多底層的性能優化,依托創新的大模型支持和智能全域調度,X-Turbo 加速技術讓常見應用的性能最
    的頭像 發表于 01-02 13:43 ?520次閱讀
    <b class='flag-5'>華為</b><b class='flag-5'>云</b> Flexus X 實例部署安裝 Jupyter Notebook,學習 <b class='flag-5'>AI</b>,機器學習算法

    LG AI Research使用亞馬遜科技開發AI模型 加快癌癥診斷速度

    16日 /美通社/ -- 亞馬遜科技在2024 re:Invent全球大會上宣布,韓國LG集團旗下人工智能研究中心LG AI Research基于全球領先的計算平臺開發了新的病理基
    的頭像 發表于 12-16 15:13 ?358次閱讀
    LG <b class='flag-5'>AI</b> Research使用亞馬遜<b class='flag-5'>云</b>科技<b class='flag-5'>開發</b><b class='flag-5'>AI</b><b class='flag-5'>模型</b> 加快癌癥診斷速度

    華為徐峰:AI 賦能應用現代化,加速軟件生產力躍升

    ,分享了智能化應用的行業實踐,并發布了華為在應用開發、運行、運維、集成領域的智能化新產品能力。 在主題為“ AI 賦能應用現代化,加速軟件
    的頭像 發表于 10-14 09:45 ?925次閱讀
    <b class='flag-5'>華為</b><b class='flag-5'>云</b>徐峰:<b class='flag-5'>AI</b> 賦能應用現代化,<b class='flag-5'>加速</b>軟件生產力躍升

    華為全域 Serverless 8 月更新盤點

    【摘要】 近年來,華為持續構筑全域 Serverless 服務,推出了一系列競爭力領先的 Serve
    的頭像 發表于 09-27 00:06 ?1168次閱讀
    <b class='flag-5'>華為</b><b class='flag-5'>云</b><b class='flag-5'>全域</b> <b class='flag-5'>Serverless</b> 8 月更新盤點

    華為盤古汽車大模型通過可信AI汽車大模型評估

    近日,國內科技界傳來喜訊,華為盤古汽車大模型在信通院組織的可信AI汽車大模型首輪評估中脫穎而出,成功獲得4+級證書,成為國內首批通過該評估
    的頭像 發表于 07-15 17:34 ?1196次閱讀
    主站蜘蛛池模板: 午夜湿影院 | www性| 亚洲一区二区三区中文字幕5566 | 婷婷色在线 | 狠狠操夜夜 | 天天综合天天添夜夜添狠狠添 | 欧美色人阁 | 久久在精品线影院精品国产 | 天天久久影视色香综合网 | 一二三区视频 | 国产1024一区二区你懂的 | 日本free护士姓交 | 波多野吉衣一区二区三区在线观看 | 国产夜夜操 | 寡妇一级a毛片免费播放 | 黄色的视频在线免费观看 | 夜夜爱夜夜操 | 视频一本大道香蕉久在线播放 | 在线观看亚洲一区 | 日本不卡视频在线视频观看 | 免费观看国产网址你懂的 | 韩彩英三级无删版甜性涩爱 | 国产小视频在线 | 四虎新网址 | 777奇米影视笫四色88me久久综合 | 天天做.天天爱.天天综合网 | 夜夜夜夜曰天天天天拍国产 | 四虎永久免费影院 | 人人插人人费 | 精品国产三级a∨在线 | 亚洲一区二区在线播放 | 五月天婷婷在线视频国产在线 | www.色图| 一区二区三区高清 | 日韩欧美卡通动漫在线观看 | 老师我好爽再深一点好大 | 日本一道dvd在线中文字幕 | 四虎884tt紧急大通知 | 正在播放91大神调教偷偷 | 五等分的新娘免费漫画 | 两性色午夜视频免费网 |