在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

生成式AI加速向終端側演進,NPU、異構計算提供強大算力支持

Carol Li ? 來源:電子發燒友 ? 作者:李彎彎 ? 2024-03-16 00:16 ? 次閱讀

電子發燒友網報道(文/李彎彎)生成式AI是一種通過學習大規模數據集生成新的原創內容的新型AI。Bloomberg Intelligence最新報告預測,未來10年內,生成式AI市場規模將從2022年的400億美元,增長至2032年的1.3萬億美元,年復合增速達到42%。

生成式AI向終端快速演進

當前大部分生成式AI的開發工作都集中在云端,然而生成式AI正朝著直接在終端上運行的方向快速演進。高通公司總裁兼CEO安蒙前不久談到,生成式AI將變革終端側的用戶體驗,具備生成式AI能力的PC能夠更好地理解用戶需求,生成式AI還將帶來全新的人車交互方式,支持用戶與汽車直接進行對話。他認為,生成式AI將為各行各業帶來全新機遇。

近段時間,生成式AI在手機、PC等終端設備上已經有不少用例。最近推出的新手機,就有不少生成式AI的應用,比如,OPPO Find X7Ultra的AIGC消除功能,即可極大幅度的降低拍照廢片率,一些路人突然出現的照片,就可以通過該功能成功拯救。三星Galaxy S24系列的通話實時語音翻譯和同傳功能,支持了13種語言之間的無縫翻譯,出國旅行也可輕松交流。

在前不久的MWC展會期間,高通也在現場展示了大量生成式AI的應用案例。相比此前發布的一些手機的AI功能,高通在MWC現場所展示的AI功能更為神奇。如,在圖像生成上,完全不需要一長串的文字標簽,只要給出一個比較準確的描述,Stable Diffusion即可快速生成圖片,與描述相差無幾。比如輸入“一只可愛的卷毛貓”,小龍手機僅耗時不到7秒,就生成了一張卷毛貓在室內的照片,效果十分真實。

另外,圖片生成還能根據個人或藝術偏好,加入自定義元素來展現風格效果。比如在加入“水晶”關鍵詞,并設定好風格權重后,模型就會添加水晶元素,最終生成的圖片就很有賽博風格了。這種使用方式很具想象力,它可以用來制作表情包,甚至在創作平面、視頻內容缺素材時,也能運用AI快速生成符合要求的素材。

異構計算對端側生成式AI的重要性

而這些生成式AI功能在終端設備上的應用離不開芯片的支持。高通認為,對于端側生成式AI來說,異構計算是必要條件。高通在此次MWC 展示的Stable Diffusion快速生成圖片,完全依靠端側算力,它需要NPU進行推理,需要GPU進行圖像渲染,也正是在異構運算的幫助下,才能快速里完成圖片生成,并且能夠保持低功耗,保持手機終端的高電池續航。

近日,高通在其發布的《通過NPU和異構計算開啟終端側生成式AI》報告中,深入闡述了NPU與異構計算,對端側生成式AI使用的重要性。

高通公司提出,隨著生成式AI用例需求在有著多樣化要求和計算需求的垂直領域不斷增加,需要專為AI定制設計的全新計算架構。這首先需要一個面向生成式AI全新設計的神經網絡處理器(NPU),同時要利用異構處理器組合,比如中央處理器(CPU)和圖形處理器(GPU)。通過結合NPU使用合適的處理器,異構計算能夠實現最佳應用性能、能效和電池續航,賦能全新增強的生成式AI體驗。

NPU專為實現以低功耗加速AI推理而全新打造,其架構隨著新AI算法、模型和用例的發展不斷演進。AI運算上的主要負載是由標量、向量和張量的數學運算,雖說CPU也能對此進行處理,不過處理速度和功耗方面都不理想。NPU正是針對AI運算所打造的新處理單元,高通在2015年推出的第一代AI引擎,在Hexagon NPU集成了標量和向量運算核心,之后又加入了張量運算核心,從而極大加快了AI處理速度,并使AI運算處理的功耗大幅度降低。

寫在最后

如今,生成式AI已經在終端側展示出它的價值,隨著生成式AI在終端側運行的加速,這一趨勢也將推動終端的進一步創新,有望為手機、PC等消費電子市場帶來新一輪生機。同時,生成式AI在終端側的運行需要極大的算力,這也是目前業界需要解決的重大問題。


聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • AI
    AI
    +關注

    關注

    87

    文章

    33973

    瀏覽量

    274872
收藏 人收藏

    評論

    相關推薦
    熱點推薦

    蘋芯科技 N300 存一體 NPU,開啟端 AI 新征程

    隨著端人工智能技術的爆發式增長,智能設備對本地與能效的需求日益提高。而傳統馮·諾依曼架構在數據處理效率上存在瓶頸,“內存墻”問題成為制約端A
    的頭像 發表于 05-06 17:01 ?229次閱讀
    蘋芯科技 N300 存<b class='flag-5'>算</b>一體 <b class='flag-5'>NPU</b>,開啟端<b class='flag-5'>側</b> <b class='flag-5'>AI</b> 新征程

    【米爾MYC-YM90X安路飛龍DR1開發板】安路科技 SALDRAGON開發板介紹

    提供模型轉換工具鏈,支持將PyTorch/TensorFlow模型量化為INT8/FP16格,并部署至NPU進行端推理(典型
    發表于 04-28 17:57

    6TOPSNPU加持!RK3588如何重塑8K顯示的邊緣計算新邊界

    與復雜運算。明遠智睿推出的RK3588芯片,以6TOPSNPU為核心,為這一難題提供了突破性的解決方案。 從硬件架構來看,RK3588的NPU
    發表于 04-18 15:32

    RAKsmart智能架構:異構計算+低時延網絡驅動企業AI訓練范式升級

    AI大模型參數量突破萬億、多模態應用爆發的今天,企業AI訓練正面臨效率與成本的雙重挑戰。RAKsmart推出的智能
    的頭像 發表于 04-17 09:29 ?198次閱讀

    RK3588核心板在邊緣AI計算中的顛覆性優勢與場景落地

    ——替代傳統工控機與低嵌入方案 行業痛點分析 在智能制造與智慧城市領域,傳統方案常面臨三大瓶頸: 不足:基于ARM Cortex
    發表于 04-15 10:48

    首創開源架構,天璣AI開發套件讓端AI模型接入得心應手

    ,聯發科帶來了全面升級的天璣AI開發套件2.0,在模型庫規模、架構開放程度、前沿端AI技術支持和端LoRA訓練落地等方面均迎來全面躍遷,
    發表于 04-13 19:52

    邊緣AI協處理開發指南:USB+NPU混合計算與實時視頻分析實戰?

    eFish-SBC-RK3576 ??憑借 ? USB 3.0 +?內置NPU異構計算 ??能力,為工業質檢、安防監控等場景提供毫秒級響應的AI推理方案,成本僅為傳統工控機的40%。
    的頭像 發表于 03-27 10:42 ?235次閱讀

    【一文看懂】什么是端?

    隨著物聯網(IoT)、人工智能和5G技術的快速發展,端正逐漸成為智能設備性能提升和智能化應用實現的關鍵技術。什么是端
    的頭像 發表于 02-24 12:02 ?959次閱讀
    【一文看懂】什么是端<b class='flag-5'>側</b><b class='flag-5'>算</b><b class='flag-5'>力</b>?

    異構計算的概念、核心、優勢、挑戰及考慮因素

    異構計算就像是一支由“多才多藝”處理器組成的團隊,每個成員都有自己的強項和責任。 ? 什么是異構計算????? “異構計算”指的是在同一個計算平臺中,部署多種不同類型的處理單元(比如
    的頭像 發表于 01-13 11:43 ?792次閱讀

    【一文看懂】什么是異構計算

    隨著人工智能、深度學習、大數據處理等技術的快速發展,計算需求的復雜性不斷提升。傳統的單一計算架構已難以滿足高效處理復雜任務的要求,異構計算因此應運而生,成為現代計算領域的一個重要方向。
    的頭像 發表于 12-04 01:06 ?2388次閱讀
    【一文看懂】什么是<b class='flag-5'>異構計算</b>?

    企業AI租賃是什么

    企業AI租賃是指企業通過互聯網專業的提供
    的頭像 發表于 11-14 09:30 ?2189次閱讀

    【「芯片 | 高性能 CPU/GPU/NPU 微架構分析」閱讀體驗】--全書概覽

    本帖最后由 1653149838.791300 于 2024-10-16 22:19 編輯 感謝平臺提供的書籍,厚厚的一本,很有分量,感謝作者的傾力付出成書。 本書主要講芯片CPU
    發表于 10-15 22:08

    安謀科技異構組合,破局生成AI挑戰

    ,“此芯P1”不僅異構集成了Armv9 CPU核心與Arm Immortalis GPU,還搭載了安謀科技(中國)有限公司(以下簡稱“安謀科技”)“周易”NPU等自研業務產品。憑借高能效的異構
    的頭像 發表于 08-13 09:12 ?799次閱讀

    安謀科技異構賦能AI計算,此芯科技首款AI PC芯片發布

    底座,“此芯P1”不僅異構集成了Arm?v9 CPU核心與Arm Immortalis? GPU,還搭載了安謀科技(中國)有限公司(以下簡稱“安謀科技”)“周易”NPU等自研業務產品。憑借高能效的異構
    發表于 07-31 14:36 ?1251次閱讀
    安謀科技<b class='flag-5'>異構</b><b class='flag-5'>算</b><b class='flag-5'>力</b>賦能<b class='flag-5'>AI</b><b class='flag-5'>計算</b>,此芯科技首款<b class='flag-5'>AI</b> PC芯片發布

    異構計算:解鎖潛能的新途徑

    在這個數據爆炸的時代,計算力是推動社會與科技創新的核心。從日常智能設備的流暢運行到超級計算機的尖端模擬,均依賴強大計算能力。但面對多樣化的復雜計算
    的頭像 發表于 07-18 08:28 ?1.6w次閱讀
    <b class='flag-5'>異構計算</b>:解鎖<b class='flag-5'>算</b><b class='flag-5'>力</b>潛能的新途徑
    主站蜘蛛池模板: 亚洲 欧美 成人 | 丁香六月综合激情 | 日本68xxxxxxxxx59| 一级毛片在线免费视频 | 午夜黄色影院 | 18年大片免费在线 | 亚洲一区二区视频 | 久久精品五月天 | 久久综合九色综合欧洲 | 亚洲 欧美 精品专区 极品 | 天天躁夜夜躁 | 六月丁香啪啪六月激情 | 人人澡人人澡碰人人看软件 | 大象焦伊人久久综合网色视 | 亚洲hhh| 色伊人久久 | 你懂的网站在线观看 | 六月丁香婷婷激情 | 国产黄色小视频在线观看 | 亚洲男人天堂网址 | 清朝荒淫牲艳史在线播放 | 免费又黄又爽1000禁片 | 天堂在线影院 | 色多多www| 欧美一级看片a免费观看 | 你懂的网址在线 | 亚洲精品国产成人 | 久久国内视频 | 久久婷婷综合五月一区二区 | 日韩精品免费一级视频 | 精品国产自在现线看久久 | 你懂的手机在线视频 | 亚洲欧美卡通 动漫 丝袜 | xxxx性欧美极品另类 | 久久精品免费观看视频 | 84pao强力永久免费高清 | 日韩在线天堂免费观看 | 无遮挡高清一级毛片免费 | 国产精品久久久久久久久久免费 | 国产一级做a爰片久久毛片 国产一级做a爰片久久毛片男 | 国产色在线 | 亚洲 国产色综合天天综合网 |