在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

生成式AI加速向終端側演進,NPU、異構計算提供強大算力支持

Carol Li ? 來源:電子發燒友 ? 作者:李彎彎 ? 2024-03-16 00:16 ? 次閱讀

電子發燒友網報道(文/李彎彎)生成式AI是一種通過學習大規模數據集生成新的原創內容的新型AI。Bloomberg Intelligence最新報告預測,未來10年內,生成式AI市場規模將從2022年的400億美元,增長至2032年的1.3萬億美元,年復合增速達到42%。

生成式AI向終端快速演進

當前大部分生成式AI的開發工作都集中在云端,然而生成式AI正朝著直接在終端上運行的方向快速演進。高通公司總裁兼CEO安蒙前不久談到,生成式AI將變革終端側的用戶體驗,具備生成式AI能力的PC能夠更好地理解用戶需求,生成式AI還將帶來全新的人車交互方式,支持用戶與汽車直接進行對話。他認為,生成式AI將為各行各業帶來全新機遇。

近段時間,生成式AI在手機、PC等終端設備上已經有不少用例。最近推出的新手機,就有不少生成式AI的應用,比如,OPPO Find X7Ultra的AIGC消除功能,即可極大幅度的降低拍照廢片率,一些路人突然出現的照片,就可以通過該功能成功拯救。三星Galaxy S24系列的通話實時語音翻譯和同傳功能,支持了13種語言之間的無縫翻譯,出國旅行也可輕松交流。

在前不久的MWC展會期間,高通也在現場展示了大量生成式AI的應用案例。相比此前發布的一些手機的AI功能,高通在MWC現場所展示的AI功能更為神奇。如,在圖像生成上,完全不需要一長串的文字標簽,只要給出一個比較準確的描述,Stable Diffusion即可快速生成圖片,與描述相差無幾。比如輸入“一只可愛的卷毛貓”,小龍手機僅耗時不到7秒,就生成了一張卷毛貓在室內的照片,效果十分真實。

另外,圖片生成還能根據個人或藝術偏好,加入自定義元素來展現風格效果。比如在加入“水晶”關鍵詞,并設定好風格權重后,模型就會添加水晶元素,最終生成的圖片就很有賽博風格了。這種使用方式很具想象力,它可以用來制作表情包,甚至在創作平面、視頻內容缺素材時,也能運用AI快速生成符合要求的素材。

異構計算對端側生成式AI的重要性

而這些生成式AI功能在終端設備上的應用離不開芯片的支持。高通認為,對于端側生成式AI來說,異構計算是必要條件。高通在此次MWC 展示的Stable Diffusion快速生成圖片,完全依靠端側算力,它需要NPU進行推理,需要GPU進行圖像渲染,也正是在異構運算的幫助下,才能快速里完成圖片生成,并且能夠保持低功耗,保持手機終端的高電池續航。

近日,高通在其發布的《通過NPU和異構計算開啟終端側生成式AI》報告中,深入闡述了NPU與異構計算,對端側生成式AI使用的重要性。

高通公司提出,隨著生成式AI用例需求在有著多樣化要求和計算需求的垂直領域不斷增加,需要專為AI定制設計的全新計算架構。這首先需要一個面向生成式AI全新設計的神經網絡處理器(NPU),同時要利用異構處理器組合,比如中央處理器(CPU)和圖形處理器(GPU)。通過結合NPU使用合適的處理器,異構計算能夠實現最佳應用性能、能效和電池續航,賦能全新增強的生成式AI體驗。

NPU專為實現以低功耗加速AI推理而全新打造,其架構隨著新AI算法、模型和用例的發展不斷演進。AI運算上的主要負載是由標量、向量和張量的數學運算,雖說CPU也能對此進行處理,不過處理速度和功耗方面都不理想。NPU正是針對AI運算所打造的新處理單元,高通在2015年推出的第一代AI引擎,在Hexagon NPU集成了標量和向量運算核心,之后又加入了張量運算核心,從而極大加快了AI處理速度,并使AI運算處理的功耗大幅度降低。

寫在最后

如今,生成式AI已經在終端側展示出它的價值,隨著生成式AI在終端側運行的加速,這一趨勢也將推動終端的進一步創新,有望為手機、PC等消費電子市場帶來新一輪生機。同時,生成式AI在終端側的運行需要極大的算力,這也是目前業界需要解決的重大問題。


聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • AI
    AI
    +關注

    關注

    87

    文章

    31536

    瀏覽量

    270347
收藏 人收藏

    評論

    相關推薦

    【新品體驗】幸狐Omni3576邊緣計算套件免費試用

    幸狐Core3576 核心板為邊緣計算提供強大,搭載八核64位CPU、ARM Mali-G52 MC3 GPU,并集成6 TOPS
    發表于 01-21 14:51

    異構計算的概念、核心、優勢、挑戰及考慮因素

    異構計算就像是一支由“多才多藝”處理器組成的團隊,每個成員都有自己的強項和責任。 ? 什么是異構計算????? “異構計算”指的是在同一個計算平臺中,部署多種不同類型的處理單元(比如
    的頭像 發表于 01-13 11:43 ?355次閱讀

    【一文看懂】什么是異構計算

    隨著人工智能、深度學習、大數據處理等技術的快速發展,計算需求的復雜性不斷提升。傳統的單一計算架構已難以滿足高效處理復雜任務的要求,異構計算因此應運而生,成為現代計算領域的一個重要方向。
    的頭像 發表于 12-04 01:06 ?1754次閱讀
    【一文看懂】什么是<b class='flag-5'>異構計算</b>?

    芯片 高性能 CPUGPUNPU 微架構分析》第3篇閱讀心得:GPU革命:從圖形引擎到AI加速器的蛻變

    線程調度,與Hopper架構的細粒度同步機制,使得異構計算場景下的任務協同更加靈活。在我的分布訓練實踐中,這些特性顯著提升了模型收斂速度。 張量處理器的設計是本書點睛之筆。從數學抽象來看,張量統一了
    發表于 11-24 17:12

    企業AI租賃是什么

    企業AI租賃是指企業通過互聯網專業的提供
    的頭像 發表于 11-14 09:30 ?1155次閱讀

    芯片 高性能 CPU/GPU/NPU 微架構分析》第1-4章閱讀心得——之巔:從基準測試到CPU微架構的深度探索

    向量擴展)指令集采用了可變長度向量的創新設計,為不同應用場景提供了靈活的SIMD支持。矩陣加速指令集的出現,如Intel的AMX,直接針對深度學習等應用中的矩陣運算進行優化,體現了通用CPU
    發表于 10-19 01:21

    【「芯片 | 高性能 CPU/GPU/NPU 微架構分析」閱讀體驗】--全書概覽

    本帖最后由 1653149838.791300 于 2024-10-16 22:19 編輯 感謝平臺提供的書籍,厚厚的一本,很有分量,感謝作者的傾力付出成書。 本書主要講芯片CPU
    發表于 10-15 22:08

    芯原聯合主辦RISC-V和生成AI論壇

    隨著生成AI技術的快速演進,相關應用已開始各行業滲透,AI模型在云
    的頭像 發表于 09-29 09:48 ?305次閱讀

    百度百舸AI計算平臺4.0震撼發布

    在2024年百度云智大會的璀璨舞臺上,百度智能云重磅推出了百舸AI異構計算平臺的全新力作——4.0版本。此次升級,標志著百度在AI基礎設施領域邁出了堅實的一步,致力于為行業提供更為
    的頭像 發表于 09-26 14:46 ?531次閱讀

    名單公布!【書籍評測活動NO.43】 芯片 | 高性能 CPU/GPU/NPU 微架構分析

    ,在全球范圍內,對于推動科技進步、經濟發展及社會整體的運作具有至關重要的作用。隨著信息技術的高速發展,高性能計算(HPC)和人工智能(AI)等技術在多個領域的應用變得日益廣泛,芯片
    發表于 09-02 10:09

    安謀科技異構組合,破局生成AI挑戰

    ,“此芯P1”不僅異構集成了Armv9 CPU核心與Arm Immortalis GPU,還搭載了安謀科技(中國)有限公司(以下簡稱“安謀科技”)“周易”NPU等自研業務產品。憑借高能效的異構
    的頭像 發表于 08-13 09:12 ?630次閱讀

    安謀科技異構賦能AI計算,此芯科技首款AI PC芯片發布

    底座,“此芯P1”不僅異構集成了Arm?v9 CPU核心與Arm Immortalis? GPU,還搭載了安謀科技(中國)有限公司(以下簡稱“安謀科技”)“周易”NPU等自研業務產品。憑借高能效的異構
    發表于 07-31 14:36 ?1107次閱讀
    安謀科技<b class='flag-5'>異構</b><b class='flag-5'>算</b><b class='flag-5'>力</b>賦能<b class='flag-5'>AI</b><b class='flag-5'>計算</b>,此芯科技首款<b class='flag-5'>AI</b> PC芯片發布

    異構計算:解鎖潛能的新途徑

    在這個數據爆炸的時代,計算力是推動社會與科技創新的核心。從日常智能設備的流暢運行到超級計算機的尖端模擬,均依賴強大計算能力。但面對多樣化的復雜計算
    的頭像 發表于 07-18 08:28 ?9942次閱讀
    <b class='flag-5'>異構計算</b>:解鎖<b class='flag-5'>算</b><b class='flag-5'>力</b>潛能的新途徑

    NPU是什么?為何它是開啟終端生成AI的關鍵?

    ),同時要利用異構處理器組合,比如中央處理器(CPU)和圖形處理器(GPU)。通過結合NPU使用合適的處理器,異構計算能夠實現最佳應用性能、能效和電池續航,賦能全新增強的生成
    的頭像 發表于 03-07 11:25 ?2148次閱讀
    <b class='flag-5'>NPU</b>是什么?為何它是開啟<b class='flag-5'>終端</b><b class='flag-5'>側</b><b class='flag-5'>生成</b><b class='flag-5'>式</b><b class='flag-5'>AI</b>的關鍵?

    高通NPU異構計算提升生成AI性能?

    異構計算的重要性不可忽視。根據生成AI的獨特需求和計算負擔,需要配備不同的處理器,如專注于AI
    的頭像 發表于 03-06 14:15 ?895次閱讀
    主站蜘蛛池模板: 天堂资源在线最新版 | 亚洲一区免费在线 | 永久免费精品视频 | ⅹxxxx68日本老师hd | 亚洲我射| 欧美午夜寂寞影院安卓列表 | 欧美成人免费全部观看天天性色 | 亚洲视频在线视频 | 日韩美女影院 | 男女www视频在线看网站 | 能看毛片的网址 | 成人久久精品 | abc欧美成人影院 | 美女免费毛片 | 小草影院亚洲私人影院 | 国产美女动态免费视频 | 毛片小视频 | 久久综合图片 | 亚洲国产精品久久久久婷婷老年 | 欧美成人自拍视频 | 亚洲乱码卡一卡二卡三永久 | 天天色天天综合 | 轻点灬大ji巴太大太深了 | 国产片一区二区三区 | 欧美伊人| 蜜桃五月天 | 色猫成人网 | 99久免费精品视频在线观看2 | 国产成人黄网址在线视频 | 国产精品福利午夜在线观看 | 特黄特色大片免费视频大全 | 99九九成人免费视频精品 | 国产精品美女www爽爽爽视频 | 国产小毛片 | 亚洲a人片在线观看网址 | 亚洲午夜久久久久久91 | 亚色中文 | 日韩免费观看一级毛片看看 | 蜜月mv国产精品 | dvd碟片色爱| 日本福利小视频 |