在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

在本地跑AIGC,英特爾PC沒問題

looger123 ? 來源:looger123 ? 作者:looger123 ? 2023-08-22 09:40 ? 次閱讀

不管被動還是主動,大模型,AIGC,ChatGPT,Stable Diffusion,MidJourney 等等名詞在大家的新聞列表里狂轟濫炸,經(jīng)歷了上半年的驚喜、恐慌、期待和擔憂之后,AIGC 現(xiàn)今已不是天降福音或者天網(wǎng)再臨,人們開始正視它,理解它,適度利用它。

當然,這一輪 AIGC 浪潮主要發(fā)生在云端,無論是 ChatGPT,還是文心一言,通義千問這類大語言模型應(yīng)用,亦或是 MidJourney 這類 AI 生成圖片的應(yīng)用,還有不少像 Runway 這樣 AI 生成視頻的應(yīng)用,都需要聯(lián)網(wǎng),因為 AI 計算都發(fā)生在千里之外的云端服務(wù)器上。

畢竟一般而言,服務(wù)器端能夠提供的算力和存儲,要遠大于電腦端和手機端,但情況也并非絕對,響應(yīng)快,無需聯(lián)網(wǎng)的端側(cè) AI 毫無疑問是另一個趨勢,和云端 AI 能夠相互互補。

在前不久的小米年度演講中,小米創(chuàng)始人雷軍表示,小米 AI 大模型最新一個 13 億參數(shù)大模型已經(jīng)成功在手機本地跑通,部分場景可以媲美 60 億參數(shù)模型在云端運行結(jié)果。

雖然參數(shù)量不太大,但說明了大模型在端側(cè)的可行性和潛力。

在算力大得多的 PC 端,是否也有端側(cè)大模型等 AIGC 運用的可行性和潛力呢?8 月 18 日,英特爾舉辦了一場技術(shù)分享會,著重分享了 2 個方面的信息:英特爾銳炫顯卡 DX11 性能更新,并推出全新英特爾 PresentMon Beta 工具,以及展示英特爾在 AIGC 領(lǐng)域的進展。

去年英特爾銳炫臺式機產(chǎn)品發(fā)布時,就承諾過英特爾銳炫顯卡會持續(xù)優(yōu)化升級,帶來更出色的體驗。

wKgZomTkEhOAXK9LAAImQS_sIlc933.png

通過最新 Game On 驅(qū)動的發(fā)布,英特爾銳炫顯卡在運行一系列 DX11 游戲的時候,能夠獲得 19% 的幀率提升,以及平均約 20% 的99th Percentile幀率流暢度提升(相較于首個驅(qū)動版本)。此前購買使用過英特爾銳炫 A750 顯卡的用戶,可以直接下載最新驅(qū)動,在《守望先鋒 2》、《DOTA 2》、《Apex Legends》等游戲中獲得體驗升級。

對于在顯卡選擇上有點猶豫的用戶來說,1700 元檔位上的銳炫 A750 顯卡也成為了頗有競爭力的選擇。

wKgaomTkEhSAej-fAARueRlTbTg425.png

PresentMon Beta 則是英特爾推出的圖形性能分析工具,提供了 Overlay(疊加視圖)等功能,可以在運行游戲時在屏幕上顯示性能數(shù)據(jù),幫助玩家實時遙測 GPU 的電壓和溫度等,實時分析大量信息。同時也可以查看 99th Percentile 幀時間與 GPU 占用率圖表。

另外,PresentMon Beta 也帶來了名為「GPU Busy」的全新指標。這里可以解釋一下,用戶通過它可以看到 GPU 實際使用了多少時間進行實際渲染而不是處于等待狀態(tài),或者在運行游戲的 PC 是否處于 CPU 和 GPU 平衡。

游戲是 PC 永恒的主題,而 AI 則是新晉的主題。

實際上,這一輪 AIGC 浪潮發(fā)生的主陣地設(shè)備,就是 PC,無論是 ChatGPT,還是 MidJourney,或者 Stable Diffusion 等等應(yīng)用,包括基于大模型的微軟 Office Copilot,亦或是金山辦公的 WPS AI,都是在 PC 上才可以獲得更好的體驗。

但 PC 相較于其他設(shè)備,諸如手機,平板和優(yōu)勢,不僅在于屏幕更大,交互輸入更高效,還在于芯片性能。

在英特爾談 PC 上的 AIGC 之前,我們關(guān)注到 PC 端側(cè)跑 AIGC,往往就是用高性能游戲本去跑圖,但輕薄本往往被排除在外。

現(xiàn)在,英特爾明確表示了,基于英特爾處理器的輕薄本能跑大模型,也可以跑大模型和 Stable Diffusion。

英特爾基于 OpenVINO PyTorch (英特爾推出的一個開放源碼工具包,旨在優(yōu)化深度學(xué)習(xí)模型的推理性能,并將其部署到不同的硬件平臺上)后端的方案,通過 Pytorch API 讓社區(qū)開源模型能夠很好地運行在英特爾的客戶端處理器、集成顯卡、獨立顯卡和專用 AI 引擎上。

比如開源的圖像生成模型 Stable Diffusion (具體講,是 Automatic1111 WebUI)就可以通過這種方式,在英特爾 CPU 和 GPU(包括集成顯卡和獨立顯卡)上運行 FP16 精度的模型,用戶實現(xiàn)文字生成圖片、圖片生成圖片以及局部修復(fù)等功能。

比如這張 512×512 分辨率的蜂蜜薄餅圖在英特爾處理器輕薄本(只用 i7-13700H 的核顯)上,只需要十幾秒就可以生成出來。

這主要得益于 13 代酷睿處理器在核心數(shù)、性能、功耗比還有圖形性能上的進步,以 14 核心 20 線程的 i7-13700H 處理器為例,它的 TDP 達到了 45W,集成的 Intel Iris Xe Graphics (96EU) 顯卡也不容小覷。

作為目前最高規(guī)格的核顯之一,Intel Iris Xe Graphics (96EU) 相較于 Iris Plus 核顯最高 64EU,基本規(guī)格提升明顯,F(xiàn)P16、FP32 浮點性能提升幅度高達 84%,還引入了 INT8 整數(shù)計算能力 ,這些都加強了它的 AI 圖形計算能力,也是英特爾輕薄本能夠很好支持 Stable Diffusion 的主要原因。

在以往,TDP 45W 左右的英特爾處理器很難裝進輕薄本,不過到了 13 代酷睿,已經(jīng)出現(xiàn)了一大批在 1.4KG 左右的輕薄本把 14 核心 20 線程的 i7-13700H 處理器乃至性能更高的 i7-13900H 處理器塞了進去,所以,在筆記本上跑 Stable Diffusion 快速出圖已經(jīng)不是高性能獨顯游戲本的專屬,今后輕薄本同樣能夠勝任這項工作。

當然,Stable Diffusion 本身主要跑在本地,輕薄本通過芯片性能的提升和優(yōu)化來運行合乎邏輯,不過本地的端側(cè)大模型則屬于較為新生的事物。

通過通過模型優(yōu)化,降低了模型對硬件資源的需求,進而提升了模型的推理速度,英特爾讓一些社區(qū)開源模型能夠很好地運行在個人電腦上。

以大語言模型為例,英特爾通過第 13 代英特爾酷睿處理器 XPU 的加速、low-bit 量化以及其它軟件層面的優(yōu)化,讓最高達 160 億參數(shù)的大語言模型,通過 BigDL-LLM 框架運行在 16GB 及以上內(nèi)存容量的個人電腦上。

雖然離 ChatGPT3.5 的 1750 億參數(shù)有量級差距,但畢竟 ChatGPT3.5 是跑在一萬顆英偉達 V100 芯片構(gòu)建的 AGI 網(wǎng)絡(luò)集群上。而這通過 BigDL-LLM 框架運行 160 億參數(shù)大模型是跑在英特爾酷睿 i7-13700H 或 i7-13900H 這樣為高性能輕薄本打造的處理器上。

不過這里也可以看到,PC 端側(cè)的大語言模型,也比手機端側(cè)的大語言模型高一個量級。

出現(xiàn)了數(shù)十年的 PC,并非運行云端大模型的工具人,得益于硬件進步,英特爾處理器支持的 PC 已經(jīng)能夠快速對接新興模型,兼容 HuggingFace 上的 Transformers 模型,目前已經(jīng)驗證過的模型包括但不限于:LLAMA/LLAMA2、ChatGLM/ChatGLM2、MPT、Falcon、MOSS、Baichuan、QWen、Dolly、RedPajama、StarCoder、Whisper 等。

wKgaomTkEhSACbRkAAFUgERtm68215.png

(圖片來自:愛極物)

在技術(shù)分享會現(xiàn)場,英特爾演示了基于酷睿 i7-13700H 設(shè)備跑大模型的表現(xiàn):ChatGLM-6b 可以做到首個 token 生成 first latency 241.7ms,后續(xù) token 平均生成率為 55.63ms/token。在在自然語言處理領(lǐng)域,「token」 是指文本中的一個基本單元,可以是一個單詞、一個字、一個子詞(subword)、一個標點符號,或者其他可以進行語義處理的最小單元??梢钥吹?,這個處理器速度相當不錯。

目前還可以得到的消息是,英特爾的下一代處理器 Meteor Lake 具備獨特的分離式模塊架構(gòu)的優(yōu)勢,更好地為 AI 服務(wù),包括像 Adobe Premiere Pro 中的自動重新構(gòu)圖和場景編輯檢測等多媒體功能,并實現(xiàn)更有效的機器學(xué)習(xí)加速。

雖然 AIGC 是 2023 年的一個關(guān)鍵詞,但是 AI 并不新鮮,而且也是英特爾這幾年來經(jīng)常掛在嘴邊的關(guān)鍵詞。

更早之前的 AI 視頻通話降噪,AI 視頻通話背景降噪等等,其實都是 AI 的應(yīng)用。

可以看到,未來處理器的競爭力,將不局限于核心數(shù)、線程數(shù)、主頻這些,能否更好地驅(qū)動 AI 功能,將成為愈發(fā)重要的維度,也會是今后消費者選購產(chǎn)品會考慮的因素之一。

審核編輯 黃宇



聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 英特爾
    +關(guān)注

    關(guān)注

    61

    文章

    10132

    瀏覽量

    173499
  • AI
    AI
    +關(guān)注

    關(guān)注

    87

    文章

    33424

    瀏覽量

    273966
  • AIGC
    +關(guān)注

    關(guān)注

    1

    文章

    380

    瀏覽量

    2037
  • 大模型
    +關(guān)注

    關(guān)注

    2

    文章

    2921

    瀏覽量

    3669
收藏 人收藏

    評論

    相關(guān)推薦

    英特爾發(fā)布最強大的商用AI PC產(chǎn)品陣容

    2025年世界移動通信大會(MWC 2025)上,英特爾發(fā)布了該公司迄今為止最強大的商用AI PC產(chǎn)品陣容,搭載了英特爾 酷睿 Ultra 200V、200U、200H、200HX和
    的頭像 發(fā)表于 03-08 09:28 ?456次閱讀

    請問OpenVINO?工具套件英特爾?Distribution是否與Windows? 10物聯(lián)網(wǎng)企業(yè)版兼容?

    無法基于 Windows? 10 物聯(lián)網(wǎng)企業(yè)版的目標系統(tǒng)上使用 英特爾? Distribution OpenVINO? 2021* 版本推斷模型。
    發(fā)表于 03-05 08:32

    英特爾賦能DeepSeek本地運行,助力汽車升級“最強大腦”

    英特爾近期宣布支持DeepSeek本地實現(xiàn)高效運行。據(jù)悉,借助英特爾的軟件定義汽車車載平臺,DeepSeek-R1系列模型,從1.5B(十億參數(shù))到14B參數(shù)版本,均能在該平臺上流暢
    的頭像 發(fā)表于 02-17 09:37 ?565次閱讀

    探索座艙“未至之境”:英特爾支持DeepSeek車內(nèi)本地運行

    超火的DeepSeek進入駕艙是什么樣子?英特爾告訴你答案。英特爾的軟件定義汽車車載平臺上DeepSeek-R1,從1.5B直到14B,能明顯提升GPU內(nèi)存的利用率,而第二代
    的頭像 發(fā)表于 02-14 16:19 ?261次閱讀
    探索座艙“未至之境”:<b class='flag-5'>英特爾</b>支持DeepSeek車內(nèi)<b class='flag-5'>本地</b>運行

    英特爾與扣子云平臺合作推出AI PC Bot專區(qū)和端側(cè)插件商店

    通過創(chuàng)新的端云協(xié)同技術(shù),為開發(fā)者提供更為便捷、高效的智能應(yīng)用開發(fā)環(huán)境。 通過扣子的“端插件”機制,英特爾AI PCPC操控、本地知識庫、本地
    的頭像 發(fā)表于 12-31 10:24 ?657次閱讀

    英特爾與扣子云平臺共推AI PC Bot專區(qū)和端側(cè)插件商店

    ,將英特爾AI PCPC操控、本地知識庫、本地推理及本地生成等核心功能無縫嵌入扣子大模型與工作
    的頭像 發(fā)表于 12-30 10:09 ?439次閱讀

    英特爾與扣子云平臺合作推出AI PC Bot專區(qū)與端側(cè)插件商店

    。 Coze-AIPC是扣子云平臺與英特爾聯(lián)合發(fā)布的增強版智能體開發(fā)平臺,它深度整合了英特爾AI PC的端側(cè)能力與扣子云平臺的優(yōu)勢。通過扣子云平臺創(chuàng)新的“端插件”機制,英特爾AI
    的頭像 發(fā)表于 12-27 14:11 ?717次閱讀

    同花順攜手英特爾,推出基于強大算力的AI PC版,引領(lǐng)金融科技新潮流

    11月26日,英特爾成都舉辦了新質(zhì)生產(chǎn)力技術(shù)生態(tài)大會,聚焦全行業(yè)的生態(tài)合作和技術(shù)分享。AI PC軟件生態(tài)產(chǎn)品發(fā)布分論壇上,作為中國領(lǐng)先的互聯(lián)網(wǎng)金融信息服務(wù)提供商,同花順今日宣布推出
    的頭像 發(fā)表于 11-27 15:13 ?564次閱讀
    同花順攜手<b class='flag-5'>英特爾</b>,推出基于強大算力的AI <b class='flag-5'>PC</b>版,引領(lǐng)金融科技新潮流

    英特爾目標明年出貨1億臺AI PC

    英特爾近日宣布,其目標是明年實現(xiàn)1億臺AI PC的出貨,相較于2024年4000萬臺的出貨目標,實現(xiàn)了150%的大幅增長。這一雄心勃勃的目標展示了英特爾
    的頭像 發(fā)表于 10-31 17:07 ?495次閱讀

    英特爾計劃明年AI PC出貨一億臺

    英特爾設(shè)定明年AI PC出貨目標為一億臺,較2024年原定計劃激增150%   英特爾銷售與營銷部總監(jiān)Jack Huang于10月28日透露,公司計劃在明年實現(xiàn)一億臺AI PC
    的頭像 發(fā)表于 10-31 14:26 ?707次閱讀

    英特爾攜百臺PC亮相Bilibili World 2024

    上市游戲的測試版,感受超神游戲體驗;第七屆英特爾大師挑戰(zhàn)賽(Intel Master Challenger,以下簡稱“IMC”)第一賽季決賽也今日決出勝負;對于創(chuàng)作者和企業(yè)用戶,英特爾現(xiàn)場還展示了AI
    的頭像 發(fā)表于 08-16 14:49 ?655次閱讀

    英特爾發(fā)布AI創(chuàng)作應(yīng)用AI Playground,將于今夏正式上線!

    的AI PC入門應(yīng)用程序AI Playground,讓廣大用戶本地即可快速實現(xiàn)AI個性化創(chuàng)作。 英特爾Xe2 GPU架構(gòu),帶來50%的性能提升
    的頭像 發(fā)表于 06-14 09:44 ?666次閱讀
    <b class='flag-5'>英特爾</b>發(fā)布AI創(chuàng)作應(yīng)用AI Playground,將于今夏正式上線!

    英特爾CEO帕特·基辛格:引領(lǐng)AI PC創(chuàng)新,重現(xiàn)“迅馳時刻”

    2024臺北國際電腦展(Computex)上,各路廠商圍繞AI PC紛紛“大顯身手”,發(fā)布了大量產(chǎn)品和解決方案。產(chǎn)業(yè)界已普遍認同,AI PCPC產(chǎn)業(yè)的發(fā)展方向。 回顧其起源,
    的頭像 發(fā)表于 06-11 09:26 ?683次閱讀
    <b class='flag-5'>英特爾</b>CEO帕特·基辛格:引領(lǐng)AI <b class='flag-5'>PC</b>創(chuàng)新,重現(xiàn)“迅馳時刻”

    英特爾CEO:AI時代英特爾動力不減

    英特爾CEO帕特·基辛格堅信,AI技術(shù)的飛速發(fā)展之下,英特爾的處理器仍能保持其核心地位?;粮窆_表示,摩爾定律仍然有效,而英特爾處理器
    的頭像 發(fā)表于 06-06 10:04 ?580次閱讀

    英特爾宣布推出Thunderbolt Share1,解鎖PC超快連接體驗

    5月15日,英特爾宣布推出Thunderbolt Share1,有效提升了PCPCPC-to-PC)的連接體驗,標志著用戶與2臺PC交互
    的頭像 發(fā)表于 05-17 18:18 ?1299次閱讀
    <b class='flag-5'>英特爾</b>宣布推出Thunderbolt Share1,解鎖<b class='flag-5'>PC</b>超快連接體驗
    主站蜘蛛池模板: 久久新地址 | 1区2区3区4区 | 亚洲免费色图 | 二区三区在线观看 | 操黄色| 天天噜噜噜 | 日韩特级毛片免费观看视频 | 视频在线观看免费网址 | 一个人看的www片免费高清视频 | 国产盗摄女厕美女嘘嘘 | 欧美ww| 国产理论在线观看 | 日本大片免aaa费观看视频 | 日本免费黄色片 | 热久久影院 | 乱好看的的激情伦小说 | 亚洲免费一 | 欧美色淫网站免费观看 | 欧美zooz人与禽交 | 91视频色 | 欧美性精品videofree | 日韩怡红院 | 午夜免费视频观看在线播放 | 老师喂我吃她的奶水脱她胸罩 | 奇米777me | 97人人在线视频 | 三级网站在线免费观看 | 一区二区三区精品国产欧美 | 丁香网五月天 | 国产激情三级 | 激情性爽三级成人 | 国产色播 | 天天澡天天摸天天爽免费 | 最近2018中文字幕免费看在线 | 午夜影视在线 | 伊人久久网站 | 日本特级黄色录像 | www.成人在线| 欧美午夜剧场 | 久久精品久噜噜噜久久 | 免费看啪 |