在线观看www成人影院-在线观看www日本免费网站-在线观看www视频-在线观看操-欧美18在线-欧美1级

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

三步完成在英特爾獨立顯卡上量化和部署ChatGLM3-6B模型

英特爾物聯網 ? 來源:英特爾物聯網 ? 2024-01-11 18:04 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

01

ChatGLM3-6B 簡介

ChatGLM3 是智譜 AI 和清華大學 KEG 實驗室聯合發布的新一代對話預訓練模型。ChatGLM3-6B 是 ChatGLM3 系列中的開源模型,在填寫問卷進行登記后亦允許免費商業使用

問卷:

55f41322-b067-11ee-8b88-92fbcf53809c.gif

引用自:https://github.com/THUDM/ChatGLM3

請使用命令,將 ChatGLM3-6B 模型下載到本地 (例如,保存到 D 盤) :

git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git

左滑查看更多

02

BigDL-LLM 簡介

BigDL-LLM 是開源,遵循 Apache 2.0許可證,專門用于在英特爾的硬件平臺上加速大語言模型(Large Language Model, LLM)推理計算的軟件工具包。它是在原有的 BigDL 框架基礎上,為了應對大語言模型在推理過程中對性能和資源的高要求而設計的。BigDL-LLM 旨在通過優化和硬件加速技術來提高大語言模型的運行效率,減少推理延遲,并降低資源消耗。

本文將詳細介紹基于 BigDL-LLM 在英特爾獨立顯卡上量化和部署 ChatGLM3-6B 模型。

03

部署平臺簡介:

算力魔方是一款可以 DIY 的迷你主機,采用了抽屜式設計,后續組裝、升級、維護只需要拔插模塊。

通過選擇計算模塊的版本,再搭配不同額 IO 模塊可以組成豐富的配置,適應不同場景。性能不夠時,可以升級計算模塊提升算力, IO 接口不匹配時,可以更換 IO 模塊調整功能,而無需重構整個系統。本文在帶有 A380獨立顯卡的算力模方上完成驗證。

04

在英特爾獨立顯卡上部署 ChatGLM3-6B

4.1

搭建開發環境

第一步:請下載并安裝 Visual Studio 2022 Community Edition。安裝時務必選擇“使用 C++的桌面開發”。注意:不要修改默認安裝路徑!

下載鏈接:

562d0c9a-b067-11ee-8b88-92fbcf53809c.png

第二步:請下載并安裝英特爾獨立顯卡驅動程序。

下載鏈接:

https://www.intel.cn/content/www/cn/zh/download/785597/intel-arc-iris-xe-graphics-windows.html

第三步:請下載并安裝 Intel oneAPI Base Toolkit。

下載鏈接:

https://www.intel.com/content/www/us/en/developer/tools/oneapi/base-toolkit-download.html

第四步:請下載并安裝 Anaconda,然后用下面的命令創建名為“bigdl”的虛擬環境。

conda create -n bigdl python=3.9 libuv
conda activate bigdl

4.2

安裝 BigDL-LLM[xpu]

第一步:用下載器 (例如:迅雷) 下載*.whl 安裝包到本地。

下載鏈接:

https://intel-extension-for-pytorch.s3.amazonaws.com/ipex_stable/xpu/torch-2.1.0a0%2Bcxx11.abi-cp39-cp39-win_amd64.whl

https://intel-extension-for-pytorch.s3.amazonaws.com/ipex_stable/xpu/torchvision-0.16.0a0%2Bcxx11.abi-cp39-cp39-win_amd64.whl

https://intel-extension-for-pytorch.s3.amazonaws.com/ipex_stable/xpu/intel_extension_for_pytorch-2.1.10%2Bxpu-cp39-cp39-win_amd64.whl

第二步:執行命令:

# 從本地安裝已下載的.whl安裝包
pip install torch-2.1.0a0+cxx11.abi-cp39-cp39-win_amd64.whl
pip install torchvision-0.16.0a0+cxx11.abi-cp39-cp39-win_amd64.whl
pip install intel_extension_for_pytorch-2.1.10+xpu-cp39-cp39-win_amd64.whl


# 安裝支持英特爾顯卡的bigdl-llm
pip install --pre --upgrade bigdl-llm[xpu] -i https://mirrors.aliyun.com/pypi/simple/

左滑查看更多

詳情參考:

https://bigdl.readthedocs.io/en/latest/doc/LLM/Overview/install_gpu.html

4.3

第三步:運行范例程序

首先:執行命令,配置環境變量:

conda activate bigdl
call "C:Program Files (x86)InteloneAPIsetvars.bat"
set SYCL_CACHE_PERSISTENT=1
set BIGDL_LLM_XMX_DISABLED=1

左滑查看更多

若系統中有集成顯卡,請執行下面的命令,保證英特爾獨立顯卡是“xpu”指代的計算設備,

詳情參考:

https://github.com/intel-analytics/BigDL/issues/9768

set ONEAPI_DEVICE_SELECTOR=level_zero:1

左滑查看更多

然后,請下載范例程序并運行:

https://gitee.com/Pauntech/chat-glm3/blob/master/chatglm3_infer_gpu.py

import time
from bigdl.llm.transformers import AutoModel
from transformers import AutoTokenizer
import intel_extension_for_pytorch as ipex
import torch
CHATGLM_V3_PROMPT_FORMAT = "<|user|>
{prompt}
<|assistant|>"
# 請指定chatglm3-6b的本地路徑
model_path = "d:/chatglm3-6b"
# 載入ChatGLM3-6B模型并實現INT4量化
model = AutoModel.from_pretrained(model_path,
                 load_in_4bit=True,
                 trust_remote_code=True)
# run the optimized model on Intel GPU
model = model.to('xpu')
# 載入tokenizer
tokenizer = AutoTokenizer.from_pretrained(model_path,
                     trust_remote_code=True)
# 制作ChatGLM3格式提示詞  
prompt = CHATGLM_V3_PROMPT_FORMAT.format(prompt="What is Intel?")
# 對提示詞編碼
input_ids = tokenizer.encode(prompt, return_tensors="pt")
input_ids = input_ids.to('xpu')
st = time.time()
# 執行推理計算,生成Tokens
output = model.generate(input_ids,max_new_tokens=32)
end = time.time()
# 對生成Tokens解碼并顯示
output_str = tokenizer.decode(output[0], skip_special_tokens=True)
print(f'Inference time: {end-st} s')
print('-'*20, 'Prompt', '-'*20)
print(prompt)
print('-'*20, 'Output', '-'*20)
print(output_str)

運行結果,如下所示:

563ba57a-b067-11ee-8b88-92fbcf53809c.png

4.4

運行 ChatGLM3-6B WebUI demo

首先,請先安裝依賴軟件包:

pip install gradio mdtex2html streamlit -i https://mirrors.aliyun.com/pypi/simple/

然后,運行命令,配置環境變量:

conda activate bigdl
call "C:Program Files (x86)InteloneAPIsetvars.bat"
set SYCL_CACHE_PERSISTENT=1
set BIGDL_LLM_XMX_DISABLED=1

若系統中有集成顯卡,請執行下面的命令,保證英特爾獨立顯卡是“xpu”指代的計算設備。

詳情參考:

https://github.com/intel-analytics/BigDL/issues/9768

set ONEAPI_DEVICE_SELECTOR=level_zero:1

最后,請下載范例程序:

https://gitee.com/Pauntech/chat-glm3/blob/master/chatglm3_web_demo_gpu.py

并運行:

streamlit run chatglm3_web_demo_gpu.py

左滑查看更多

運行結果如下:

56549706-b067-11ee-8b88-92fbcf53809c.jpg

05

總結

BigDL-LLM 工具包簡單易用,僅需三步即可完成開發環境搭建、bigdl-llm[xpu]安裝以及 ChatGLM3-6B 模型的 INT4量化以及在英特爾獨立顯卡上的部署。







審核編輯:劉清

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 英特爾
    +關注

    關注

    61

    文章

    10191

    瀏覽量

    174498
  • 語言模型
    +關注

    關注

    0

    文章

    561

    瀏覽量

    10763
  • LLM
    LLM
    +關注

    關注

    1

    文章

    325

    瀏覽量

    807

原文標題:三步完成在英特爾獨立顯卡上量化和部署 ChatGLM3-6B 模型 | 開發者實戰

文章出處:【微信號:英特爾物聯網,微信公眾號:英特爾物聯網】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    部署成本顯著降低!英特爾助陣高效AI算力一體機方案

    3月27日,英特爾舉辦了名為“‘至’繪未來,銳炫來襲”的創新解決方案研討會,與生態伙伴共同分享最新AI算力一體機方案。該方案基于英特爾?至強? W處理器和多個英特爾銳炫?
    的頭像 發表于 03-29 16:29 ?1170次閱讀
    <b class='flag-5'>部署</b>成本顯著降低!<b class='flag-5'>英特爾</b>助陣高效AI算力一體機方案

    英特爾?獨立顯卡與OpenVINO?工具套件結合使用時,無法運行推理怎么解決?

    使用英特爾?獨立顯卡與OpenVINO?工具套件時無法運行推理
    發表于 03-05 06:56

    英特爾賦能DeepSeek本地運行,助力汽車升級“最強大腦”

    提升GPU內存的利用率。這一突破為DeepSeek技術汽車領域的應用開辟了新路徑。 隨著第二代英特爾銳炫?B系列車載獨立顯卡的發布,所支持
    的頭像 發表于 02-17 09:37 ?691次閱讀

    英特爾2025上半年將推24GB顯存銳炫B580顯卡

    處理能力的需求。 據悉,銳炫B580 24GB將基于英特爾的BMG-G21 GPU核心設計,與現有的銳炫B580 12GB版本核心架構
    的頭像 發表于 01-03 10:46 ?1802次閱讀

    使用英特爾AI PC為YOLO模型訓練加速

    之后,情況有了新的變化,PyTorch2.5正式開始支持英特爾顯卡,也就是說,此后我們能夠借助英特爾 銳炫 顯卡來進行模型訓練了。
    的頭像 發表于 12-09 16:14 ?1560次閱讀
    使用<b class='flag-5'>英特爾</b>AI PC為YOLO<b class='flag-5'>模型</b>訓練加速

    英特爾推出全新英特爾銳炫B系列顯卡

    英特爾銳炫B580和B570 GPU以卓越價值為時新游戲帶來超凡表現。 ? > 今日,英特爾發布全新英特爾銳炫
    的頭像 發表于 12-07 10:16 ?1410次閱讀
    <b class='flag-5'>英特爾</b>推出全新<b class='flag-5'>英特爾</b>銳炫<b class='flag-5'>B</b>系列<b class='flag-5'>顯卡</b>

    使用PyTorch英特爾獨立顯卡訓練模型

    《PyTorch 2.5重磅更新:性能優化+新特性》中的一個新特性就是:正式支持英特爾獨立顯卡訓練
    的頭像 發表于 11-01 14:21 ?2021次閱讀
    使用PyTorch<b class='flag-5'>在</b><b class='flag-5'>英特爾</b><b class='flag-5'>獨立</b><b class='flag-5'>顯卡</b><b class='flag-5'>上</b>訓練<b class='flag-5'>模型</b>

    英特爾聚焦AI座艙

    英特爾推出首款銳炫車載獨立顯卡(dGPU)和第一代英特爾軟件定義車載SoC系列,滿足當前消費者對汽車內部配備更多屏幕、獲得更高清晰度等AI座艙體驗需求。
    的頭像 發表于 10-30 16:26 ?431次閱讀

    使用OpenVINO 2024.4算力魔方上部署Llama-3.2-1B-Instruct模型

    前面我們分享了《三步完成Llama3算力魔方的本地量化部署》。2024年9月25日,Meta
    的頭像 發表于 10-12 09:39 ?1432次閱讀
    使用OpenVINO 2024.4<b class='flag-5'>在</b>算力魔方上<b class='flag-5'>部署</b>Llama-3.2-1<b class='flag-5'>B</b>-Instruct<b class='flag-5'>模型</b>

    IBM Cloud將部署英特爾Gaudi 3 AI芯片

    近日,科技巨頭IBM與英特爾宣布了一項重大合作計劃,雙方將共同在IBM Cloud平臺上部署英特爾最新的Gaudi 3 AI芯片,預計該服務將于2025年初正式上線。此次合作標志著兩家
    的頭像 發表于 09-03 15:52 ?644次閱讀

    chatglm2-6bP40做LORA微調

    背景: 目前,大模型的技術應用已經遍地開花。最快的應用方式無非是利用自有垂直領域的數據進行模型微調。chatglm2-6b國內開源的大模型
    的頭像 發表于 08-13 17:12 ?821次閱讀
    <b class='flag-5'>chatglm2-6b</b><b class='flag-5'>在</b>P40<b class='flag-5'>上</b>做LORA微調

    支持140億參數AI模型,229TOPS!英特爾重磅發布第一代車載獨立顯卡

    英特爾院士、英特爾公司副總裁、汽車事業部總經理Jack Weast指出,今年的CES英特爾發布了第一代AI增強型軟件定義車載SoC。8
    的頭像 發表于 08-12 09:07 ?1.3w次閱讀
    支持140億參數AI<b class='flag-5'>模型</b>,229TOPS!<b class='flag-5'>英特爾</b>重磅發布第一代車載<b class='flag-5'>獨立</b><b class='flag-5'>顯卡</b>

    英特爾發布第一代車載銳炫獨立顯卡

    英特爾震撼發布其第一代車載英特爾銳炫獨立顯卡,標志著智能座艙技術邁入全新階段。這款顯卡平臺算力高達229TOPS,不僅支持多達8塊
    的頭像 發表于 08-09 14:54 ?819次閱讀

    英特爾正式推出第一代車載獨立顯卡

    8月8日,英特爾公司正式推出首款英特爾銳炫?車載獨立顯卡(dGPU),以重塑汽車行業格局。這一全新產品將賦能汽車廠商打造下一代車載體驗,以滿足并超越當前消費者對汽車內部配備更多屏幕、獲
    的頭像 發表于 08-09 09:27 ?8533次閱讀
    <b class='flag-5'>英特爾</b>正式推出第一代車載<b class='flag-5'>獨立</b><b class='flag-5'>顯卡</b>

    如何將Llama3.1模型部署英特爾酷睿Ultra處理器

    本文從搭建環境開始,一幫助讀者實現只用五行代碼便可將Llama3.1模型部署英特爾 酷睿
    的頭像 發表于 07-26 09:51 ?3073次閱讀
    如何將Llama3.1<b class='flag-5'>模型</b><b class='flag-5'>部署</b><b class='flag-5'>在</b><b class='flag-5'>英特爾</b>酷睿Ultra處理器
    主站蜘蛛池模板: 日韩在线视频一区二区三区 | 69国产视频| 伊人久久大香线蕉综合电影 | 一区国产传媒国产精品 | 日本不卡专区 | 思思久久96热在精品不卡 | 亚洲影视久久 | 午夜剧场操一操 | 簧 色 成 人 | 美女下面小内内的沟 | 四虎影视国产精品 | 六月综合激情 | 亚洲日本一区二区 | 成人午夜免费剧场 | 国产亚洲欧美一区二区 | 日韩在线天堂免费观看 | 亚洲男人的性天堂 | 精品亚洲成a人片在线观看 精品亚洲大全 | 黄色大片视频网站 | 欧美在线成人午夜影视 | 毛片2016免费视频 | 国产精品成人va在线观看入口 | 成人牲交一极毛片 | 一日本道加勒比高清一二三 | 69日本xxxxxxxx59| 人人草人人爽 | 国产 高清 在线 | 寡妇影院首页亚洲图片 | 日日干狠狠干 | 欧美色亚洲图 | 啪啪亚洲 | 日本片免费观看一区二区 | 天天操天天操天天操天天操 | 日本在线观看永久免费网站 | 欧美熟色妇| 啪啪激情综合 | 午夜爽爽爽 | 成人免费淫片95视频观看网站 | 国片一级 免费看 | 97人人在线视频 | 激情综合五月网 |