隨著人工智能技術(shù)的迅猛發(fā)展，大規(guī)模語言模型（LLMs）在自然語言處理、內(nèi)容生成和智能對話等領(lǐng)域的應(yīng)用日益廣泛。國產(chǎn) AI 大模型 DeepSeek 憑借其強大的生成能力和廣泛的應(yīng)用場景，迅速成為業(yè)界焦點。

目前，我們已經(jīng)在英特爾 酷睿 處理器與英特爾銳炫 顯卡組成的硬件配置上，完成對大模型推理的驗證，為 AI 模型的部署和推理提供了強有力的支持。

本文將帶您深入了解如何在英特爾平臺上高效部署 DeepSeek 模型，充分發(fā)揮其潛力，助力 AI 應(yīng)用的快速落地。

1硬件配置

GPU: 英特爾銳炫 B580 12G

2BIOS 配置

安裝英特爾銳炫顯卡后，必須在 BIOS 中啟用 PCIe 可重設(shè) BAR（Base Address Register）。

3操作系統(tǒng)和驅(qū)動程序安裝

3.1Ubuntu* 24.10 操作系統(tǒng)安裝

以下是下載和安裝 Ubuntu 24.10 的步驟：

1)下載并安裝Ubuntu 24.10

wget https://releases.ubuntu.com/24.10/ubuntu-24.10-desktop-amd64.iso

2）關(guān)閉 Ubuntu 無人值守升級，以避免未經(jīng)驗證的內(nèi)核更新。

登錄 Ubuntu 后，設(shè)置屏幕永不鎖定并啟用自動登錄。

Setting->Power->Power Saving->Screen Blank->Never

設(shè)置 -> 電源 -> 節(jié)能 -> 屏幕空白 -> 從不

System->Users->Automatic Login

系統(tǒng) -> 用戶 -> 自動登錄

sudo systemctl disable --now unattended-upgrades

然后編輯/etc/apt/apt.conf.d/20auto-upgrades，將Unattended-Upgrade設(shè)置為 “0”。

3）檢查內(nèi)核版本是否為6.11.

$ uname -a
Linux benchmark-Z590-VISION-D 6.11.0-8-generic #8-Ubuntu SMP PREEMPT_DYNAMIC Mon Sep 16 1320 UTC 2024 x86_64 x86_64 x86_64 GNU/Linux

4）重新啟動設(shè)備，查看顯示是否正常工作。

3.2 英特爾客戶端 GPU

驅(qū)動程序安裝（ARC B 系列）

參考：

https://dgpu-docs.intel.com/driver/client/overview.html#installing-client-gpus-on-ubuntu-desktop-24-10

3.2.1在 Ubuntu Desktop 24.10 上

安裝客戶端 GPU

使用以下命令安裝 intel-graphics PPA 和必要的計算與媒體包：

sudo apt-get update
sudo apt-get install -y software-properties-common


# Add the intel-graphics PPA for 24.10
sudo add-apt-repository -y ppa:kobuk-team/intel-graphics


# Install the compute-related packages
sudo apt-get install -y libze-intel-gpu1 libze1 intel-ocloc intel-opencl-icd clinfo intel-gsc hwinfo


# Install the media-related packages
sudo apt-get install -y intel-media-va-driver-non-free libmfx1 libmfx-gen1 libvpl2 libvpl-tools libva-glx2 va-driver-all vainfo

上述命令安裝了大多數(shù)用戶所需的所有基本包，旨在盡量減少不必要的包安裝。

請注意，不同版本的 intel-opencl-icd 可能會有不同的性能表現(xiàn)。

3.2.2 配置渲染組成員資格

要訪問 GPU 功能，當(dāng)前用戶必須能夠訪問/dev/dri 中的 DRM 渲染節(jié)點。

如果當(dāng)前用戶不是 DRM 渲染節(jié)點（通常為 'render'）組的成員，請將用戶添加到渲染節(jié)點組。

sudo gpasswd -a ${USER} render

這對更新后創(chuàng)建的 shell 就足夠了。要更改當(dāng)前 shell 的組 ID：

newgrp render

3.3 驗證英特爾銳炫 B580 PCIe 配置空間

確保英特爾銳炫 B580 PCIe 配置空間具有 12GB 的 BAR2。以下是檢查 GPU PCIe 配置空間的指南：

步驟 1：列出 VGA 設(shè)備的 PCIe 總線地址。

lspci | grep -i vga

您將在屏幕上看到這些消息：

步驟 2：檢查英特爾銳炫 B580 的 PCIe 功能。

sudo lspci -s 03:00 -vvv | grep BAR

您將看到英特爾銳炫 B580 的 PCIe 功能，并檢查 PCIe 配置空間。

4OpenVINO 和基準(zhǔn)測試工具安裝

OpenVINO 是一個開源工具包，用于優(yōu)化和部署從云到邊緣的深度學(xué)習(xí)模型。它加速了各種用例的深度學(xué)習(xí)推理，如生成式 AI、視頻、音頻和語言，支持來自流行框架（如 PyTorch、TensorFlow、ONNX 等）的模型。轉(zhuǎn)換和優(yōu)化模型，并部署在混合的英特爾 硬件和環(huán)境中，無論是在本地、設(shè)備上、瀏覽器中還是云端。

OpenVINO GenAI 是 OpenVINO 的一個變體，旨在簡化生成式 AI 模型的推理運行。它隱藏了生成過程的復(fù)雜性，并最大限度地減少了所需的代碼量。

使用以下命令快速安裝 OpenVINO 和工具。

git clone https://github.com/openvinotoolkit/openvino.genai.git


cd ./tools/llm_bench


python3 -m venv python-env


source python-env/bin/activate


pip install --upgrade pip


pip install -r requirements.txt

更多詳情請參考o(jì)penvino.genai/tools/llm_bench at master · openvinotoolkit/openvino.genai · GitHub

https://github.com/openvinotoolkit/openvino.genai/tree/master/tools/llm_bench

5運行 DeepSeek蒸餾模型的基準(zhǔn)測試

5.1 下載預(yù)訓(xùn)練的 LLM 模型

訪問：

https://huggingface.co或https://www.modelscope.cn

下載 deepseek 蒸餾模型，并將下載的模型保存在~/models 文件夾中。

5.2將模型轉(zhuǎn)換為 OpenVINO IR

運行以下命令將 DeepSeek-R1-Distill-Qwen-7B 轉(zhuǎn)換為 IR 格式并將權(quán)重壓縮為 INT4。您的系統(tǒng)必須至少具有 64GB 內(nèi)存才能進行轉(zhuǎn)換。

optimum-cli export openvino --framework pt 
-m ./DeepSeek-R1-Distill-Qwen-7B --weight-format int4 –sym 
--trust-remote-code --task 
text-generation-with-past ./DeepSeek-R1-Distill-Qwen-7B-IR

5.3 使用 OpenVINO 啟動 LLM 基準(zhǔn)測試

要在 B580 上啟動 LLM 模型 DeepSeek-R1-Distill-Qwen-7B 的基準(zhǔn)測試，請運行以下命令：

python3 benchmark.py -m DeepSeek-R1-Distill-Qwen-7B-IR -n 1 -d GPU
python benchmark.py -m DeepSeek-R1-Distill-Qwen-7B-IR -p "What is openvino?" -n 1 -d GPU

測試結(jié)果將顯示在屏幕上。請注意，結(jié)果可能因平臺和軟件版本而異。

通過本文的詳細(xì)步驟和配置指南，我們成功在英特爾平臺上驗證了 DeepSeek 蒸餾模型的推理性能。從硬件配置、BIOS 設(shè)置、操作系統(tǒng)安裝到驅(qū)動程序和 OpenVINO 工具的部署，每一步都確保了系統(tǒng)發(fā)揮更卓越的性能。

通過基準(zhǔn)測試，我們展示了 DeepSeek-R1-Distill-Qwen 系列模型在 INT4 精度下的高效推理能力，尤其是在首個 token 和后續(xù) token 的延遲表現(xiàn)上，展現(xiàn)了英特爾銳炫 顯卡在處理大模型推理任務(wù)時的強大潛力。英特爾銳炫 B580能夠為AI工作負(fù)載提供加速，其配備的英特爾Xe矩陣計算引擎（XMX），為新推出的XeSS 2提供強大支持。OpenVINO 工具套件可以縮短延遲，提高吞吐量，加速 AI 推理過程，同時保持精度，縮小模型占用空間，優(yōu)化硬件使用。

未來，隨著硬件和軟件的進一步優(yōu)化，我們期待在更多復(fù)雜場景中，特別是在生成式 AI 和大規(guī)模語言模型的應(yīng)用中，驗證和英特爾銳炫 顯卡的性能，通過英特爾豐富的軟硬件產(chǎn)品協(xié)同，為 DeepSeek 及各種 AI 大模型的應(yīng)用提供更強大的算力，讓邊緣側(cè)部署 AI 的使用場景有更多可能。