本文將介紹如何在Ubuntu 用 5 行指令快速搭建含英特爾顯卡的 AI 開(kāi)發(fā)環(huán)境, 并使用 OpenVINO 及英特爾顯卡優(yōu)化文生圖模型 Stable Diffusion 的速度。

EIV (Edge Insight Vision) 具有一組預(yù)集成組件，專(zhuān)為邊緣應(yīng)用的計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)推理而設(shè)計(jì)，并針對(duì)英特爾架構(gòu)進(jìn)行了優(yōu)化。它作為容器化架構(gòu)或獨(dú)立運(yùn)行時(shí)實(shí)現(xiàn)。

此軟件包包含用于在英特爾處理器和英特爾顯卡設(shè)備上安裝英特爾顯卡驅(qū)動(dòng)程序和為 OpenVINO 推理設(shè)置環(huán)境的腳本。

工作原理

EIV 是一組預(yù)先驗(yàn)證的模塊，作為容器化架構(gòu)或獨(dú)立運(yùn)行時(shí)實(shí)現(xiàn)，用于在邊緣部署計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)工作負(fù)載。該軟件包包含面向針對(duì)英特爾架構(gòu)優(yōu)化的計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)應(yīng)用的英特爾發(fā)行版 OpenVINO 工具套件。

圖 1：視覺(jué)邊緣洞察模塊

EIV 安裝三大模塊

Docker

Intel GPU drivers

The Intel Distribution of OpenVINO toolkit (OpenVINO) Docker image 2023.0

入門(mén)指南

按照此分步指南在 Linux* 上為您的目標(biāo)系統(tǒng)安裝英特爾 EIV。完成本指南后，您就可以在英特爾 處理器、iGPU 和英特爾 銳炫 顯卡上試用示例應(yīng)用程序了。

1

建議的系統(tǒng)要求

● 處理器：

第 10代 - 第 13 代智能英特爾酷睿 處理器

英特爾 處理器 N 系列

英特爾酷睿 i3 處理器 N 系列

英特爾 銳炫 A 系列顯卡

●至少 8GB 內(nèi)存

●至少 64GB 硬盤(pán)

●互聯(lián)網(wǎng)連接

●Ubuntu* 20.04 英特爾物聯(lián)網(wǎng)或 Ubuntu* 22.04 英特爾物聯(lián)網(wǎng)

2

準(zhǔn)備目標(biāo)系統(tǒng)

注意：如果主顯示器設(shè)置為 dGPU，Ubuntu 22.04 安裝將凍結(jié)。某些設(shè)備，例如 ASUS IoT PE3000G 具有默認(rèn)的 dGPU 作為主顯示器。在 BIOS 菜單中，選擇高級(jí) -> 圖形配置 -> 主顯示器，然后選擇“IGFX”。保存更改并重新啟動(dòng)系統(tǒng)。接下來(lái)，繼續(xù)安裝 Ubuntu 22.04 和 EIV。EIV 安裝完成后，如果您希望使用 dGPU 作為主顯示器，請(qǐng)轉(zhuǎn)到 BIOS 并切換回“PEG 插槽”。

確保目標(biāo)系統(tǒng)具有全新的操作系統(tǒng)安裝。請(qǐng)按照以下步驟安裝 Ubuntu 操作系統(tǒng)：

將適用于英特爾硬件的 Ubuntu v20.04-IoT or Ubuntu v22.04-IoT Desktop ISO file[1] 下載到開(kāi)發(fā)人員工作站。

使用映像應(yīng)用程序（如 balenaEtcher[2] 應(yīng)用程序）創(chuàng)建可啟動(dòng)閃存驅(qū)動(dòng)器。

刷新 USB 閃存驅(qū)動(dòng)器后，關(guān)閉目標(biāo)系統(tǒng)的電源，插入 USB 閃存驅(qū)動(dòng)器，然后打開(kāi)目標(biāo)系統(tǒng)的電源。如果目標(biāo)系統(tǒng)未從 USB 閃存驅(qū)動(dòng)器啟動(dòng)，請(qǐng)?jiān)谙到y(tǒng) BIOS 中更改啟動(dòng)優(yōu)先級(jí)。

按照提示安裝具有默認(rèn)配置的操作系統(tǒng)。有關(guān)詳細(xì)說(shuō)明，請(qǐng)參閱本指南[3]。

在代理環(huán)境中，請(qǐng)確保已在 /etc/ 環(huán)境中設(shè)置代理。

01

顯卡驅(qū)動(dòng)安裝含EVI

（如已安裝Ubuntu 22.04 請(qǐng)直接從此處安裝）

在目標(biāo)系統(tǒng)上運(yùn)行以下命令以安裝 EIV。

1. 安裝 git 和 git 將 EIV 存儲(chǔ)庫(kù)克隆到 Ubuntu 系統(tǒng)中。

sudo apt -y install git
Git clone https://github.com/intel/edge-insights-vision.git

向右滑動(dòng)查看完整代碼

2. 更新系統(tǒng)上的軟件包。

sudo apt-get update

3. 安裝 python3-pip。

sudo apt-get -y install python3-pip

4. 將目錄更改為 edge-insights-vision 并安裝需求包。

cd edge-insights-vision
pip3 install -r requirements.txt

圖 2：安裝需求包

5.安裝 EIV。如果您的系統(tǒng)具有 dGPU，它會(huì)將您的內(nèi)核升級(jí)到 6.2.8，并且您的系統(tǒng)將在安裝過(guò)程中重新啟動(dòng)。重新啟動(dòng)后如果沒(méi)有跑到 100%, 請(qǐng)重復(fù)執(zhí)行此命令 (由于需要重啟,請(qǐng)?jiān)陂_(kāi)始安裝之前保存您的工作。)

python3 eiv_install.py

PS. 中國(guó)區(qū)用戶請(qǐng)將 eiv_install.py 檔第·25 行

def connect(host='http://google.com'):

改成

def connect(host='https://baidu.com'):

6. 安裝完成后重新啟動(dòng)系統(tǒng)。

圖3：成功安裝EIV

如果 GPU 驅(qū)動(dòng)程序未顯示版本，請(qǐng)重新啟動(dòng)系統(tǒng)并運(yùn)行此命令以查看驅(qū)動(dòng)程序版本。

clinfo | grep 'Driver Version'

02

運(yùn)行 Jupyter 筆記本教程

按照以下步驟啟動(dòng) Jupyter 筆記本并運(yùn)行基本教程以驗(yàn)證目標(biāo)系統(tǒng)是否正常工作。

1. 成功安裝后，將 launch_notebooks.sh 腳本更改為可執(zhí)行文件并運(yùn)行啟動(dòng)器腳本，如下所示：

cd edge-insights-vision
chmod +x launch_notebooks.sh
./launch_notebooks.sh

2. 打開(kāi)瀏覽器并粘貼下面突出顯示的 URL 以打開(kāi) Jupyter 筆記本。

圖 4: Output of launch_notebooks.sh

3. 如果您在瀏覽器中看到以下頁(yè)面代表所有 OpenVINO notebooks 都可以用了

圖 5: Jupyter Notebook in the browser

4. 如果打開(kāi)“notebooks”文件夾，則可以看到所有可用筆記本的列表。

5. 選擇 notebook 236-stable-diffusion-v2/236-stable-diffusion-v2-optimum-demo-comparison.ipynb

6. 它允許從文字描述生成圖像，并有助于比較在 CPU 和獨(dú)立 GPU 上運(yùn)行不同管道時(shí)的性能。

7. 在“顯示可用設(shè)備信息”步驟中，您可以看到所有設(shè)備，這些設(shè)備可用于在此 PC 上進(jìn)行推理。由于我的電腦中安裝了獨(dú)立的 GPU，因此列表中有 GPU.1 Intel （R） Arc （TM） Pro A40/A50。

8. 在此 notebook 中執(zhí)行的第一個(gè)模型是托管在 Hugging Face 上的預(yù)訓(xùn)練 Pytorch 模型。

https://huggingface.co/stabilityai/stable-diffusion-2-1

在此單元中，使用standard Stable Diffusion Pipeline在CPU上執(zhí)行。

9. 它通過(guò)文本描述生成圖像，如下所示，在我的電腦上推理大約需要 2 分鐘。

10. 下一步使用 OpenVINO 進(jìn)行穩(wěn)定擴(kuò)散 為此，將同一模型轉(zhuǎn)換為 OpenVINO IR（Intermediate Representation）格式，并使用 OpenVINO 穩(wěn)定擴(kuò)散管道。CPU 用于推理。

對(duì)比于使用前已有了顯著速度的改進(jìn)，只需 1 分 16 秒。因此，僅應(yīng)用 OpenVINO Stable Diffusion Pipeline，性能就提高了近 2 倍。

11. 最后一個(gè)實(shí)驗(yàn)是在剛裝好的顯卡上運(yùn)行 Stable Diffusion。將 GPU 設(shè)置為推理設(shè)備并運(yùn)行這幾行代碼

可以在森林中看到新的紅色汽車(chē)和進(jìn)一步的性能改進(jìn)！這次只需要 43 秒, 對(duì)比于原來(lái)的 2 分鐘有了 60% 以上的提升

總結(jié)

本文介紹如何使用 EIV 用 5 行指令在快速搭建含英特爾顯卡及 OpenVINO 的 AI 開(kāi)發(fā)環(huán)境。并借由文生圖模型Stable Diffusion 說(shuō)明了 OpenVINO 如何優(yōu)化其推理速度。

審核編輯：劉清