作者：Yury Gorbachev 英特爾院士

翻譯：武卓 英特爾AI軟件布道師；楊亦誠 英特爾 AI軟件工程師

在過去的一年里，我們看到了生成式AI用例和模型的爆炸式增長。現(xiàn)在幾乎每周都會(huì)針對(duì)不同的領(lǐng)域發(fā)布新的值得注意的生成式模型，這些模型在不斷增加的數(shù)據(jù)集上訓(xùn)練，具有各種計(jì)算復(fù)雜性。使用像LoRA這樣的方法，可以在非常適度的訓(xùn)練加速器上微調(diào)大模型，這解鎖了對(duì)基礎(chǔ)模型的更多修改。由于資源消耗，部署這些模型仍然是挑戰(zhàn)，并且高度依賴于在云端部署模型。

隨著 OpenVINO 2023.1 版本的發(fā)布，我們希望將生成式 AI 的強(qiáng)大功能引入常規(guī)臺(tái)式機(jī)和筆記本電腦，讓這些模型可以運(yùn)行在在資源受限的本地環(huán)境中，并被您嘗試集成到自己的應(yīng)用程序中。我們?cè)谡麄€(gè)產(chǎn)品中針對(duì)這些場景進(jìn)行了優(yōu)化，實(shí)現(xiàn)了一些關(guān)鍵功能，并為我們的下一步工作計(jì)劃奠定了基礎(chǔ)。

也就是說，我們的變化不僅限于生成式AI，我們還改進(jìn)了產(chǎn)品的其它部分，并希望它能使您的工作更輕松，并為您帶來額外的價(jià)值。讓我們來看看這些變化到底是什么。

生成式AI功能

大模型的整體堆棧優(yōu)化。來自生成式AI家族的模型有一個(gè)共同點(diǎn)——它們亟需資源。模型尺寸巨大，運(yùn)行它們所需的內(nèi)存量非常高，對(duì)內(nèi)存帶寬的需求也非常大。例如不必要的權(quán)重搬運(yùn)這樣簡單的問題，都可能會(huì)導(dǎo)致由于內(nèi)存不足而無法運(yùn)行模型。

為了更好地適應(yīng)這一點(diǎn)，我們已經(jīng)跨推理堆棧工作，包括 CPU 和 GPU（集成顯卡和獨(dú)立顯卡），目標(biāo)就是優(yōu)化我們使用這些模型的方式，包括優(yōu)化讀取和編譯模型所需的內(nèi)存，優(yōu)化如何處理模型的輸入和輸出張量以及其他內(nèi)部結(jié)構(gòu)，從而縮短模型執(zhí)行時(shí)間。

大型語言模型的權(quán)重量化。LLM 在執(zhí)行時(shí)需要大量的內(nèi)存帶寬。為了對(duì)此進(jìn)行優(yōu)化，我們?cè)?NNCF（神經(jīng)網(wǎng)絡(luò)壓縮框架）優(yōu)化框架和 CPU 推理中實(shí)現(xiàn)了 int8 LLM 權(quán)重量化功能。

使用此功能時(shí)，NNCF 將生成優(yōu)化的 IR 模型文件，與精度為 fp16 的常規(guī)模型文件相比，該文件能夠?qū)⒊叽鐪p小一半。IR 文件將在 CPU 插件中被執(zhí)行額外的優(yōu)化，這將改善延遲并減少運(yùn)行時(shí)內(nèi)存消耗。GPU 的類似功能正在實(shí)施中，并將在后續(xù)發(fā)布的版本中提供。

更容易轉(zhuǎn)換模型。大多數(shù)LLM目前來自基于PyTorch的環(huán)境。要轉(zhuǎn)換這些模型，您現(xiàn)在可以使用我們的直接 PyTorch 轉(zhuǎn)換功能。對(duì)于LLM，與我們之前通過ONNX格式的路徑相比，這大大加快了轉(zhuǎn)換時(shí)間并減少了內(nèi)存需求。

總體而言，由于我們的優(yōu)化，我們能夠在CPU和GPU上均能提高 LLM 性能。[WZ1]此外，我們還按 倍數(shù)級(jí)減少了運(yùn)行這些模型所需的內(nèi)存量。在某些情況下，新版本OpenVINO可以讓我們運(yùn)行那些以前由于內(nèi)存不足而失敗的模型。我們一直在數(shù)十個(gè)不同規(guī)模和不同任務(wù)的LLM上驗(yàn)證我們的工作，以確保我們的方法能夠很好地?cái)U(kuò)展到我們所有的平臺(tái)和支持的操作系統(tǒng)。

我們的轉(zhuǎn)換API和權(quán)重量化功能也集成到Hugging Face optimum-intel擴(kuò)展中，允許您使用OpenVINO作為推理堆棧運(yùn)行生成式模型，或以方便的方式將模型導(dǎo)出為OpenVINO格式。

簡化您的工作流

不再需要開發(fā)包，提供統(tǒng)一的工具。從 2023.1 版本開始，我們不再要求您為運(yùn)行時(shí)和開發(fā)環(huán)境分別安裝單獨(dú)的軟件包。我們一直致力于簡化我們的工具，并將所有必要的組件集成到單個(gè) OpenVINO軟件包中。這也意味著模型轉(zhuǎn)換和推理可以通過所有OpenVINO分發(fā)機(jī)制以統(tǒng)一的方式獲得：pip，conda，brew和archive。

此外，從此版本開始，OpenVINO Python API 可從所有支持最低要求 Python 版本 （3.7） 的軟件包中獲得。這意味著除了以前可用的 pip 之外，還有conda、brew和指定的 apt 版本。

更高效、更友好的模型轉(zhuǎn)換。我們正在推出OpenVINO模型轉(zhuǎn)換工具 （OVC），該工具正在取代我們眾所周知的離線模型轉(zhuǎn)換任務(wù)中的模型優(yōu)化器 （MO） 工具。該工具以O(shè)penVINO包形式提供，依靠內(nèi)部模型前端來讀取框架格式，不需要原始框架來執(zhí)行模型轉(zhuǎn)換。例如，如果您想將TF模型轉(zhuǎn)換為OpenVINO，則不需要安裝TensorFlow。同樣，如果您想簡單地在 OpenVINO運(yùn)行時(shí)中讀取此模型以進(jìn)行推理而無需轉(zhuǎn)換，同樣也不需要 TensorFlow。

為了在 Python 腳本中轉(zhuǎn)換模型，我們進(jìn)一步改進(jìn)了convert_model API。例如，它允許將模型從 PyTorch 對(duì)象轉(zhuǎn)換為 OpenVINO模型，并編譯模型以進(jìn)行推理或?qū)⑵浔４娴?IR格式，請(qǐng)參見以下示例：

請(qǐng)注意，我們還簡化了我們的Python API，可以直接從OpenVINO命名空間獲得這些API，因此這一切變得更簡單了。您仍然可以從舊命名空間訪問函數(shù)，如果您需要 mo 工具，可以安裝 OpenVINO-dev。這個(gè)工具本身也仍然可用，但我們建議遷移到 ovc 工具。

默認(rèn)切換到 fp16 IR。隨著轉(zhuǎn)換工具的變化，我們現(xiàn)在切換到使用 fp16 精度作為 IR 中的數(shù)據(jù)類型。這允許將模型大小減小 一半（相對(duì)FP32精度的模型），并且根據(jù)我們執(zhí)行的測試對(duì)準(zhǔn)確性沒有影響。值得一提的是，IR 精度不會(huì)影響硬件插件的執(zhí)行精度，默認(rèn)情況下，插件始終以最佳性能繼續(xù)執(zhí)行。

更好的PyTorch兼容性

前面已經(jīng)提到，直接轉(zhuǎn)換PyTorch模型的功能現(xiàn)在已經(jīng)成熟，該方案已經(jīng)被集成在我們的 HuggingFace optimum-intel中進(jìn)行模型轉(zhuǎn)換。因此，現(xiàn)在轉(zhuǎn)換模型更容易，因?yàn)槟@過了 ONNX 格式的額外步驟（我們?nèi)匀粺o限制地支持）。

為了使OpenVINO更接近PyTorch生態(tài)系統(tǒng)，我們引入了對(duì)torch.compile和相應(yīng)后端的支持。您現(xiàn)在可以通過 OpenVINO堆棧運(yùn)行您的模型，方法是通過torch.compile編譯它并指定 OpenVINO 作為后端！

如下例所示：

此功能正在積極增強(qiáng)，我們期待更好的性能和操作覆蓋范圍，但它已經(jīng)在我們的集成中使用，例如Stable Diffusion WebUI。

令人興奮的新Notebook用例

為了展示您可以直接從筆記本電腦上試用的新功能，我們制作了一些Jupyter notebooks示例并更新了現(xiàn)有notebooks。以下是最令我們興奮的：

基于大語言模型的聊天機(jī)器人（LLM Chatbot）：

文生圖模型StableDiffusion XL：

文生圖模型 Tiny SD：

生成音樂模型 MusicGen：

生成視頻模型Text-to-video：

審核編輯：湯梓紅