來源：OpenVINO 中文社區(qū)

前言

我們很高興地宣布 OpenVINO 2025 的最新版本正式發(fā)布!本次更新帶來了來自工程團(tuán)隊(duì)的更多增強(qiáng)功能和新特性。每一次發(fā)布，我們都在不斷適應(yīng)日新月異的 AI 發(fā)展趨勢，迎接層出不窮的新機(jī)遇與復(fù)雜挑戰(zhàn)。在此次版本中，我們重點(diǎn)增強(qiáng)了新模型的覆蓋和實(shí)際應(yīng)用場景的支持，同時(shí)在性能優(yōu)化上也進(jìn)行了深度打磨，幫助你的 AI 解決方案運(yùn)行得更快、更高效。

01 新模型和應(yīng)用場景

在 2025.1 版本中，我們新增了以下模型的支持：Phi-4 Mini、Jina CLIP v1 和 BCE Embedding Base v1。其中，Phi-4 Mini 來自微軟最新發(fā)布的開源小模型 Phi 系列。你可以在 GitHub 上嘗試這個(gè)模型用它構(gòu)建 LLM 聊天機(jī)器人或探索其他眾多 LLM 模型。我們也非常高興地宣布支持 Jina CLIP v1，這是一種多模態(tài) AI 模型，可連接圖像與文本數(shù)據(jù)，廣泛應(yīng)用于視覺搜索、多模態(tài)問答及內(nèi)容生成等場景。我們?cè)?GitHub 上提供了新的交互式示例供開發(fā)者上手體驗(yàn)。

在上一版本中，我們預(yù)覽發(fā)布了 OpenVINO GenAI 圖像到圖像(image-to-image)轉(zhuǎn)換與修復(fù)(inpainting)功能的支持。本次更新，這兩項(xiàng)功能已全面支持，你可以通過 OpenVINO 快速部署如 Flux.1 和 Stable Diffusion v3 等圖像生成模型的端到端流程。

OpenVINO 模型服務(wù)器(OVMS) 現(xiàn)已支持視覺語言模型(VLMs)，如 Qwen2-VL、Phi-3.5-Vision 和 InternVL2。借此你可以在對(duì)話場景中發(fā)送圖像進(jìn)行推理，就像處理 LLM 一樣。我們提供了連續(xù)批處理(continuous batching)下 VLM 部署的演示示例。此外，現(xiàn)在你還可以使用 OVMS 將 LLM 與 VLM 模型部署到 NPU 加速器上，在 AI PC 上實(shí)現(xiàn)高能效的低并發(fā)應(yīng)用。我們提供了在 Docker 與裸機(jī)環(huán)境下部署NPU 上 LLM與 NPU 上 VLM 的完整示例代碼。

02 性能提升

我們的開發(fā)團(tuán)隊(duì)也在英特爾 酷睿 Ultra 200H 系列處理器上進(jìn)一步優(yōu)化了 LLM 性能。與上一版 2025.0 相比，在 2025.1 版本中 GPU 上的第二個(gè) token 吞吐量提高了 1.4 倍，具體基準(zhǔn)測試結(jié)果見下圖。

本次更新的一個(gè)重要亮點(diǎn)是預(yù)覽支持 Token Eviction(token 清除)機(jī)制，用于智能管理 KV 緩存大小。該機(jī)制可自動(dòng)保留重要 token、清除不必要信息，在保證模型表現(xiàn)的同時(shí)，大幅降低內(nèi)存占用，尤其適用于處理長輸入提示的 LLM 和 VLM 應(yīng)用。Token 被清除后，KV 緩存會(huì)自動(dòng)“重排”以保持上下文連貫性。

03 Executorch

對(duì)于 PyTorch 模型，Executorch 提供了在邊緣設(shè)備上高效運(yùn)行模型的能力，適用于計(jì)算資源與內(nèi)存受限的場景。在此次 OpenVINO 新版本中，我們引入了 Executorch 的 OpenVINO 后端預(yù)覽支持，可加速推理并提升模型在英特爾 CPU、GPU 與 NPU 上的執(zhí)行效率。如需開始使用 OpenVINO 后端運(yùn)行 Executorch，請(qǐng)參考 GitHub 上的相關(guān)文檔。

04 OpenVINO 模型中心

(OpenVINO Model Hub)

如果你對(duì)性能基準(zhǔn)感興趣，可以訪問全新上線的 OpenVINO 模型中心(Model Hub)。這里提供了在 Intel CPU、集成 GPU、NPU 及其他加速器上的模型性能數(shù)據(jù)，幫助你找到最適合自己解決方案的硬件平臺(tái)。

05 小結(jié)

感謝你關(guān)注并參與 OpenVINO 的最新版本發(fā)布。我們始終致力于推動(dòng) AI 無處不在。