視頻分析 AI 智能體的時代已經(jīng)到來。

視頻是現(xiàn)代數(shù)字行業(yè)的標志性特征之一，占全球數(shù)據(jù)流量的 50% 以上。它不僅在媒體行業(yè)占據(jù)主導(dǎo)地位，對各行業(yè)的企業(yè)也日趨重要，是全球規(guī)模最大、最普遍的數(shù)據(jù)源之一。然而，其中只有不到 1% 的視頻數(shù)據(jù)會被用于深入分析。

全球近一半的 GDP 產(chǎn)生自實體行業(yè)，包括能源、汽車和電子產(chǎn)品。由于勞動力短缺、制造業(yè)回流以及自動化需求的增長，視頻分析 AI 智能體將發(fā)揮更重要的作用，在物理世界和數(shù)字世界之間搭建橋梁。

為了加速這些智能體的開發(fā)，NVIDIA 打造了用于視頻搜索與總結(jié) (VSS) 的 AI Blueprint，該藍圖由NVIDIA Metropolis平臺驅(qū)動，現(xiàn)已全面推出，可為開發(fā)者提供構(gòu)建和部署高性能 AI 智能體的工具，用于分析大量實時和存檔視頻。

由視覺語言模型 (VLM) 驅(qū)動的一系列視覺 AI 智能體和生產(chǎn)力助手即將上線。結(jié)合強大的計算機視覺模型與超智能大語言模型 (LLM)，這些視頻分析 AI 智能體可助力企業(yè)輕松查看、搜索并總結(jié)海量視頻。通過實時分析視頻或處理 TB (terabytes) 級錄制視頻，視頻分析 AI 智能體正在眾多行業(yè)釋放前所未有的價值和機遇。

制造業(yè)和倉儲企業(yè)正在通過 AI 智能體提高人員安全性和生產(chǎn)效率。例如，智能體可以幫助分配叉車資源和調(diào)配人員崗位，實現(xiàn)效率最大化。在智慧城市領(lǐng)域，視頻分析 AI 智能體被用于緩解交通擁堵并提升安全性，其應(yīng)用場景還在持續(xù)擴展。

用于創(chuàng)建多樣化視頻分析

AI 智能體群的 Blueprint

VSS 藍圖基于 NVIDIA Metropolis 平臺構(gòu)建，由NVIDIA VILA和NVIDIA Llama Nemotron等 VLM 和 LLM、NVIDIA NeMo Retriever微服務(wù)以及檢索增強生成 (RAG) 驅(qū)動，RAG 可將 LLM 與公司的企業(yè)數(shù)據(jù)結(jié)合起來。

VSS 藍圖集成了NVIDIA AI Enterprise軟件平臺，包括用于 VLM、LLM 的NVIDIA NIM微服務(wù)，以及用于 RAG 的先進 AI 框架。通過 VSS 藍圖，用戶總結(jié)視頻的速度比實時觀看快 100 倍。例如，60 分鐘的視頻可在不到 1 分鐘的時間內(nèi)用文字總結(jié)出來。

VSS 藍圖具有一系列強大的功能，旨在提供強大的視頻理解能力、性能和可擴展能力。

它可以同時處理數(shù)百個實時視頻流或多組視頻片段。除了視覺理解，它還支持音頻轉(zhuǎn)錄。在音頻至關(guān)重要的場景中，將語音轉(zhuǎn)換為文本可增強理解，例如訓練視頻、主題演講或團隊會議等。

行業(yè)領(lǐng)導(dǎo)者部署視頻分析 AI 智能體，

推動實現(xiàn)商業(yè)價值

從全球領(lǐng)先制造商到智慧城市和體育賽事聯(lián)盟，所有組織都在使用 VSS 藍圖開發(fā) AI 智能體以優(yōu)化運營。

領(lǐng)先的電子制造公司 Pegatron 使用 VSS 藍圖來研究運營程序并對員工進行最佳實踐培訓。公司還將該藍圖集成到 PEGAAi 平臺中，以便組織構(gòu)建 AI 智能體，從而優(yōu)化制造流程。

這些智能體可以提取并分析大量視頻，實現(xiàn)自動監(jiān)控、異常檢測、視頻搜索和事件報告等高級功能。Pegatron 的 Visual Analytics Agent 可用于理解印刷電路板組裝的操作程序，并識別正確或錯誤的操作。迄今為止，這些智能體將 Pegatron 的人力成本降低了 7%，并將不良率降低了 67%。

其他領(lǐng)先的半導(dǎo)體和電子制造商正在構(gòu)建 AI 智能體和數(shù)字孿生，從而優(yōu)化其規(guī)劃和運營應(yīng)用。

高雄市正在使用由其合作伙伴 Linker Vision 開發(fā)的統(tǒng)一智慧城市視覺 AI 應(yīng)用，以縮短事件響應(yīng)時間。此前，廢物管理、交通運輸和應(yīng)急響應(yīng)等城市部門因孤島式基礎(chǔ)設(shè)施相互隔離，關(guān)鍵信息無法互通導(dǎo)致響應(yīng)速度延遲。

Linker Vision 的 AI 應(yīng)用由 VSS 藍圖驅(qū)動，其智能體能夠結(jié)合實時視頻分析與生成式 AI 技術(shù)，不僅可以檢測視覺元素，還能夠解析并生成對洪水、交通事故等復(fù)雜城市事件的態(tài)勢描述。

目前，Linker Vision 為 12 個城市部門提供及時洞察，并計劃在 2026 年前將城市攝像頭從 3 萬臺增加至超 5 萬臺。這些洞察正在提升城市服務(wù)的態(tài)勢感知能力和數(shù)據(jù)驅(qū)動決策水平，并將事件響應(yīng)時間縮短高達 80%。

北美職業(yè)冰球聯(lián)盟 (NHL) 將 VAST InsightEngine 與 VSS 藍圖相結(jié)合，可簡化并加速視覺 AI 工作流，管理大量比賽視頻。

通過 VAST InsightEngine，NHL 能夠?qū)崿F(xiàn)在亞秒級時間內(nèi)對 PB (petabytes) 級視頻的檢索，支持對比賽精彩瞬間和高光時刻的近實時提取。AI 驅(qū)動的代理式工作流通過自動剪輯、標記和組合視頻內(nèi)容，進一步提高了內(nèi)容創(chuàng)作效率，確保素材的便捷訪問與高效利用。

NHL 未來或?qū)⒂脤崟r AI 邏輯推理功能，在比賽時動態(tài)生成定制化洞察，例如選手運動數(shù)據(jù)、比賽戰(zhàn)術(shù)分析或預(yù)想建議。這種全流程自動化體系或?qū)氐赘淖冑愂聝?nèi)容的生成、編排以及分發(fā)方式，為 AI 體育內(nèi)容制作樹立新標桿。

西門子正在使用其 Industrial Copilot for Operations 幫助工廠車間人員執(zhí)行設(shè)備維護任務(wù)、故障處理和能效調(diào)優(yōu)。這一生成式 AI 助手可根據(jù)運營和技術(shù)文檔數(shù)據(jù)，對設(shè)備錯誤進行實時解析。

該 copilot 融合了 VSS 組件，如 VLM、LLM 和 NVIDIA NeMo 微服務(wù)。Industrial Copilot 實現(xiàn)了快速決策，減少了宕機時間。西門子報告中顯示其生產(chǎn)率提高了 30%，并有望達到 50%。

由不斷擴展的合作伙伴生態(tài)系統(tǒng)

提供支持，創(chuàng)建復(fù)雜的 AI 智能體

NVIDIA 的合作伙伴正在使用 VSS 藍圖為其工作流加速構(gòu)建代理式 AI 視頻分析功能，將開發(fā)時間從數(shù)月縮短到數(shù)周。

智能視頻分析領(lǐng)域的領(lǐng)導(dǎo)者 Superb AI 在仁川機場部署了一個智能化機場運營方案，以實現(xiàn)在幾周內(nèi)縮短乘客等候時間。在馬來西亞，解決方案提供商 ITMAX 正在借助 VSS 藍圖為吉隆坡構(gòu)建先進的視覺 AI 智能體，以改善城市整體管理水平并縮短事件響應(yīng)時間。

在廣告領(lǐng)域，PYLER 僅在幾周內(nèi)就將 VSS 藍圖集成到其品牌安全 (AiD) 和廣告定向投放 (AiM) 解決方案中。三星電子通過 AiD 和 AiM 解決方案，實現(xiàn)了與品牌調(diào)性和產(chǎn)品定位精準匹配的高價值廣告投放，顯著提升了廣告效益。比亞迪通過定向投放情境關(guān)聯(lián)且內(nèi)容積極的廣告，將廣告點擊率提高了 4 倍，而韓亞金融集團 (Hana Financial Group) 則超額達成了多個品牌活動目標。

Fingermark 是 Eyecue 的應(yīng)用提供商，后者是快餐店使用的實時計算機視覺平臺。Fingermark 正在將 VSS 藍圖添加到 Eyecue 中，通過規(guī)模化視頻片段分析生成清晰且可操作的洞察，從而洞悉得來速 (Drive-Thru) 等待時間、服務(wù)瓶頸或員工相關(guān)事件。