Optical Flow SDK 展示了 Turing GPU 和 Ampere GPU 的最新硬件功能，該功能專用于計算圖像之間像素的相對運動。該硬件使用復(fù)雜算法來生成高度精確的流向量，這些向量對于幀到幀的強(qiáng)度變化具有魯棒性，并可追蹤真實的物體運動。

NVIDIA Optical Flow SDK 功能特性

視頻分析

準(zhǔn)確檢測和追蹤連續(xù)視頻幀中的物體，同時大大降低計算復(fù)雜性要求。

實時性能

實時內(nèi)插或外插視頻幀，提高視頻播放流暢度或降低 VR 體驗延遲。

GPU 加速

已針對 Turing、Ampere 和未來代次的 NVIDIA GPU 架構(gòu)進(jìn)行優(yōu)化。高速計算準(zhǔn)確流向量，對 CPU 或 GPU 影響甚少。

光流引擎輔助的幀率提升轉(zhuǎn)換庫

最新的 Optical Flow SDK 3.1 版本引入了引擎輔助幀率提升轉(zhuǎn)換（FRUC），它使用光流向量內(nèi)插新幀，使視頻的有效幀率翻倍。最終，視頻播放的流暢度和視覺感知質(zhì)量得以提升。

用于智能視頻分析的物體追蹤

Optical Flow SDK 2.0 引入了基于光流的物體追蹤器庫，以及源代碼和即用型 API。在我們的實驗中，經(jīng)證明，基于光流的物體追蹤器與一些熱門算法相比，可將 GPU 利用率降低多達(dá) 80%，同時不會降低追蹤的準(zhǔn)確性。Optical Flow SDK 3.0 引入了 DirectX12 接口、前后流以及全局流向量。

視頻幀內(nèi)插和外插

光流還可以非常有效地用于實時內(nèi)插或外插視頻幀。這對于提高視頻播放的流暢度、生成慢動作視頻或在使用 Oculus 設(shè)備進(jìn)行 VR 體驗時大幅減少延遲非常有用。Turing 和 Ampere GPU 中的光流功能通過將密集的流向量計算卸載到 GPU 芯片上的專用硬件引擎以加速這些用例，從而騰出 GPU 和 CPU 資源來處理其他任務(wù)。此功能位于硬件中，獨立于 CUDA Core。