SoftBank 是一家致力于推動信息革命的全球技術公司。該公司經營寬帶、固定線路電信、電子商務、信息技術、金融、媒體和營銷。為了改善用戶的通信體驗，并克服 5G 容量和覆蓋問題，軟銀使用了 NVIDIA Maxine GPU- 具有最先進人工智能功能的加速 SDK 來構建虛擬協作和內容創建應用程序。

在本文中，您將了解軟銀如何使用 Maxine 超分辨率和硬件加速的編解碼操作來減少必須上傳到多址邊緣計算（ MEC ）服務器的數據量。除了解決有限帶寬的挑戰外， Maxine 功能（如噪音消除和虛擬背景）使軟銀能夠為用戶提供最佳的視頻會議解決方案。

使用 MEC 的好處

邊緣計算使提供商能夠將其技術部署到更接近用戶的位置。簡單地說，邊緣計算減少了關鍵任務、高吞吐量、低延遲應用程序的帶寬和延遲預算。這是通過使用 MEC 網絡技術將計算從遠程云服務器移動到更靠近消費源的節點來實現的。邊緣計算在很大程度上依賴于網絡技術，如 4G ，以及最近的 5G ，以提供連接性。

圖 1 。涉及 MEC 服務器的管道的簡化概述

5G 功能（如超高速、超低延遲和多個同時連接）支持新的使用案例，如遠程醫療和智能工廠，這些都是以前無法通過無線連接實現的。 MEC 是實現低延遲、高吞吐量用例支持的關鍵。 MEC 通過部署區域 MEC 服務器并僅向云發送最低限度的必要數據，在邊緣盡可能多地進行處理，從而減少響應延遲。 MEC 服務器通常使用 GPU 大規模并行計算能力以高速處理大量數據。

5G 網絡的挑戰

當前的 5G 網絡以一種稱為非獨立（ NSA ）的配置運行。此配置結合了 4G LTE 網絡和 5G 基站，其中某些 5G 功能（如網絡切片）不可用。 5G SA （獨立）配置具有 5G 核心和基站。 5G SA 對 5G 的端到端支持加快了服務速度，降低了成本，提高了服務質量，是部署服務的更好平臺。

當 5G SA 配置上市時，完整的 5G 網絡就完成了。換言之， 5G 分兩步發展： 5G NSA 和 5G SA 。每一步都需要資本投資。

另一方面，包括軟銀在內的一些電信運營商已經開始在 4G LTE 和 5G NR 中使用 4G LTE 低頻段頻率。理論上，容量和覆蓋率是無線通信中的權衡。為了確保 5G SA 配置的高質量廣域覆蓋，軟銀使用 MEC 盡可能有效地減少服務延遲。

圖 2 。 5G 頻率中容量和覆蓋率之間的權衡

此外，還有一些技術挑戰。移動網絡通常被設計為適應比上行鏈路更高的下行鏈路速度。這種設計理念適用于一般應用，如智能手機上的流媒體視頻，因為大部分流量是下行鏈路。然而，一些關鍵應用需要強大的上行鏈路連接。其中之一是視頻會議，用戶需要相當大的上行帶寬來傳輸高分辨率視頻和音頻。

當前 5G 上行鏈路容量不足，需要載波聚合和 MIMO 天線來提供更多的上行鏈路分配。隨著越來越多的設備連接到 5G ，節省帶寬，特別是在上行鏈路中，是所有全球電信運營商面臨的共同挑戰。

上行鏈路帶寬密集型應用，例如視頻會議，可以在減少的上行鏈路帶寬（例如， 500 Kbps ）下以與充足帶寬（ 100 Mbps ）相同的服務質量來服務。在這些情況下，可以連接更多的設備，同時提供高質量的服務。

基于 NVIDIA Maxine 的 MEC 視頻會議解決方案

NVIDIA Maxine 是一個 GPU 加速 SDK 平臺，它使視頻會議服務的開發人員能夠構建和部署使用云中最先進模型的人工智能功能。 Maxine 包括使用 NVIDIA 研究的最新創新的 API ，如偽影減少、身體姿勢估計、超分辨率和噪聲消除。 Maxine 還使用其他產品，如 NVIDIA Riva，來提供封閉字幕和訪問虛擬助理等功能。這些功能在 NVIDIA GPU 上得到充分加速，以便在云中運行實時視頻流應用程序。

Maxine 應用程序使服務提供商能夠在任何設備（包括計算機、平板電腦和手機）上為每個用戶提供相同的功能。關鍵的一點是，所有的處理都是在云上進行的，因此在任何設備上運行的應用程序都需要最少的資源。使用 Maxine 構建的應用程序可以輕松部署為微服務，并在 Kubernetes 環境中擴展到數十萬個流。

其想法是減輕視頻會議系統中涉及的計算密集型處理，減少必須上傳到 MEC 服務器的數據量。這是通過超分辨率和硬件加速編解碼操作等視頻效果的組合來實現的。 Maxine 還增加了生活質量功能，如噪音消除、虛擬背景、房間回聲消除等。

這對最終用戶意味著什么？基本上，具有低帶寬連接的終端用戶在現場工作時會受到各種背景噪音的干擾，因此可以連接到干凈的音頻和高清晰度視頻。例如，一個工廠經理在一個嘈雜的生產車間，在一個有 180p 流連接的偏遠地點，似乎在一個有 720p 流的安靜會議室里。計算資源的卸載也意味著終端用戶可以在資源有限的設備（如手機和筆記本電腦）上執行多任務，從而延長電池壽命和更多可用內存。

前面提到的功能包含在以下SDKs中：

視頻效果 SDK

音頻效果 SDK

增強現實 SDK

此外， NVIDIA 視頻編解碼器 SDK 提供硬件加速編碼和解碼，以幫助視頻會議周圍的基礎設施。

軟銀如何使用 NVIDIA Maxine

通常，如果要在移動電話上使用視頻會議解決方案，必須首先安裝客戶端應用程序。就軟銀而言， Zoom 客戶端安裝在運營商網絡上的 MEC 服務器上，而不是移動電話上。移動電話的視頻和麥克風輸出通過 5G 網絡輸入到 MEC 上的 Zoom 客戶端。 MEC 將智能手機的麥克風和攝像頭識別為虛擬麥克風和攝像頭，并將其用作 Zoom 客戶端的輸入。

圖 5 。軟銀和 Maxine POC ：概覽圖

以下是用于軟銀概念驗證實施的硬件和軟件規范：

Hardware

GPU ：Quadro RTX6000（驅動程序版本： 456 。 43 ）

CPU ：英特爾至強黃金 6244

Software

Windows 服務器 2019

WebRTC 本機客戶端 Momo

CUDA11 。 1

NVIDIA Maxine 視頻效果 SDK（ 2021 年 3 月 25 日 -VFX 預發布）

NVIDIA Maxine 音頻效果 SDK EA

這項工作使用了軟銀的 MEC 服務器（ Windows ）、一個改進的基于 C ++的開源 WebRTC 客戶端“ WebRTC 客戶端 Momo ”，以及一個使用視頻效果 SDK 和音頻效果 SDK API 的應用程序。

AudioEffectSDK 中的NvAFX_RUN API （NVAFX_EFFECT_DENOISER）和視頻效果 SDK 中的NvVFX_RUN API （NVVFX_FX_SUPER_RES）用于執行視頻超分辨率和噪聲消除。

圖 6 。視頻效果 SDK API 的示例代碼

圖 7 。 Audio Effects SDK API 的示例代碼

使用 WebRTC 協議從 5G 用戶設備發送的視頻流以低比特率（在此驗證中， H 。 264 （ CBR ） 180p ）上傳到 MEC ，以節省上行鏈路帶寬。 MEC 以低比特率接收降級的音頻和視頻，并使用 Maxine SDK 提高質量。對于視頻， MEC 服務器使用 Maxine SuperResolution功能將從用戶設備以 180p 發送的視頻調整為 720p 。SuperResolution降低噪音并恢復高頻分量，從而產生高質量的視頻。

圖 8 顯示了SuperResolution的結果。

圖 8 。原始塊狀圖像（左半部分）與應用 Maxine AI 功能后的圖像（右半部分）

在圖 8 中，左側是應用SuperResolution之前的原始數據，右側是放大的圖像。面部細節中的塊狀偽影被替換為更多像素，從而生成高質量圖像。您可以使用隨 Video Effects SDK 提供的示例應用程序復制這些結果。有關完整演示，請參見a Maxine 前/ Maxine 后視頻。

與超分辨率結果一樣，視頻中將顯示噪聲消除結果。

視頻顯示了用戶在鍵盤上打字時說話的場景中測試 Maxine 噪音消除功能的結果。在這里，選擇鍵盤聲音作為樣本，但在軟銀 PoC 的整個開發過程中，噪音消除在各種情況下也很有用。軟銀認為，噪音消除使嘈雜的環境會議成為可能，如戶外或汽車會議。

您可以使用 Audio Effects SDK 提供的示例應用程序復制這些結果。

提高視頻流的質量

通過在 MEC 服務器上部署 Maxine ，除了低延遲外，軟銀現在還為所有最終用戶提供高質量的視頻和音頻體驗。由于不需要額外的硬件或用戶設備，因此通過上行鏈路帶寬的高節省實現了改進的最終用戶體驗。為了進一步提高視頻質量，軟銀計劃使用 Maxine AI 人臉編解碼器。

關于作者

About Mana Murakami

Mana Murakami 是 NVIDIA 的高級解決方案架構師。她專注于向日本的電信客戶加速基于 AI 、 GPU 的 vRAN 和 GPU 計算。 Mana 于 2015 年加入 NVIDIA ，擔任 CUDA 工程師，并擔任將 GPU 計算推廣到 HPC 和制造業的技術領導。在加入 NVIDIA 之前，她從事圖像處理的研究和開發，如色度鍵控和超分辨率。

About Tanay Varshney

Tanay Varshney 是 NVIDIA 的一名深入學習的技術營銷工程師，負責廣泛的 DL 軟件產品。他擁有紐約大學計算機科學碩士學位，專注于計算機視覺、數據可視化和城市分析的橫斷面。

審核編輯：郭婷