SoftBank 是一家致力于推動(dòng)信息革命的全球技術(shù)公司。該公司經(jīng)營(yíng)寬帶、固定線路電信、電子商務(wù)、信息技術(shù)、金融、媒體和營(yíng)銷。為了改善用戶的通信體驗(yàn)，并克服 5G 容量和覆蓋問(wèn)題，軟銀使用了 NVIDIA Maxine GPU- 具有最先進(jìn)人工智能功能的加速 SDK 來(lái)構(gòu)建虛擬協(xié)作和內(nèi)容創(chuàng)建應(yīng)用程序。

在本文中，您將了解軟銀如何使用 Maxine 超分辨率和硬件加速的編解碼操作來(lái)減少必須上傳到多址邊緣計(jì)算（ MEC ）服務(wù)器的數(shù)據(jù)量。除了解決有限帶寬的挑戰(zhàn)外， Maxine 功能（如噪音消除和虛擬背景）使軟銀能夠?yàn)橛脩籼峁┳罴训囊曨l會(huì)議解決方案。

使用 MEC 的好處

邊緣計(jì)算使提供商能夠?qū)⑵浼夹g(shù)部署到更接近用戶的位置。簡(jiǎn)單地說(shuō)，邊緣計(jì)算減少了關(guān)鍵任務(wù)、高吞吐量、低延遲應(yīng)用程序的帶寬和延遲預(yù)算。這是通過(guò)使用 MEC 網(wǎng)絡(luò)技術(shù)將計(jì)算從遠(yuǎn)程云服務(wù)器移動(dòng)到更靠近消費(fèi)源的節(jié)點(diǎn)來(lái)實(shí)現(xiàn)的。邊緣計(jì)算在很大程度上依賴于網(wǎng)絡(luò)技術(shù)，如 4G ，以及最近的 5G ，以提供連接性。

圖 1 涉及 MEC 服務(wù)器的管道的簡(jiǎn)化概述

5G 功能（如超高速、超低延遲和多個(gè)同時(shí)連接）支持新的使用案例，如遠(yuǎn)程醫(yī)療和智能工廠，這些都是以前無(wú)法通過(guò)無(wú)線連接實(shí)現(xiàn)的。 MEC 是實(shí)現(xiàn)低延遲、高吞吐量用例支持的關(guān)鍵。 MEC 通過(guò)部署區(qū)域 MEC 服務(wù)器并僅向云發(fā)送最低限度的必要數(shù)據(jù)，在邊緣盡可能多地進(jìn)行處理，從而減少響應(yīng)延遲。 MEC 服務(wù)器通常使用 GPU 大規(guī)模并行計(jì)算能力以高速處理大量數(shù)據(jù)。

5G 網(wǎng)絡(luò)的挑戰(zhàn)

當(dāng)前的 5G 網(wǎng)絡(luò)以一種稱為非獨(dú)立（ NSA ）的配置運(yùn)行。此配置結(jié)合了 4G LTE 網(wǎng)絡(luò)和 5G 基站，其中某些 5G 功能（如網(wǎng)絡(luò)切片）不可用。 5G SA （獨(dú)立）配置具有 5G 核心和基站。 5G SA 對(duì) 5G 的端到端支持加快了服務(wù)速度，降低了成本，提高了服務(wù)質(zhì)量，是部署服務(wù)的更好平臺(tái)。

當(dāng) 5G SA 配置上市時(shí)，完整的 5G 網(wǎng)絡(luò)就完成了。換言之， 5G 分兩步發(fā)展： 5G NSA 和 5G SA 。每一步都需要資本投資。

另一方面，包括軟銀在內(nèi)的一些電信運(yùn)營(yíng)商已經(jīng)開(kāi)始在 4G LTE 和 5G NR 中使用 4G LTE 低頻段頻率。理論上，容量和覆蓋率是無(wú)線通信中的權(quán)衡。為了確保 5G SA 配置的高質(zhì)量廣域覆蓋，軟銀使用 MEC 盡可能有效地減少服務(wù)延遲。

圖 2 5G 頻率中容量和覆蓋率之間的權(quán)衡

此外，還有一些技術(shù)挑戰(zhàn)。移動(dòng)網(wǎng)絡(luò)通常被設(shè)計(jì)為適應(yīng)比上行鏈路更高的下行鏈路速度。這種設(shè)計(jì)理念適用于一般應(yīng)用，如智能手機(jī)上的流媒體視頻，因?yàn)榇蟛糠至髁渴窍滦墟溌?。然而，一些關(guān)鍵應(yīng)用需要強(qiáng)大的上行鏈路連接。其中之一是視頻會(huì)議，用戶需要相當(dāng)大的上行帶寬來(lái)傳輸高分辨率視頻和音頻。

當(dāng)前 5G 上行鏈路容量不足，需要載波聚合和 MIMO 天線來(lái)提供更多的上行鏈路分配。隨著越來(lái)越多的設(shè)備連接到 5G ，節(jié)省帶寬，特別是在上行鏈路中，是所有全球電信運(yùn)營(yíng)商面臨的共同挑戰(zhàn)。

上行鏈路帶寬密集型應(yīng)用，例如視頻會(huì)議，可以在減少的上行鏈路帶寬（例如， 500 Kbps ）下以與充足帶寬（ 100 Mbps ）相同的服務(wù)質(zhì)量來(lái)服務(wù)。在這些情況下，可以連接更多的設(shè)備，同時(shí)提供高質(zhì)量的服務(wù)。

基于 NVIDIA Maxine 的 MEC視頻會(huì)議解決方案

NVIDIA Maxine 是一個(gè) GPU 加速 SDK 平臺(tái)，它使視頻會(huì)議服務(wù)的開(kāi)發(fā)人員能夠構(gòu)建和部署使用云中最先進(jìn)模型的人工智能功能。 Maxine 包括使用 NVIDIA 研究的最新創(chuàng)新的 API ，如偽影減少、身體姿勢(shì)估計(jì)、超分辨率和噪聲消除。 Maxine 還使用其他產(chǎn)品，如 NVIDIA Riva，來(lái)提供封閉字幕和訪問(wèn)虛擬助理等功能。這些功能在 NVIDIA GPU 上得到充分加速，以便在云中運(yùn)行實(shí)時(shí)視頻流應(yīng)用程序。

Maxine 應(yīng)用程序使服務(wù)提供商能夠在任何設(shè)備（包括計(jì)算機(jī)、平板電腦和手機(jī)）上為每個(gè)用戶提供相同的功能。關(guān)鍵的一點(diǎn)是，所有的處理都是在云上進(jìn)行的，因此在任何設(shè)備上運(yùn)行的應(yīng)用程序都需要最少的資源。使用 Maxine 構(gòu)建的應(yīng)用程序可以輕松部署為微服務(wù)，并在 Kubernetes 環(huán)境中擴(kuò)展到數(shù)十萬(wàn)個(gè)流。

其想法是減輕視頻會(huì)議系統(tǒng)中涉及的計(jì)算密集型處理，減少必須上傳到 MEC 服務(wù)器的數(shù)據(jù)量。這是通過(guò)超分辨率和硬件加速編解碼操作等視頻效果的組合來(lái)實(shí)現(xiàn)的。 Maxine 還增加了生活質(zhì)量功能，如噪音消除、虛擬背景、房間回聲消除等。

這對(duì)最終用戶意味著什么？基本上，具有低帶寬連接的終端用戶在現(xiàn)場(chǎng)工作時(shí)會(huì)受到各種背景噪音的干擾，因此可以連接到干凈的音頻和高清晰度視頻。例如，一個(gè)工廠經(jīng)理在一個(gè)嘈雜的生產(chǎn)車間，在一個(gè)有 180p 流連接的偏遠(yuǎn)地點(diǎn)，似乎在一個(gè)有 720p 流的安靜會(huì)議室里。計(jì)算資源的卸載也意味著終端用戶可以在資源有限的設(shè)備（如手機(jī)和筆記本電腦）上執(zhí)行多任務(wù)，從而延長(zhǎng)電池壽命和更多可用內(nèi)存。

前面提到的功能包含在以下SDKs中：

視頻效果 SDK

音頻效果 SDK

增強(qiáng)現(xiàn)實(shí) SDK

此外， NVIDIA 視頻編解碼器 SDK 提供硬件加速編碼和解碼，以幫助視頻會(huì)議周圍的基礎(chǔ)設(shè)施。

圖 4 Maxine AI 人臉編解碼器概述

軟銀如何使用 NVIDIA Maxine

通常，如果要在移動(dòng)電話上使用視頻會(huì)議解決方案，必須首先安裝客戶端應(yīng)用程序。就軟銀而言， Zoom 客戶端安裝在運(yùn)營(yíng)商網(wǎng)絡(luò)上的 MEC 服務(wù)器上，而不是移動(dòng)電話上。移動(dòng)電話的視頻和麥克風(fēng)輸出通過(guò) 5G 網(wǎng)絡(luò)輸入到 MEC 上的 Zoom 客戶端。 MEC 將智能手機(jī)的麥克風(fēng)和攝像頭識(shí)別為虛擬麥克風(fēng)和攝像頭，并將其用作 Zoom 客戶端的輸入。

圖 5 軟銀和 Maxine POC ：概覽圖

以下是用于軟銀概念驗(yàn)證實(shí)施的硬件和軟件規(guī)范：

Hardware

GPU ：Quadro RTX6000（驅(qū)動(dòng)程序版本： 456 。 43 ）

CPU ：英特爾至強(qiáng)黃金 6244

Software

Windows 服務(wù)器 2019

WebRTC 本機(jī)客戶端 Momo

CUDA11 。 1

NVIDIA Maxine 視頻效果 SDK（ 2021 年 3 月 25 日 -VFX 預(yù)發(fā)布）

NVIDIA Maxine 音頻效果 SDK EA

這項(xiàng)工作使用了軟銀的 MEC 服務(wù)器（ Windows ）、一個(gè)改進(jìn)的基于 C ++的開(kāi)源 WebRTC 客戶端“ WebRTC 客戶端 Momo ”，以及一個(gè)使用視頻效果 SDK 和音頻效果 SDK API 的應(yīng)用程序。

AudioEffectSDK 中的NvAFX_RUN API （NVAFX_EFFECT_DENOISER）和視頻效果 SDK 中的NvVFX_RUN API （NVVFX_FX_SUPER_RES）用于執(zhí)行視頻超分辨率和噪聲消除。

圖 6 視頻效果 SDK API 的示例代碼

圖 7 Audio Effects SDK API 的示例代碼

使用 WebRTC 協(xié)議從 5G 用戶設(shè)備發(fā)送的視頻流以低比特率（在此驗(yàn)證中， H 。 264 （ CBR ） 180p ）上傳到 MEC ，以節(jié)省上行鏈路帶寬。 MEC 以低比特率接收降級(jí)的音頻和視頻，并使用 Maxine SDK 提高質(zhì)量。對(duì)于視頻， MEC 服務(wù)器使用 Maxine SuperResolution功能將從用戶設(shè)備以 180p 發(fā)送的視頻調(diào)整為 720p 。SuperResolution降低噪音并恢復(fù)高頻分量，從而產(chǎn)生高質(zhì)量的視頻。

圖 8 顯示了SuperResolution的結(jié)果。

圖 8 原始?jí)K狀圖像（左半部分）與應(yīng)用 Maxine AI 功能后的圖像（右半部分）

在圖 8 中，左側(cè)是應(yīng)用SuperResolution之前的原始數(shù)據(jù)，右側(cè)是放大的圖像。面部細(xì)節(jié)中的塊狀偽影被替換為更多像素，從而生成高質(zhì)量圖像。您可以使用隨 Video Effects SDK 提供的示例應(yīng)用程序復(fù)制這些結(jié)果。有關(guān)完整演示，請(qǐng)參見(jiàn)a Maxine 前/ Maxine 后視頻。

與超分辨率結(jié)果一樣，視頻中將顯示噪聲消除結(jié)果。

視頻顯示了用戶在鍵盤上打字時(shí)說(shuō)話的場(chǎng)景中測(cè)試 Maxine 噪音消除功能的結(jié)果。在這里，選擇鍵盤聲音作為樣本，但在軟銀 PoC 的整個(gè)開(kāi)發(fā)過(guò)程中，噪音消除在各種情況下也很有用。軟銀認(rèn)為，噪音消除使嘈雜的環(huán)境會(huì)議成為可能，如戶外或汽車會(huì)議。

您可以使用 Audio Effects SDK 提供的示例應(yīng)用程序復(fù)制這些結(jié)果。

提高視頻流的質(zhì)量

通過(guò)在 MEC 服務(wù)器上部署 Maxine ，除了低延遲外，軟銀現(xiàn)在還為所有最終用戶提供高質(zhì)量的視頻和音頻體驗(yàn)。由于不需要額外的硬件或用戶設(shè)備，因此通過(guò)上行鏈路帶寬的高節(jié)省實(shí)現(xiàn)了改進(jìn)的最終用戶體驗(yàn)。為了進(jìn)一步提高視頻質(zhì)量，軟銀計(jì)劃使用 Maxine AI 人臉編解碼器。

關(guān)于作者

Mana Murakami 是 NVIDIA 的高級(jí)解決方案架構(gòu)師。她專注于向日本的電信客戶加速基于 AI 、 GPU 的 vRAN 和 GPU 計(jì)算。 Mana 于 2015 年加入 NVIDIA ，擔(dān)任 CUDA 工程師，并擔(dān)任將 GPU 計(jì)算推廣到 HPC 和制造業(yè)的技術(shù)領(lǐng)導(dǎo)。在加入 NVIDIA 之前，她從事圖像處理的研究和開(kāi)發(fā)，如色度鍵控和超分辨率。

Tanay Varshney 是 NVIDIA 的一名深入學(xué)習(xí)的技術(shù)營(yíng)銷工程師，負(fù)責(zé)廣泛的 DL 軟件產(chǎn)品。他擁有紐約大學(xué)計(jì)算機(jī)科學(xué)碩士學(xué)位，專注于計(jì)算機(jī)視覺(jué)、數(shù)據(jù)可視化和城市分析的橫斷面。

審核編輯：郭婷