大家好，今天跟大家分享下在支持4K/8K超高清視頻的實時編碼、媒體處理、系統(tǒng)架構(gòu)、專有云流量分發(fā)所遇到的困難和挑戰(zhàn)，希望能給大家?guī)韼椭?/p>

分享內(nèi)容分為六個部分：

01

4K/8K超高清視頻的背景

隨著央視冬奧會和央視8K頻道的播出，超高清視頻已經(jīng)走進了人們的生活，需求也逐步上升。然而，8K視頻的普及度仍然不夠，原因如下：

1、對原有的直播系統(tǒng)架構(gòu)帶來極大沖擊。比如，8K直播的碼率普遍高于100M。其次，通常直播流的分發(fā)要通過媒體處理的手段將8K的原始流轉(zhuǎn)成不同的分辨率、碼率、幀率之后再進行分發(fā)。對系統(tǒng)的算力消耗、處理速度、處理成本帶來了新的難點。

除此之外，真8K的視頻制作流程也需要高昂的制作成本，導(dǎo)致8K的片源還比較稀少。但也許AI手段能提供一些幫助，例如將原本4K視頻超分至8K以達到8K的清晰度，來彌補高清片源稀少的問題。一套成本低廉、壓縮率高且有一定增強能力的實時直播媒體處理平臺，以上問題和痛點都可以解決。

基于這樣的背景，開始投入超高清直播媒體處理平臺。首先遇到的問題是技術(shù)選型，通過CPU的方式支持還是專有芯片的方式來支持。硬件方案的優(yōu)點是極高的編碼出幀穩(wěn)定性，低廉的計算成本。軟件方案的優(yōu)點是算法設(shè)計能更加靈活，純CPU編碼器可以通過算法設(shè)計達到比硬件方案更高的壓縮率。同時軟件方案的升級更加方便。如：原硬件芯片支持8K265編碼，后續(xù)若想要升級支持266編碼，對于硬件來說需要重新設(shè)計，軟件則只需要進行代碼升級即可，系統(tǒng)可以持續(xù)迭代支持最新的能力。

綜上考慮，最終的選型還是偏向純CPU的實時編碼方案。優(yōu)點是：壓縮率更高、能夠自由地擴展編碼器和解碼器、更容易支持復(fù)雜的邏輯和業(yè)務(wù)。另外，純CPU方案使用的是通用算力，當(dāng)不進行8K轉(zhuǎn)碼的時候，可以很方便的釋放這部分資源進行通用CPU算力利用。

目前我們達成的成果：

1、從8K的實時編碼來說，8K單機能達到60FPS的實時編碼，分布式集群轉(zhuǎn)碼能達120FPS的實時編碼；

2、因為軟件的靈活性，8K實時轉(zhuǎn)碼系統(tǒng)能夠支持所有主流視頻編解碼標(biāo)準(zhǔn)；

3、在2022 MSU最新編碼器評測報告，獲得全項最佳；

4、擁有100+項H.266/VCC編解碼專利技術(shù)。

02

編解碼加速

在對8K編碼器優(yōu)化時，主要分為兩個方向：

1、優(yōu)化編碼器的并行度，讓編碼器同時編碼更多幀，提高CPU資源利用率。目前我們支持多TILE并行編碼。在8K場景下，8K視頻幀的拷貝會成為耗時的操作，而編碼過程中避免不了將YUV標(biāo)準(zhǔn)排列格式轉(zhuǎn)為編碼器內(nèi)部優(yōu)化后的YUV排列格式，這一過程需要進行訪問拷貝操作，為此我們支持了將8K視頻幀分為多個SLICE區(qū)間，每個SLICE一個線程來并行加速視頻幀拷貝過程。此外還支持預(yù)分析和幀級并行、幀間多線程解耦，根據(jù)層級特點自適應(yīng)選擇參考幀，提高整體編碼的并行度。

2、另一個方向是直接對編碼器算法進行優(yōu)化。針對8K超高分辨率的編碼特性，可以通過預(yù)分析mvp跳過原先編碼器中的搜索過程；進行幀內(nèi)幀間分析時，可以自適應(yīng)選擇先做幀內(nèi)還是幀間，進行快速搜索。

在對編碼算法進行加速優(yōu)化后，會發(fā)現(xiàn)8K場景/DCT耗時占比較大。為此支持了非標(biāo)DCT加速來提升整體速度。

對編碼器優(yōu)化后，純編碼的速度可以達到60甚至70FPS。但一旦將解碼加入處理流程中，整個系統(tǒng)的轉(zhuǎn)碼速度和效率發(fā)生極大的下降。

通常4K/1080P解碼并不需要耗費很多資源，瓶頸往往都在編碼。但在8K場景，解碼成為了新的瓶頸。

比如：AVS3格式的解碼器，原生輸出的是NV12的格式，F(xiàn)Fmpeg中間有單線程進行NV12到Y(jié)UV的轉(zhuǎn)換，最終輸出YUV進行后續(xù)的操作。這樣的做法在4K/1080P分辨率下是沒問題的，因為NV12到Y(jié)UV的轉(zhuǎn)換是一個快速的操作，但8K場景下，NV12到Y(jié)UV的轉(zhuǎn)換速率很難滿足50FPS的要求，我們將NV12到Y(jié)UV的轉(zhuǎn)換移到了解碼器內(nèi)部。解碼之后會在多線程上進行NV12到Y(jié)UV的轉(zhuǎn)換，來提升整體解碼速度。

8K分辨率多TILE的H.265碼流則是不同的方案。FFmpeg中H.265的特點是先把第一行完整地解碼完畢后,才會進行解碼進度更新，若遇到多TILE的情況解碼速度會大幅下降。如上圖所示，多TILE場景解碼完成前兩個TILE，并完成第三個TILE第一行時，才會更新解碼進度，嚴(yán)重拖慢解碼器并行。我們基于多TILE場景對H.265解碼器進行優(yōu)化，將二者結(jié)合，單TILE解碼完成行解碼后，就進行進度通知，優(yōu)化之后能夠達到單機50FPS以上的速度。

在優(yōu)化完編碼和解碼速率之后，我們發(fā)現(xiàn)線上同樣型號的兩臺128G內(nèi)存設(shè)備，處理速度相差較大。處理速度快的設(shè)備是8×16G的內(nèi)存，處理慢的設(shè)備是4×32G的內(nèi)存。

內(nèi)存帶寬限制在低分辨率的情況下表現(xiàn)正常，但對于8K高分辨率會造成很大的影響。例如，一個3.2GHz的CPU插了4個32G的內(nèi)存條，其內(nèi)存的瓶頸帶寬大概在102G，但如果要進行8K50FPS10bit的實時編碼，也就是說一秒需要傳輸?shù)臄?shù)據(jù)帶寬大概在4.7G。在實際操作中，內(nèi)存搬運的過程只能占用編碼整體非常小的部分，大部分的時間還是留在編碼的運算上。瞬時帶寬可能是4.7G的幾十倍，尤其是系統(tǒng)內(nèi)部還支持多線程并行視頻幀拷貝，導(dǎo)致瞬時帶寬增高，從而導(dǎo)致8K編碼的限速。

8K視頻編解碼對內(nèi)存帶寬的消耗極大，配置設(shè)備硬件時，需要注意根據(jù)CPU的Memory Channels來配置內(nèi)存，盡可能增加內(nèi)存帶寬。

以上這些出現(xiàn)的問題說明在8K場景下，每個操作都需要多加思考，可能僅僅多加了一個拷貝，就會導(dǎo)致系統(tǒng)的慢速導(dǎo)致達不到實時性。在這里對整個內(nèi)存池進行了重構(gòu)，在解碼、前處理操作、打水印的時候不申請新的內(nèi)存，將所有操作原地處理，盡量將內(nèi)存數(shù)據(jù)拷貝只進行一次。降低內(nèi)存使用的帶寬。

在優(yōu)化完編解碼速度、內(nèi)存之后，系統(tǒng)在大部分情況下可以穩(wěn)定運行，但是穩(wěn)定性不高。對同一個視頻流進行反復(fù)的編碼，但其速度忽高忽低。有的時候完全滿足實時要求，甚至更高達到60、70FPS，但有時降速嚴(yán)重只有40FPS。

現(xiàn)代操作系統(tǒng)通常支持NUMA架構(gòu)來提升多核心內(nèi)存訪問效率。在NUMA架構(gòu)中，處理器被劃分為多個Node節(jié)點，并且每個Node節(jié)點都有屬于自己的獨立內(nèi)存和內(nèi)存訪問控制器。CPU可以通過Node內(nèi)集成的內(nèi)存訪問控制器訪問同Node節(jié)點內(nèi)存，通過QPI總線訪問其他Node節(jié)點的內(nèi)存，所以對于同一個Node里的CPU和內(nèi)存之間訪問速度會快于跨Node訪問。

在編解碼過程中，每顆CPU既進行編碼也進行解碼，會導(dǎo)致CPU的對應(yīng)Node節(jié)點內(nèi)存中同時存在解碼幀和編碼幀， 當(dāng)編碼過程中進行參考時，會產(chǎn)生大量的跨Nde節(jié)點訪問內(nèi)存。在8K場景下，跨Node節(jié)點訪問帶來的內(nèi)存帶寬和速度壓力會快速放大，導(dǎo)致IO阻塞，并發(fā)能力下降。

這個問題的解決方案是：對CPU做核心綁定，將整體轉(zhuǎn)碼流程精細化控制。比如，解碼、添加水印、轉(zhuǎn)分辨率、編碼等等操作都分配到指定CPU上進行，盡量保證相互依賴的操作都在同一個CPU，同一個Node節(jié)點內(nèi)完成，盡可能降低跨Node內(nèi)存訪問。

03

分布式編碼

在優(yōu)化以上問題之后，單機直播系統(tǒng)在線上能夠達到穩(wěn)定8K 50FPS的實時編碼。但我們面臨的挑戰(zhàn)可能是需要達到120FPS的編碼速度。我們提出了將直播系統(tǒng)支持分布式轉(zhuǎn)碼。點播分布式轉(zhuǎn)碼應(yīng)該比較熟悉，拿到一個文件之后，將文件切成一個個非常小的碎片，將碎片發(fā)到多臺機器上進行處理，每個機器只處理一個非常短的碎片，最終將轉(zhuǎn)碼后的碎片形成一個完整文件。

直播分布式轉(zhuǎn)碼其實參考了點播的方式。通常直播轉(zhuǎn)碼在一臺機器上完成解碼、加水印、filter、編碼等所有操作，但我們對直播流程進行了改造，它不進行實際的編碼，而是拉取一個直播流按照GOP的維度在直播的場景下實時切成一個個的小片，將其發(fā)送到現(xiàn)有的點播算力節(jié)點，用文件的方式快速轉(zhuǎn)碼，轉(zhuǎn)完之后的直播系統(tǒng)再回收這些小片拼成實時的直播流進行下發(fā)。整體思路和點播分布式轉(zhuǎn)碼相似，從一臺機器進行所有操作到n臺機器共同進行實時轉(zhuǎn)碼，使得編碼速度和效率得到大幅提升。

另一部分是如何支持實時超分？通過視頻增強、AI增強算法等操作可以實現(xiàn)4K實時超分，但是目前還很難支持實時超分8K。在這個背景下，我們利用分布式增強能力，支持直播過程中從4K到8K的超分。解碼出一個視頻幀之后，會對這一視頻幀進行壓縮，將壓縮后的視頻幀以幀維度發(fā)送到下游的增強算力節(jié)點，每個算力節(jié)點只進行單幀的超分辨率操作。通過算力節(jié)點海量的GPU資源，實現(xiàn)直播4K到8K的超分辨率增強。

04

網(wǎng)絡(luò)優(yōu)化

作為云廠商，還有很多專有云部署的場景， 專有云環(huán)境下網(wǎng)絡(luò)和設(shè)備環(huán)境更為復(fù)雜。

比如，從我們監(jiān)控中看到大概每過1-2小時，整個直播轉(zhuǎn)碼系統(tǒng)會產(chǎn)生TCP慢速的過程。原因可能是我們提供的轉(zhuǎn)碼服務(wù)收到了拉流數(shù)據(jù)包之后，ack報文從虛擬網(wǎng)卡發(fā)送到物理網(wǎng)卡有3s延時，而正常應(yīng)該是瞬時。

首先懷疑是否是系統(tǒng)負載問題，在CPU、內(nèi)存、帶寬利用率情況都良好的情況下，發(fā)現(xiàn)在某些機器上會發(fā)生這樣的問題。傳輸過程是TCP→IP層→bond qdisc→ethX qdisc→ethX pcap。在虛擬網(wǎng)卡和物理網(wǎng)卡分別抓包的過程中發(fā)現(xiàn)慢速產(chǎn)生的原因是bond網(wǎng)卡會延遲2-3s的時間發(fā)送ack報文。通過netrace工具深入分析，發(fā)現(xiàn)從qdisc取包，到發(fā)送到驅(qū)動過程中，驅(qū)動狀態(tài)表示不可以發(fā)送報文。最終確認(rèn)專有環(huán)境設(shè)備的網(wǎng)卡驅(qū)動, 在大流量傳輸時產(chǎn)生了異常。

05

分發(fā)優(yōu)化

另外遇到的一個問題是客戶的網(wǎng)絡(luò)環(huán)境受限體現(xiàn)在內(nèi)部網(wǎng)絡(luò)帶寬只有千兆的交換機。

在這個條件下，需要進行更精確的負載均衡的算法，UDP組播發(fā)包的時候使用更高性能的API、系統(tǒng)函數(shù)等。這里提供幾個小技巧：

1、可以對UDP包進行流速的控制。因為編碼碼率無法做到完全穩(wěn)定，上下浮動比較大。因此只要UDP發(fā)包速率控制在低于網(wǎng)絡(luò)帶寬的限制就可以實現(xiàn)。

2、充分利用交換機的兩張網(wǎng)卡。配置bond虛擬網(wǎng)卡，用這個虛擬網(wǎng)卡進行交互，能拓展原先單機的千兆帶寬。

經(jīng)過一系列優(yōu)化，實時8K轉(zhuǎn)碼編碼系統(tǒng)也部署在客戶的專有環(huán)境落地。央視網(wǎng)內(nèi)部部署的系統(tǒng)支持8K的實時編碼。

06

總結(jié)與展望

最后是總結(jié)與展望。先說轉(zhuǎn)碼服務(wù)：

1、轉(zhuǎn)碼服務(wù)首先要進行編碼器的優(yōu)化。編碼器的優(yōu)化分成兩個大的方向：首先如何提升整體編碼并行度和CPU資源利用率，其次如何減少CPU運算量。

2、針對不同解碼器進行不同的解碼優(yōu)化方案。例如，針對AVS3，將NV12到Y(jié)UV的轉(zhuǎn)換移到了編碼器內(nèi)核層進行操作；針對H265，通過多TILE并行編碼進行加速

3、解決了內(nèi)存帶寬的瓶頸。通過管理每一項操作，減少所有內(nèi)存拷貝和對內(nèi)存帶寬的使用等操作優(yōu)化內(nèi)存帶寬。

4、轉(zhuǎn)碼鏈路穩(wěn)定性提升。涉及了遠端內(nèi)存和本地內(nèi)存的訪問，需要規(guī)劃每一步操作在哪個CPU上運行，減少跨NUMA的操作，提升整體訪問效率。

轉(zhuǎn)碼集群：

1、 分布式轉(zhuǎn)碼通過多機、并行轉(zhuǎn)碼的能力支持最高8K 120FPS轉(zhuǎn)碼、4K到8K的超分等

2、 針對客戶場景，要更關(guān)注可能產(chǎn)生的TCP慢速、丟包等問題。其次在客戶受限的網(wǎng)絡(luò)環(huán)境下進行UDP發(fā)包算法的平滑以及對分發(fā)的負載均衡算法的優(yōu)化。

編輯：黃飛