通信世界網(wǎng)消息（CWW）多功能視頻編碼（VVC，Versatile Video Coding）是國際電信聯(lián)盟電信標準化部門（ITU-T）和國際標準化組織/國際電工委員會（ISO/IEC）聯(lián)合制定的最新國際視頻編碼標準。與前代高效視頻編碼（HEVC）相比，VVC編解碼器能夠在保證相同視頻質(zhì)量的情況下，縮減視頻數(shù)據(jù)大小約50%。在網(wǎng)絡(luò)視頻流量不斷增長的時代，視頻壓縮變得越來越重要。隨著使用生成式人工智能（AI）制作視頻內(nèi)容的浪潮即將到來，同時視頻內(nèi)容制作和內(nèi)容消費的節(jié)奏不斷加快，減少多媒體內(nèi)容的比特數(shù)仍是一個重要問題。

讓我們來看看那些使VVC區(qū)別于當前所使用的視頻編碼器的基礎(chǔ)創(chuàng)新，以及高通技術(shù)公司為打造一個充滿活力的VVC生態(tài)系統(tǒng)所做出的努力。

新一代視頻編碼器中的基礎(chǔ)創(chuàng)新：推動生態(tài)系統(tǒng)向前發(fā)展

面向常見用戶體驗，優(yōu)化視頻編碼

不止于顯著降低數(shù)據(jù)大小，在視頻會議、屏幕共享和全景視頻等特定視頻場景中，VVC編解碼器還引入了多種特別實用的智能工具。

視頻會議

新冠疫情對人們的工作方式產(chǎn)生了深遠的影響，致使人們對遠程辦公工具（尤其

是視頻會議軟件）的需求劇增，視頻通話已成為個人和專業(yè)用途中很重要的通信方式。

在視頻通話中，會持續(xù)監(jiān)測兩端的網(wǎng)絡(luò)帶寬，并相應(yīng)調(diào)整入站和出站視頻質(zhì)量，使視頻數(shù)據(jù)適應(yīng)可用帶寬。對于以前的視頻編解碼器，比如高效視頻編碼（HEVC）和高級視頻編碼（AVC），當視頻分辨率發(fā)生變化以適應(yīng)可用網(wǎng)絡(luò)帶寬時，服務(wù)器需要發(fā)送一種特殊類型的幀，稱為“即時解碼刷新”（IDR）幀。這會中斷時間預(yù)測，意味著無法引用來自先前幀和后續(xù)幀的數(shù)據(jù)估算。

VVC提供了一種叫做“參考圖像重采樣”（RPR）的特殊功能，可以彌補當前這一代視頻編解碼器的不足。在解碼時，RPR能夠改變視頻的分辨率，而無需IDR幀。這能夠避免大量IDR幀帶來的數(shù)據(jù)量激增，從而實現(xiàn)更流暢的視頻通話體驗，不會出現(xiàn)卡頓。

新一代視頻編碼器中的基礎(chǔ)創(chuàng)新：推動生態(tài)系統(tǒng)向前發(fā)展(1)799.png

VVC中的參考圖像重采樣可實現(xiàn)更流暢的視頻通話體驗

屏幕共享

屏幕共享在團隊協(xié)作中變得越來越受歡迎，尤其是在遠程辦公的時代。借助屏幕共享功能，團隊成員可以輕松地展示他們的工作并實時進行項目協(xié)作。隨著屏幕共享使用需求的不斷增長，與攝像頭生成內(nèi)容一起被渲染、混合或疊加的圖形數(shù)據(jù)的使用需求也在增長。

從一開始，VVC就是一種旨在支持對屏幕共享內(nèi)容進行編碼的編解碼器。VVC編解碼器包括五個主要的與屏幕內(nèi)容編碼相關(guān)的底層工具：變換跳過殘差編碼（TSRC）、基于塊的差分脈沖編碼調(diào)制（BDPCM）、幀內(nèi)塊拷貝（IBC）、自適應(yīng)顏色變換（ACT）和調(diào)色板模式。

通過減少需要傳輸?shù)臄?shù)據(jù)量，這些工具幫助提升編碼屏幕內(nèi)容的色彩準確度和總體數(shù)據(jù)效率。以前的視頻編解碼器增加了一些屏幕編碼改進特性，但這些不夠高效，且并非被所有終端支持。相比之下，由VVC定義的屏幕共享內(nèi)容的編碼工具在主檔次（Main Profile）中被默認支持，并且應(yīng)該在大多數(shù)支持VVC的設(shè)備上可用。

相較于其他視頻編解碼器所展現(xiàn)出的高效率，可以說，VVC將會是那些擁有全部或部分屏幕共享內(nèi)容應(yīng)用的主流選擇。

 新一代視頻編碼器中的基礎(chǔ)創(chuàng)新：推動生態(tài)系統(tǒng)向前發(fā)展(1)1289.png

VVC改善屏幕共享的色彩準確度和總體數(shù)據(jù)效率

全景視頻

全景視頻已超越傳統(tǒng)視頻的被動范式，提供更高程度的沉浸感和交互感。此項革命性技術(shù)能夠使用戶與場景或環(huán)境交互，在虛擬空間中感受參與感和臨場感。虛擬現(xiàn)實（VR）是一個已經(jīng)在我們?nèi)粘Ｉ钪袑崿F(xiàn)的沉浸式技術(shù)范例，在娛樂之外，對電子醫(yī)療、電化教育和文化遺產(chǎn)展示等重要經(jīng)濟領(lǐng)域產(chǎn)生影響。

VVC為全景視頻引入智能工具：碼流提取與合并、子圖像、虛擬邊界和水平環(huán)繞運動補償。全景視頻通常需要以時間同步的方式同時處理多個基本碼流。對于以前的視頻編解碼器，每個基本碼流需要一個實例化的視頻解碼器。不過，碼流的提取與合并定義了一種在壓縮域拼接和剪裁視頻的方式，解耦了視頻應(yīng)用所需的基本碼流數(shù)和在終端上運行所需的視頻解碼器實例數(shù)。

子圖像是VVC中引入的全新圖像分區(qū)方案。它是一個矩形編碼區(qū)域，獨立于鄰近區(qū)域進行編碼，因此可獨立提取圖像。子圖像可以對應(yīng)于一個感興趣的區(qū)域，比如消費者通過VR頭顯看到的區(qū)域?；谟脩粢曄?，它能夠支持優(yōu)先處理并向頭顯終端發(fā)送更高保真度的子圖像。

新一代視頻編碼器中的基礎(chǔ)創(chuàng)新：推動生態(tài)系統(tǒng)向前發(fā)展

VVC支持子圖像，改善360度視頻體驗

在360度視頻中，當我們將其轉(zhuǎn)化為二維表示時，某些投影（例如立方體貼圖cubemaps）的非對齊面邊界可能出現(xiàn)間斷點。但通過在邊緣處禁用環(huán)路濾波，可以減少這些偽影。借助VVC，我們能夠通過水平或垂直虛擬邊界來進行環(huán)路濾波的控制，虛擬邊界的配置也會在碼流中進行標記和傳輸。

環(huán)繞運動補償支持從圖像的左邊界以外開始執(zhí)行運動補償，在水平方向上進行環(huán)繞預(yù)測，并使用來自圖像右側(cè)的像素值，反之亦然。這一全新的靈活性有助于使用等距柱狀投影格式對全景視頻進行編碼。

領(lǐng)先的基礎(chǔ)視頻技術(shù)

20多年來，高通技術(shù)公司在重要視頻技術(shù)的發(fā)展中扮演了至關(guān)重要的角色，這些技術(shù)徹底改變了視覺內(nèi)容在智能手機、平板電腦、PC、電視和其他終端上被拍攝、傳輸以及消費的方式。這些創(chuàng)新使視頻質(zhì)量更佳，內(nèi)容更豐富，同時還降低了帶寬和存儲空間，為生態(tài)系統(tǒng)中的消費者和公司都創(chuàng)造了巨大效益。我們的發(fā)明家獲得廣泛認可，我們技術(shù)發(fā)明的影響力不僅限于移動生態(tài)系統(tǒng)，對更加廣泛的領(lǐng)域也有所助益。業(yè)界廣泛部署由高通技術(shù)公司助力推動的視頻技術(shù)，其中包括領(lǐng)先的視頻編解碼器、流協(xié)議（streaming protocol）和多媒體文件格式。

在推動VVC技術(shù)發(fā)展方面也不例外。與HEVC一樣，高通技術(shù)公司是本文中所介紹的VVC標準的主要貢獻者。

通過智能手機VVC演示，推動生態(tài)系統(tǒng)向前發(fā)展

VVC在生態(tài)系統(tǒng)中的發(fā)展勢頭強勁，目前已經(jīng)被加入DVB核心規(guī)范（Digital Video Broadcasting Project/國際數(shù)字視頻廣播組織），用于廣播和寬帶應(yīng)用的視頻編碼。巴西數(shù)字電視廣播技術(shù)標準ISDB-T International（又稱SBTVD），也采用了VVC作為主要視頻編解碼器——預(yù)計其他廣播標準也將相繼采用該視頻編碼標準。

在高通技術(shù)公司，我們對VVC編解碼器如何提升當下的視頻體驗感到興奮。為此，我們已經(jīng)開始與生態(tài)系統(tǒng)中的伙伴合作，期待將VVC技術(shù)帶給消費者。

近日，我們攜手騰訊公司，在集成Adreno GPU的第二代驍龍8移動平臺上對其VVC軟件解碼器進行了優(yōu)化。該預(yù)商用原型實現(xiàn)了超過30%的性能提升，能夠穩(wěn)定且實時流暢地播放4K 10-bit 60幀/秒（FPS）的超高清VVC內(nèi)容。7月28-31日，2023年中國國際數(shù)碼互動娛樂展覽會（ChinaJoy 2023）于上海舉辦，我們首次演示了這款經(jīng)優(yōu)化后的解碼器。我們相信，經(jīng)優(yōu)化的軟件解碼器（例如這款來自騰訊公司的解碼器）將有助于加速在視頻內(nèi)容服務(wù)中采用VVC編解碼器的進程。