8kHDR低延時(shí)視頻編碼標(biāo)準(zhǔn)JPEGXS概述

付文杰　黃建秋

【摘 ?要】近年來(lái)，圖像、視頻已經(jīng)成為人們廣泛使用的信息獲取方式，且人們對(duì)分辨率的追求也越來(lái)越高。隨著網(wǎng)絡(luò)帶寬不斷增加，硬件設(shè)備性能不斷提升，高清視頻4kHDR已經(jīng)開(kāi)始普及，8kHDR也開(kāi)始廣泛研究，在廣播行業(yè)尤為顯著。針對(duì)節(jié)省網(wǎng)絡(luò)帶寬方面的研究，傳統(tǒng)的高壓縮比編碼標(biāo)準(zhǔn)復(fù)雜度較高，在處理高分辨率視頻時(shí)，無(wú)法容易地利用GPU、FPGA等硬件設(shè)備進(jìn)行有效加速，DNXHR、ProRes、XAVC 等視頻壓縮處理方法在處理8kHDR時(shí)也難以做到實(shí)時(shí)處理。本文介紹的JPEG XS視頻處理方法是JPEG委員會(huì)制定的新國(guó)際標(biāo)準(zhǔn)。其低延時(shí)、低復(fù)雜度，且可以高效地在FPGA、ASIC、CPU、GPUs實(shí)現(xiàn)的特點(diǎn)，使8kHDR格式運(yùn)用到一些有實(shí)時(shí)性要求的實(shí)際場(chǎng)景中成為現(xiàn)實(shí)。

【關(guān)鍵詞】編解碼;JPEGXS; 4KHDR; 8KHDR;低延時(shí)

1 .JPEG XS技術(shù)簡(jiǎn)介

JPEG XS是JPEG委員會(huì)（正式名稱(chēng)為ISO/IEC SC29 WG1）制定的新國(guó)際標(biāo)準(zhǔn)。該標(biāo)準(zhǔn)可在低壓縮比場(chǎng)景下，提供視覺(jué)無(wú)損圖像壓縮。該壓縮算法有較高的并行度，可以對(duì)ASICs、FPGAs、CPUs和GPUs等多種技術(shù)實(shí)現(xiàn)最佳支持。JPEG XS典型壓縮比大約為10：1，也可以根據(jù)視頻分辨率、幀率和碼率限制進(jìn)一步提高壓縮比。

隨著視頻帶寬需求持續(xù)增長(zhǎng)，信道的容量也在不斷增長(zhǎng)（如即將普及的5G網(wǎng)絡(luò)），但這仍滿(mǎn)足不了人們對(duì)更高分辨率、更高清晰度、更多新視頻類(lèi)型的追求。廣播行業(yè)的視頻流處理和傳輸充分體現(xiàn)了這個(gè)問(wèn)題：制造商目前正在從HD高清切換到UHD超高清，需要12G-SDI或10Gbps以太網(wǎng)，對(duì)于更高分辨率的8kHDR，也已開(kāi)始研究。對(duì)于8K這種大幅面視頻，在碼率允許的情況下，利用常見(jiàn)的輕量級(jí)壓縮方案DNXHR、ProRes、XAVC等來(lái)進(jìn)行壓縮，處理速度已難達(dá)到要求。工程上亟需一種方便格式轉(zhuǎn)換、視覺(jué)質(zhì)量無(wú)損、功耗低、編解碼延時(shí)低、易于實(shí)現(xiàn)、芯片尺寸小、可在通用CPU上運(yùn)行的快速軟件。在這種情況下，JPEG委員會(huì)推出了一個(gè)標(biāo)準(zhǔn)化的輕量級(jí)編解碼器JPEG XS。

2. JPEG XS編解碼器的主要特征

（1）視覺(jué)無(wú)損的質(zhì)量。在高達(dá)10：1的典型壓縮比情況下，該技術(shù)可以達(dá)到視覺(jué)無(wú)損的壓縮質(zhì)量，即使壓縮率在30倍左右，其質(zhì)量仍能和XAVC壓縮質(zhì)量持平。

（2）多代魯棒性。由于其壓縮算法的變換系數(shù)采用原始編（按bit位截?cái)啵词菇?jīng)過(guò)多次壓縮后，圖像的質(zhì)量與第一次壓縮后的質(zhì)量仍非常接近，適用于視頻的前期制作。

（3）GPU、FPGA和ASIC環(huán)境進(jìn)行并行加速。

（4）計(jì)算復(fù)雜度低。在圖像的壓縮編碼過(guò)程中，該技術(shù)與傳統(tǒng)的視頻編解碼方法不同，沒(méi)有復(fù)雜的變換和預(yù)測(cè)模式，編碼單元碼流獨(dú)立，熵編碼復(fù)雜度低。

（5）延遲低。能做到行級(jí)延遲的傳輸解碼延遲，在實(shí)時(shí)性要求很高的場(chǎng)景需求下有著非常大的運(yùn)用價(jià)值。

3. JPEG XS編碼流程

JPEGXS編碼標(biāo)準(zhǔn)的主要編碼流程如圖1所示，主要包含了以下步驟：

3.1平移及系數(shù)縮放

在變換前后，結(jié)合小波變換和分?jǐn)?shù)據(jù)類(lèi)型編碼算法的特性，通過(guò)移位和添加常數(shù)的方法，將系數(shù)幅度值限定在特定范圍，從而達(dá)到提高壓縮質(zhì)量的目的。

3.2小波變換

JPEGXS采用的變換方法是小波變換。小波變換要求垂直分解級(jí)別要少，而對(duì)于5/3小波變換方法，其垂直分解最多只有2次;13/7小波，最多一次。 小波變換對(duì)于并行化處理來(lái)說(shuō)是微不足道的。小波變換同時(shí)具備了空間和頻域局部變換的特性，結(jié)合JPEGXS編碼單元的劃分，有效將編碼區(qū)域內(nèi)的空域和頻域相關(guān)性進(jìn)行劃分，然后再按每個(gè)band進(jìn)行編碼，從而消除其頻域冗余，實(shí)現(xiàn)有效壓縮。

3.3分區(qū)域編碼

通過(guò)將圖像按空間劃分為slice，precinct編碼結(jié)構(gòu)，再將每個(gè)空間區(qū)域的小波變換分量分為若干packet，packet內(nèi)每個(gè)小波分量對(duì)應(yīng)的系數(shù)依次編碼。每個(gè)packet內(nèi)，對(duì)一個(gè)小波分量的4個(gè)連續(xù)系數(shù)組的幅值水平進(jìn)行熵編碼，實(shí)際系數(shù)值則采用原始編碼，直接把系數(shù)的有效位比特寫(xiě)進(jìn)碼流。每個(gè)packet字節(jié)對(duì)齊，可以做到獨(dú)立編碼，從而可實(shí)現(xiàn)高效并行編碼和解碼。 此劃分方式可以充分利用硬件的多核心并行特點(diǎn)。

3.4碼率控制

碼率控制制約著編碼器的速度，也是編碼器的關(guān)鍵技術(shù)之一。作為一種輕量級(jí)壓縮編碼標(biāo)準(zhǔn)，JPEGXS的碼率控制較為簡(jiǎn)單，目標(biāo)碼率平均分配到每個(gè)precinct編碼單元，然后調(diào)節(jié)當(dāng)前precinct的每個(gè)band系數(shù)的有效bit位保留數(shù)目，來(lái)實(shí)現(xiàn)精確的碼率控制。

4.總結(jié)

本文主要介紹了最新一代視頻編碼標(biāo)準(zhǔn)JPEGXS。JPEGXS是一種新的視覺(jué)無(wú)損低延遲輕量級(jí)圖像編碼國(guó)際標(biāo)準(zhǔn)。該標(biāo)準(zhǔn)具有計(jì)算復(fù)雜度低，圖像壓縮質(zhì)量好，互操作性強(qiáng)等特性。與其他現(xiàn)有的編解碼器相比，質(zhì)量評(píng)估顯示出非常好的性能。在工程上利用GPU、FPGA等處理大幅面圖像時(shí)，其高并行度的算法特性使處理過(guò)程的并發(fā)優(yōu)化實(shí)現(xiàn)變得非常方便，從而達(dá)到實(shí)時(shí)處理8KHDR的目的。在未來(lái)8KHDR視頻圖像處理的運(yùn)用上有著非常重要的作用。

參考文獻(xiàn)

[1]https：//jpeg.org/jpegxs/.

[2]https：//jpeg.org/static/whitepapers/jpeg-xs-whitepaper.pdf

[3]Thomas， Richter， Joachim，等. SMPTE Periodical - JPEG-XS—A High-Quality Mezzanine Image Codec for Video Over IP[J]. Smpte Motion Imaging Journal， 2018.

[4]ISO/IEC 21122-1 Information technology — JPEG XS low-latency lightweight image coding system —Part 1： Core coding system

[5]SO/IEC 21122-2 Information technology — JPEG XS low-latency lightweight image coding system —Part 2： Profiles and buffer models

[6]ISO/IEC 21122-3 Information technology — JPEG XS low-latency lightweight image coding system —Part 3： Transport and container formats