基于編碼量化參數調節的圖像清晰化處理

孫令翠，馮輝宗

(1. 重慶工程學院計算機與物聯網學院，重慶 400056；2. 重慶郵電大學自動化學院，重慶 400065)

1 引言

與普通低動態圖像相比，高動態范圍圖像能夠直接展示出現實世界的動態亮度信息，所需的存儲空間更大，動態范圍也更大，光影效果也更加逼真[1]。隨著視頻技術的進步，高動態范圍圖像所應用的場景越來越多，商業價值也更加大[2]。視頻中的動態圖像范圍和位深逐漸增大，要求網絡具有更寬的傳輸帶寬與傳輸空間，但是目前視頻設備中的編碼標準只能針對普通低動態圖像，不能處理高動態圖像，因此進一步加劇動態圖像的失真情況，這種情況也給視頻編碼器帶來了一定的工作壓力，所以修正圖像的失真情況也就是提升視頻編碼傳輸的功能[3]。現有研究中，編碼器在編碼時使用失真率優化技術實現圖像的失真修正，但是這種修正方法只針對圖像參數優化，卻忽視對于圖像特征的優化，校正后并沒有提升圖像細節信息[4]。部分研究者使用直方圖均衡化實現圖像失真處理，該方法能夠提升圖像對比度，改善圖像視覺效果，但是盡管能夠實現圖像細節處理，但是對于亮處的細節卻經常忽視。

視覺感知實質上是一種圖像增強技術，考慮人類視覺主觀特點，對圖像加工處理，實現圖像中某些信息突出的目的，把圖像中不需要的部分數據去除，獲得更加清晰實用的圖像內容，經過視覺感知處理的圖像更加適合機器進一步處理或者人類視覺的習慣，在視覺上提升圖像效果[5]。所以本文充分考慮視覺感知特性，實現圖像失真校正，并做進一步研究。

2 圖像失真校正方法

2.1 圖像失真計算

經過已有研究表明，對于視頻圖像中的時域運動性、空域活動性、紋理等區域，人的視覺感知都較敏感，而且視覺感知能夠快速準確地捕捉到圖像的亮度變化情況。本文研究過程中，從視覺敏感對因子的角度出發，校正視頻編碼過程中出現的圖像率失真情況[6]。針對第i個當前編碼樹單元，通過式(1)表述視覺明暗度PSi

PSi=KLi*KAi*KTi

(1)

式中，KLi、KAi和KTi分別表示第i個當前編碼樹單元的亮度、空域活動性、紋理等內容的權重因子。分析式(1)可知，視覺明暗度會隨著各權重因子的升高而變大，這些值的變化直接影響視頻圖像的亮度和紋理等內容的視覺效果，通過計算獲得視覺明暗度的大小，該值越高則導致當前編碼樹單元的視覺明暗度越低，二者呈現反比例關系[7]。各權重因子計算過程如下：

1)亮度權重因子計算

最直接影響視覺感知的權重因子便是亮度，無論是極高亮度還是極低亮度，都會降低視覺敏感度，但是如果視頻圖像的亮度較高，對于視覺敏感度影響較小，經數據統計顯示，圖像亮度越高，人眼感知門限值越高，也就顯示視覺敏感度越高[8]。

75至125亮度值屬于視覺敏感度比較高的亮度范圍，為獲得視覺亮度權重因子，設置敏感度值為1.0，對其它范圍亮度實行縮放，使用式(2)計算亮度權重因子：

(2)

式中，第i個當前編碼樹單元的亮度平均值使用Li表示。

2)計算空域活動性權重因子

人類視覺更容易捕捉到視頻圖像中較小活動區域失真的情況，也就是說，人眼視覺對于視覺區域中比較小的活動范圍更加敏感，反之敏感度更低[9]。已有研究表明在當前編碼樹單元活動性獲取方面，使用梯度計算方法能夠獲得更加良好的效果。式(3)為具體計算過程

acti=

(3)

式中，當前編碼樹單元的寬度與高度分別使用W和H描述；假設編碼塊中某個位置使用(x，y)表示，運用Ix，y表示該位置的亮度像素值。計算第i個當前編碼樹單元空域活動性

(4)

式中，第i個當前編碼樹單元(處于當前編碼幀內)的梯度表示為acti，actAvg代表平均梯度。

3)計算紋理權重因子

參考空間遮掩效應，紋理復雜程度與圖像失真之間存在正比例關系，圖像紋理越平坦越不容易出現失真情況。圖像紋理復雜程度存在差異，導致圖像均方誤差和展現出不同的視覺感受，相比于較低視覺敏感度區域，視覺敏感度高的區域失真更嚴重[10]。

通過方差表示視頻圖像的紋理復雜度

(5)

式中，當前編碼樹單元亮度像素平均值用avg表示；(x，y)位置的亮度值通過I(x，y)描述，當前編碼樹單元亮度像素平均方差用sq表示，第i個當前編碼樹單元方差值用vai表示。使用式(6)描述紋理復雜度權重因子

(6)

式中，當前編碼幀平均方差描述為vaavg。

2.2 調節拉格朗日乘子

通過以上研究計算獲得影響圖像視覺明暗度的各權重因子，已有研究表明，盡管亮度權重因子與空域活動性權重因子都會導致視頻圖像出現失真情況，但是這些影響圖像失真最直接的權重因子是紋理權重因子。盡管大多數情況下，圖像中平滑的區域出現失真不會直接被視覺感知，但是部分發生在平滑區域的失真也會被視覺感知察覺，所以無論是平滑區域還是紋理復雜區域都需要對失真情況展開校正[11]。本文研究中，為獲取視頻高動態范圍圖像結構分量與紋理使用邊緣保持濾波器，同時為實現拉格朗日乘子調節，引入紋理特性，由此進一步完成參數動態調節。

視覺系統能夠感知視頻圖像中平滑區域的失真情況，所以對于紋理復雜區域的失真感知更加精準，研究過程中需要將圖像中的紋理區域與結構區分出來，本文所采取的方法為雙邊濾波器[12]。該濾波器屬于非線性邊緣保持濾波器。濾波系數是由位于{p，s}的濾波器系數與對應{p，s}的像素點Is減去近似像素點Ip獲得的差值系數相乘而獲得的。通過雙邊濾波器分割出視頻圖像基本層，該層主要負責圖像結構完整保存，這種結構主要為輪廓邊緣信息與平滑信息，雙邊濾波像素值Is后輸出Bs

(7)

式中，g(·)與h(·)分別表示空域高斯函數與在像素域中的另一個高斯函數，經Bs與Is獲得對應細節層的像素值：|Is-Bs|。

通常情況下，人類直接觀察圖像并不會過多關注圖像中較平滑區域，而視覺感知對于圖像非復雜紋理敏感度較高。傳統方法中為實現感知冗余去除，會采取修改失真計算的方法，但是修正拉格朗日乘子能夠使率失真代價函數優化更加合理，所以在該部分研究中將拉格朗日縮放因子引入ηp

(8)

式中，TCU代表當前幀編碼樹單元的灰度均值；a屬于調節參數；Tframe表示對應圖像幀雙邊濾波后的灰度均值。編碼最終性能受到a取值影響，實驗時從合理區間選取。

分析式(8)可知，當前幀編碼樹單元紋理越復雜，視覺越不容易感知到圖像中的失真情況，也就導致經修正的ηp越大。當前幀編碼樹單元ηp越小，越容易感知到該區域的失真情況。通過拉格朗日乘子自適應調節，實現圖像中碼率與失真的平衡，增大或縮小拉格朗日乘子以應對紋理復雜區域和平滑區域。

2.3 修正量化參數

本文研究中使用視覺感知中的紋理掩蓋特性以及視覺注意力修正視頻率失真，消除編碼量化器冗余和視頻感。使用式(8)和修改后失真計算對率失真代價函數進行修改，式(9)為經過規劃的率失真代價值Jp

(9)

式中，{Para}opt與Dp分別表示最優編碼參數集與修改后的失真計算，R代表由于編碼而被消耗的比特數碼率。若要得到最優編碼參數需要先計算率失真代價函數，使用式(10)表示量化參數QP和拉格朗日乘子之間的關系。

(10)

式中，有關編碼圖像幀類型常數表示為β。使用式(11)推導原始編碼量化參數

(11)

式中，拉格朗日乘子與量化參數互相影響，QP變化量為ΔQP，修正后QP值變化為QPHEVC，根據式(11)獲得量化參數變化值

(12)

在原始編碼器中，量化參數都是整數，所以為獲得最后的量化參數iQPPro取整數ΔQP。經計算得到ΔQP值實現編碼器量化，簡單增減修改初始量化參數，并向編碼器發送。該情況下，無需計算編碼器中的任何數，直接量化和解碼iQPPro。

3 結果分析

本文實驗研究需要在高效視頻編碼的測試平臺中開展，實驗對象為實驗資料庫中的3個視頻測試序列(分別命名為散步序列、賽車序列和籃球序列)，1920×1080分辨率，設置{23，28，33，38}為量化參數，使用視頻編碼質量評價編碼效果，該評價標準為視頻質量相同的情況下，碼率變化的百分比，評價圖像視覺失真差異時使用HDR-VDP-2.2，該評價方法具有主觀性。通過峰值信噪比評價視頻圖像的顏色失真情況，信噪比和失真情況呈現反比例關系。

為了獲得式(8)調節參數的取值范圍，先要確定下一個合理的參數區間，受到條件限制，不能遍歷全部值，因此本文研究中只隨機研究0.2、0.4、0.6、0.8四個取值的編碼情況，結果見圖1。

圖1 調節參數不同時視頻編碼質量評價

通過圖1可知，無論何種運動速度的視頻序列，如果調節參數低于0.4，使得拉格朗日乘子增大，塊效應明顯，造成圖像失真惡化；如果調節參數較大的情況下，對結果影響不大，同時編碼性能也不會出現明顯變化。從圖中能夠看出，當調節參數為0.6時，3個視頻序列均能實現編碼最低節省，由此證明，調節參數選取0.6能夠獲得較好的編碼與失真平衡效果，并且獲得較好的圖像失真校正效果。

以運動區域動作較慢的散步序列為例，驗證使用雙邊濾波器處理圖像后的失真基礎處理效果，結果見圖2。

圖2 雙邊濾波器處理效果

通過圖2能夠看出，使用雙邊濾波器處理后獲得的基本層圖像一定程度上模糊處理圖像，但是同時仍舊能夠保留圖像中清晰的輪廓，在圖2(b)中，建筑物已經被模糊但是仍舊能夠看出物體形狀，這就達到平滑處理圖像紋理的目的；圖2(c)圖像是消除原始圖像濾波后獲得的細節層圖像，可以看出，雙邊濾波處理后能夠保留圖像中的高頻紋理細節，同時圖像邊緣灰度值較小紋理復雜區域灰度值較大，在視覺感知領域，圖像灰度值越大說明紋理視覺處理越好，從視覺感知層面消除失真效果。

當調節參數為0.6時，各視頻序列的峰值信噪比與視頻編碼質量情況見表1。

表1 視頻圖像質量評價

從表1中能夠看出，校正后的圖像失真情況優于校正前的圖像失真情況。賽車序列的運動區域比較劇烈，本文方法在校正該圖像時面對較復雜的紋理情況，對圖像中的各個區域只能采取統一處理的方式，失真校正性能一般；籃球序列圖像場景比較固定，可參照的固定物體比較多，如底板、籃球架等位置基本屬于靜止狀態，這些靜止狀態的區域運動強度較低，紋理復雜度也較低，亮度權重因子也比較穩定，因此失真校正效果也更好。

對比使用本文方法校正視頻圖像前后的圖像變化情況以及細節信息，結果見圖3。

圖3 校正前后圖像對比

從圖3中各視頻序列的細節圖像對比可以看出，失真校正之前圖像細節模糊，難以分辨出圖像找那個的具體內容，經過本文方法校正后能夠提升圖像的細節清晰度，獲得更好的圖像清晰效果。

4 結論

視頻圖像由于編碼過程中受到各種原因的影響常出現圖像失真的情況，本文融合視覺感知特性實現圖像失真校正，經過自適應調節拉格朗日乘子優化平衡編碼和失真的問題，確保校正后的圖像更加符合人體視覺感知習慣，有效去除圖像中的感知冗余。針對高動態范圍視頻圖像編碼構建視覺感知特性的動態拉格朗日率失真模型，同時動態調節參數，在一定程度上提升了編碼器視頻壓縮性能。通過校正優化前后對比，得出使用本文方法校正圖像后，能夠提升圖像細節信息，使得圖像視覺效果更好。