圖像質(zhì)量客觀評(píng)價(jià)方法研究與實(shí)現(xiàn)

劉帆 強(qiáng)發(fā)軍 趙明旭 倪旭 韓冷

摘要：本文對(duì)圖像質(zhì)量主觀評(píng)價(jià)和客觀評(píng)價(jià)方法進(jìn)行了介紹和優(yōu)缺點(diǎn)分析，針對(duì)主觀評(píng)價(jià)方法耗時(shí)耗力、隨機(jī)性大等缺點(diǎn)，構(gòu)建了一種圖像質(zhì)量客觀評(píng)價(jià)模型，介紹幾種常用的圖像質(zhì)量客觀評(píng)價(jià)算法并對(duì)其進(jìn)行計(jì)算機(jī)仿真，實(shí)現(xiàn)了多路圖像質(zhì)量高低定量排序。進(jìn)行對(duì)比實(shí)驗(yàn)，對(duì)該圖像質(zhì)量客觀評(píng)價(jià)模型進(jìn)行驗(yàn)證，實(shí)驗(yàn)結(jié)果表明該模型所采用的客觀圖像質(zhì)量評(píng)價(jià)與主觀評(píng)價(jià)基本保持一致。

關(guān)鍵詞：圖像處理;質(zhì)量評(píng)價(jià);主觀評(píng)價(jià);客觀評(píng)價(jià);算法設(shè)計(jì)

中圖分類號(hào)：TP391.41 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2020）06-0107-04

1 圖像質(zhì)量評(píng)價(jià)方法

圖像質(zhì)量的評(píng)價(jià)方法可以分為主觀評(píng)價(jià)和客觀評(píng)價(jià)兩大類，其中，主觀評(píng)價(jià)方法直觀、比較準(zhǔn)確以及有效，但是由于在一定的測(cè)試環(huán)境中由多個(gè)觀測(cè)者來(lái)對(duì)圖像進(jìn)行評(píng)分，然后對(duì)大量評(píng)分?jǐn)?shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，因此耗時(shí)，不易實(shí)現(xiàn);客觀評(píng)價(jià)方法一般是由某個(gè)數(shù)學(xué)模型來(lái)計(jì)算出圖像質(zhì)量的分?jǐn)?shù)，比較經(jīng)濟(jì)實(shí)用，但是要求客觀評(píng)價(jià)的結(jié)果應(yīng)該與主觀評(píng)價(jià)的結(jié)果具有較好的相關(guān)性。

1.1 主觀評(píng)價(jià)方法

圖像質(zhì)量主觀評(píng)價(jià)就是選擇一批非專業(yè)的觀測(cè)員，讓他們?cè)谔囟ǖ沫h(huán)境下，連續(xù)觀看一系列的測(cè)試序列，觀看時(shí)長(zhǎng)大概10到30分鐘，然后采用不同的方法讓他們對(duì)視頻序列的質(zhì)量評(píng)分。主觀評(píng)價(jià)結(jié)果有兩種表示方法：一種是絕對(duì)評(píng)分MOS（Mean Opinion Score），表示待測(cè)視頻的絕對(duì)質(zhì)量;另一種是差值表達(dá)DMOS（Difference Mean Opinion Score），表示待測(cè)視頻與參考視頻質(zhì)量的差值。主觀評(píng)價(jià)方法主要包括雙刺激連續(xù)質(zhì)量分級(jí)法、雙刺激損傷分級(jí)法、單刺激連續(xù)質(zhì)量評(píng)估法、絕對(duì)分類評(píng)價(jià)法等4種。

由于人是視頻的最終接收者，因此主觀評(píng)價(jià)是最可靠和最準(zhǔn)確的方法。但是主觀評(píng)價(jià)方法需要投入大量的人力和物力，測(cè)試環(huán)境要求嚴(yán)格，評(píng)測(cè)得到結(jié)果所需時(shí)間長(zhǎng)，而且無(wú)法嵌入到實(shí)際的系統(tǒng)中，應(yīng)用范圍很有限。目前主觀評(píng)價(jià)方法主要用于驗(yàn)證客觀評(píng)價(jià)方法的有效性，可以根據(jù)主觀評(píng)價(jià)實(shí)驗(yàn)來(lái)驗(yàn)證其他方法的結(jié)果。

1.2 客觀評(píng)價(jià)方法

圖像質(zhì)量主觀評(píng)估由于需要大量的非專業(yè)人員對(duì)圖像進(jìn)行評(píng)價(jià)，比較耗時(shí)且結(jié)果易受多種因素影響，因此在實(shí)際應(yīng)用中需要一種客觀的、簡(jiǎn)單的圖像質(zhì)量評(píng)價(jià)方法。根據(jù)用于評(píng)價(jià)的輸入數(shù)據(jù)形式，可以將客觀評(píng)價(jià)方法主要分為五類：（1）媒體層模型（Media-layer models），利用解碼后的視頻信號(hào)來(lái)計(jì)算體驗(yàn)質(zhì)量QoE（Quality of Experience），不需要測(cè)試系統(tǒng)的任何信息，因此能很好應(yīng)用到如編解碼比較和編解碼優(yōu)化的場(chǎng)景中。（2）帶參數(shù)的包層模型（Parametric packet-layer models），與媒體層不同的是，該模型預(yù)測(cè)QoE只用到包頭的信息，而不接觸媒體信息，因此該模型的算法復(fù)雜度低。（3）參數(shù)規(guī)劃模型（Parametric planning models），只使用與媒體相關(guān)的網(wǎng)絡(luò)規(guī)劃參數(shù)和終端應(yīng)用參數(shù)，因此需要事先知道測(cè)試系統(tǒng)的信息。（4）碼流模型（Bitstream-layer models），利用碼流信息和包頭信息來(lái)度量QoE。（5）混合模型（Hybrid models），將以上兩個(gè)或更多的模型特性結(jié)合一起，能夠使用的信息更加全面。

1.3 影響圖像質(zhì)量的因素

在研究圖像頻質(zhì)量評(píng)價(jià)方法前，有必要分析影響圖像頻質(zhì)量的因素。一方面，當(dāng)前網(wǎng)絡(luò)帶寬有限，如果要在網(wǎng)絡(luò)上實(shí)現(xiàn)圖像頻高速傳播，必須對(duì)圖像頻進(jìn)行一系列處理，如信號(hào)采集、壓縮等[1-2]，這樣可以減小圖像頻文件的大小以適應(yīng)網(wǎng)絡(luò)帶寬。然而，對(duì)圖像頻進(jìn)行壓縮處理的同時(shí)，必然會(huì)引起圖像頻質(zhì)量下降。另一方面，網(wǎng)絡(luò)的不可靠性同樣會(huì)對(duì)圖像頻帶來(lái)各種各樣的失真。當(dāng)前IP網(wǎng)絡(luò)盡力傳輸機(jī)制，無(wú)法保證服務(wù)質(zhì)量。同時(shí)，在現(xiàn)實(shí)網(wǎng)絡(luò)中有諸多不穩(wěn)定的因素如：網(wǎng)絡(luò)傳輸過(guò)程中，設(shè)備電壓不穩(wěn)，導(dǎo)致比特傳輸錯(cuò)誤;網(wǎng)絡(luò)發(fā)生堵塞，導(dǎo)致數(shù)據(jù)包丟失。所以不可靠的網(wǎng)絡(luò)傳輸也是圖像頻質(zhì)量降低的重要原因。

由此可知網(wǎng)絡(luò)應(yīng)用的圖像頻質(zhì)量的損傷主要來(lái)源于兩個(gè)因素。一是為了適應(yīng)網(wǎng)絡(luò)的需求，對(duì)圖像頻進(jìn)行壓縮編碼，而有損壓縮的編碼方式使得解碼后的圖像頻無(wú)法完全恢復(fù)成原始圖像頻，從而產(chǎn)生的圖像頻質(zhì)量模糊等現(xiàn)象。二是網(wǎng)絡(luò)的不穩(wěn)定性導(dǎo)致可能出現(xiàn)的傳輸誤碼，從而導(dǎo)致圖像頻質(zhì)量失真等現(xiàn)象。

2 圖像質(zhì)量客觀評(píng)價(jià)算法設(shè)計(jì)

2.1 算法概述

清晰度也指模糊度或粗糙度，是指人眼能感覺(jué)出的相鄰影像間的明顯程度，圖像質(zhì)量的好壞與其清晰度直接相關(guān)。導(dǎo)致圖像清晰度下降的原因是模糊現(xiàn)象的產(chǎn)生，在圖像的采集、傳輸、壓縮和濾波等各種處理過(guò)程中都可能產(chǎn)生模糊，比如曝光期間成像系統(tǒng)和被攝物體相對(duì)運(yùn)動(dòng)產(chǎn)生的運(yùn)動(dòng)模糊，成像系統(tǒng)聚焦不良或部分景物處于散焦?fàn)顟B(tài)產(chǎn)生的離焦模糊，光的衍射、以及壓縮之后高頻丟失等產(chǎn)生的各類模糊，電子系統(tǒng)高頻性能不良也會(huì)損失圖像的高頻分量而使圖像模糊等。圖像模糊是由于圖像高頻分量的丟失造成的邊緣或者細(xì)節(jié)不清晰，清晰圖像比模糊圖像包含更豐富的細(xì)節(jié)信息，即高頻分量[3]，圖像邊緣和紋理失真很小，幾乎可以忽略。所以可以通過(guò)衡量圖像包含高頻分量所占的比例來(lái)評(píng)價(jià)圖像的清晰度。在數(shù)字圖像處理中，梯度函數(shù)常被用來(lái)提取邊緣信息，聚焦越好的圖像，具有越尖銳的邊緣，圖像梯度函數(shù)值就越大。常用的梯度函數(shù)有：能量梯度函數(shù)、方差函數(shù)和Roberts梯度算子等。

2.1.1 能量梯度函數(shù)

利用相鄰點(diǎn)的差分計(jì)算一個(gè)點(diǎn)的梯度值，計(jì)算公式如下：

2.1.2 方差函數(shù)

該方法是一個(gè)比較流行的自動(dòng)對(duì)焦的清晰度評(píng)價(jià)函數(shù)。由于清晰圖像比模糊圖像存在更大的灰度級(jí)差異，所以方差函數(shù)可作為圖像清晰度高低的一個(gè)評(píng)價(jià)標(biāo)準(zhǔn)。方差函數(shù)計(jì)算公式如下：

2.1.3 Roberts梯度算子

2.2 算法仿真

由于方差函數(shù)法運(yùn)算過(guò)程簡(jiǎn)便，算法復(fù)雜度低，被廣泛應(yīng)用于圖像質(zhì)量評(píng)價(jià)中，因此這里也采取方差函數(shù)法進(jìn)行圖像質(zhì)量評(píng)價(jià)。

在VC++環(huán)境[4-5]下編寫程序，利用4幅施加不同程度高斯噪聲的圖像來(lái)檢驗(yàn)圖像質(zhì)量評(píng)價(jià)算法，如圖1所示，高斯噪聲系數(shù)σ越大，圖像中包含的高斯噪聲越多，圖像質(zhì)量越差。采取方差函數(shù)法對(duì)4幅圖像進(jìn)行計(jì)算，得到的評(píng)價(jià)值分別為：43.95，41.66，39.87，36.63，評(píng)價(jià)值與圖像效果的對(duì)應(yīng)性較強(qiáng)。

對(duì)matlab系統(tǒng)自帶的lena圖片施加不同程度高斯噪聲進(jìn)行圖像質(zhì)量評(píng)價(jià)算法驗(yàn)證。采取方差函數(shù)法對(duì)4幅圖像進(jìn)行計(jì)算，如圖2所示，得到的評(píng)價(jià)值分別為：50.89，47.56，45.38，42.21，評(píng)價(jià)值與圖像效果的對(duì)應(yīng)性較強(qiáng)。

3 對(duì)比實(shí)驗(yàn)

3.1 實(shí)驗(yàn)素材選取

實(shí)驗(yàn)素材的選取對(duì)整個(gè)研究過(guò)程具有重要地位，所選擇的視頻素材序列要盡可能多的視頻場(chǎng)景，而且所包含的內(nèi)容需包含典型的空域復(fù)雜度（SC，Spatial Complexity）和時(shí)域復(fù)雜度（TC，Temporal Complexity）。空域復(fù)雜度越高，表示視頻圖像包含的邊緣與紋理越多;時(shí)域復(fù)雜度越高，視頻運(yùn)動(dòng)越劇烈。文本將序列分為四類，其中第I類表示運(yùn)動(dòng)平緩但空域內(nèi)容復(fù)雜;第II類表示運(yùn)動(dòng)劇烈且空域內(nèi)容復(fù)雜：第III類表示運(yùn)動(dòng)平緩且空域內(nèi)容平滑;第IV類表示運(yùn)動(dòng)劇烈但空域內(nèi)容簡(jiǎn)單。本文所選取的原始視頻序列涵蓋所有這四種類型。

3.2 主觀評(píng)價(jià)過(guò)程

3.2.1 觀測(cè)人員

觀測(cè)人員即是應(yīng)邀請(qǐng)參加主觀評(píng)價(jià)的評(píng)分人員，參與評(píng)測(cè)的人員都是隨即選取的技術(shù)人員，并且不是研究視頻圖像方面的專業(yè)人員，一共有8人參與此次主觀評(píng)測(cè)，并且所有的觀測(cè)人員具有正常的視力。每個(gè)失真序列都被所有的觀測(cè)者評(píng)價(jià)。在評(píng)測(cè)開始之前，每個(gè)觀測(cè)者都被告知實(shí)驗(yàn)的目的，并且經(jīng)歷一段短時(shí)間的訓(xùn)練。訓(xùn)練的視頻序列不屬于本文建立的視頻數(shù)據(jù)庫(kù)里的一部分。每個(gè)訓(xùn)練視頻持續(xù)時(shí)間為10s，并且視頻質(zhì)量從好到壞。

3.2.2 顯示設(shè)備

實(shí)驗(yàn)中，在PC使用Matlab的XGL工具箱進(jìn)行視頻的播放以及打分。界面如圖3所示。視頻顯示設(shè)備為23ich的液晶顯示器，分辨率為1440×900。為了避免由于尺寸變換帶來(lái)失真，視頻以各自原始分辨率播放，顯示畫面的其余部分為黑色背景，并在畫面下方有一個(gè)連續(xù)標(biāo)尺，并有一個(gè)十字光標(biāo)在標(biāo)尺正中。在視頻播放完之后，會(huì)在屏幕上顯示一個(gè)質(zhì)量打分標(biāo)尺，標(biāo)尺最左端標(biāo)記“Bad”，最右端標(biāo)記“Excellent”，中間等間隔距離分別標(biāo)記“Poor”、“Fair”和“Good”，5個(gè)質(zhì)量等級(jí)分別對(duì)應(yīng)1-5分。觀測(cè)者可用鼠標(biāo)移動(dòng)標(biāo)尺中央處的十字光標(biāo)。在移動(dòng)十字光標(biāo)后，觀測(cè)者要求按下鍵盤上的任意鍵來(lái)輸入對(duì)視頻的打分。一旦打分鍵入，將無(wú)法更改。當(dāng)完成當(dāng)前的評(píng)分，下一個(gè)視頻將開始播放。

3.2.3 主觀評(píng)價(jià)數(shù)據(jù)處理

采用MOSj來(lái)表示視頻j的評(píng)分，N為參與評(píng)分的人數(shù)，dij表示第i個(gè)人對(duì)視頻j的評(píng)分，則MOSj如下式計(jì)算：

3.3 實(shí)驗(yàn)結(jié)果

對(duì)圖1和圖2分別進(jìn)行主觀圖像質(zhì)量評(píng)價(jià)，得到結(jié)果如表1和表2所示。可以看出，2.2節(jié)中所采用的客觀評(píng)價(jià)得分排序與主觀評(píng)價(jià)相同。實(shí)驗(yàn)結(jié)果表明該模型所采用的客觀圖像質(zhì)量評(píng)價(jià)與主觀評(píng)價(jià)基本保持一致，驗(yàn)證了模型和算法的正確性。

4 結(jié)語(yǔ)

圖像質(zhì)量的評(píng)價(jià)方法可以分為主觀評(píng)價(jià)和客觀評(píng)價(jià)兩大類，其中，主觀評(píng)價(jià)方法直觀、比較準(zhǔn)確以及有效，但是由于在一定的測(cè)試環(huán)境中由多個(gè)觀測(cè)者來(lái)對(duì)圖像進(jìn)行評(píng)分，然后對(duì)大量評(píng)分?jǐn)?shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，因此耗時(shí)，不易實(shí)現(xiàn);本文針對(duì)主觀評(píng)價(jià)方法的缺點(diǎn)，構(gòu)建了一種圖像質(zhì)量客觀評(píng)價(jià)模型，設(shè)計(jì)了算法并對(duì)其進(jìn)行計(jì)算機(jī)仿真，實(shí)現(xiàn)了多路圖像質(zhì)量高低定量排序。進(jìn)行對(duì)比實(shí)驗(yàn)，對(duì)該圖像質(zhì)量客觀評(píng)價(jià)模型進(jìn)行驗(yàn)證，實(shí)驗(yàn)結(jié)果表明該模型所采用的客觀圖像質(zhì)量評(píng)價(jià)與主觀評(píng)價(jià)基本保持一致，驗(yàn)證了模型和算法的正確性。

參考文獻(xiàn)

[1] 阮秋琦.數(shù)字圖像處理（MTALAB版）（第二版）[M].北京：電子工業(yè)出版社，2014.

[2] 左飛，萬(wàn)晉森，劉航.數(shù)字圖像處理原理與實(shí)踐[M].北京：電子工業(yè)出版社，2012.

[3] 原魁，何文浩，肖晗.基于FPGA的嵌入式圖像處理系統(tǒng)設(shè)計(jì)[M].北京：電子工業(yè)出版社，2013.

[4] 齊舒.Visual C++.NET高級(jí)編程（第1版）[M].北京：清華大學(xué)出版社，2002.

[5] 葉乃文，王丹.面對(duì)對(duì)象程序設(shè)計(jì)（第2版）[M].北京：清華大學(xué)出版社，2009.