基于多核學(xué)習(xí)和四元數(shù)小波變換的無(wú)參考圖像質(zhì)量評(píng)價(jià)

武利秀，姚曉峰，王 松，高 雙

（1.無(wú)錫太湖學(xué)院 江蘇省物聯(lián)網(wǎng)應(yīng)用技術(shù)重點(diǎn)建設(shè)實(shí)驗(yàn)室，江蘇 無(wú)錫 214000；2.文思海輝元輝科技（無(wú)錫）有限公司，江蘇 無(wú)錫 214000）

隨著多媒體技術(shù)和數(shù)字圖像技術(shù)的發(fā)展，對(duì)圖像質(zhì)量評(píng)價(jià)的需求也越來(lái)越高。傳統(tǒng)的圖像質(zhì)量評(píng)價(jià)有兩種失真度量：主觀(guān)感覺(jué)評(píng)價(jià)法、客觀(guān)質(zhì)量評(píng)價(jià)法，主要是利用人類(lèi)視覺(jué)系統(tǒng)（Human Visual Aystem，HVS）的某些特征來(lái)運(yùn)作。其中，客觀(guān)質(zhì)量評(píng)價(jià)方法根據(jù)是否存在參考圖像分為3類(lèi)[1]：（1）全參考（Full-Reference，F(xiàn)R）圖像質(zhì)量評(píng)價(jià)方法，提前知道原圖像和失真圖像，通過(guò)比較兩者之間的相互關(guān)聯(lián)來(lái)得到失真圖像質(zhì)量的評(píng)價(jià)分。盡管Shao等[2]、Bensalma等[3]研究的全參考評(píng)價(jià)方法能夠很好地預(yù)測(cè)圖像質(zhì)量，但是在實(shí)際應(yīng)用中很難得到原始圖像的信息。（2）部分參考（Reduced-Reference，RR）圖像質(zhì)量評(píng)價(jià)方法，是利用原圖像的部分信息來(lái)預(yù)測(cè)失真圖像的質(zhì)量評(píng)價(jià)值。（3）無(wú)參考（No-Reference，NR）的圖像質(zhì)量評(píng)價(jià)方法，不需要獲取原圖像的相關(guān)信息。

近年來(lái)，具有多尺度分析特征的小波變換應(yīng)運(yùn)而生，應(yīng)用場(chǎng)景廣泛，如紋理分析等。傳統(tǒng)的小波變換只是把圖像分解為固定方向的平滑子帶（水平、垂直、對(duì)角線(xiàn)），制約了對(duì)于旋轉(zhuǎn)不變紋理圖像的分析。因?yàn)樗脑獢?shù)能夠表示二維實(shí)值信號(hào)，所以相應(yīng)的基于四元數(shù)的小波函數(shù)的構(gòu)造就成為解析二維信號(hào)的關(guān)鍵。其中，四元數(shù)小波變換（Quaternion Wavelet Transform，QWT）是實(shí)小波的改進(jìn)和復(fù)小波的推廣，具有近似平移不變性，能夠提供二維圖像的相位信息。四元數(shù)小波變換具有旋轉(zhuǎn)不變性，并且在相位表示特性和方向性方面表現(xiàn)較好。那么，傳統(tǒng)小波變換在圖像處理中所具有的不足都可以通過(guò)這些特性彌補(bǔ)。當(dāng)前，國(guó)內(nèi)外已將四元數(shù)小波變換應(yīng)用到圖像處理領(lǐng)域的研究。Chen等[4]分別提出了基于空間域和NSS特性的NR立體圖像質(zhì)量評(píng)價(jià)。熊潤(rùn)生等[5]為簡(jiǎn)單使用小波變換對(duì)立體圖像進(jìn)行評(píng)價(jià)，通過(guò)獲得圖像小波系數(shù)及子帶能量作為圖像的感知特性。

本文將QWT理論與多核學(xué)習(xí)（Multi-Kernel Learning，MKL）相結(jié)合，進(jìn)行立體圖像的無(wú)參考圖像質(zhì)量評(píng)價(jià)，主要研究的是如何運(yùn)用廣義高斯分布對(duì)四元數(shù)小波子帶進(jìn)行建模及模型參數(shù)的估計(jì)問(wèn)題。通過(guò)實(shí)驗(yàn)分析得知，該算法適用于每一類(lèi)立體失真圖像，有較好的主客觀(guān)一致性，且徑線(xiàn)性相關(guān)系數(shù)（Linear Correlation Coefficient，LCC）和斯皮爾曼等級(jí)相關(guān)系數(shù)（Spearman Rank Correlation Coefficient，SROCC）最高可達(dá)到0.991和0.954。

1 相關(guān)理論基礎(chǔ)

1.1 四元數(shù)小波變換

QWT結(jié)合了四元數(shù)代數(shù)理論、四元解析信號(hào)以及小波變換理論，是一種分析二維解析信號(hào)的多尺度工具，主要是進(jìn)行由上而下的參數(shù)估計(jì)[6]，二維四元數(shù)解析信號(hào)定義為如式（1）：

其中，函數(shù)fH1和fH2為部分希爾伯特變換函數(shù)，fHi為全希爾伯特變換函數(shù)。QWT的主要思想是運(yùn)用四元數(shù)代數(shù)對(duì)小波變換、全希爾伯特變換以及部分希爾伯特變換進(jìn)行靈活的處理。

1.2 多核學(xué)習(xí)

在核機(jī)器學(xué)習(xí)領(lǐng)域研究的熱點(diǎn)問(wèn)題之一就是多核學(xué)習(xí)，通過(guò)對(duì)不同的特征采取不同的核、對(duì)不同的參數(shù)組成多個(gè)核，訓(xùn)練每個(gè)核的權(quán)重，選出最佳核函數(shù)組合來(lái)進(jìn)行分類(lèi)。要想取得很好的分類(lèi)效果、對(duì)多個(gè)核函數(shù)進(jìn)行組合，該形式是必然的選擇，多核學(xué)習(xí)的主要作用就是解決這類(lèi)問(wèn)題。本文所要研究的圖像內(nèi)容之間具有特征矩陣分布不均勻等方面的問(wèn)題，因此，選用多核學(xué)習(xí)的方法，來(lái)對(duì)各種失真圖像進(jìn)行分類(lèi)和預(yù)測(cè)。

1.3 相位特征提取

自然圖像的小波系數(shù)各子帶系數(shù)值幾乎都在零附近左右對(duì)稱(chēng)分布，在零點(diǎn)處達(dá)到最大值，形成一個(gè)峰值，并且有很長(zhǎng)的拖尾，比較符合廣義高斯分布（Generalized Gaussian Distribution，GGD），因此，GGD常用來(lái)對(duì)小波子帶系數(shù)的分布規(guī)律進(jìn)行參數(shù)化建模，并且通過(guò)估計(jì)到參數(shù)值，來(lái)衡量子帶系數(shù)的分布情況。

1.4 視差信息提取

圖像的深度信息可以由圖像的視差圖來(lái)體現(xiàn)，視差圖信息在對(duì)立體圖像質(zhì)量的評(píng)價(jià)方面發(fā)揮著極其重要的作用。本文采用基于結(jié)構(gòu)相似度（SSIM）匹配的算法來(lái)提取視差圖，對(duì)于生成的視差，通過(guò)Matlab函數(shù)std2計(jì)算矩陣元素的標(biāo)準(zhǔn)偏差，通過(guò)mean2和entropy分別計(jì)算矩陣元素的均值和失真圖像的信息熵作為特征。

2 實(shí)驗(yàn)步驟

本文根據(jù)失真類(lèi)型的不同、失真等級(jí)的差異來(lái)評(píng)測(cè)圖像質(zhì)量。實(shí)驗(yàn)具體步驟如下：首先，將立體圖像的左右視圖分別輸入到視差圖提取算法中，獲得圖像的視差圖。其次，將立體圖像的左視圖和右視圖用PCA融合為一幅圖像。再次，對(duì)PCA融合后的圖像進(jìn)行四元數(shù)小波變換，對(duì)高頻子帶系數(shù)用GGD方式擬合，對(duì)低頻子帶系數(shù)提取均值和信息熵。最后，對(duì)83維特征，隨機(jī)抽取80%的圖片集作為訓(xùn)練集，同時(shí)，輸入到多核學(xué)習(xí)機(jī)上進(jìn)行學(xué)習(xí)，其余的20%作為測(cè)試集，用于評(píng)定圖像的質(zhì)量得分。為了檢驗(yàn)?zāi)Ｐ偷目煽啃裕緦?shí)驗(yàn)重復(fù)100次，取其平均值作為最終的實(shí)驗(yàn)結(jié)果。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 實(shí)驗(yàn)數(shù)據(jù)庫(kù)

本文實(shí)驗(yàn)使用的是德州大學(xué)奧斯汀分校提供的LIVE3D圖像質(zhì)量數(shù)據(jù)庫(kù)[7]（見(jiàn)表1）含有PhaseI庫(kù)和PhaseII庫(kù)，其中，PhaseI中為對(duì)稱(chēng)失真，即左右視圖的失真等級(jí)相同，該庫(kù)含有原始圖像20對(duì)，其中，JPEG，JP2K，WN，F(xiàn)F這4種失真類(lèi)型包含80對(duì)圖像，GBLUR失真包含45對(duì)圖像，共365幅失真圖像；PhaseII為對(duì)稱(chēng)失真和非對(duì)稱(chēng)失真，該庫(kù)包含8對(duì)原始立體圖像，每種失真類(lèi)型都含有72對(duì)失真圖像，并且失真圖像中存在有3對(duì)對(duì)稱(chēng)失真圖像和6對(duì)非對(duì)稱(chēng)失真圖像，總共360幅失真圖像。兩個(gè)立體圖像庫(kù)都提供了每對(duì)圖像的DMOS值，其中，DMOS值代表圖像的主觀(guān)質(zhì)量分。

3.2 實(shí)驗(yàn)結(jié)果

本文選用SROCC和LCC兩個(gè)指標(biāo)，來(lái)評(píng)估本文算法的預(yù)測(cè)質(zhì)量得分與人類(lèi)主觀(guān)感知的相關(guān)性，其中，斯皮爾曼等級(jí)相關(guān)系數(shù)反映預(yù)測(cè)值與DMOS值的單調(diào)性，取值范圍為[-1, 1]，絕對(duì)值越接近1，表明客觀(guān)圖像質(zhì)量評(píng)價(jià)算法單調(diào)性越好；徑線(xiàn)性相關(guān)系數(shù)取值范圍在[0, 1]，取值越靠近1，說(shuō)明客觀(guān)圖像評(píng)價(jià)算法越精準(zhǔn)。本文選取立體圖像數(shù)據(jù)庫(kù)的80%作為訓(xùn)練集，20%作為測(cè)試集。具體如表2—5所示。

表1 LIVE 3D圖像質(zhì)量數(shù)據(jù)庫(kù)

表2 LIVE 3D圖像質(zhì)量數(shù)據(jù)庫(kù)PhaseI的SROCC

表3 LIVE 3D圖像質(zhì)量數(shù)據(jù)庫(kù)PhaseI的LCC

表4 LIVE 3D圖像質(zhì)量數(shù)據(jù)庫(kù)PhaseII的SROCC

表5 LIVE 3D圖像質(zhì)量數(shù)據(jù)庫(kù)PhaseII的LCC

3.3 實(shí)驗(yàn)分析

從表2—5可以看出，本文所用方法無(wú)論在對(duì)稱(chēng)立體圖像失真數(shù)據(jù)庫(kù)（PhaseI）上，還是在非對(duì)稱(chēng)立體圖像失真數(shù)據(jù)庫(kù)（PhaseII）上，和圖像的主觀(guān)評(píng)價(jià)都有很好的一致性。相對(duì)所有列出的在該圖像庫(kù)中研究的最新方法，本文方法在5種失真類(lèi)型中均有較好的表現(xiàn)，而且更加穩(wěn)定。

4 結(jié)語(yǔ)

本文提出了一種基于相多核學(xué)習(xí)和四元數(shù)小波變換的無(wú)參考立體圖像質(zhì)量評(píng)價(jià)模型，利用圖像融合技術(shù)對(duì)左右視圖融合，對(duì)融合后的圖像進(jìn)行QWT，對(duì)高頻子帶系數(shù)用GGD方式擬合，對(duì)低頻子帶系數(shù)提取均值和信息熵等。主要針對(duì)立體失真圖像，評(píng)價(jià)結(jié)果與人的視覺(jué)感知質(zhì)量評(píng)價(jià)具有較好的一致性。