基于深度殘差回歸網(wǎng)絡(luò)和圖像塊預(yù)置信度的盲圖像質(zhì)量評(píng)價(jià)研究①

齊博， 張國(guó)華， 于立子

東北石油大學(xué)秦皇島校區(qū) 大數(shù)據(jù)與計(jì)算機(jī)科學(xué)系，河北 秦皇島 066004

信息傳輸技術(shù)的發(fā)展使圖像這一信息載體形式得到較大范圍的應(yīng)用, 且數(shù)據(jù)網(wǎng)絡(luò)連接密切程度的增加也使社交手段中圖像信息的應(yīng)用頻率提高.圖像信息使用方式在社交生活、安全防范以及交通運(yùn)輸?shù)阮I(lǐng)域均具有較好的、積極的作用, 能有效且直觀地傳達(dá)出信息的表現(xiàn)內(nèi)容.圖像信息質(zhì)量越高, 則其在傳輸過程中的信息損失較小, 但在圖像的采集編碼和傳輸交換等過程中, 不可避免地會(huì)存在因圖像信息失真而致使圖像質(zhì)量較差的問題[1].而且在不同評(píng)價(jià)標(biāo)準(zhǔn)下, 圖像質(zhì)量存在一定的差異, 認(rèn)知體系、環(huán)境條件, 以及評(píng)估者自身心理活動(dòng)和偏好等都會(huì)使圖像在進(jìn)行主觀評(píng)價(jià)時(shí)存在感知差異.盲圖像質(zhì)量評(píng)價(jià)(blind image quality assessment, BIQA)在比較過程中不存在可參考的高清圖像, 其僅從失真圖像本身進(jìn)行評(píng)價(jià), 故其精度很難得到較好的保證.胡晉濱等[2]借助Wasser-stein距離生成條件對(duì)抗網(wǎng)絡(luò)以實(shí)現(xiàn)失真圖像的復(fù)原, 并對(duì)復(fù)原圖像進(jìn)行分塊采樣和卷積處理.通過借助VGG-19卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)池化特征提取、特征灰度處理, 以及圖像與特征之間的對(duì)應(yīng)相似性得分計(jì)算.該研究提出的方法在場(chǎng)景模擬仿真訓(xùn)練中表現(xiàn)出較好的性能和準(zhǔn)確性, 具有較高的主觀一致性.陳勇等[3]提出將空間域和變換域應(yīng)用到盲圖像立體評(píng)價(jià)中以改善立體圖像質(zhì)量預(yù)測(cè)質(zhì)量欠佳的問題, 并將提取的合并場(chǎng)景統(tǒng)計(jì)特征輸入到支持向量機(jī)中, 構(gòu)建特征域上的質(zhì)量分?jǐn)?shù)預(yù)測(cè)模型.結(jié)果證明該方法在立體圖像數(shù)據(jù)評(píng)價(jià)上的均方根誤差為5.603, 具有較高的有效性.借助深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行盲圖像質(zhì)量評(píng)價(jià)能有效實(shí)現(xiàn)對(duì)特征信息的提取, 故本研究提出基于卷積神經(jīng)的殘差網(wǎng)絡(luò)結(jié)構(gòu), 并基于人眼視覺特點(diǎn), 設(shè)置圖像置信區(qū)間, 以更好實(shí)現(xiàn)對(duì)盲圖像的質(zhì)量評(píng)價(jià), 以期提高盲圖像評(píng)價(jià)精度, 提高其應(yīng)用有效性.

1 文獻(xiàn)綜述

針對(duì)當(dāng)前圖文印刷圖像存在失真的問題, 陳富偉等[4]提出以元學(xué)習(xí)方式進(jìn)行盲圖像質(zhì)量評(píng)價(jià), 通過失真先驗(yàn)知識(shí)的獲取、多層次特征獲取以及降維處理及權(quán)值融合等操作構(gòu)建起質(zhì)量評(píng)價(jià)模型.該模型在失真測(cè)試集上所表現(xiàn)出的SRCC值均在0.85以上, 泛化性能表現(xiàn)較好, 具有較高的圖像質(zhì)量預(yù)測(cè)分?jǐn)?shù).面對(duì)當(dāng)前傳統(tǒng)高斯降噪算法的低執(zhí)行效率問題, 徐少平等[5]借助CNN進(jìn)行圖像質(zhì)量感知的盲圖像降噪算法設(shè)計(jì), 即以淺層CNN和深層CNN分別實(shí)現(xiàn)降噪圖像質(zhì)量的初步估值和給定性評(píng)估, 并以分類字典實(shí)現(xiàn)不同噪聲模式的匹配.結(jié)果表明該算法具有較高的降噪效果, 且其在完成效率上表現(xiàn)較好.盲圖像視覺評(píng)價(jià)主要是實(shí)現(xiàn)語(yǔ)言描述與數(shù)字分?jǐn)?shù)的轉(zhuǎn)換, 但其不可避免地存在相關(guān)信息的丟失.心理概念應(yīng)用到盲圖像評(píng)價(jià)模型中, 能通過對(duì)定性評(píng)價(jià)的直接確定以及質(zhì)量標(biāo)簽的等級(jí)處理來(lái)實(shí)現(xiàn)數(shù)據(jù)處理.

針對(duì)當(dāng)前多失真圖像質(zhì)量的評(píng)價(jià)精度較低的問題, 王同樂等[6]提出以信息損失值作為圖像度量值, 借助概率矩陣分解和支持向量回歸進(jìn)行特征向量的構(gòu)建和模型訓(xùn)練.結(jié)果表明該算法與個(gè)體的主觀評(píng)價(jià)結(jié)果具有較高的一致性.將正常照度圖像進(jìn)行低照度合成以及顏色分量的分解, 陳清江等[7]借助特征提取和雙殘差卷積獲得圖像之間的映射關(guān)系, 并以雙邊濾波優(yōu)化增強(qiáng)圖像以使得其趨近于參考圖像.實(shí)驗(yàn)結(jié)果表明該方法下的結(jié)構(gòu)相似度最高趨近于0.95, 盲圖像評(píng)價(jià)指標(biāo)優(yōu)于其他對(duì)比算法, 有效提高了算法運(yùn)行效率.張玉波等[8]提出以注意力機(jī)制實(shí)現(xiàn)圖像盲模糊算法的改進(jìn), 架構(gòu)起多尺度循環(huán)體系, 并以殘差通道選擇模塊和跨層長(zhǎng)連接實(shí)現(xiàn)特征提取以避免圖像紋理缺失而帶來(lái)的精度損失情況.其研究結(jié)果表明該方法較之經(jīng)典去模糊網(wǎng)絡(luò)算法具有較好的應(yīng)用精度, 其結(jié)構(gòu)相似性有所提升.吳夢(mèng)凡等[9]從噪聲估計(jì)、模糊處理和網(wǎng)絡(luò)重建3個(gè)方面進(jìn)行改進(jìn), 并提出降質(zhì)信息估計(jì)的盲圖像復(fù)原算法, 實(shí)現(xiàn)算法的重建處理.其結(jié)果表明該算法在主客觀質(zhì)量評(píng)價(jià)指標(biāo)上表現(xiàn)較好.馮象初等[10]借助L0范數(shù)進(jìn)行稀疏檢驗(yàn), 并借助博弈理論建立起圖像修復(fù)模型, 以交替方向乘子法解決算法問題中的最小化問題和收斂性問題, 結(jié)果表明該方法在主客觀質(zhì)量評(píng)價(jià)指標(biāo)上具有較好的應(yīng)用性和穩(wěn)健性.從圖像的色彩空間特性出發(fā), 陳揚(yáng)等[11]提出基于互補(bǔ)色小波變換的圖像質(zhì)量盲評(píng)價(jià)算法以實(shí)現(xiàn)顏色通道信息的把握.并從自然場(chǎng)景圖像的設(shè)計(jì)以及多尺度及方向進(jìn)行模型構(gòu)建, 結(jié)果表明該評(píng)價(jià)方法能有效實(shí)現(xiàn)失真圖像的特征提取, 并具有較高的評(píng)價(jià)精度.深度學(xué)習(xí)算法能有效對(duì)圖像特性信息進(jìn)行提取, 同時(shí)在盲圖像評(píng)價(jià)指標(biāo)中應(yīng)注重評(píng)價(jià)的全面性.其中結(jié)構(gòu)平衡理論考慮了3條邊的符號(hào)之積來(lái)判定其是否處于平衡狀態(tài), 將該理論應(yīng)用到盲圖像質(zhì)量研究中, 就需要在保證其質(zhì)量精度的同時(shí)滿足人眼視覺系統(tǒng), 保證多維度下質(zhì)量評(píng)價(jià)結(jié)果的平衡.故研究基于深度學(xué)習(xí)網(wǎng)絡(luò), 提出符合視覺系統(tǒng)的圖像置信結(jié)構(gòu), 以期提高圖像質(zhì)量精度.

2 基于深度殘差回歸網(wǎng)絡(luò)和圖像塊預(yù)置信度的盲圖像質(zhì)量評(píng)價(jià)分析

2.1 深度殘差回歸網(wǎng)絡(luò)下的盲圖像質(zhì)量評(píng)價(jià)

盲圖像質(zhì)量評(píng)價(jià)主要包括特征提取和質(zhì)量預(yù)測(cè)兩方面, 其主要是通過衡量圖像的失真情況以及對(duì)模型進(jìn)行訓(xùn)練以實(shí)現(xiàn)圖像在客觀失真下與主觀質(zhì)量的映射關(guān)系.按照其應(yīng)用場(chǎng)景的差異性, 該質(zhì)量評(píng)價(jià)方法包括專用和通用兩種方法, 兩種方法的區(qū)別在于是否對(duì)失真的類型進(jìn)行限定.圖像特征與失真特征的相關(guān)性較差以及模型的預(yù)測(cè)性能有限等問題是當(dāng)前在盲圖像質(zhì)量評(píng)價(jià)中主要出現(xiàn)的問題[12].為較好實(shí)現(xiàn)盲圖像質(zhì)量評(píng)價(jià), 本研究引入CNN進(jìn)行圖像特征提取.CNN作為一種深度學(xué)習(xí)網(wǎng)絡(luò), 包含卷積計(jì)算以及深度結(jié)構(gòu), 其作為一種前饋神經(jīng)網(wǎng)絡(luò)在圖像分類領(lǐng)域有較好的應(yīng)用效果.同時(shí)CNN在訓(xùn)練階段具有較好的反饋效應(yīng)和參數(shù)調(diào)整機(jī)制, 故其在進(jìn)行圖像信息特征抽取時(shí)能較好地考慮到多維度信息結(jié)構(gòu), 并在監(jiān)督學(xué)習(xí)過程中借助映射實(shí)現(xiàn)參數(shù)的最優(yōu)化.CNN的空間不變性使得其在進(jìn)行特征提取時(shí)具有較好的效率, 其結(jié)構(gòu)包括卷積層、激活函數(shù)層、池化層以及全連接層.卷積層和激活函數(shù)層中的參數(shù)多是借助梯度下降法進(jìn)行優(yōu)化, 其中卷積層中的卷積核是實(shí)現(xiàn)特征信息提取的關(guān)鍵步驟.圖像自身具有一定的拓?fù)浣Y(jié)構(gòu), 故其形式多借助矩陣進(jìn)行表達(dá), 參數(shù)優(yōu)化過程就是獨(dú)立卷積核的特征提取單元經(jīng)由線性疊加后的最終優(yōu)化結(jié)果[13].同時(shí)考慮到卷積層數(shù)增多以及網(wǎng)絡(luò)深度的加深會(huì)使得局部特征圖的信息存在丟失的情況, 故本研究對(duì)卷積操作前的圖像進(jìn)行擴(kuò)編補(bǔ)零以減少特征圖不斷縮小的問題.CNN的反向傳播主要是在池化層中進(jìn)行的, 在反向傳播過程中, 池化層的殘差傳播首先需要恢復(fù)到預(yù)處理前的池化大小.隨后判斷前向傳播策略為均值下采樣還是最大下采樣來(lái)進(jìn)行池化殘差的處理, 即對(duì)應(yīng)將殘差值放入平均子矩陣位置還是子矩陣的最大位置.不同卷積層之間的誤差遞推公式可表達(dá)為:

(1)

式中:l,l-1表示卷積層z的當(dāng)前層及前一層,δl表示當(dāng)前層l的誤差,δl-1為l-1層的誤差,w表示卷積層的權(quán)重值,b為偏置項(xiàng),J表示誤差矩陣.對(duì)卷積核在卷積前進(jìn)行翻轉(zhuǎn)以及與誤差矩陣進(jìn)行計(jì)算, 即可得到上一層的誤差.在確定卷積核矩陣元素為wij, 輸入值為矩陣大小為4×4的a時(shí), 則可表示出偏置項(xiàng)的梯度, 即:

(2)

借助(2)式, 可對(duì)每層神經(jīng)元的梯度進(jìn)行推導(dǎo)計(jì)算, 并得到相應(yīng)的卷積層權(quán)值和偏置數(shù).同時(shí)為減少不同頻次特征信息在提取過程中的被稀疏化, 研究在CNN中引入殘差網(wǎng)絡(luò)來(lái)避免梯度消失和爆炸問題.殘差網(wǎng)絡(luò)中的殘差塊結(jié)構(gòu)能在拓寬網(wǎng)絡(luò)層次的同時(shí)降低其層次誤差, 圖1為殘差網(wǎng)絡(luò)結(jié)構(gòu).

圖1 殘差網(wǎng)絡(luò)結(jié)構(gòu)

圖1為ResNet50的結(jié)構(gòu), 輸出值在預(yù)處理后進(jìn)入5個(gè)階段的Block結(jié)構(gòu)中, 并將最后運(yùn)算完成的值輸入到全連接層進(jìn)行分類和歸一化處理.當(dāng)卷積網(wǎng)絡(luò)層結(jié)構(gòu)越大時(shí), 相應(yīng)的神經(jīng)網(wǎng)絡(luò)具有較高的函數(shù)適應(yīng)性, 但其相應(yīng)也會(huì)使得網(wǎng)絡(luò)對(duì)數(shù)據(jù)的依賴程度加深進(jìn)而導(dǎo)致過擬合現(xiàn)象的產(chǎn)生.深度殘差網(wǎng)絡(luò)在進(jìn)行信息的輸入與層級(jí)傳輸時(shí), 會(huì)加入恒等映射來(lái)避免這種情況.同時(shí)殘差塊結(jié)構(gòu)中的輸入與輸出之間存在短連接, 其能有效實(shí)現(xiàn)映射關(guān)系的擬合.殘差單元的函數(shù)關(guān)系可表示為:

(3)

式中:xk表示第k個(gè)殘差單元的輸入,yk為第k個(gè)殘差單元的輸出,F(xk,wk)表示優(yōu)化目標(biāo).每個(gè)殘差結(jié)構(gòu)之間均存在激活函數(shù)h, 令h(xk)=xk,xk+1=yk, 則可以得到反向傳播公式為:

(4)

式中:ε表示損失函數(shù),L表示殘差單元數(shù).同時(shí)考慮到數(shù)據(jù)庫(kù)中的圖像大小具有不完全一致性, 難以適應(yīng)全連接層對(duì)特征向量維度處理的固定統(tǒng)一性, 故需要在網(wǎng)絡(luò)設(shè)計(jì)時(shí)將卷積層的特征圖進(jìn)行轉(zhuǎn)化, 保持維數(shù)相同.原有卷積網(wǎng)絡(luò)的原始圖像會(huì)經(jīng)由卷積處理和池化操作, 進(jìn)而得到特征信息圖, 且圖中被標(biāo)注的目標(biāo)區(qū)域經(jīng)過映射處理后可得到映射區(qū).本研究基于感興趣區(qū)的磁化特性, 提出以非均勻步長(zhǎng)池化處理來(lái)實(shí)現(xiàn)特征圖的不同移動(dòng)步長(zhǎng)的設(shè)置, 即不同大小的輸入圖像在經(jīng)由卷積處理后得到的特征圖在最大池化過程中具有步長(zhǎng)差異[14].應(yīng)用在盲圖像質(zhì)量評(píng)價(jià)中的深度殘差網(wǎng)絡(luò)回歸模型的學(xué)習(xí)以差異平均主觀分?jǐn)?shù)(difference mean opinion score, DMOS)數(shù)據(jù)為標(biāo)記.卷積層中的特征向量為固定維數(shù), 且網(wǎng)絡(luò)輸出值為全連接層的最值節(jié)點(diǎn), 該方法減少了激活函數(shù)的映射處理, 可直接得到圖像的質(zhì)量評(píng)價(jià)分?jǐn)?shù).

2.2 基于圖像預(yù)測(cè)以及區(qū)域置信度的盲圖像質(zhì)量評(píng)價(jià)

對(duì)深度殘差網(wǎng)絡(luò)模型進(jìn)行優(yōu)化, 即在原有殘差塊結(jié)構(gòu)中加入1×1大小的卷積核, 對(duì)其進(jìn)行先降維后升維的操作, 并在輸出維度差異下對(duì)輸入值進(jìn)行線性映射變換, 減少參數(shù)量以提升計(jì)算效率.圖2為殘差塊參數(shù)改進(jìn)示意圖.

圖2 殘差塊的參數(shù)改進(jìn)

隨后研究選擇平滑損失函數(shù)作為模型構(gòu)建的損失函數(shù), 其數(shù)學(xué)表達(dá)如式為:

(5)

圖3 深度殘差網(wǎng)絡(luò)回歸模型的示意圖

數(shù)據(jù)庫(kù)樣本量的限制在一定程度上會(huì)造成算法網(wǎng)絡(luò)的過擬合問題, 故本研究設(shè)計(jì)對(duì)圖像進(jìn)行分塊處理, 并對(duì)不同圖像子塊的預(yù)測(cè)分?jǐn)?shù)進(jìn)行計(jì)算及其與圖像真實(shí)分?jǐn)?shù)之間的擬合程度進(jìn)行計(jì)算.不同圖像尺寸劃分下預(yù)測(cè)結(jié)果與真實(shí)結(jié)果之間的一致性存在差異, 亮度對(duì)比情況、紋理豐富程度以及背景區(qū)域內(nèi)容和邊緣結(jié)構(gòu)信息等指標(biāo)是比較圖像差異的重要內(nèi)容.圖像子塊的比較結(jié)果與預(yù)測(cè)值之間可構(gòu)建起相關(guān)置信度模型, 且不同圖像子塊因預(yù)測(cè)分?jǐn)?shù)的差異可表現(xiàn)出不同的置信度, 通過對(duì)不同子圖像塊進(jìn)行預(yù)測(cè)分析, 就可得到與人眼主觀感知系統(tǒng)相一致的結(jié)果.同一幅圖像中的不同區(qū)域目標(biāo)所包含的信息也有所不同, 圖像的均方根誤差越大表明其對(duì)比度越大, 被感知的程度越明顯, 且絕對(duì)亮度的差異也能表現(xiàn)不同圖像子塊之間的區(qū)別.故本研究設(shè)計(jì)基于置信度差異的預(yù)測(cè)分?jǐn)?shù)加權(quán)算法, 以此提高評(píng)價(jià)的一致性.在置信區(qū)間構(gòu)建過程中, 亮度差異所表現(xiàn)出的圖像預(yù)測(cè)偏差最為明顯, 但其數(shù)量相對(duì)較少, 故本研究以亮度均值的殘差來(lái)實(shí)現(xiàn)不同亮度圖像的大小排序, 并得到圖像塊預(yù)測(cè)分?jǐn)?shù)的置信區(qū)間.

-n*σE≤P≤n*σE

(6)

式中:n表示經(jīng)驗(yàn)值,σE為殘差數(shù)據(jù)的標(biāo)準(zhǔn)差,E為殘差按其絕對(duì)值大小進(jìn)行排序的結(jié)果,P表示待評(píng)價(jià)圖像.依據(jù)置信區(qū)間, 則可得到圖像子塊的數(shù)量、均方根誤差和圖像子塊對(duì)應(yīng)的預(yù)測(cè)質(zhì)量分?jǐn)?shù).

③靳靜：《反壟斷法價(jià)格協(xié)同行為的認(rèn)定研究——以艾司唑侖藥品壟斷案為例》，載《反壟斷法》2016年第9期。

(7)

式中:N為圖像子塊的數(shù)量,C和S為均方根誤差和預(yù)測(cè)質(zhì)量分?jǐn)?shù).同時(shí)考慮到不同對(duì)比度大小劃分下的子塊預(yù)測(cè)結(jié)果與其真實(shí)質(zhì)量分?jǐn)?shù)之間具有一定的差異, 故本研究借助高斯離散化模型進(jìn)行置信度計(jì)算.通過對(duì)不同子塊與最大對(duì)比度子塊之間的距離進(jìn)行計(jì)算, 得到子塊所對(duì)應(yīng)的貢獻(xiàn)程度, 降低偏差較大的局部區(qū)域?qū)︻A(yù)測(cè)結(jié)果的干擾.高斯擬合函數(shù)的數(shù)學(xué)表達(dá)為:

(8)

式中:σ表示置信因子,gi為圖像子塊的亮度,di為gi與亮度對(duì)比最大的圖像子塊之間的最大距離.置信度在最大距離處趨近于0, 對(duì)圖像子塊的置信度進(jìn)行歸一化處理, 其計(jì)算公式為:

(9)

以歸一化后的置信度作為圖像子塊的權(quán)重, 即可實(shí)現(xiàn)對(duì)圖像子塊分?jǐn)?shù)的預(yù)測(cè)處理.整體的算法流程見圖4.

圖4 算法流程

在圖4中, 對(duì)圖像子塊的篩選需要符合人眼視覺, 且計(jì)算各圖像子塊的均方根誤差與最大值之間的距離是進(jìn)行置信區(qū)間重新設(shè)計(jì)的關(guān)鍵, 以歸一化后的置信度作為權(quán)重來(lái)實(shí)現(xiàn)對(duì)圖像質(zhì)量的預(yù)測(cè), 能有效實(shí)現(xiàn)對(duì)圖像信息特征的提取.

3 盲圖像質(zhì)量評(píng)價(jià)應(yīng)用效果分析

在實(shí)驗(yàn)過程中, 研究在LiVe圖像數(shù)據(jù)庫(kù)中選取大型合成失真數(shù)據(jù)集和真實(shí)失真數(shù)據(jù)集來(lái)組成樣本實(shí)驗(yàn)數(shù)據(jù), 并在實(shí)驗(yàn)過程中按照6∶4的比例將實(shí)驗(yàn)數(shù)據(jù)劃分為測(cè)試數(shù)據(jù)和訓(xùn)練數(shù).其中對(duì)訓(xùn)練樣本數(shù)據(jù)進(jìn)行旋轉(zhuǎn)以及鏡像等無(wú)損處理以保證樣本數(shù)據(jù)分布的均衡, 并對(duì)其進(jìn)行顏色通道處理, 得到失真圖像120幅.其失真類型包括高斯白噪聲、空間相關(guān)噪聲、JPEG壓縮以及均值偏移等.裁剪上述圖像樣本, 得到像素尺寸分別為256,128,64以及32的圖像子塊.并將裁剪得到的圖像子塊納入實(shí)驗(yàn)檢驗(yàn)中.訓(xùn)練過程中, 統(tǒng)一設(shè)置訓(xùn)練批次為16, 初始學(xué)習(xí)率為0.001, 最大迭代次數(shù)為2 000.對(duì)本研究對(duì)圖像進(jìn)行分塊處理后的數(shù)據(jù)增強(qiáng)效果進(jìn)行分析, 其結(jié)果見圖5.

圖5 本研究算法改進(jìn)前后的圖像處理結(jié)果

從圖5可以看出, 在對(duì)模型數(shù)據(jù)進(jìn)行增強(qiáng)前, 本研究提出的算法在改進(jìn)后的Pearson 相關(guān)系數(shù)和Spearman 等級(jí)相關(guān)系數(shù)均值分別為0.937 6和0.951 3, 且數(shù)據(jù)的損失情況有所改善, 有效避免了數(shù)據(jù)的過擬合問題, 泛化性能得到了進(jìn)一步的提高.隨后對(duì)本研究提出的圖像子塊預(yù)測(cè)結(jié)果進(jìn)行分析, 并以統(tǒng)計(jì)均值作為預(yù)測(cè)分?jǐn)?shù), 其結(jié)果見表1.

表1 圖像子塊的預(yù)測(cè)分?jǐn)?shù)均值結(jié)果

表2 本研究方法在不同數(shù)據(jù)類型上的圖像質(zhì)量評(píng)分

表2中的數(shù)據(jù)類型涉及交通工具、建筑、人物和自然場(chǎng)景等內(nèi)容.表2結(jié)果表明, 本研究提出的方法所表現(xiàn)出的均方根差均小于9, 且其SROCC值指標(biāo)和PLCC值在10種數(shù)據(jù)類型下的數(shù)值均在0.9以上, 其均值為0.953 1和0.933 7.說明本研究提出的算法能有效實(shí)現(xiàn)圖像信息的提取, 具有較好的評(píng)價(jià)一致性.隨后選擇較為常見的盲圖像質(zhì)量評(píng)價(jià)方法與研究提出的方法進(jìn)行對(duì)比, 并對(duì)每一類圖像數(shù)據(jù)進(jìn)行隨機(jī)抽取, 以反復(fù)試驗(yàn)5次之后的結(jié)果中值為實(shí)驗(yàn)結(jié)果.此處用到的比較算法為無(wú)參考空間域圖像質(zhì)量評(píng)估算法(blind/referenceless image spatial quality evaluator, BRISQUE)、失真圖像評(píng)估算法(distortion identification-based image verity and integrity evaluation, DIIVINE)、基于代碼無(wú)參考評(píng)價(jià)算法(codebook representation for no-reference image, CORNIA)以及基于CNN的評(píng)估算法(image quality assessment-convolutional neural network, IQA-CNN).并借助相關(guān)評(píng)價(jià)指標(biāo)對(duì)失真圖像的預(yù)測(cè)結(jié)果進(jìn)行一致性分析, 其結(jié)果見表3.

表3 不同算法的圖像質(zhì)量

表3結(jié)果表明, 在高斯白噪聲失真圖像中, SROCC值和PLCC值從大到小分別為: 本研究算法,IQA-CNN,DIIVINE,CORNIA,BRISQUE; 本研究算法,IQA-CNN,CORNIA,DIIVINE,BRISQUE.本研究提出的方法與IQA-CNN算法的質(zhì)量效果與主觀評(píng)價(jià)效果具有較高的一致性, 但本研究提出的方法的RMSE值(5.298 2)明顯低于IQA-CNN算法(9.851 7).在空間相關(guān)噪聲、JPEG壓縮以及均值偏移3種失真圖像中, 本研究提出的方法所表現(xiàn)的測(cè)試指標(biāo)效果最好, 且其誤差值均低于4, 其與最大均方根誤差之間的差值幅度達(dá)到了38.77%,45.68%和62.73%.上述結(jié)果表明, 本研究提出的盲質(zhì)量評(píng)價(jià)算法表現(xiàn)出較好的主觀一致性, 且其預(yù)測(cè)結(jié)果與真實(shí)值之間的偏差較小, 能較好適應(yīng)不同失真圖像類型, 魯棒性較強(qiáng).隨后對(duì)失真圖像的均方根對(duì)比情況與預(yù)測(cè)分?jǐn)?shù)之間的分布情況進(jìn)行統(tǒng)計(jì), 其結(jié)果見圖6.

圖6 失真圖像的均方根對(duì)比情況與預(yù)測(cè)分?jǐn)?shù)之間的分布情況

圖6中橫坐標(biāo)表示圖像DMOS值與預(yù)測(cè)質(zhì)量分?jǐn)?shù)的差值, 其數(shù)值越靠近0, 則表明其預(yù)測(cè)結(jié)果的偏差越小, 縱坐標(biāo)表示圖像對(duì)比度的差值, 其數(shù)值越大表明其對(duì)比度越小.圖6結(jié)果表明, 本研究提出的算法對(duì)圖像預(yù)測(cè)結(jié)果表現(xiàn)出較好的特征區(qū)別度, 其數(shù)值基本都靠近數(shù)值0, 較少受到噪聲數(shù)據(jù)的影響.隨后對(duì)模型的預(yù)測(cè)值與主觀值的擬合結(jié)果進(jìn)行分析, 其結(jié)果見圖7.

圖7 失真圖像類型下的模型預(yù)測(cè)值與主觀值之間的擬合曲線

圖7中的曲線和坐標(biāo)點(diǎn)分別表示DMOS值和擬合曲線, 圖7結(jié)果表明, 無(wú)論是否對(duì)失真圖像類型進(jìn)行劃分, 本研究所提出的模型對(duì)圖像質(zhì)量評(píng)價(jià)的擬合效果均更好, 所表現(xiàn)出的聚集程度更為明顯, 且主客觀評(píng)價(jià)分值具有較高的一致性.

4 結(jié)論

本研究對(duì)CNN進(jìn)行了改進(jìn), 通過引入殘差結(jié)構(gòu)以及圖像子塊置信度設(shè)置來(lái)實(shí)現(xiàn)對(duì)盲圖像質(zhì)量評(píng)價(jià)效果的提升, 并對(duì)本研究提出的方法進(jìn)行檢驗(yàn), 結(jié)果表明本方法有效避免了數(shù)據(jù)的過擬合問題, 且其在256×256,128×128,64×64,32×32尺寸下的失真圖像預(yù)測(cè)分?jǐn)?shù)提升最大達(dá)到了3.88%,3.49%,3.51%,3.21%.在10種數(shù)據(jù)類型下, 本研究提出的方法的均方根差均小于9, 其SROCC指標(biāo)和PLCC指標(biāo)均值為0.953 1和0.933 7, 具有較高的評(píng)價(jià)一致性.同時(shí)在算法對(duì)比實(shí)驗(yàn)中, 本研究提出的算法在高斯白噪聲失真圖像中的SROCC指標(biāo)和PLCC指標(biāo)均最優(yōu), 其RMSE值(5.298 2)明顯低于IQA-CNN算法(9.851 7), 在其他3種失真圖像類型下的最大均方根誤差比較差值幅度達(dá)到了38.77%,45.68%和62.73%, 圖像預(yù)測(cè)偏差較小, 且其主客觀評(píng)分?jǐn)M合曲線受失真圖像類型的干擾較小.考慮其他符合人眼視覺特性的圖像質(zhì)量評(píng)價(jià)指標(biāo)是今后研究需要進(jìn)一步改進(jìn)的內(nèi)容.