基于深度學習的無參考圖像質量評價綜述

韓 翰， 卓 力*， 張 菁， 李嘉鋒

(1.計算智能與智能系統北京市重點實驗室，北京 100124； 2.北京工業大學 信息學部 微電子學院，北京 100124)

隨著信息化時代的發展，數字圖像在各種行業中扮演著越來越重要的角色[1]。數字圖像可以被采集、傳輸和應用到不同的場景中[2]，發揮巨大的作用，例如智能安防、智慧交通等。而數字圖像在采集、傳輸和處理的過程中，由于各種因素的影響，不可避免地會引入各種失真[3-4]，導致圖像質量下降。其中最常見的失真類型包括壓縮、噪聲、模糊等。如何對圖像的失真程度進行評估，判斷圖像質量是否滿足應用要求就顯得至關重要。

圖像質量評價(Image Quality Assessment,IQA)是圖像處理、圖像/視頻編碼等領域的基礎性問題，可以廣泛應用于評價圖像處理算法的性能和指導處理算法的設計。例如，IQA可以被用在圖像超分辨率重建任務中，幫助生成高精度、高質量、高分辨率的清晰圖像[5]；類似的應用還包括圖像復原，借助IQA可以設計復原模型幫助去除失真圖像的模糊、噪點、水印等[6-7]；在手機、攝像機等圖像采集設備中，IQA被用于評估和調試產品的成像參數。此外，IQA還被廣泛應用于遙感領域，可用于收集和過濾遙感圖像信息，以及幫助識別和分類感興趣區域等[8]。

本文旨在對近年來出現的各種無參考圖像質量評估方法進行綜述。首先介紹圖像主觀、客觀質量評價方法，然后著重介紹無參考質量評價中的一些代表性工作，以及IQA領域常用的數據集和評價指標。之后對一些常見的無參考IQA方法進行性能比較,最后給出結論和展望。

1 IQA方法分類

IQA根據打分方式可以分為主觀質量評價方法和客觀質量評價方法兩種[9]。下面對這兩種方法進行介紹。

1.1 主觀質量評價

主觀IQA法通過觀測者的主觀打分來判斷圖像質量[10]。其具體的做法是：讓觀測者根據事先規定好的評價準則或者自己的主觀經驗，對待評價圖像按照視覺效果做出質量判斷，并給出質量分數，最后對所有評價人員給出的質量分數進行加權平均，得到的結果就是該幅圖像的平均主觀分值(Mean Opinion Score,MOS)。MOS得分越高則說明圖像的質量越好。

這種打分方式由于綜合了多個評價人員的意見，所以可以直接反映人的主觀感受，是最為準確、可靠的質量評價方法。主觀質量評分法又可以分為絕對評價和相對評價兩類。絕對主觀評價是在無標準的參考情況下將圖像按照視覺感受分級進行評分，評價人員除了直接觀察，還需要借助自身的經驗給出圖像失真程度的判斷。它相對主觀評價方法增加了標準圖像的參考，評價人員在此基礎上再進行分級和判斷好壞，最后給出相應的圖像質量評分結果。國際電信聯盟[11]提供了多種主觀評價方法的操作標準，其中具有代表性的有3種，分別是雙刺激損傷分級法、雙刺激連續質量分級法和單刺激連續質量分級法。

主觀IQA方法的優點是可以真實地反映人的主觀視覺感受，評價結果直接、準確、可靠。但是該方法通常受觀測環境和實驗人員數量等客觀因素影響，存在很多的局限性，例如存在操作難度大、實現起來比較困難等問題，無法滿足實際應用需求。

1.2 客觀質量評價

客觀IQA方法是一種根據人眼的視覺系統建立數學模型，對待測圖像進行打分的評價方式。這種方法成本低，具有可批量處理、結果可重現等優點，更容易被應用于多種場景中。根據對參考圖像的依賴程度，客觀質量評價方法可分為三類，即全參考、半參考和無參考評價方法。

1.2.1 全參考評價

全參考評價利用全部原始圖像的信息，通過計算待評價圖像與原始圖像之間的偏差來進行質量評估。早期最具代表性的方法是均方差(Mean Square Error,MSE)和峰值信噪比(Peak Signal Noise Ratio,PSNR)[12-13]。下面給出這兩種評價指標的數學表達式：

(1)

(2)

式中：MSE為均方差；L為圖像量化的灰度級數。

MSE和PSNR的計算形式易于理解，物理含義清晰，但是這種方法并沒有考慮人類視覺系統對失真差異的感知能力，只從數學方面進行了失真圖像和原圖之間的距離度量。這種方法往往會出現主客觀評價結果不一致的問題，無法準確反映出用戶觀看視頻的主觀體驗[14]。

基于此，學者們開展了基于人眼視覺特性的客觀IQA方法的研究，并成為現階段IQA的研究熱點。2004年，Wang等[15]提出了結構相似性(Structural Similarity,SSIM)度量算法，SSIM認為人類視覺感知能高度自適應提取場景中的結構信息，因此分別度量參考圖像和失真圖像之間的亮度、對比度和結構等信息的失真，最后綜合3種因素完成圖像質量打分。SSIM的取值范圍是[0,1]，值越大，表明圖像質量越好。在此基礎上，人們提出了各種SSIM的改進算法。例如，Chen等[16]提出了基于梯度的結構相似度(Gradient-Based Structural Similarity,GSSIM)算法，首先對參考圖像和失真圖像分別求梯度，然后在梯度圖像的基礎上進行距離度量。類似的工作還有MS-SSIM(Multi-Scale Structural Similarity)[17]和IW-SSIM(Information Content Weighted Structural Similarity)[18]等。

還有一些方法是基于人眼視覺系統(Human Visual System,HVS)的特性進行建模[19-21]。這種方法將失真圖像和參考圖像之間的絕對誤差映射為能被人眼覺察的單位[22]。當誤差映射后不能夠被人眼捕捉到，那么這部分誤差量就被忽略，可以被人眼察覺到的絕對誤差則被保留并計算。

1.2.2 半參考評價

半參考評價方法[23-24]通過提取圖像的部分信息，利用參考圖像進行特征提取和分數回歸，進而完成圖像質量分數預測。這樣的做法具有計算量小、評價準確的優點。

與全參考評價方法不同的是半參考評價方法只比較參考圖像和失真圖像之間的部分信息。Soundararajan等[25]提出的基于信息理論的半參考熵差異(Reduced Reference Entropic Differencing,RRED)的IQA方法[25]是具有代表性的半參考評價方法之一。該方法將原始圖像和失真圖像分解為不同方向和尺度的分量，并進一步度量原始圖像和失真圖像有關小波系數的熵差異以計算相應的圖像質量分數。王體勝等[26]提出首先提取圖像中的視覺敏感系數，再通過統計失真圖像與原始視覺圖像視覺敏感系數的關系來評價圖像質量。

目前,全參考和半參考評價方法的準確性越來越高，但其缺點是都需要提供原始的參考圖像，這在實際應用中通常很難獲得，因此這兩種評價方法的應用范圍受到了極大限制。

1.2.3 無參考評價

圖像的無參考評價(No-Reference Image Quality Assessment,NR-IQA)是目前圖像客觀質量評價的研究難點和熱點。這種評價方法無須任何原始參考圖像信息，僅利用圖像自身的特征進行質量評估，因此非常靈活，可以廣泛應用于各種場景。早期的NR-IQA方法更多地是面向特定類型的失真評價任務。這類方法利用圖像的統計信息可以對已知失真類型的圖像進行質量評價，但是當面臨評價未知失真類型的圖像質量時就會受到局限[27]。目前，NR-IQA的研究趨勢逐漸轉為面向通用失真類型的圖像進行失真類型預測和失真程度度量，這種趨勢正成為研究的主流方向。

下面對近年來面向非特定失真類型的NR-IQA的研究進展進行綜述。

2 無參考圖像質量評價研究進展

根據所采用的框架，NR-IQA方法可以分為兩類，如圖1所示。第一類采用“特征提取+回歸/擬合”的框架，首先提取圖像的特征，然后采用機器學習的方法建立特征與質量分數之間的映射模型；第二類采用端到端的框架，通過深度學習直接建立待觀測圖像與質量分數之間的映射模型。

圖1 NR-IQA的兩種框架

2.1 基于特征提取+回歸/擬合框架的NR-IQA

基于特征提取+回歸/擬合框架的NR-IQA方法包括兩個關鍵部分：特征提取和擬合/回歸。其中，特征用于表達圖像的內容，直接決定算法的優劣。根據所采用的特征，可以分為人工特征和深度特征。擬合/回歸方法則包括支持向量回歸(Support Vector Regression,SVR)、隨機森林、深度神經網絡等。各種代表性的評價模型如表1所示，表中列出了4個代表性的IQA模型所采用的特征提取方法、回歸方法和采用的數據集等。

表1 基于特征提取+回歸/擬合框架的代表性NR-IQA模型

其中CORINA和BRISQUE的特征提取方式相似，都采用人工特征-MSCN系數，再使用SVR擬合方法得到質量評價得分。下面詳細介紹這兩種具有代表性的利用人工特征進行NR-IQA的方法。

2.1.1 CORINA模型

CORINA[28](Codebook Representation for No-Reference Image Assessment)模型是Ye等于2012年提出的利用人工特征進行NR-IQA的方法。該方法將待評價圖像分成若干個patch塊，隨機提取若干patch塊計算去均值對比度歸一化系數(Mean Subtracted Contrast Normalized，MSCN)，再使用K-means聚類的方法建立碼書，碼書訓練使用的是CSIQ數據集。在預測階段，采用了軟分配策略生成碼字，對碼字合并后得到特征矢量，通過SVR建立特征矢量與圖像分數之間的映射模型，用于預測分數。這種基于碼書的方法學習效率高，無須人為調整參數，并且允許自動學習。實驗證明，這種基于碼本提取局部特征并使用SVR預測分數的評價策略具有較好的泛化性，在多個數據集上都取得了領先的性能。

2.1.2 BRISQUE模型

BRISQUE[29](Blind/Referenceless Image Spatial Quality Evaluator)是Mittal等提出的另一種采用人工特征進行NR-IQA的模型。其基本思路是從圖像中提取MSCN系數，提取MSCN系數時考慮了相鄰像素之間的關聯信息，選取了4個方向分別計算MSCN系數。然后將MSCN系數擬合成非對稱廣義高斯分布(Asymmetric Generalized Gaussian Distribution，AGGD)，利用失真對分布造成的參數影響來提取高斯分布特征。另外，還將空間相鄰差值、均值減去以及對比度歸一化等作為特征參數。最后使用SVR作為擬合工具，進行特征到分數的回歸計算，從而得到圖像質量的評估結果。

與前兩種方法不同，DeepBIQ和DeepRN都采用深度神經網絡作為特征提取器，提取圖像的深度特征，再使用SVR進行擬合。下面對這兩種有代表性的基于深度特征的NR-IQA方法進行詳細介紹。

2.1.3 DeepBIQ模型

Bianco等提出的DeepBIQ模型[30]是基于深度特征進行NR-IQA的代表性工作之一。該模型采用AlexNet[32]作為骨干網絡進行特征提取，AlexNet網絡用“預訓練+細調”的策略進行訓練。首先在ImageNet數據集上進行預訓練，得到模型的初始化參數。在細調時，首先根據MOS值大小將圖像質量從好到壞分成5個等級，根據等級對IQA數據集進行重新標定，再利用重標定的數據集對AlexNet進行細調。從細調后的網絡模型中提取圖像的全連接層特征作為圖像的深度特征，使用SVR作為擬合工具學習深度特征到分數之間的映射模型。DeepBIQ使用平均合并圖像的多個子區域的分數預測圖像質量。在LIVE In the Wild Image Quality Challenge Database[33]上，DeepBIQ取得了最優的性能，在人工模擬失真數據集LIVE[34]、CSIQ[35]、TID2008[36]、TID2013[37]上也取得了領先的性能。

2.1.4 DeepRN模型

Varga等提出的DeepRN模型[31]采用ResNet101[38]作為骨干網絡進行特征提取，在網絡的末端加入了自適應空間金字塔池化層，使骨干網絡能提取到固定尺寸大小的全連接層特征。這樣的設計使網絡可以處理任意尺寸大小的圖像，不管輸入圖像的尺寸是多大，經過特征提取網絡后，得到的全連接層特征向量維度均為18432。得到特征向量之后使用SVR進行特征到分數的擬合回歸。Lin等[39]基于KonIQ-10k數據集進行了多個實驗，得到當時最領先的性能。

從上面的分析可以看出：

(1) 早期NR-IQA主要采用的是人工特征，包括局部特征和全局特征。人工特征提取采用的數據集主要是CSIQ，規模較小。由于過分依賴手工調節參數，人工特征中包含了少量的參數，因此特征的表達能力有限，導致性能不高。

(2) 2012年以后，隨著深度學習技術的迅猛發展，深度特征被越來越多地應用在NR-IQA中。而深度學習需要利用大數據進行網絡模型訓練，因此各種大規模數據集被不斷推出，包括自然圖像數據集LIVE In the Wild Image Quality Challenge Database、KonIQ-10k等，以及合成失真數據集LIVE、TID2008、TID2013等。研究結果表明，深度特征取得的性能遠超過人工特征。與人工特征相比，深度特征具有以下優勢：

① 通過構建一個多層神經網絡，深度學習采用有監督或者無監督的方式，可以從大數據中自動學習隱含在數據內部的關系，所付出的代價是計算復雜高、所需的存儲空間大。

② 深度網絡模型中可以包含成千上萬的參數，因而深度特征可以具有更好的區分與表達能力。與人工特征相比，在提取圖像的多層次特征和上下文信息方面具有更為突出的優勢。

③ 深度特征具有很高的泛化性和效率。深度學習只需調整參數就能改變模型結構，這能夠使網絡根據任務的具體特點自動建模，具有良好的泛化性。

2.2 基于端到端框架的NR-IQA方法

基于端到端框架的NR-IQA方法的思路是直接通過訓練深度神經網絡得到待評價圖像到分數之間的映射模型。代表性的評價模型如表2所示，表中給出了各種模型采用的網絡框架和數據集等。

表2 基于端到端框架的代表性NR-IQA模型

下面詳細介紹這幾種最具代表性的NR-IQA模型。

2.2.1 KangCNN模型

KangCNN模型是Kang等[40]提出的，是最早采用卷積神經網絡(Convolutional Neural Networks,CNN)解決NR-IQA問題的模型。它將特征提取和分數回歸納入到一個統一的框架內實現。CNN一共有5層，其中包括1個卷積層、1個池化層、2個全連接層和1個輸出結點層。整幅圖像的質量得分建立在局部質量估計評分的基礎上，通過對評分取平均值得到。池化層分別對卷積層的全尺寸特征圖進行最大池化和最小池化操作，可以得到兩個維度為50的特征向量，全連接層之間使用的是比較流行的ReLU單元。最后采用的損失函數與SVR類似，形式上可以看成是SVR將ε取為零。雖然該模型網絡結果比較簡單，但是在2014年取得了當時最領先的性能。

2.2.2 DeepIQA模型

Bosse等提出的DeepIQA[41]也是基于端到端框架的IQA模型。該模型采用擴展過的VGG16作為骨干網絡，相比于其他IQA模型具有更深的層數，在多個數據集中也取得了較好的表現。DeepIQA的創新點是將圖像隨機分割成patch塊進行IQA數據集擴充。并且在訓練階段，每個patch塊都返回一個權重，最后將每個patch塊及其對應的權重進行合并，用于預測圖像質量得分。需要強調的是，DeepIQA將全參考IQA任務和NR-IQA任務融合在一個網絡中實現。使用孿生網絡進行全參考IQA的訓練，使用孿生網絡的一個分支稍加改動就可以用于NR-IQA。DeepIQA在人工模擬失真數據集和自然失真數據集中都取得了很好的效果。

2.2.3 Hallucinated-IQA模型

Lin等[43]創新性地將生成對抗網絡(Generative Adversarial Networks,GAN)加入到NR-IQA領域，提出從新的角度解決NR-IQA的不適定性問題。具體做法是引入幻覺引導質量回歸網絡來捕捉失真圖像和幻覺圖像之間的感知差異，從而可以精確地預測感知質量。其網絡架構主要由3個部分組成，包括質量感知生成網絡、判別網絡和幻覺引導質量回歸網絡。生成網絡通過對抗性學習的方式，在特殊設計的判別網絡的幫助下產生幻覺圖像。將幻覺圖像與失真圖像作差得到殘差圖，將殘差圖和失真圖像一起送入質量回歸網絡，得到圖像質量的評分。該模型在人工模擬失真數據集和自然失真數據集中都取得了很好的效果。除了Hallucinated-IQA模型，Ren等提出的RAN4IQA[46]也使用GAN的思想，首先生成未失真的原圖，然后用類似于全參考的評價方式得到質量得分，也取得了不錯的性能。

2.2.4 RankIQA模型

Liu等提出的RankIQA[44]首次用排名訓練的方法學習圖像質量好壞的評價準則。RankIQA使用孿生網絡(Siamese Network)，對已知圖像間質量相對好壞的數據集進行合并，用于訓練網絡模型。這種自動生成失真的方式組成的圖像數據集不需要費力的人工標注，所以可供訓練的數據集規模很大。訓練完成后，再將孿生網絡的一個分支提取出來，使用公開的IQA數據集進行微調。微調階段使用特征和人工標注值進行映射。在LIVE和TID2013兩個數據集上的測試結果表明，RankIQA可以獲得比當時的NR-IQA方法，甚至一些全參考IQA方法更優的性能。目前也有很多工作借鑒Learning-to-Rank的思路進行NR-IQA，例如Ma等提出的DipIQ[47]、Prashnani等提出的PieAPP[48]等，都采用學習排序圖像的方法獲得圖像質量感知模型，且均取得了不錯的結果。

2.2.5 DB-CNN模型

Ma等提出了一種基于雙線性池化的CNN結構[45]用于NR-IQA。該網絡由兩個分支網絡和一個雙線性池化模塊[49]組成。其中一個分支網絡采用輕型網絡結構，使用滑鐵盧數據集[50]和Pascal VOC數據集[51]組成的訓練集進行訓練。利用數據集中的高質量圖像合成不同類型、不同程度的失真圖像，用分類的方式對分支網絡進行訓練。另一個分支網絡采用VGG16，該網絡在ImageNet數據集上進行了預訓練，用于提升整個網絡對于自然失真的感知能力。最后，利用雙線性池化模塊融合兩個網絡的全連接層特征，作為圖像的深度特征，進而再擬合深度特征與質量得分之間的映射關系。這種方法在合成失真和自然失真IQA數據集上都獲得了最高的性能，為目前的NR-IQA研究工作帶來了新思路。

從上面的介紹中可以看出，與“特征提取+擬合/回歸”框架相比，這種端到端的NR-IQA方法可以將特征提取與擬合/回歸兩個環節納入到一個統一的框架中，同時進行優化。這也成為目前主流的NR-IQA方案。在這種框架下，近幾年出現了一些IQA方法，主流思路包括以下幾類：第一類是用GAN對失真圖像進行恢復，使用生成的復原圖像和失真圖像進行損失計算和距離度量，生成質量分數；第二類是使用Rank學習的思路，這種學習方法可以解決IQA沒有大規模數據集的問題，從而提高模型精度。除此之外，有的研究思路是使用注意力機制提高感興趣區域權重，對圖像質量進行評價[52];還有的做法是通過元學習的方法學習先驗知識，解決無參考圖像數據集規模過小的問題[53]。

3 IQA指標和數據集

數據集和評價指標用于評價各種算法的性能。下面介紹NR-IQA常用的各種數據集和評價指標。

3.1 NR-IQA常用數據集

NR-IQA領域最常用的數據集有LIVE、TID2008、TID2013、CSIQ、LIVE In the Wild Image Quality Challenge Database、KonIQ-10k等。其中，LIVE In the Wild Image Quality Challenge Database和KonIQ-10k是自然失真數據集，其余的4個是人工模擬失真數據集。

3.1.1 LIVE

LIVE(Laboratory for Image & Video Engineering)[34]數據集由美國德克薩斯大學奧斯汀分校LIVE實驗室建立，是目前最常用的數據集。數據集中包含了29幅參考圖像，分辨率從438像素×634像素到512像素×768像素不等。這些圖像經過模擬降質生成了5種不同類型的失真圖像，共計779幅。失真類型包括JPEG2000失真、JPEG失真、白噪聲失真、高斯模糊失真和快速瑞利衰減失真。該數據集提供了所有失真圖像的差分平均主觀值(Differential Mean Opinion Score,DMOS)，取值范圍是[0,100]，其中0表示圖像沒有失真。

3.1.2 TID2008

TID(Tampere Image Database)2008[36]由芬蘭坦佩雷理工大學于2008年建立，包括25幅分辨率為384像素×512像素的彩色參考圖像，失真類型有 17種，每種失真含有4個不同等級，共計1700幅圖像。模擬失真包括加性高斯噪聲、顏色成分中的相加噪聲比亮度成分中的相加噪聲更密集、空間相關噪聲、掩蔽噪聲、高頻噪聲、脈沖噪聲、量化噪聲、高斯模糊、圖像去噪、JPEG壓縮、JPEG2000壓縮、JPEG傳輸差錯、JPEG2000傳輸差錯、非偏移圖案噪聲、不同強度的局部逐塊失真、平均偏移(強度偏移)和對比度變化。數據集提供所有測試圖像的MOS值及其標準差。MOS值取值范圍是[0,9]，其中9表示圖像無失真。

3.1.3 TID2013

TID2013[37]由芬蘭坦佩雷理工大學于2013年建立，包括25幅參考圖像，每幅圖像產生了24種失真，每種失真有5種級別,共計3000幅失真圖像。相比于TID2008數據集，增加了7種失真類型，分別是改變色彩飽和度指數、有損壓縮、多重高斯噪聲、彩色圖像量化、稀疏采樣、色差和舒適噪聲。該數據集的標注類型是DMOS，由971名觀測者觀察524340個樣本，再通過統計的方式得到標注結果。DMOS的取值范圍是[0,9]，值越大表示圖像質量越差。

3.1.4 CSIQ

CSIQ(Categorical Subjective Image Quality)[35]由美國俄克拉何馬州立大學建立，其中包含分辨率為512像素×512像素的參考圖像30幅，失真類型6種，包括整體對比度縮減、JPEG壓縮、JPEG2000壓縮、加性高斯粉紅噪聲、加性高斯白噪聲和高斯模糊等，每種失真含有4～5個失真等級，共有866幅失真圖像。數據集也提供了所有測試圖像的DMOS值，由25位測試人員進行了多次主觀評分統計得到。DMOS值取值范圍為[0,1]，值越大表示圖像質量越差。

3.1.5 LIVE In the Wild Image Quality Challenge Database

LIVE In the Wild Image Quality Challenge Database是美國德克薩斯大學奧斯汀分校LIVE實驗室建立的野外圖像質量挑戰LIVE數據集[33]，其中包括1162幅圖像。這些圖像的失真類型不是計算機模擬產生的，而是使用智能手機和平板電腦等各種移動攝像頭拍攝得到的真實圖像。在成像過程中，這些圖像會受到各種各樣隨機發生的失真和真實拍攝偽影的影響。為了保證這些圖像的主觀質量得分具有客觀性，科研人員設計并實施了一個全新的在線眾包系統，由8100位觀測者進行IQA，得到了35萬個意見分數，這些分數綜合后作為評估結果。MOS值取值范圍為[0,100]，與LIVE數據集保持一致。

3.1.6 KonIQ-10k

為了解決真實失真數據集規模太小的問題，德國康斯坦茨大學建立了KonIQ-10k[39]數據集。從大型的公共多媒體數據集YFCC100M[54]中隨機選擇了大約1000萬幅圖像，然后分階段篩選了10073幅圖像，用于建立數據集。這些圖像中存在的失真類型包括噪聲、JPEG偽影、混疊、鏡頭運動模糊、過度銳化等。基于采集到的數據集，科研人員進行了大規模的眾包實驗，從1467名觀測者中獲得了120萬個評價結果，用取均值、去掉極端分數等統計方法確定最終的MOS值。圖像的尺寸為1024像素×768像素。MOS值的范圍為[0,5]，值越大表示失真越小。

表3 NR-IQA模型代表性數據集對比

3.2 性能評價指標

IQA有許多評價指標，其中PLCC、SROCC、KROCC和RMSE是目前最常用的IQA算法的性能評價指標，定義如下。

① 皮爾遜線性相關系數(Pearson Linear Correlation Coefficient,PLCC)：

(3)

② 斯皮爾曼等級相關系數(Spearman Rank-Ordered Correlation Coeffcient,SROCC):

(4)

式中：rxi、ryi分別為兩組得分各自數據序列中的排序位置。SROCC主要用于衡量算法預測的單調性。

③ 肯德爾秩相關系數(Kendall Rank Order Correlation Coeffcient,KROCC)

(5)

式中：nc為數據集中一致性元素對的個數；nd為數據集中不一致元素對的個數。KROCC也可以有效衡量算法的單調性。

④ 均方根誤差(Root Mean Squared Error,RMSE)：

(6)

式中：xi為主觀MOS值；yi為質量預測得分。RMSE用于直接衡量人的主觀得分和算法預測得分之間的絕對偏差。

4 代表性IQA模型的性能對比

本文對具有代表性的幾種IQA模型在不同數據集上進行了對比。參與對比的模型包括經典的FRIQUEE[55]、DIIVINE[56]等，還有近些年具有代表性的MEON[57]、DeepIQA、DB-CNN、DeepBIQ、DeepRN、RankIQA等。本文選擇PLCC和SROCC作為評價指標，表中實驗結果均來自于參考文獻，這些數據均在相同的數據集上測試得到。測試數據集既包括LIVE In the Wild Image Quality Challenge Dataset等真實失真數據集，也包括了LIVE、TID2013等模擬失真數據集。對比結果如表4～表6所示。

由表4可以看出，DeepBIQ和DeepRN取得了領先于其他方法的評價結果。這兩種方法都基于“特征提取+回歸”的框架進行NR-IQA。而對基于端到端框架的深度學習方法來說，DB-CNN性能最好。

表4 LIVE In the Wild Image Quality Challenge Dataset數據集上的SROCC和PLCC性能對比

由表5可以看到，RankIQA模型在兩個指標上都取得了最好的結果，PLCC達到了0.982，SROCC達到了0.981。這也說明采用Learning-to-Rank的思路解決IQA問題具有很大的潛力。

表5 LIVE數據集上的SROCC和PLCC性能對比

由6可以看到，MEON模型的兩個指標都取得了領先的結果，PLCC和SROCC都達到了0.912。綜合以上各表數據可以看出，MEON、DB-CNN、DeepIQA等基于端到端框架的深模型可以較好地應對模擬失真數據集。而在自然失真數據集上，采取“特征提取+回歸”框架的DeepBIQ和DeepRN模型取得了更領先的性能。

表6 TID2013數據集上的SROCC和PLCC性能對比

5 總結與展望

目前NR-IQA已經成為了研究的重點。NR-IQA的應用范圍廣，具有重要的研究價值，同時研究難度也更大，需要解決的問題也更多。隨著研究的深入，研究人員已經提出了多種有效的NR-IQA方法和模型，在一些經典的模擬失真數據集上都取得了非常好的性能。但是在一些更具有挑戰性的數據集，例如LIVE In the Wild Image Quality Challenge Database、KonIQ-10k等真實失真的數據集上，很多經典方法都沒辦法取得較好的結果。由于在大多數實際應用中失真類型很復雜，很難用計算機模擬生成對應的失真圖像，所以面向真實失真的IQA應用空間更大。這種類型的評價任務還有很大的研究空間。

在未來的研究工作中，可以從以下3個方面深入開展研究。

① 基于端到端學習的NR-IQA方法雖然可以在人工模擬數據集中取得較好的測試結果，但是可擴展能力不強。例如基于Rank排序學習的NR-IQA方法在人工模擬失真數據集上效果較好，但是應用到真實失真類型的數據集時則效果不太理想。所以如何設計具有魯棒性的IQA模型值得進一步研究。

② 目前已經有很多新的研究成果，這些方法往往在各種數據集中評價精度很高，但是實際評價結果和人眼的主觀感受還有一定差距。如何使評價結果能夠符合人眼視覺特性，與人的主觀評價結果保持一致也值得深入研究[58]。

③ 由于主觀圖像質量得分需要用大量人員進行觀察和統計，標注難度較大，所以通常IQA數據集規模較小。這種問題在真實失真數據集中尤其突出。所以如何使算法克服訓練數據量不足的問題，訓練出更適合人眼主觀感受的質量打分模型值得進一步研究。