基于人類視覺系統的水下圖像質量評價方法

趙 馨,侯國家,潘振寬,李景明,王國棟

(青島大學 計算機科學技術學院,山東 青島 266071)

0 概述

由于海洋、河流和湖泊等水下資源豐富,水下圖像處理技術引起研究人員的廣泛關注,并成為重要的研究課題。高質量的水下圖像對于該技術的研究至關重要,因而建立有效、客觀的水下圖像質量評價(Image Quality Assessment,IQA)對于高質量水下圖像的應用具有重大意義。

水下圖像質量評價包括主觀評價和客觀評價[1-3]。主觀評價是測試人員通過對目標圖像進行觀察做出的評價。一般采用平均主觀得分(Mean Opinion Score,MOS)或平均主觀得分差異(Differential Mean Opinion Score,DMOS),即人眼對無失真圖像和有失真圖像評價得分的差異[4]來進行主觀評價。但是在實際應用中,主觀評價常受到測試人員的知識水平、觀測時間、所處位置的光照等諸多因素限制,需要測試人員進行多次重復實驗來提高評價的準確度。此外,主觀評價的不確定性導致其無法用數學模型進行描述,因而難以實現高質量的評價[5]。客觀評價是通過一定的算法采用數學手段對圖像視覺質量的評價。客觀評價包括全參考圖像質量評價(Full-Reference Image Quality Assessment,FR-IQA)、半參考圖像質量評價(Reduced-Reference Quality Assessment,RR-IQA)和無參考圖像質量評價(No-Reference Image Quality Assessment,NR-IQA)[6-7]。因為水下圖像處理技術發展時間較短,研究人員對于該技術還未達到共識,同時因為無法獲取高質量的水下參考圖像,所以現存的水下圖像質量評價多數為無參考圖像質量評價。

在水下圖像處理技術發展的早期,研究人員對水下圖像質量評價主要是主觀評價或者對大氣圖像質量的客觀評價,得到的結果不能準確地反映水下圖像的實際質量[8-10]。近年來,一些無參考圖像的水下圖像質量客觀評價方法被相繼提出。這些方法是在捕捉人類視覺系統(Human Visual System,HVS)的客觀性和感知的基礎上,結合水下圖像的光吸收和散射效應對水下圖像進行的綜合評價。文獻[11]提出對比度是度量水下圖像質量的合理依據。文獻[12]針對存在噪聲影響的水下圖像提出基于加權灰度尺度角(Weighted Gray Scale Angle,WGSA)的圖像清晰度評價標準。文獻[13]根據文獻[14]的結果確定了衡量直方圖與指數分布接近程度的穩健性指數,該指數的數值范圍為(0,1)。對于大部分對比度較好且無噪聲的圖像,除了梯度幅度直方圖在均勻區域對應的低梯度下有一個小峰值外,其他直方圖接近指數分布。

文獻[17]受HVS啟發針對水下圖像退化的特點提出了水下圖像質量度量(Underwater Image Quality Metric,UIQM)方法,這是一種無參考圖像的水下圖像質量評價方法。UIQM以水下圖像色彩測量(Underwater Image Colorfulness Measure,UICM)、水下圖像清晰度測量(Underwater Image Sharpness Measure,UISM)和水下圖像對比度測量(Underwater Image Contrast Measure,UIConM)3個分量的線性組合作為評價依據。

文獻[18]將水下圖像從紅綠藍(Red Green Blue,RGB)顏色空間轉換到更加符合人類視覺感知的CIELab顏色空間,通過將圖像的色度測量分量、對比度測量分量和飽和度測量分量進行線性組合,提出一種量化水下圖像非均勻顏色退化現象、模糊現象以及對比度變化的水下彩色圖像質量評價(Underwater Color Image Quality Evaluation,UCIQE)方法。

上述水下圖像質量評價方法雖然對于水下圖像退化的部分方面能得到較有效的結果,但是大部分評價方法與基于人類客觀視覺的平均主觀評價關聯度較低。因此,建立客觀、有效且與人類主觀評價關聯度較高的水下彩色圖像質量評價指標成為水下圖像處理領域的研究重點。

本文提出一種水下圖像質量評價(Underwater Image Quality Assessment,UIQA)方法。以色彩飽和度測量分量、亮度對比度測量分量和圖像清晰度測量分量作為評價依據,對影響評價結果的各分量進行研究,通過與其他水下圖像質量評價方法進行對比,分析與人類主觀評價的相關性。

1 基于HVS的水下圖像質量評價指標

光在水中的吸收和散射會影響水下成像系統的整體性能。光的吸收會導致水下圖像顏色退化或者過度飽和,光的散射會導致水下圖像模糊和對比度降低(水中浮游生物和懸浮顆粒會使目標圖像的邊緣結構和相對對比度發生變化)。同時,由于人存在視覺差異,水下圖像屬性的變化會導致視覺感觀不同。

文獻[15]基于HVS的特性發現將圖像和統計數據相結合可以有效表示色彩。文獻[16]用紅-綠色通道和黃-藍色通道在相對顏色空間中定義顏色,對于彩色圖像i存在以下關系式:

α=R-G

(1)

β=0.5×(R+G)-B

(2)

其中,α為紅-綠通道,β為黃-藍通道,R為紅通道,G為綠通道,B為藍通道。

基于相對顏色空間,文獻[17]提出的U2QM方法用公式表示為:

UIQM=c1×UICM+c2×UISM+c3×UIConM

(3)

其中,c1、c2和c3分別為線性組合中各測量分量的權重因子。權重因子根據質量評價的具體要求而定:當對圖像顏色要求較高時,c1數值較大;當對圖像對比度要求較高時,c2數值較大;當對圖像清晰度要求較高時,c3數值較大。

文獻[18]提出的UCIQE方法用公式表示為:

UCIQE=c1×σc+c2×conl+c3×μs

(4)

其中,σc為圖像色度測量分量,conl為圖像對比度測量分量,μs為圖像飽和度測量分量,c1、c2和c3分別為線性組合中各測量分量的權重因子。

文獻[16-18]提出的用于水下圖像質量評價的UIQM方法和UCIQE方法雖然能得到較合理的圖像質量評價結果,但是存在缺陷。其中,UIQM方法將色彩、清晰度和對比度作為評價水下圖像質量的依據,雖然該方法覆蓋范圍較廣,但其權重參數采用的是手工賦固定值的方法,而水下圖像的顏色退化類型較多且復雜,固定的權重參數會造成圖像質量評價結果與人類視覺感知不一致。UCIQE方法雖然通過預測采用針對某一數據集最優化的權重參數,但其只將基于CIELab空間的色度、飽和度和對比度作為評價水下圖像質量的依據,并未考慮清晰度等其他因素,造成該方法覆蓋范圍不足,導致評價結果不理想。本文提出一種UIQA方法,針對上述兩種方法存在的問題進行如下改進:

1)對于顏色分量(色彩分量和色度分量),采用UCIQE方法基于CIELab相對顏色空間的色度求出圖像顏色飽和度,既保留了色度對整體圖像質量評價的影響,又兼顧了顏色飽和度分量測量。

2)對于對比度分量,在UIQM對比度分量UIConM的基礎上進行改進,采用暗通道對比度提取測量的方法[19],UCIQE方法對對比度變化的把握更具敏銳性。

3)保留了對水下圖像清晰度分量的測量,在一定程度上彌補了UCIQE方法中測量范圍不足的缺陷。

4)采用多重線性回歸方程對數據估算出最優化權重參數。

2 UIQA方法

基于HVS對顏色、邊緣結構和相對對比度變化的敏感性[20],本文提出的水下圖像質量評價指標UIQA方法以基于CIELab表色系的色彩飽和度(UIQA_saturation)、基于暗通道理論的對比度(UIQA_contrast)和邊緣結構清晰度(即銳度,UIQA_sharpness)作為測量分量。

2.1 水下圖像色彩飽和度測量分量

水下圖像隨著水深的增加會發生嚴重的顏色退化,造成圖像模糊不清。由于紅光的波長最短,紅光會先消失,因而水下圖像以綠色為主色調。此外,有限的光照條件也會導致水下圖像出現褪色現象[21]。

在研究水下圖像色彩時,需考慮其與主觀測試數據的相關性。因此根據HVS的特性,UIQA方法選擇CIELab表色系作為量化圖像的顏色空間。CIELab表色系為統一的顏色空間,假設Ip是圖像在CIELab表色系中的像素值,圖像有N個像素,則Ip=[Lp,αp,βp],其中p=1,2,…,N。基于CIELab表色系的水下圖像色彩飽和度可表示為:

(5)

(6)

其中,Cp為色度,LP為高度。

采用色彩飽和度描述圖像顏色是因為色彩飽和度與人類對水下彩色圖像感知的相關性較好。在獲取水下圖像過程中通常采用人工照明,易產生“雪海現象”,這是水下圖像出現褪色的主要原因,該現象中產生的白色亮點會嚴重影響圖像處理的效果。然而,圖像色調的分布不會受到“雪海現象”的影響,因而UIQA方法采取了基于CIELab色系的色彩飽和度作為測量分量。

圖1是采用自動顏色均衡(Automatic Color Equalization,ACE)算法[22]處理前后水下圖像的色彩飽和度對比。由圖1(a)可以看出,水下圖像存在著嚴重的顏色退化現象。由圖1(b)可以看出,ACE算法處理有效地平衡了色彩飽和度,色彩飽和度為水下圖像賦予了更大的彩色測量值。結果表明,利用基于CIELab表色系的UIQA_saturation對水下圖像的色彩質量進行了成功評價。

圖1 采用ACE算法處理前后水下圖像的色彩飽和度對比

2.2 水下圖像對比度測量分量

對比度是圖像中最亮區域和最暗區域之間亮度差異的尺度,對比度越大表明差異越大,對比度越小表明差異越小。圖像對比度較小通常由圖像像素分布不均造成,且對比度與視覺敏銳度成正比。水下圖像對比度偏小通常由光的后向散射導致[23]。

在獲取水下圖像的過程中,拍攝設備離水平面的距離越遠,圖像中顏色較暗的景物越多。與大氣中的圖像相比,水下圖像的明暗對比更不明顯,暗通道的水下圖像具有更小的對比度,因而圖像增強前后其對比度變化更明顯。

對于任意彩色圖像,其暗通道Jdark可以用以下公式表示:

(7)

其中,Jc為彩色圖像的每個通道,Ω(x)為以像素x為中心的一個窗口。

通過水下圖像的暗通道圖可測量出圖像的對比度,用公式表示為:

(8)

其中,δ(i,j)=|i-j|為相鄰像素間的灰度差,Pδ(i,j)為相鄰像素間灰度差為δ的像素分布概率。

圖2是采用自動紅通道水下圖像恢復(Automatic Red-Channel Underwater Image Restoration,ARC)算法[24]處理前后水下圖像的對比度對比。由圖2可以看出,經過ARC算法處理后水下圖像的能見度比處理前顯著提高,圖像的對比度比處理前更大。

圖2 采用ARC算法處理前后水下圖像的對比度對比

2.3 水下圖像清晰度測量分量

水下圖像由于光存在前向散射,造成圖像嚴重模糊,導致圖像清晰度下降。圖像銳度可以反映出圖像細節和邊緣的清晰程度。UIQA方法采用Sobel邊緣檢測器對RGB中每個顏色通道進行檢測,得到其二值邊緣映射,再將二值邊緣映射值與圖像的原始值相乘得到3個灰度邊緣映射值,這是為了保留原始水下圖像邊緣的像素值。增強測量估計(Enhanced Measurement Estimation,EME)方法適用于測量背景均勻且顯示非周期模式的圖像[25],水下圖像符合這一要求。因此,UIQA方法用EME方法測量水下圖像邊緣的銳度,銳度的計算公式如下:

(9)

(10)

圖3是采用ARC算法處理前后水下圖像的清晰度對比。由圖3可以看出,經過ARC算法處理后的水下圖像的清晰度比處理前有顯著提高,圖像的銳度比處理前更大。

圖3 采用ARC算法處理前后水下圖像的清晰度對比

2.4 水下圖像質量評價指標

根據文獻[26]中水下成像模型可知,水下圖像為光的吸收和散射分量的線性疊加。而光的吸收和散射效應會導致水下圖像顏色退化、清晰度降低和對比度下降。因此,本文利用線性疊加模型生成基于HVS的水下圖像質量評價UIQA方法來評價水下圖像的整體質量水平,相關評價指標表示如下:

UIQA=c1UIQA_saturation+c2UIQA_contrast+

c3UIQA_sharpness

(11)

其中,c1、c2、c3分別為線性組合中各測量分量的權重因子,權重因子根據質量評價的具體要求而定:當對圖像色彩飽和度要求較高時,c1數值較大;當對圖像對比度要求較高時,c2數值較大;當對圖像銳度要求較高時,c3數值較大。通常水下圖像使用固定的c1、c2和c3。

為確定測量水下圖像褪色的最佳參數,進行一組主觀測試如下:隨機挑選40名志愿者并向每個志愿者展示了40幅水下圖像,圖像均來自網絡并由不同設備在不同地點獲取,且存在圖像模糊、對比度和飽和度低、色偏、“雪海現象”等褪色問題。圖像隨機顯示后,志愿者按照從0到1的評分區間對每張水下圖像的質量進行評級,分數越高代表志愿者對圖像的滿意度越高。每幅圖像顯示4次,在上一幅圖像評價結束前,志愿者無法對下一幅圖進行評價。測試結束后計算MOS。

本文選擇其中30幅圖像,獲取其 UIQA_saturation、UIQA_contrast和UIQA_sharpness的值,其中選出了5組不同場景且MOS不同的水下圖像,如圖4所示。表1為圖4中各圖像所對應的UIQA_saturation、UIQA_contrast、UIQA_sharpness和MOS值,利用多重線性回歸(Multiple Linear Regression,MLR)的方法,得到c1、c2和c3的值分別為0.142 7、0.820 6和0.117 1。

圖4 不同場景下的水下圖像

表1 采用UIQA方法對圖4中不同水下圖像的質量 評價各分量和MOS結果

用其余圖像對c1、c2和c3的準確性進行驗證。圖5是選取的3幅不同場景的水下圖像,表2為圖5中各圖像所對應的UIQA_saturation、UIQA_contrast、UIQA_sharpness、UIQA分數和MOS值,可見圖5(c)的MOS最高,圖5(a)的MOS最低,采用UIQA方法得到的圖像質量評價結果UIQA和MOS一致,這說明c1、c2和c3具有較高的準確性。

圖5 不同場景下的水下圖像

表2 采用UIQA方法對圖5中不同水下圖像的進行 質量評價各分量分數、UIQA分數和MOS值

3 實驗結果與分析

UIQA方法可以從圖像的色彩飽和度、對比度和清晰度3個屬性分量獨立評價水下圖像質量。為證明UIQA方法的評價結果與目前評價效果較優的UIQM方法和UCIQE方法的評價結果一致甚至更佳,首先對UIQA方法中每個屬性分量進行基準測試并與最優方法的屬性分量進行比較,再分別采用UIQA方法、UIQM方法和UCIQE方法進行對比實驗。其中UIQM方法中各測量分量的權重因子C1、C2、C3分別為0.028 2、0.295 3、3.575 3,UICQE方法中各測量分量的權重因子C1、C2、C3分別為0.468 0、0.274 5、0.257 6。3種方法得到的評價結果得分越高表示水下圖像質量越好。

3.1 屬性分量對比實驗

圖6為水下原始圖像及其經過不同色彩增強算法處理后的結果。

圖6 采用不同色彩增強算法處理前后的水下圖像

圖6(a)為未經處理的原始圖像,可見其褪色明顯,其中青綠色光投射過強,紅通道退化嚴重。圖6(b)～圖6(e)為分別經過直方圖均衡(Histogram Equalization,HE)算法、自動色彩均衡算法(Automatic Color Enhancement,ACE)算法、Iqbal算法[27]、融合增強(Fusion Enhance,FE)算法[28]等4種不同色彩增強算法處理后得到的圖像。由圖6(b)可以看出,采用HE算法處理后圖像中出現了色彩過度增強的區域,且圖像的原始色調發生改變。由圖6(c)可以看出,采用ACE算法后圖像獲得較好的動態效果,但是色彩飽和度太低且對比度不足,圖像較模糊。由圖6(d)可以看出,采用Iqbal算法處理后圖像的色彩飽和度明顯增強,且整體顏色較和諧。由圖6(e)可以看出,采用FE算法處理后圖像的顏色恢復情況良好,色彩較自然。綜上可見,和未經處理的圖像色彩質量相比,圖6(b)～圖6(e)的色彩質量均有一定提高,其中圖6(d)的色彩質量最好。

由表3可以看出,采用UIQM方法、UCIQE方法得到的水下圖像質量評價顏色分量UICM、σc最大值出現在圖6(b)和圖6(c)處,只有采用UIQA方法得到的水下圖像質量評價顏色分量UIQA_saturation最大值出現在圖6(d)處,這說明采用UIQA方法得到的水下圖像質量評價結果能更準確地反映圖片實際質量情況。

表3 采用不同方法得到的水下圖像質量評價顏色分量

圖7為水下原始圖像及其經過不同清晰化算法處理后的結果。圖7(a)為未經處理的原始圖像,可見其具有對比度低且物體邊緣不清晰的問題。圖7(b)～圖7(e)為經過水下暗通道先驗 (Underwater Dark Channel Prior,UDCP)[29]算法、ARC算法、多尺度相關小波(Multi-Scale Correlated Wavelet,MSCW)[30]算法、全色圖像銳化(Panchromatic Image Sharpening,Pan)算法[31]等4種不同清晰化算法處理后得到的圖像。由圖7(b)～圖(e)可以看出,處理后圖像對比度比原始圖像均有所提升,其中經過UDCP算法處理后的圖像色彩明暗失衡,圖像質量不佳;經過Pan算法處理后圖像的色彩明暗對比度比其他算法處理后的更清晰。

圖7 采用不同清晰化算法處理前后的水下圖像

由圖8可以看出,采用不同清晰化算法處理后圖像的清晰度比原始圖像均有所提升;經過UDCP算法、ARC算法、MSCW算法處理后圖像中魚群交疊處邊緣模糊,局部細節不清晰;經過Pan算法處理后的圖像更清晰,圖像中魚群交疊處及邊緣更明顯。

圖8 采用不同清晰化算法處理前后的水下圖像局部放大圖

由表4可以看出,采用UIQM方法、UCIQE方法和UIQA方法得到的水下圖像質量評價對比度分量UICM、σc和UIQA_contrast最大值均出現在圖7(e)處,這說明采用上述3種方法得到的水下圖像質量評價結果相近。采用UIQA方法得到的圖7(a)～圖7(e)的圖像質量評價銳度分量UIQA_sharpness分別為0.887 1,0.816 6,1.065 8,1.047 1,1.402 2,其中最大值也出現在圖7(e),由此可見,表4和圖7的分析結果一致。

表4 采用不同方法得到的水下圖像質量評價 對比度分量

3.2 UIQA方法與其他水下圖像質量評價方法

為驗證UIQA方法的魯棒性,分別采用UIQA方法與UIQM方法、UCIQE方法等其他水下圖像質量評價方法進行對比實驗。圖9(a)為未經處理的原始圖像,圖9(b)～圖9(f)為分別經過Iqbal算法、UDCP算法、FE算法、ARC算法和Pan算法等圖像增強算法處理后得到的圖像。可見經過Iqbal算法處理后圖像中的魚類邊緣更清晰,圖像的色彩飽和度和對比度增強效果最佳;經過FE算法處理后圖像質量僅次于經過Iqbal算法處理后的;經過Iqbal算法處理后的圖像色調呈現為藍色,整體色調不理想,魚類邊緣不明顯且圖像對比度較低。

圖9 經過不同圖像增強算法處理前后的水下圖像

由表5可以看出,采用UIQM方法、UCIQE和UIQA方法得到的水下圖像質量評價各分量平均值以及MOS的最大值均出現在圖9(b)處,這與上述對圖9的質量分析結果吻合,也說明采用上述3種方法得到的水下圖像質量評價結果具有較好的一致性。

表5 采用不同方法得到的水下圖像質量評價各分量 平均值以及MOS結果

為進一步證明UIQA方法與人類主觀視覺具有更大相關性,在上述對比實驗中應用皮爾森線性相關系數(Pearson Linear Correlation Coefficient,PLCC)、均方根誤差(Root Mean Squared Error,RMSE)和斯皮爾曼秩相關系數 (Spearman Rank Order Correlation Coefficient,SROCC)進行分析。其中,PLCC和SROCC越接近1,RMSE越接近0,則該水下圖像質量評價方法得到的結果與人類主觀評價相關性越大。

由表6可以看出,與UIQM方法和UCIQE方法相比,UIQA方法中的PLCC、SROCC和RMSE指標均為最優,說明其得到的水下圖像質量評分與人類主觀評價具有較好的相關性,由此也證明UIQM方法具有魯棒性,該方法更符合人類視覺的客觀感知。

表6 采用不同方法得到的評價結果

綜上可知,采用UIQA方法可以準確地得到符合HVS的水下圖像質量評價結果,該結果與采用UIQM方法和UCIQE方法得到的結果基本一致,且采用UIQA方法得到的評價結果更符合人類的視覺感知,與人類主觀評價相關性更大,更適合應用于實際水下環境,是一種較好的水下圖像質量評價方法。

4 結束語

本文提出一種基于人類視覺系統進行水下圖像質量評價的UIQA方法。將圖像色彩飽和度、對比度和清晰度進行線性組合,對不同場景水下圖像進行分析。實驗結果表明,UIQA方法較UIQM方法和UCIQE方法與人類主觀評價相關性更高,可以直觀地反映出人類的真實感受。下一步將結合卷積神經網絡對特殊水下圖像質量進行研究,進一步優化水下圖像質量評價方法。