平面視覺圖像舒適色度范圍測量算法研究

張 波，胡勇軍

(長春師范大學生命科學學院，吉林 長春 130032)

1 引言

低質量圖像會導致人們產生視覺不適，影響視覺不適感的因素很多，如亮度、色度、飽和度等，需要提高圖像的質量以滿足人們的視覺感知需求。在對舒適度進行測量時，可以將不同的視覺顏色量化到同一區域，也可以將相同的視覺顏色量化到不同的區域，但是容易導致誤檢現象。隨著試驗方法和試驗條件的標準化程度不斷提高，測量范圍的限制和測量精度的要求變得更加嚴格。為了更直接、更準確地判斷平面圖像的視覺舒適性，有必要進行定量研究。

劉靜超等人[1]研究了基于上下文信息的多尺度紡織印染圖像分色算法的效果。比較上下多尺度圖像分色算法和Mean-shift分色算法的分色和邊緣輪廓提取結果，發現多尺度分色算法的效果優于Mean-shift分色算法，多尺度分色算法利用多尺度上下文模型不斷修改分色結果，通過人眼觀察設置圖案的主色，通過RGB空間和HSL空間變換計算圖案區域的顏色值，并對邊緣隔離區進行紋理噪聲處理。與Mean-shift分色算法計算出的主色相比，其更符合原始印染圖案，避免了紋理噪聲的干擾。鄧云輝等人[2]提出一種基于色度分析和L1加權規則約束的鏡面高光抑制算法。該算法不依賴聚類、分割等預處理，結合目標圖像的強度分布，提出了中值非高光機制(MSF)，有效分離高光分量，抑制噪聲干擾，將L1加權正則化約束與色度分析和局部顏色相結合，采用變量分裂法進行求解運算，快速恢復了目標的原始紋理、顏色和邊緣細節。實驗結果表明，對于不同的目標場景，該算法能夠完成高光的精確抑制和分離，極大地保留了目標的原始紋理結構、顏色等特征，具有較強的可靠性和較高的計算效率。

上述圖像舒適度的研究方法屬于定性分析，且沒有統一的評定標準，為此，在考慮視覺顯著性的情況下，定量研究圖像視差對視覺舒適度的影響，通過對色度和亮度兩個分量進行加權處理，利用視差估計算法將每個色度分割區域作為整體分別進行全局優化，去除邊緣模糊效應，提高物體邊緣的視差估計準確度，使獲得的范圍測量結果符合人眼舒適度。

2 平面視覺圖像采集

建立圖像采集模塊，其中，FPGA(Field Programmable Gate Array)控制器作為圖像采集模塊的重要組成部分。具體內容如圖1所示。

圖1 圖像采集模塊結構圖

分析圖1可知，圖像采集模塊采用OV760傳感器，該模塊以FPGA為控制芯片調整圖像采集模塊，當轉換OV760傳感器的信號時，通過轉換將所得圖像數據結果傳輸并存入SDRAM(Synchronous Dynamic Random-Access Memory)存儲器中。通過圖像數據的采集，能夠為下文舒適度測量算法提供理論基礎[3]。

3 平面視覺圖像舒適色度范圍測量算法

由于不同光源中的物體對色覺有不同的影響，顏色不僅取決于照射光的組成，還取決于每個波長的反射率。因此，在獲取數字圖像時，首先要確定使用何種光源。

顏色是圖像十分重要的視覺特征，將彩色圖像從RGB顏色空間轉換為YIQ顏色空間，把彩色圖像內的亮度與色度進行分離，其中，Y代表圖像的亮度信息，I和Q代表圖像的色度信息[4]。YIQ顏色空間和RGB顏色空間中的三個原色系數之間的轉換關系如下

(1)

3.1 結構相似度

圖像像素間有很強的相關性，說明圖像結構較強，圖像結構承載著圖像的重要信息，能夠獲取到圖像的顏色、形狀、紋理等特征，便于明確測量。改進基于對比度敏感度加權結構相似度算法的圖像質量評價方法，在計算彩色融合圖像的結構相似性時，該算法考慮了圖像測量過程中亮度分量和色度分量存在不同程度失真的問題。

采用SSIM(Structural Similarity Index)算法，利用對比度靈敏度計算亮度分量的結構相似性。對結構相似性進行運算時，充分結合滑動窗口求解局部窗口面積對應的結構相似性值，對加權平均值進行計算[5]公式如下

(2)

(3)

S(x，y)=(σxy+C3)/(σxσy+C3)

(4)

式中，μx為圖像X內窗口顏色分量的平均值；μy為圖像Y內窗口顏色分量的平均值；σx為圖像X內窗口顏色分量的標準差；σy為圖像X內窗口顏色分量的標準差Y；σxy為圖像X和Y窗口上顏色分量的協方差；x和y分別為圖像X和Y內相互對應位置的局部窗口；C1、C2和C3均為常數，設置SSIM(x，y)代表三個分量的乘積，C2/2在特殊窗口上，那么可得出

SSIM(x，y)=((2μxμy+C1)*(2σxy+C2))

(5)

SSIM值能夠在評價彩色融合圖像的質量過程中，將與該位置相對應的局部窗口從源圖像移動到融合圖像中，而MSSIM(Mean SSIM)算法用于平均所有子圖像的SSIM值[6]，則可得出公式

(6)

3.2 相鄰像素間視差

根據人眼的三維視覺注意特性可知，觀察者會更加關注圖像中重要區域的內容。因此，可以利用顯著圖像的舒適度來反映整個立體圖像的舒適情況，提高測試精度，降低計算復雜度。圖像的視差特性和空間頻率會影響視覺舒適度，容易造成視覺誤差現象，因此，需要基于結構相似度，將這種視差問題轉化成在一定的匹配準則和約束條件下求解全局匹配最小誤差的問題，如式(7)所示

(7)

式中，W和H分別為視圖的寬度和高度；di為第i個像素的視差；di∈[dmin，dmax]，dmin和dmax分別為當前視圖相對于參考視圖的最小和最大視差；Dopt為滿足式(8)約束的最佳視差矢量；M(di)用來描述視差為di時第i個像素的匹配誤差，其表達式如下

M(di)=|DoptI(x，y)-Iref(x-di，y)|

(8)

式中，I(x，y)為當前視圖中(x，y)處的像素亮度值，Iref(x-di，y)為參考視圖中(x-di，y)處的像素亮度值。

約束條件也被稱為平滑假設[7]，具體如下：

1)當相鄰的兩個像素pi和pj在同一深度平面上時(即相鄰的像素pi和pj由物體上兩個相鄰的點生成，且光滑的表面投影到成像平面上)，pi和pj的深度是不斷變化的或具有相同的深度，因此，深度差很小，不應大于閾值T1。

2)當相鄰的兩個像素pi和pj位于不同的深度平面，即相鄰像素pi和pj由投影到成像平面不同深度層物體上的兩個相鄰點生成，pi和pj的深度具有階躍變化的特點，且深度差較大，但不應超過閾值T2。

需要將約束優化問題轉化為進入以下無約束優化問題，得出公式為

(9)

式中，λ為懲罰因子，Ed為視差向量為D時所有像素的匹配誤差之和，其表達式為

(10)

式中，di∈D={dmax，dmin+1…，dmax}。

Es為一個罰函數，其表示與光滑性假設相對應的約束條件，其越符合平滑性假設，視差估計的精度就越高[8，9]。一般來說，Es的表達式為

(11)

式中，Ni為與第i個像素相鄰的像素集；|di*dj|為兩個相鄰像素之間的視差；

3.3 初始化視差圖

在初始化視差圖之前，設定視差的范圍為[dmin，dmax]，如果該范圍的視差值被等距分配到m+1個等級內，那么能夠獲得k個等級，公式為

(12)

式中，k=0，1，…m。在初始化時，由于每幀視差圖都是未知的，因此，無法直接優化方程。通過消除極性幾何約束，保留并重建顏色一致性約束公式

(13)

(14)

3.4 舒適色度范圍測量

在圖像舒適度測量時，運用MeanShift算法對原始圖像實施分割，并將每個顏色分割區域的像素作為一個整體進行匹配。相同顏色分割區域的視差估計不會影響其它顏色分割區域的視差估計結果，能夠消除邊緣模糊效應，測量出的色度范圍更加舒適[10]。

對原始圖像顏色分割后，會形成多個分割塊，用si表示分片，如果這些分片被視為3D平面，那么每個分割片si中像素的舒適色度視差可以表示為

(15)

式中，ai、bi以及ci分別為平面si的參數；e和f為像素xt的坐標。ai、bi以及ci的定義如下

(16)

4 實驗結果分析

為驗證所提出平面視覺圖像舒適色度范圍測量算法的有效性，以國畫為測量對象，國畫通常會留下較大的背景，給觀眾更多的想象空間。但由于國畫用紙是手工紙，這些紙由于長期存放、日照等原因會變黃，因此，可根據測量范圍結果改變圖像色彩，使處理后圖像更加符合人眼視覺需求。

首先，采集中國畫彩色部分與背景的對比度，再使用最直接的方法恢復原始背景的消色差，即去掉黃色。利用上述結構相似性算法作為顏色分量來明確國畫的黃色背景舒適度范圍。同時，在處理國畫色彩舒適度過程中，必須確定要處理的顏色，即底色黃色。因為背景顏色一般是一樣的，僅有細微的差別。通過統計方法可以得到背景圖中黃色的準確值。對圖2所示目標圖像的背景黃色進行采樣，并計算采樣值的平均值和標準偏差，結果見表1。

圖2 目標圖像

表1 對色調采樣及統計結果

在表1中，給出了圖2背景的20次采樣結果。采樣背景的位置隨機提取。

取計算出的平均值作為背景黃的顏色，即需要調整的顏色，標準差為背景黃顏色的偏差范圍。也就是說，要測量色調范圍是以平均值為中心，以左右距離為標準差的范圍。圖像調整的目的是消除黃色背景，紙是白色的，所以中國畫的調整包括飽和度的調整。色彩飽和度采樣值的平均值和標準偏差計算如表2所示。

表2 對色飽和度采樣及統計結果

通過上述表中的色調采樣和色飽和度，得出圖像最優舒適色度范圍，并對圖像進行合理調整。具體調整圖如圖3所示。

圖3 圖像處理結果

從上圖可以直觀看出，上述算法舒適度范圍測量結果精準，處理后圖像更符合人眼視覺。并且根據范圍調整后圖像質感得到了改善，沒有扭曲，使圖像從感官角度上來看色澤真實。這是由于能量函數消除了不同幀像素間相對極點的幾何約束，使每個幀能夠進行分別處理，獲得最小優化的能量函數，從而獲得每個幀的視差圖。在獲取視差的過程中可能會發生遮擋，通過采樣的方法選擇匹配幀，能夠滿足對應的投影點對在匹配幀中可見的條件，從而實現對圖像質感的提升。

5 結論

為了更直接、準確地判斷平面視覺圖像的視覺舒適性，結合視覺注意機制，通過主觀實驗定量地對影響平面視覺圖像視覺舒適度的色度因素進行了研究。實驗通過色度調整以及視差的舒適度范圍，獲得更全面的舒適度效果。下一步研究是在保證算法性能的前提下，對于比較雜亂的圖像，通過判斷圖像的聚類隔離參數來去除它們，需要研究從這些圖像中提取有意義區域的有效方法。