張學典,王文明
(上海理工大學 光電信息與計算機工程學院,上海 200093)
計算機視覺系統的成功很大程度取決于圖像質量,因為它決定了信息檢索和解釋的準確性,圖像質量差會給目標識別、分割和特征提取帶來很大阻礙。由于從實時環境中捕獲的圖像存在對比度差的問題,在這些圖像中對比度更集中在某些區域的特定范圍,導致邊緣較弱或信息丟失[1]。因此,為了保存圖像所有信息,對圖像的對比度進行操作或優化至關重要。
有效去除圖像噪聲,提升圖像質量,使機器和人都能清楚理解圖像是圖像處理中最重要的基本步驟。然而,僅對圖像對比度進行單方面增強無法保證圖像質量,原因為外部干擾或其他光線等原因會使圖像產生大量噪聲,將嚴重影響圖像質量,導致圖像大量細節難以被準確識別[2]。為此,本文提出利用主成分分析法對圖像進行降噪處理,采用改進型的限制對比度自適應直方圖方法來提升圖像質量。
圖像增強是提升圖像質量的重要處理技術之一,具體為將一個輸入圖像轉換成另一個圖像以改善視覺外觀,或增加圖像對比度使細節更明顯[3]。直方圖均衡化(Histogram Equalization,HE)[4]是圖像增強技術中常用的方法,通過修改圖像直方圖分布、拉伸圖像灰度的動態范圍,同時限制對比度來減少圖像失真。
然而,HE 會在全局范圍內增加對比度,因此圖像仍存在部分位置較暗,還會增強背景噪聲[5]。自適應直方圖均衡化(Adaptive Histogram Equalization,AHE)[6]在常規直方圖均衡算法的基礎上將圖像劃分為幾塊進行處理,但缺陷在于過度放大了圖像平滑區域的對比度,可能會在這些區域產生噪聲偽影。對比度受限自適應直方圖均衡化算法(Contrast Limited Adaptive Histogram Equalization Algorithm,CLAHE)[7]對區域對比度進行限制,利用插值加快計算能有效增強或改善圖像局部對比度,從而獲取更多圖像相關邊緣信息,有利于后續分割操作。同時,CLAHE 還可提供一個剪輯限制,聲明直方圖的最大高度和區域大小,剪輯限制值的范圍為0~1,值越高表示對比度越高。
目前,許多算法已被開發用于圖像質量增強[8-11],但在大量噪音影響下突出對比度分布不均勻的圖像信息是一項具有挑戰性的任務。Perona 等[12]提出經典的各向異性擴散濾波器,但在如何設計和選擇擴散率函數方面,并未給出統一的理論基礎,一般根據經驗或將擴散方程與其他理論模型結合來選擇擴散率函數[13,14]。
為此,本文提出一種基于PCA 降噪的改進型的各向異性擴散濾波器的模糊裁剪對比度受限自適應直方圖均衡化(ADFS-CLAHE-FC)圖像增強方法,旨在去除圖像噪聲、增強圖像對比度、保持圖像的細節。同時,將該方法與現有標準增強算法在信息熵、MSE、PSNR 方面進行定量分析。結果表明,通過該方法增強的圖像具有合適的視覺亮度和清晰的細節,在各評價指標中表現良好且穩定。
在圖像去噪領域,為了解決上述全局性問題和背景噪聲增強問題,黃勇[15]提出一種用于圖像對比度增強的自動CLAHE。由于自動CLAHE 自適應增強每個塊的對比度亮度,能有效增強黑暗圖像和有強烈黑暗陰影的日光圖像,在視覺質量和定量措施方面優于最先進的方法。Yue等[16]采用Bregman 分割算法和CLAHE 對基于圖像內部分解的對比度增強進行研究,提出在分解模型中引入圖像固有分解進行對比度增強,該方法相較于現有方法可獲得更好或相當的主觀和客觀質量,但僅能用于增強對比度,無法適用于改變表面紋理等技術。Haung等[17]提出一種自動變換技術改變直方圖,以提升數字圖像對比度,通過亮度像素的伽馬校正和概率分布提升變暗圖像的亮度,利用關于每幀間差異的時間信息來降低計算復雜度。Shakeri 等[18]提出一種基于局部直方圖均衡的對比度增強算法,該算法的特點是確定子直方圖個數,根據飽和度對直方圖進行分離,以產生自然的圖像和增強對比度,但缺點是在圖像亮度高的情況下容易丟失細節,輸出圖像中仍然存在噪聲。
綜上,基于直方圖、頻率、模糊、濾波器的圖像增強技術的案例分別為直方圖均衡化(HE)[4]、對比有限自適應直方圖均衡化(CLAHE)[7]、遞歸平均分離直方圖均衡化(Recursive Mean Separation Histogram Equalization,RMSHE)[19]、基于模糊裁剪邏輯的增強[20-22]。
首先對圖像進行灰度處理,利用PCA 對圖像降噪,然后使用CLAHE 對圖像進行增強處理,如圖1所示。

Fig.1 Algorithm Flow圖1 算法流程
圖像去噪技術可提升模型的分割和識別性能,然而由于噪聲類型和噪聲污染程度不同,傳統圖像去噪方法可能會導致圖像丟失,出現邊緣和細節模糊的問題。主成分分析(Principal Component Analysis,PCA)是一種最優的降維和特征提取技術,通過線性變換將原始數據轉化為線性無關表示形式,在降維的同時不僅可最大程度保留數據特征,還能有效去除圖像中存在的噪聲[23],為后續圖像分類或識別等任務提供基礎。目前,PCA 已廣泛應用于計算機視覺、機器學習、數據挖掘等領域。
PCA 算法主要思想[24]是通過投影將n維特征映射到k維上,k維是在原有n維特征基礎上重構的k維特征,即主成分。在PCA 投影過程包含了零計算過程,目的是尋找所有圖像的均值后減相減,并計算訓練圖像集的協變矩陣,得到協方差矩陣后進行約簡步驟,訓練圖像將變換到較低維數并以準確性形式得到結果,從而實現數據特征降維。
為了提升圖像質量,本文通過直方圖來增強亮度范圍、對比度、銳度等參數。直方圖均衡化算法(HE)被廣泛應用于增強處理后的數字灰度圖像[25],這類算法的實質是根據給定圖像概率分布函數調整半色調圖像層次,增大亮度分布的動態范圍,從而增強視覺效果,例如亮度、對比度、銳度和清晰度。圖像概率分布函數如式(1)所示。
式中:P(i)為亮度i出現的概率,即原始圖像直方圖的歸一化函數;j為處理后圖像的像素坐標;H(j)為變換后的圖像。
直方圖均衡算法包括局部(自適應)直方圖均衡算法和全局直方圖均衡算法。其中,全局方法首先建立一個圖,然后均衡化整個圖像的直方圖;局部方法構造很多直方圖,每個直方圖只對應一部分處理過的圖像,該方法增強了圖像的局部對比度,總體上可獲得較好的處理效果。然而,HE算法是對圖像進行全局均衡,會使圖像中較暗區域在均衡處理后亮度拉的過高,出現噪點直接變成白色的情況。
自適應直方圖均衡算法(AHE)在HE 的基礎上,將圖像劃分為幾塊進行處理,每一塊圖像統計了各自的分布函數,以更好地處理圖像數據的局部細節[26],但由于對圖像分塊進行處理將降低圖像處理效率,并使圖像呈現出被切割為幾塊的效果。
限制對比度自適應直方圖均衡算法(CLAHE)在AHE、HE算法的基礎上進行優化,是一種能提供剪輯限制和區域大小的圖像增強方法[27]。限制對比度相當于限制直方圖的幅度,在直方圖上給出邊界值可解決對比度增加過多的問題。通常情況下,限制值稱為剪輯限制值,即表示直方圖的最大高度,計算直方圖的剪輯限制如式(2)所示。
式中:M表示區域大小;N表示灰度值256;α為剪輯因子。
CLAHE 的流程是從區域大小和剪輯限制的初始化開始,計算每個區域的直方圖形狀;然后通過剪輯限制切割直方圖,將多余部分(剪輯限制值被認為是多余的)分配到另一個直方圖;接下來將新的直方圖映射到圖像上;最后在相鄰區域內進行像素插值,生成最終的CLAHE 圖像。裁剪示意圖如圖2 所示。CLAHE 算法示意圖如圖3所示。

Fig.2 CLAHE crop圖2 CLAHE裁剪

Fig.3 CLAHE algorithm圖3 CLAHE算法
3.2.1 模糊裁剪
CLAHE 將輸入圖像劃分為幾個不重疊的子圖像進行剪輯,以限制圖像增強數量。裁剪直方圖通過減少或增加輸入圖像值,參考閾值或均衡前的裁剪限制來改變輸入圖像的結構。
式中:i、j表示圖像中像素的空間坐標;P(i,j)表示可能結果的概率。
本文使用的模糊裁剪[20-22]可自動選擇裁剪極限,輸入為對比度C和空間熵E兩種變量,輸出為模糊裁剪增強參數(fβ)。其中,C 的模糊集為Low(V1)、Medium(V2)、High(V3),E 的模糊集為Small(W1)和Big(W2)。利用三角隸屬函數構造模糊裁剪的規則,將fβ分為裁剪極小值CL1 和裁剪極大值CL2。所有FC 輸出的每個規則值被聚合到單一模糊集合中。

Table 1 Fuzzy set variables and their value ranges表1 模糊集變量及其取值范圍
FC-CLAHE 方法計算依賴輸入圖像的C、E的裁剪極限值,如式(5)所示。
式中:fβ為模糊裁剪增強參數(0~0.1);[]表示截斷值最接近的整數;φ 為像素塊大小的乘積;256 表示像素強度值的范圍為0~255。
3.2.2 改進型各向異性擴散濾波器
本文根據上述定義,使用統計學解釋模型改進原來的擴散濾波器。傳統邊緣檢測算子包括Sobel 算子、Roberts算子等,他們都是一種估計函數,具備相似的統計意義[28]。本文受Perona、Malik 啟發,直接使用圖像局部梯度模值作為邊緣估計函數,設計了改進型各向異性擴散濾波器(ADFS),即基于梯度統計量的各向異性擴散濾波器,估計函數如式(6)所示。
式中:?u/?x、?u/?y分別為水平和垂直的邊緣檢測一階微分算子,是圖像在x、y方向的導數。
擴散率函數[29]如式(7)所示。
式中:變量δ為控制擴散率變化的閾值,當邊界估計值小于該值時擴散率較大且變化較快;反之,擴散率逐漸趨向于零。
改進型擴散濾波器的數學模型如式(8)所示。
式中:δ與擴散率函數中的功能相似,通常情況下該值與圖像噪聲強度相關,可采用CLAHE 方式進行計算,即用噪聲估計子方法計算δ值。
需要注意的是,如果在局部對比度較大的區域,δ值可取較大的值。在實驗部分,為了簡便計算,本文在局部對比度變化不大的圖像中將δ值置為常數。此外,本文使用各向異性系數阻止圖像邊緣上的擴散現象,提出ADFS 模型可表示為:
式中:div(.)、?為散度算子和梯度算子;為邊緣停止機制的還原函數,在調節擴散機制中具有重要作用。
此外,兩個遞減函數如式(10)所示。
式中:k為閾值,如果|?I|>k,像素被認為是邊緣,不會被模糊;反之,像素被認為是內部區域,將被高度平滑。
為了驗證算法的有效性進行噪點圖像增強對比實驗,比較HE、CLAHE、Singh 融合算法、Retinex 算法、基于PCA降噪的改進型CLAHE 算法在不同圖像上的去噪音增強效果。所有算法均在Pycharm 平臺上實現,使用的圖片來自Sklearn 數據集、ExDark 數據集和CS6640 項目,其中Sklearn數據集為Python 中的機器學習庫,提供了很多不同數據集,例如玩具數據集,鳶尾花樣本,手寫數字數據集等;Ex-Dark 數據集由專門在低光照環境下拍攝的低光照片組成;CS6640 項目來自康奈爾大學一門關于計算在攝影中的新興應用的課程。
由圖4(a)可見,原始圖像噪聲較多,難以辨認圖像的數字,從直方圖中也可看出圖像的灰度集中在右側部分,整張圖片過亮。圖4(b)經過HE 變換后直方圖仍過度增強,灰度較為集中且圖像引入了大量噪聲。由圖5(b)、圖6(b)中均可看出,圖像在經過HE 增強后仍存在大量噪聲。由圖5(h)、圖6(h)可見,直方圖灰度集中在一個區域。

Fig.4 Before and after effects of various methods on image 1圖4 在圖片1上各種方法前后效果

Fig.5 Before and after effects of various methods on image 2圖5 在圖片2上各種方法前后效果

Fig.6 Before and after effects of various methods on image 3圖6 在圖片3上各種方法前后效果
由圖4(i)—圖6(i)可見CLAHE 方法彌補了上述方法直方圖不均衡的缺陷,處理后的圖像灰度范圍適中、分布均衡,圖像既未過度增強也不失真,但圖4(c)即使進行了圖像增強,數字仍然不清晰,圖5(c)、圖6(c)存在明顯噪點。
為了進一步與現有較好方法進行比較,本文引入Singh 融合算法和Retinex 算法進行實驗。由圖5(d)、圖5(e)可見,使用兩種算法后生成的圖像相較于原圖噪點有所減少。由圖5(j)、圖5(k)可見,未均衡化的直方圖相較于原圖與CLAHE 方法得到了明顯改善,但在其他數據集中Singh 融合算法和Retinex 算法仍存在圖像噪聲多的缺點,如圖4(e)所示。
綜上,由于這3 組圖像均在未去噪的情況下進行圖像增強處理,方法效果較差,數字難以辨認,為后續圖像識別、分割帶來了難度。然而,本文方法解決了Singh 融合算法和Retinex 算法方法的兩個缺陷,圖像上的數字、輪廓清晰可見(見圖4(f)、圖5(f)、圖6(f)),直方圖上的灰度分布均勻(見圖4(l)、圖5(l)、圖6(l)),在視覺上效果非常好。
由圖4—圖6 可見,基于PCA 降噪的改進型CLAHE 方法效果最好,變換后的圖像直方圖灰度范圍適中,圖像得到有效增強,圖像細節清晰可見。
雖然,其他方法的直方圖分布范圍和圖像清晰度并不理想,但僅依靠視覺感官仍然無法有效說明算法的有效性。
為了解決上述問題,本文使用信息熵、均方誤差(Mean Squared Error,MSE)和峰值信噪比(Peak Signal to Noise Ratio,PSNR)這3 個指標,在上述3 個場景對PCA 降噪方法的有效性進行有效、客觀地比較分析[30]。其中,信息熵描述了一個事件的不確定性[31];信息熵表示隨機變量不確定的度量,是對所有可能發生事情產生的信息量的期望,熵越大代表圖像細節越豐富,信息內容越多;MSE[32]是預測數據和原始數據對應點誤差的平方和的均值,值越小表示兩幅圖像的差異越小,反之差異越大,具體計算公式為:
式中:yi為真實數據為擬合數據;n為樣本的個數。
PSNR[33]是一種衡量圖像增強技術的指標,表示信號的最大可能功率與影響輸出信號噪聲功率間的比值。不同增強技術對不同圖像的PSNR 值如表2 所示。由此可見,本文方法相較于其他普通的圖像增強方法PSNR 值更高,證明了該指標可用來衡量降噪效果,具體計算公式為:

Table 2 Results of ablation experiments on each module of image 1表2 圖像1各模塊消融實驗結果
式中:m表示圖像中一個像素能取得的最大值。
一般而言,圖像經過處理后信息熵越大,包含的信息量越大,MSE 越小說明處理效果越好,PSNR 值越大說明處理效果好。
4.2.1 消融實驗
首先,本文分別對PCA、ADFS-CLAHE-FC 模塊進行比較實驗,依據PSNR、MSE 指標衡量降噪效果和圖像質量,結果如表2所示。
由表2 可知,在PSNR 指標中,PCA 降噪、ADFS-CLAHE-FC 相較于含噪模型提升2.935 9 dB、13.346 6 dB,聯合兩種方法后提升14.897 9 dB;MSE 指標中PCA 降噪、ADFS-CLAHE-FC 相較于含噪模型降低18.141 9 dB、32.220 4 dB,聯合兩種方法后降低38.409 5 dB。實驗表明,分別使用PCA 降噪和ADFS-CLAHE-FC 方法后均能有效提升圖像質量。
4.2.2 其他方法比較實驗
表3 為圖4—圖6 中3 幅圖像經過HE 變換、CLAHE 變換、Singh 融合算法和Retinex 算法處理[34-35]、基于PCA 降噪的改進型CLAHE 變換后的信息熵、MSE、PSNR。實驗結果表明,基于PCA 降噪的改進型CLAHE 算法能有效降低噪聲,提升圖像有效信息。

Table 3 Quantitative results of image 1-image 3表3 圖像1—圖像3的定量結果
本文選取多個數據集中100 個存在噪點的圖像,表4展示了這100 個圖像分別進行HE 變換、CLAHE 變換、Singh 融合算法和Retinex 算法處理及基于PCA 降噪的改進型CLAHE 變換后得到的信息熵、MSE、PSNR。結果表明,基于PCA 降噪的改進型CLAHE 變換處理后的圖像信息熵、MSE、PSNR 最優,證明了本文方法能有效降低噪聲,提升圖像對比度,增強圖像有效信息。

Table 4 Average of 100 images表4 100張圖像均值
本文提出一種基于PCA 降噪的改進型限制對比度自適應直方圖均衡化圖像增強算法。通過主成分分析方法去除圖像噪音、提升圖像質量,然后使用改進的限制對比度自適應直方圖均衡化方法對降噪后的圖像進行增強處理,拉伸圖像灰度的動態范圍。
通過觀察該方法處理的效果圖發現,本文方法不僅抑制了大量噪聲、視覺效果更好,還突出了圖像的更多細節。此外,采用信息熵、MSE、PSNR 對所提方法和現有方法的性能進行評價,結果表明該方法可為各種圖像提供更好的增強效果,提升圖像檢測類任務的可檢測性。
然而,實驗發現目前方法在不同灰度、彩色的自然圖像測試時,會受到沖刷現象和不良偽影的影響,無法穩定取得良好的圖像增強效果。未來,將對此進行改良,以增強模型的魯棒性和實用性。