基于分割融合算法的WCE 過曝光圖像修正研究*

魏曉雍，王 孟，曹 陽,2，張大斌，劉杰民，倪茂美

（1.貴州大學，貴州 貴陽 550025；2.貴州大學工程實訓中心，貴州 貴陽 550025；3.貴州省人民醫院，貴州 貴陽 550001）

0 引言

無線膠囊內鏡（Wireless Capsule Endoscopy，以下簡稱WCE）[1]是一種新型膠囊檢測技術，減輕了傳統插入式內窺鏡在檢測過程中給患者帶來的恐懼和痛苦，但在觀測人體消化道時存在盲區情況等，還增強了其檢測能力[2]。

目前，WCE 與相機、手機和攝影機的拍攝系統類似。曝光矯正系統是根據鏡頭獲取的全部光線來調節圖像直方圖，從而獲得想要的圖像效果。當無線膠囊內鏡工作時，由于進入攝像頭的光源超過圖像傳感器能接收的范圍時，得到的圖片局部會產生過曝光現象，出現顏色和細節信息的缺失，影響后續進行圖像識別和醫生診斷病灶[3]。因此，需要修正圖像局部過曝光，盡可能保留和改善WCE 圖像的顏色和細節紋理信息。

在對圖像局部過曝光進行修復的過程中，常采用的方法是通過圖像亮度閾值得到過曝光區域，再通過各種特征融合算法得到新圖像[4-5]。圖像融合算法是經計算機不同處理得到的兩幅圖像，再次進行綜合處理得到一個滿足需求的新圖像[6-7]。李衛中等[8]提出一種細節保留的多曝光圖像融合方法，測量了圖像細節、亮度和色彩，通過特征加權得到融合圖像。該方法可以保留細節信息，但是存在一定的顏色失真。Gu 等[9]提出了一種利用二次平均濾波和非線性壓縮對過曝光區域梯度場進行迭代融合修正的新方法，結果顯示視覺效果不自然。為了避免時域融合過程中出現色差，馬洋花等[10]提出了一種改進的基于小波多分辨率分析的多曝光圖像融合算法。Song 等[11]對圖像過曝光區域的梯度和亮度進行求解分析，運用概率模型對曝光率程度不相同的輸入圖像進行融合處理，但會造成圖像在顏色、紋理信息上的損失。杜永生等[12]設計了一種質量度量耦合顏色校正的多曝光圖像融合算法，提高了圖像質量，但算法過于簡單。

由于不同顏色空間有不同的視覺特點，HIS 顏色空間正符合人類對顏色描述的特點[13]。它由色調H、飽和度S和強度I組成，可將強度分量從彩色圖像攜帶的彩色信息（色調和飽和度）中分離。飽和度是指被純白光稀釋程度的度量，將強度和飽和度應用到過曝光區域修正具有明顯優勢。

本文針對上述問題，提出一種新的修正WCE圖像過曝光區域的分割融合算法。先對典型的潰瘍和息肉過曝光區域增強處理，降低其他區域的影響，提取圖像的亮度和飽和度分量對圖像進行分析，通過設計的分割算法得到強、弱過曝光兩分量圖像，在將兩分量融合得到完整的過曝光區域，最后通過填充修復得到修正圖，盡可能地改善圖像質量和灰度信息，為后續圖像識別以及醫生診斷提供有力的幫助。

1 圖像過曝光區域強度和梯度分析

圖1 為息肉幀和潰瘍幀進行過曝光標注圖。圖1（a）存在較多的過曝光區域。經過計算，圖像有94 856個像素點，過曝區像素點為2 902個，占3.1%。圖1（b）中高曝光區占總像素0.43%。

圖1 WCE 過曝光區域標注情況

由圖1 可知，高曝光區呈白色。這里用Prewitt近似獲取其梯度，采用相鄰兩像素間的差分來表示像素梯度。以圖2 中的Prewitt 卷積原理圖為例，x和y方向的梯度為：

圖2 Prewitt 卷積原理

由表1 信息可知，通過分析息肉、潰瘍過曝光區域強度、梯度的信息進行比較發現，過曝區域強度值較高，基本都高出了228，甚至達到了250，但是所有區域強度均值為107。過曝光區域的梯度比圖像的平均梯度都要高。由于圖像的紋理、顏色受到過曝光各區域的影響，導致醫生在診斷時容易出現誤診情況，因此對過曝光區域修正必不可少。

2 修正圖像局部過曝光的算法設計

2.1 算法總體思路

通過對過曝光區域分析得知，過曝光區域強度明顯高于其他區域的強度值。在常規的RGB 顏色空間中，它能夠產生多種色彩，但是人類對顏色的敏感程度較差。由于人眼對亮度敏感程度大于對顏色的濃淡程度，在此用HIS 顏色空間描述色彩，其中H為色調、S為飽和度和I為亮度。飽和度和亮度應用在過曝光區域修正中具有明顯的優勢。

表1 息肉、潰瘍過曝光區域信息

RGB 顏色空間與HIS 色彩空間轉換如下：

過曝光區域檢測通常根據圖像的直方圖閾值、梯度跳躍檢測以及色彩劇變等具有差異較大區域進行圖像分割。

本研究提出一種修正WCE 圖像局部過曝光分割算法，如圖3所示。先對過曝光區域進行增強處理，減少普通區域對分割的影響。通過分離出飽和度和亮度，模型1 對強爆光區域進行分割，再次將結果輸入到模型2 進行不明顯的弱曝光區域分割，通過融合并輸出掩膜，最后進行填充修復得到目標圖像。

圖3 修正WCE 局部過曝光分割算法流程

2.2 過曝光區域增強處理

一部分圖像存在過曝光區域，且不影響病灶判斷，但是其顏色與過曝光區域相近，在檢測過曝光區域時會造成一并處理計算增大的問題。為了更好地得到過曝光區域，需要對圖像進行增強，突出細節，減少該區域的影響。Othmane[14]提出了一種非線性反射光增強的方法，將RGB 顏色中像素的最小值與最大值比來重新賦值給3 個通道，即：

式中，R'、G'和B'分別為新的三通道像素值。式（6）主要對反光區域進行增強，而文字區域和高曝光區域沒有得到增強。對式（6）進行新的權重分配改進，由圖像三維直方圖圖4 可知，B、G通道有顯著凸起，與周圍形成對比；過曝光區域B、G 兩通道強度主要分布在225～235，少數過曝光區域在B、G 兩通道上強度都達到225 以上；由于組織R 分量強度偏大，其過曝光區域與普通正常區域強度差別不明顯。因此，保持式（6）中B 和G通道權重不變，R 通道權重降低，得到過曝光區域增強效果如圖5 所示。

圖4 WCE 幀三通道三維直方圖

圖5 過曝光區域增強效果

2.3 強、弱過曝光區域分割

2.3.1 模型1：強過曝光區域分割

定義強過曝光區域為WCE 圖像中很多清晰、肉眼能辨別的過曝光區域，通常顯示為白色，通過模型1 即基于自適應閾值對過曝光區域分割。

RGB 顏色空間轉換為HIS 顏色空間后，對分量S和I進行處理。任意給定像素Xij的S和I通道設定自適應閾值TS和TI：

式中：mean為取平均值；Sri與Scj是Xij的S分量所在的行之和與列之和；Iri與Icj是Xij的I分量所在行之和與列之和；α和β為系數，系數的大小關系到過曝光區域的完整提取。

檢測圖像是否為過曝光區域的條件是：

式中，S(Xij)和I(Xij)為S和I分量Xij處的值。

若滿足式（11），標記為過曝光區域。將HIS變換到RGB，對標記的過曝光區域三通道均賦值為255，其他區域賦值為0，得到二值圖像。改進后的算法與Othmane 方法相比較，可看出加強了過曝光區域中不明顯的地方。模型1 能夠分割出更加豐富和完整的過曝光區域，用Canny 算法提取過曝光區域進行對比，如圖6 所示。

圖6 分割效果對比結果

2.3.2 模型2：較弱過曝光區域分割算法

通過模型1 采用基于自適應閾值分割，能處理大部分過曝光區域，但是沒有達到預期效果，導致分割不完整。在模型1 未分割出來的部分，這里稱為弱曝光區域。此時，提出模型2 對弱曝光區域進行處理，原理如圖7 所示。利用原圖對M1按照領域填充得到N1，使用布特沃斯低通濾波器對N1進行濾波處理得到圖像N2，使用差分重新分離過曝光區域。

圖7 模型2 流程

其中，過曝光區域填充主要是通過鄰域填充來獲得不包含強過曝光的圖像，具體操作如下：

（1）提取M1中白色區域邊緣輪廓；

（4）計算單一輪廓的Xij的平均值P；

（5）在N0將P賦予輪廓內的像素；

（6）重復上述操作，直到所有輪廓填充完整得到N1。

考慮通過濾波來模糊其輪廓和內部，并使整體圖像顏色均勻，提升差分效果。采用布特沃斯低通濾波器（Butterworth Filter，BLPF）進行過濾，實現能在高頻和低頻之間的平滑過渡。經濾波后的N2與N0作差分，得到差分函數為：

式中，N2B(Xij)為N2圖像中B 通道Xij的值，N0B(Xij)為N0圖像B 通道Xij的值。

式中，T2為模型2 的判別閾值，取T2=1.2。

若此處像素值大于1.2，即為過曝光區域，否則標記為正常，再經過二值化處理得到過曝光區域M2，如圖8 所示。從圖8 可看出，基本上所有過曝光區域都被分割出來，得到了模型1 未達到的效果。

圖8 模型2 分割和輪廓檢查結果

2.4 圖像融合及其填充修復

2.4.1 模型1 與模型2 結果按規則融合

由于使用模型2過程中改變了像素領域的強度，此時邊緣較為模糊。在此，使用拉普拉斯對圖像進行銳化處理，突出邊緣信息，最后再與模型1 融合。

2.4.2 圖像填充修復

從模型2 分割效果圖可知，掩膜存在一些的斑點，通過中值濾波進行處理后進行圖像填充，采用鄰域鏡像替換法修復圖像。

3 仿真實驗與結果分析

3.1 圖像質量評估標準

圖像質量的評估有主觀和客觀兩種。主觀評估是根據某個尺度和個人經驗對圖像的視覺效果給出分數，通過判別者評分進行加權處理，最后得到圖像質量的主觀評估結果。客觀評估是仿照人類的視覺效果用計算機處理的方式，對圖像進行質量評估，通過計算圖像的均值、方差、邊緣信噪比等與圖像進行比較，實現客觀評估結果。

上述兩種評估方法中，主觀評估會受方法、情緒等個人因素影響，導致評估結果有偏差。客觀評估與其正好相反，克服了個人因素的影響，且具有計算簡便、穩定性較高等優點。所以，在評估圖像質量時常采用客觀評估法。

在此選用均值評估法對圖像質量進行評估，根據圖像的灰度值反映圖像亮度的明暗程度。圖像均值越小，表示圖像越暗，色彩越深；均值越大，則反之。若圖像輸入為f(x,y)，大小為M×N，則輸出公式如下：

由于灰度值方圖恰好反映圖像灰度值與像素點個數的關系，即在某個灰度值范圍內像素點個數越多均值就越大，點數個數越少則均值越小。本文繪制圖像的灰度直方圖，比較圖像處理前后的變化，統計過曝光點經預處理前后的個數，評估圖像質量。

3.2 結果分析

文中共采用息肉、潰瘍兩幅圖片，實驗在Intel Core i7、8 GB、Windows 7、Matlab R2016b環境下進行。首先，利用算法對圖像進行分割處理，得到息肉和潰瘍的局部過曝光區域；其次，對局部過曝光區域進行修復；最后，輸出修復圖像。

從圖9 和圖10 可知，本文算法最大限度改善了圖片質量和灰度信息，有效提升了視覺效果。從圖11 和圖12 可看出，在原圖像中，灰度值在220～250 的像素點較多，一定程度上被認為是過曝光像素點。經過本文的算法處理后，這個區間的像素個數大幅度減少，甚至息肉修正后的直方圖此區間個數基本為0。

圖9 修正前后息肉幀效果對比

圖10 修正前后潰瘍幀效果對比

圖11 息肉修復前后圖像直方圖對比

圖12 潰瘍修復前后圖像直方圖對比

表2 統計了修正后圖像的灰度值在220～250的像素點個數（即過曝光點個數），發現在這個區間內像素點個數明顯下降，息肉、潰瘍過曝光區域像素個數分別下降99.8%和97.5%，總體平均下降97.8%。通過統計原圖修正前后、圖像直方圖以及過曝光點像素個數進行對比，發現運用提出的算法能夠有效修復圖像局部過曝光顏色、亮度及紋理信息。

表2 過曝光像素點分析

4 結語

本文提出了一種基于分割融合算法的息肉和潰瘍局部過曝光修正方法，為后續圖像識別和醫生診斷病灶提供了很大幫助，能夠提高識別準確率。文中采用的算法可推廣應用到其他場景，只需根據異常區域大小和圖像大小來調整。

（1）針對傳統多曝光圖像融合算法會導致圖像顏色失真的問題，本文基于HIS 顏色空間的亮度和飽和度分量修正圖像，有效解決了顏色失真問題，同時提高了圖像質量。

（2）使用本文算法對圖像過曝光區域修正之后，該灰度值區間的像素點個數明顯降低，總體平均下降了97.8%，得到了更加符合人眼所感知的圖像，改善了圖像紋理、顏色等，驗證了所提算法對過曝光區域紋理和顏色增強的有效性。