基于LBP 特征與圖像顯著性的散焦模糊區域檢測

李浩偉， 劉 洪， 梁建娟， 劉本永

（貴州大學 大數據與信息工程學院， 貴陽 550025）

0 引言

散焦模糊是圖像成像過程中較為常見的一種退化現象。 散焦模糊的形成是由于相機鏡頭存在景深限制，景深范圍內的成像是清晰的，景深范圍外的成像則是模糊的。 局部散焦模糊圖像可以看作聚焦前景和模糊背景的疊加，其中聚焦前景區域紋理較為豐富，圖像細節較多，而散焦模糊區域紋理較為平坦，圖像細節較少，只有大體的輪廓。 有效和準確地檢測出局部散焦模糊圖像中的模糊區域在圖像信息的進一步獲取和利用方面發揮著重要作用，如景深估計［1］、圖像局部去模糊［2］、圖像再聚焦［3］、圖像質量評價［4］、圖像分割［5］、模糊放大［6］等領域。

依據散焦模糊區域和聚焦清晰區域在空域及變換域中的差異，學者們提出了多種局部模糊區域檢測方法。 Su 等學者［7］利用清晰像素塊和模糊像素塊在奇異值分解后的系數差異來構造模糊特征。Shi 等學者［8］使用圖像梯度分布特征、圖像頻譜特征和局部濾波器來訓練貝葉斯分類器，并在多尺度框架下進行模糊區域檢測。 Yi 等學者［5］提出一種基于局部二值模式（Local Binary Pattern， LBP）的散焦模糊度量，并將其應用于模糊區域的分割。Golestaneh 等學者［6］對圖像梯度進行離散余弦變換，通過對其高頻系數進行多尺度融合來構造模糊特征進行模糊區域檢測。 Tang 等學者［9］提出了一種基于對數頻譜殘差的模糊度量，利用相鄰圖像區域的內在相關性來得到模糊圖。 上述方法通過提取和構造模糊特征來對圖像中的每個像素點的模糊程度進行度量，進而得到最終的模糊圖。 然而，這些模糊檢測方法在紋理平坦區域的判別和圖像邊緣細節的保持方面尚有不足。

聚焦清晰區域可以分為紋理豐富區域和均質清晰區域［10］。 其中，紋理豐富區域像素模糊響應較低，對其進行檢測相對容易，而均質清晰區域較為光滑，模糊響應較強，容易被誤判為模糊區域，其檢測是散焦模糊區域檢測中的一個難點。 LBP 特征能夠快速準確地檢測出紋理豐富區域像素，但對處于均質清晰區域的像素檢測能力較弱，這也是很多模糊特征共有的不足。 本文利用圖像的LBP 特征和顯著性特征來構造三元標識圖，借助于KNN（K Nearest Neighbors）摳圖［11］來實現散焦模糊區域的檢測，即將圖像分割成2 個區域：模糊區域和清晰區域，進一步利用形態學運算和邊緣保持的平滑濾波細化檢測結果。 此方法能有效克服傳統模糊區域檢測方法對于均質清晰區域容易誤判的問題，并且在圖像的邊緣細節保持方面具有一定的優勢。

1 模糊檢測及圖像顯著性

1.1 SLBP 模糊圖提取

模糊圖反映圖像中像素的模糊程度，本文基于LBP 特征來提取SLBP 模糊圖［5］。 LBP 特征可以有效提取圖像的局部紋理，對光照轉換造成的灰度變化具有較好的魯棒性，并且計算簡單，速度較快。像素（xc，yc） 處的LBP 值定義為：

其中，nc是中心像素（xc，yc）的灰度值；np是以（xc，yc）為中心，半徑為R的圓上的P個相鄰像素的灰度值；TLBP是一個小的灰度敏感閾值。 將標準的LBPP，R進行旋轉，選取LBP值最小的那一個來表示中心像素點， 可得到旋轉不變的局部二值模式在P ＝8，R ＝1 的情形下，通過結合旋轉不變性，LBP 模式還可以進一步簡化為9 種均勻局部二值模式（類型編號由0 到8）和1 種非均勻局部二值模式（類型編號為9）［12］。 對于散焦模糊區域而言，由于其較為平滑，多數鄰域像素灰度np與中心像素灰度nc較為接近，類型編號較小的模式出現的頻率相對較高，類型編號較大的模式出現的頻率相對較低。 圖1（a）中，紅色方框內為散焦模糊區域，藍色方框內為聚焦清晰區域，分別對方框區域內像素的LBP類型分布進行統計，結果如圖1（b）所示。 可以看出，散焦模糊區域像素的LBP 類型主要為低編號類型。

圖1 散焦區域和聚焦區域的LBP 分布Fig. 1 LBP distribution in blurred and sharp regions

基于以上分析，定義模糊特征QL BP為：

其中，U（LBPP，R） 為均勻模式的度量因子；n為模式i的數目；N是選取的像素塊中像素總數目。

利用模糊特征QLBP對輸入圖像進行處理可以得到LBP 模糊圖。 然而，LBP 模糊圖中鄰近像素之間聯系相對較弱，即便是相鄰很近的像素，其模糊響應也可能有較大差異。 為了更好地利用區域內其它像素的模糊信息，本文不再以單個像素的模糊度作為度量，而是以某一區域內所有像素模糊響應的均值作為該區域所有像素的模糊度量。 利用SLIC（Simple Linear Iterative Clustering）算法［13］對輸入圖像進行分割，依據分割結果來對LBP 模糊圖進行處理，進而得到SLBP 模糊圖。 SLBP 模糊圖HSLBP計算方法如下：

其中，HLBP為LBP 模糊圖；Ai為SLIC 算法分割后得到的超像素；M為超像素總數目。

圖2 給出了一個SLBP 模糊圖提取示例。 由圖2 可以看出，輸入圖像在經過SLIC 超像素分割后，其輪廓和邊緣信息得到了較好的保持。 依據分割結果重新計算LBP 模糊圖中像素的模糊度，從而得到SLBP 模糊圖。

圖2 SLBP 模糊圖估計Fig. 2 Estimation of SLBP blur map

1.2 圖像顯著性

圖像中能夠優先被人類視覺系統所注意到的區域稱為顯著性區域，顯著性檢測模擬人眼的視覺注意機制對像素的顯著性進行度量得到顯著圖。 本文利 用 DRFI （ Discriminative Regional Feature Integration）算法［14］來獲取圖像的顯著圖。 該方法首先在不同尺度下對圖像進行分割，然后結合區域對比度（Regional Contrast）、區域屬性（Regional Property）和區域背景（Regional Backgroundness）三種特征得到關于分割區域的一組86 維的特征向量，該特征向量通過隨機森林映射為顯著值，最后將不同尺度下得到的多個顯著圖進行融合來獲取最終的顯著圖。

對于散焦模糊圖像來說，由于鏡頭聚焦的區域通常也是視覺上較為突出的區域，所以圖像顯著性一定程度上也具備區分聚焦清晰區域和散焦模糊區域的潛力。 圖3（a）中，聚焦區域為光滑的花瓣區域，包含有大量的均質清晰區域。 分別利用模糊特征QLBP和DRFI 算法對其進行檢測，得到圖3（b）和圖3（c）。 可以看出，模糊特征QLBP僅僅能檢測到部分邊緣像素點，無法準確區分均質清晰區域和散焦模糊區域，而在DRFI 顯著圖中，由于均質清晰區域和散焦模糊區域的顯著性差異較大，所以這兩部分區域能夠得到有效的區分。

圖3 LBP 模糊圖與DRFI 顯著圖的比較Fig. 3 Comparison between LBP blur map and DRFI saliency map

然而，DRFI 算法不能直接用于模糊區域檢測，像素的顯著性和模糊度之間并無直接的聯系。 圖4（a）中，黃色方框區域顯著性明顯低于同處在聚焦前景區域的藍色方框區域顯著性，卻非常接近處在模糊背景中的紅色方框區域顯著性。 針對這類圖像進行檢測時，DRFI 顯著圖同真實標記的模糊圖差異較大。

圖4 不同聚焦區域的顯著性Fig. 4 Saliency in different focal regions

2 散焦模糊區域檢測

2.1 散焦模糊檢測流程

本文提出的散焦模糊檢測算法流程如圖5 所示。 由圖5 可知，首先利用LBP 特征和SLIC 超像素分割算法對輸入圖像進行初步的散焦模糊區域檢測以得到SLBP 模糊圖，利用DRFI 算法得到DRFI顯著圖，然后依據均質清晰區域和散焦模糊區域在顯著性上的差異，結合SLBP 模糊圖和DRFI 顯著圖來構造三元標識圖，進而利用KNN 摳圖算法來得到散焦模糊區域檢測結果，最后借助于形態學處理和平滑濾波來細化檢測結果。

圖5 模糊區域檢測流程圖Fig. 5 Blur region detection flowchart

2.2 三元標識圖的構造

三元標識圖、即trimap，由確定的前景、確定的背景以及待確定區域三部分構成。 利用KNN 摳圖算法檢測散焦模糊區域，需要構造合理的三元標識圖。 三元標識圖的前景應當處在聚集清晰區域，背景應當處在散焦模糊區域。 有別于通過設置雙閾值［5］或者借助于形態學的腐蝕膨脹方法［15］構造三元標識圖，這里將圖像的SLBP 模糊圖和DRFI 顯著圖結合起來構造三元標識圖。 三元標識圖的構造方法代碼具體如下。

算法代碼中的Ts為顯著性敏感閾值，控制著待確定區域的大小。 在摳圖前景確定的情況下，Ts越小，背景區域越大，待確定區域越小。 然而Ts過小時，待確定區域可能會無法包含均質清晰區域，導致算法對均質清晰區域的檢測能力下降。TC為自適應分割閾值，用以二值化SLBP 模糊圖，該閾值通過OTSU 算法［16］得到。 OTSU 算法又稱為最大類間方差算法，是一種自適應閾值的圖像分割算法。 相比于固定灰度閾值分割，其魯棒性更好，但是直接使用OTSU 算法來對SLBP 模糊圖中的超像素進行分割，效果往往并不理想，主要表現在均質清晰區域像素誤檢嚴重。

圖6 給出了一個對應算法1 的三元標識圖構造示例。 圖6（a）中，黑色區域像素對應輸入圖像中的紋理豐富區域像素，這部分像素作為摳圖前景被保留。 均質清晰區域像素顯著性較高，多集中在待確定區域，即三元標識圖TR 中的灰色區域，這部分像素在KNN 摳圖后能獲得較低的模糊響應，較好地克服了1.2 節所提到的問題。

圖6 三元標識圖的構造示例Fig. 6 Example of generating a trimap

2.3 形態學運算和平滑濾波

通常情況下，散焦模糊區域中存在較小的非模糊區域是不合理的，這部分區域在KNN 摳圖得到的模糊圖中常常以小的孤立像素塊的形式存在，可以使用形態學方法來處理。 孤立像素塊的產生主要是由于模糊背景中存在著灰度變化較為劇烈，且有著較低模糊響應的偽清晰區域［10］。 形態學處理的方法如下：首先取分割閾值Tseg將KNN 摳圖后得到的模糊圖二值化，然后選取結構元素對背景進行先膨脹、后腐蝕的閉運算操作，去除像素數目小于G的孤立黑色像素塊，將得到的二值圖作為掩膜，保留模糊圖中對應掩膜位置上的像素。

鄰近區域內像素的模糊程度應當是相近的，進一步利用邊緣保持的平滑濾波［17］對模糊圖進行局部平滑處理，可以使局部區域內的模糊分布更為合理。

3 實驗結果及分析

本文在Shi 等學者［8］提供的模糊數據集上進行實驗。 該模糊數據集包含1000 張局部模糊圖像及對應的Ground Truth，其中散焦模糊圖像704 張，其余為運動模糊圖像。 本文只選取散焦模糊圖像進行模糊區域檢測。 仿真實驗中，將灰度敏感閾值TLBP設置為0.016，選取的圖像塊中像素總數目N設置為25，分割后的超像素個數M設置為500，顯著性敏感閾值Ts設置為0.89，用于形態學處理的Tseg設置為0.88，結構體為半徑為3 的平面圓盤型結構元素，G為3 個超像素塊的大小。

3.1 定性實驗

在Shi 等學者［8］提供的數據集上選取5 張圖像，將上述參數設置下得到的散焦模糊檢測結果同部分主流算法得到的結果進行比較，結果如圖7 所示。 由圖7 中可以看出，文獻［8］容易受到偽清晰背景區域的影響，檢測結果較為粗糙。 文獻［9］考慮了相鄰區域的相關性，在圖像邊緣信息的保持和均質清晰區域的檢測方面表現相對較好，但模糊區域和聚焦區域交界處的差別不夠顯著。 文獻［5］和文獻［6］在邊緣保持和均質清晰區域檢測方面也有一定的不足。

圖7 模糊圖比較Fig. 7 Blur map comparison

通過引入圖像顯著性，本文算法能有效地檢測出散焦圖像中的均質清晰區域。 第一張圖像中黃色的水果區域，第二張圖像中綠色的葉片區域和第三張圖像中白色的卡片區域都包含有大量的均質清晰區域，多數算法會將其誤判為散焦模糊區域，從而得到誤差較大的檢測結果，而本文算法則實現了較為準確的檢測。 此外，即便模糊背景有著同聚焦前景較為相近的顏色（第四張圖像），或者聚焦前景區域內存在著顯著性較低的區域（第五張圖像），本文算法仍然可以獲得較為準確的檢測結果。

由于SLIC 算法和KNN 摳圖算法都有同輸入圖像的交互，本文算法在圖像邊緣定位的準確性方面具有一定的優勢。 利用本文算法對圖8（a）進行模糊檢測，得到圖8（b），依據檢測結果對輸入圖像進行分割得到圖8（c）。 由圖8（c）可以看出，本文算法得到的模糊檢測結果較好地保持了原圖像的邊緣細節信息。

圖8 模糊區域分割Fig. 8 Blur region segmentation

3.2 定量實驗

為了定量地研究本文算法的檢測性能，選取Shi等學者［8］提供的數據集上總計704 張散焦模糊圖像進行實驗，使用精度查全率（Precision－Recall，PR）作為算法性能的評價指標。 精度、查全率的計算方法如下：

其中，R為模糊圖經過分割后的模糊像素集合（分割閾值由0 取到255），Rg為對應的Ground Truth的模糊區域像素集合。

針對模糊檢測過程中部分流程進行消融性實驗，得到的P － R曲線如圖9 所示。 在圖9 中，圖例中的QLBP表示僅利用模糊特征QLBP進行模糊檢測；QLBP＋KNN 表示利用模糊特征QLBP和KNN 摳圖算法進行模糊檢測（未使用SLIC 超像素分割算法）；QLBP＋SLIC 表示利用模糊特征QLBP和SLIC 算法來進行模糊檢測（未使用KNN 摳圖算法）；DRFI 表示直接利用DRFI 算法進行模糊檢測。 由圖9 可以看出，直接使用模糊特征QLBP或者DRFI 算法進行模糊檢測，檢測結果較差；通過結合SLIC 算法，模糊特征QLBP檢測能力得到了提升；進一步借助于圖像顯著性和KNN 摳圖算法能夠獲得最佳的檢測效果。

圖9 不同處理方式下的P－R曲線Fig. 9Precision－Recallcomparison for diffierent processing methods

將本文方法同部分主流算法進行定量的比較，對比結果如圖10 所示。 實驗結果表明，當查全率處在0.77和0.94 區間時，相比于其它模糊區域檢測算法，本文方法獲得的檢測結果在精度和查全率上表現最佳。

圖10 不同算法P－R比較Fig. 10Precision－Recallcomparison for diffierent algorithms

4 結束語

本文提出了一種簡單有效的散焦模糊區域檢測算法，在較好地保留了圖像邊緣細節的同時，實現了對均質清晰區域的有效檢測。 LBP 特征可以準確檢測紋理豐富區域像素，圖像顯著性可以用來區分均質清晰區域和散焦模糊區域。 將LBP 特征同圖像顯著性相結合，并利用KNN 摳圖算法實現散焦模糊區域的有效檢測，同時形態學運算和平滑濾波進一步提高了模糊區域檢測的準確性。 構造更為有效的模糊特征，提高檢測速度和精度，將是后續工作的重點。