一種簡單的單幅灰度圖像高光檢測與恢復方法

尹芳 陳田田 付自如 于曉洋

摘 要：高光的檢測與去除一直是計算機視覺領域的一個熱點問題，現有的大多數方法主要都是針對彩色圖像，但是灰度圖像的應用又很廣泛，對于只包含亮度信息的灰度圖像的高光檢測和去除是一個難點問題，針對這一問題，提出了一種簡單的單幅灰度圖像高光檢測方法。該方法對二維亮度飽和度直方圖方法進行改進，并利用漫反射分量和鏡面反射分量的分布獲取高光亮度值范圍，對可能存在的高光區域進行檢測，最后，利用基于BSCB模型的圖像修復方法去除高光。實驗結果表明本文算法細節處理的較好，能夠有效地檢測出灰度圖像中鏡面反射區域，提高了圖像高光區域的修復率。

關鍵詞：高光檢測； 反射模型； 二維亮度飽和度直方圖； BSCB模型

DOI：10.15938/j.jhust.2018.02.015

中圖分類號： TP391

文獻標志碼： A

文章編號： 1007-2683（2018）02-0086-05

Abstract：Specular detection and removal has been a hot topic in the field of computer vision. Most of the existing methods are for color images， but grayscale images are widely used， for a single grayscale image with only intensity information， specular detection and removal becomes a difficult issue. In this paper， a simple specular detection method of single grayscale image is proposed. Intensity-Saturation （MS）diagram method is improved and the distribution of diffuse component and specular component is used to obtain high brightness range. Possible specular area is detected with proportion. Finally， BSCB model-based the image restoration method removal highlights. Experimental results show that specular detection algorithm can better deal with the details of specular areas， find specular reflection area effectively in the single grayscale image and improve the repair rate specular areas of the image.

Keywords：highlights detection； reflection model； Intensity-Saturation diagram； BSCB model

0 引 言

物體表面的高光反映的主要是光源的特征，在視覺效果上卻可以看作是物體的表面特征，高光的存在往往會遮蓋物體表面的紋理、損壞物體邊緣的輪廓、改變物體表面的顏色，直接導致了物體表面局部區域的信息丟失。這對計算機視覺領域中的圖像跟蹤、景物分析、場景重建等會帶來很大的干擾[1-2]。為了能夠準確無誤的提取出物體的特征信息，為了確保圖片能夠在圖像跟蹤、景物分析、場景重建等領域得到應用，高光的檢測和去除技術是至關重要的。現有的大多數高光檢測方法主要是針對彩色圖片，但是現有的在計算機視覺領域當中灰度圖像又是很常見的，對于擁有少量可用信息的灰度圖像高光檢測和去除是一個難點問題，針對此問題本文提出了一種簡單的單幅灰度圖像高光檢測方法。該方法對二維亮度飽和度直方圖方法進行改進，并利用漫反射分量和鏡面反射分量的分布獲取高光亮度值范圍，對可能存在的高光區域進行檢測，最后，利用基于BSCB模型的圖像修復方法去除高光。

1 相關工作

現有的大多數高光檢測方法主要針對的是彩色圖片進行分析。文[3]根據高光通常隨著光源的位置變化而變化，利用多閃光相機獲得一系列不同的光源的帶高光圖片，然后利用泊松方程來解決高光檢測問題。文[4]觀測到物體上的高光的位置往往不固定，會隨著光源的變化而改變，因此，提出利用光場相機從不同光源獲得一組高光圖片，通過對所得數據分析檢測出高光區域。文[5]利用多基線立體視覺匹配方法和顏色分析法從多個視角所獲得的輸入圖像中恢復出無高光圖。文[6]基于雙色反射模型運用獨立成分分析方法從多幅圖片中分離出鏡面反射和漫反射成分。文[7]提出了一種基于多視角的高光移除新方法，該方法包含了三個模塊分別是光照色度估計、關聯像素查找和高光去除。盡管以上的方法都能夠獲得較好的高光檢測和去除的效果，但是這些算法都需要用到圖像序列，因而在很大程度上限制了它們的應用領域。

文[8]對RGB顏色空間的反射分量進行分析，使用非負矩陣分解法分離鏡面反射分量。文[9]對RGB顏色空間的反射分量進行分析，并用主成分分析法去除高光，由于主成分分析法的對光源顏色向量和漫反射分量的估計往往是不準確的，從而在很大程度上降低了該方法的通用性。文[10]提出的高光去除方法是在RGB顏色空間的基礎上利用顏色空間轉換法擴展到YUV顏色空間。文[11]提出用光照約束補色（inpainting）的方法來進行高光的移除，結合光照約束條件，引入補色方法，該方法不同于一般的高光圖像去除方法，充分利用了高光像素所包含的引導修補過程中的一些有用信息。2006年，文[12]在雙色反射模型的基礎上通過設置最大漫反射色度值可以得到“無高光圖”（specular-free image），引入“鏡面反射到漫反射方法”（specular-to-diffuse mechanism）和基于對數微分法進行鏡面反射的分離，能夠有效地去除紋理復雜圖像中的高光區域。文[13]和Shen等[14-15]根據文[12]的“無高光圖”這個概念，并對其定義進行了改進，Shen等人提出了“MSF圖”（modified specular free image）同時通過使用最小二乘法求得漫反射和鏡面反射成分的比例；Yoon等提出“無高光兩帶圖”（specular-free two-band image），通過在每個像素計算局部反射分量的比率來分離高光。文[16-17]沿用了文[13]的算法思想，并通過不同的方法對最大漫反射分量的色度值的進行篩選來提高算法的實時性。文[18]通過對RGB顏色空間的旋轉來達到去除鏡面反射分量的效果。文[19]提出一中針對亮度空間的顯著性檢測指導的高光區域修復算法，在亮度空間應用顯著性模型，利用圖像的鄰域和邊緣信息實現高光區域的自動檢測和標記，運用改進的Exemplar-Based算法去除高光。這些方法主要是對彩色圖片進行分析，不能適用于灰度圖像的高光檢測和恢復。

為此，本文將二維亮度飽和度直方圖方法改進為一種簡單的灰度圖像高光檢測方法，有效地檢測高光區域。最后，利用基于BSCB模型的圖像修復方法去除高光。本文提出的高光檢測和去除算法流程如圖1所示。

2 鏡面高光區域檢測

2.1 二維亮度飽和度直方圖方法

二維亮度飽和度（ intensity-saturation，MS）直方圖方法[20]是一種簡單的單幅彩色圖像高光檢測方法，對于一幅彩色圖像假設r，g，b分別代表像素點的紅、綠、藍三個通道，m代表圖像亮度，s代表圖像的飽和度，分別有以下定義

3 基于BSCB模型的圖像修復方法

高光區域的補色過程可以看作對原圖像的修補過程。而大多數補色方法都是針對彩色圖片進行分析，無法應用在單幅灰度圖像中。BSCB修復方法是Bertalmio，Sapiro，Caselles 和 Ballester根據手工修補藝術家實際的圖像修補過程，建立了一種基于偏微分方程的圖像修補方法，它的主要思想是依據手工修復的經驗，利用物理學中的熱擴散方程將邊緣信息沿著等照度線方向擴散到待修復區域內，以便得到較好的修復效果[21-22]。BSCB模型是各向異性擴散，充分考慮了等照度線延長時邊界交角的情況，防止了一般的圖像修復過程邊緣結構失真的情況，修復效果更接近人的視覺感受，如圖4所示。

假設u0（i，j）是大小為M×N的帶修補高光圖像，修補過程就是反復對高光區域進行迭代，將迭代過程中產生的一系列中間結果看作是一組圖像序列un（i，j，t）（n是自然數），最終獲得最佳高光修補圖像。

BSCB模型修補過程的兩個基本步驟如下：

重復交替進行步驟（1）和（2），直至輸出序列圖像基本不變，即達到穩定的狀態，圖像高光去除過程完成。

4 實 驗

為了驗證本文方法的有效性，將本文算法在真實圖片上進行實驗，其中圖3為高光檢測結果，明顯可以看出本文算法在細節處理的較好，能夠有效地檢測出灰度圖像中隱藏的細小的高光區域。圖5為高光去除結果，該方法只對高光區域的圖像進行修復處理，修復的效果較合理，防止了一般高光修復算法易造成原始圖像中非高光區域的圖像失真的情況，較好地去除了圖像中的高光區域，基本恢復了待修復圖像的原貌。為了進一步量化比較，驗證本文方法的有效性，將原圖像和去除高光圖像的直方圖進行對比，如圖6所示。直方圖的整體的亮度值分布變化不大，亮度值較高的像素減少了。

5 結 論

灰度圖像高光的檢測與去除一直是計算機視覺領域的一個難點問題，為此，本文提出了一種簡單的單幅灰度圖像高光檢測方法。該方法對二維亮度飽和度直方圖方法進行改進，并利用漫反射分量和鏡面反射分量的分布獲取高光亮度值范圍，對可能存在的高光區域進行檢測，最后，依據手工修復的經驗，利用BSCB模型的圖像修復方法將邊緣信息沿著等照度線方向擴散到待修復區域內去除高光。實驗結果表明，本文算法細能夠有效地檢測出灰度圖像中高光區域，防止了一般高光修復算法易造成原始圖像中非高光區域的圖像失真的情況，提高了圖像高光區域的修復率。

參 考 文 獻：

[1]韓書娜， 幺宏偉， 范劍英， 等. 指紋圖像分割與增強算法[J]. 哈爾濱理工大學學報， 2011， 16（1）： 98-101.

[2]楊玲， 甄志明， 劉國紅， 等. 基于多尺度邊緣提取的薄霧圖像處理方法[J]. 哈爾濱理工大學學報， 2014， 19（5）： 94-98.

[3]FERIS R， RASKAR R， TAN K H， et al. Specular Reflection Reduction with Multi-flash Imaging[C]// Computer Graphics and Image Processing. Los Alamitos： IEEE Computer Society， 2004： 316-321.

[4]TAO M W， SU J C， WANG Tingchun， et al. Depth Estimation and Specular Removal for Glossy Surfaces Using Point and Line Consistency with Light-field Cameras[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2016， 38（6）： 1155-1169.

[5]LIN S， LI Y， KANG S B， et al. Diffuse-specular Separation and Depth Recovery from Image Sequences[M]. Heidelberg， Springer Verlag， 2002： 210-224.

[6]UMEYAMA S， GODIN G. Separation of Diffuse and Specular Components of Surface Reflection by Use of Polarization and Statistical Analysis of Images[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2004， 26（5）： 639-647.

[7]YANG Qingxiong， WANG Shengnan， AHUJA N， et al. A uniform Framework for Estimating Illumination Chromaticity， Correspondence， and Specular Reflection[J]. IEEE Transactions on Image Processing， 2011， 20（1）： 53-63.

[8]MADOOEI A， DREW M S.Detecting Specular Highlights in Dermatological Images[C]//IEEE International Conference on Image Processing （ICIP）. Los Alamitos： IEEE Computer Society， 2015： 4357-4360.

[9]KLINKER G J， SHAFER S A， KANADE T. The Measurement of Highlights in Color Images[J]. International Journal of Computer Vision， 1988， 2（1）： 7-32.

[10]SCHLUNS K， KOSCHAN A. Global and Local Highlight Analysis in Color Images[C]// Proc. 1st Int. Conf. Color Graphics Image Processing. Los Alamitos： IEEE Computer Society， 2000： 300-304.

[11]TAN R T， IKEUCHI K. Separating Reflection Components of Textured Surfaces Using a Single Image[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2005， 27（2）： 178-193.

[12]TAN Ping， LIN S， QUAN Long. Separation of Highlight Reflections on Textured Surfaces[C]// IEEE Computer Society Conference on Computer Vision and Pattern Recognition. New York， United states. Los Alamitos： IEEE Computer Society， 2006， 2： 1855-1860.

[13]YOON K J， CHOI Y， KWEON I S. Fast Separation of Reflection Components Using a Specularity-invariant Image Representation[C]// 2006 IEEE International Conference on Image Processing. Los Alamitos： IEEE Computer Society， 2006： 973-976.

[14]SHEN H L， ZHANG H G， SHAO S J， et al. Chromaticity-based Separation of Reflection Components in a Single Image[J]. Pattern Recognition， 2008， 41（8）： 2461-2469.

[15]SHEN H L， CAI Q Y. Simple and Efficient Method for Specularity Removal in an Image[J]. Applied Optics， 2009， 48（14）： 2711-2719.

[16]YANG Qingxiong， TANG Jinhui， AHUJA N. Efficient and Robust Specular Highlight Removal[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2015， 37（6）：1304-1311.

[17]JUNG C， JIAO L， QI H. Specular Highlight Removal Using Reflection Component Separation and Joint Bilateral Filtering[M]. Heidelberg， Springer Verlag， 2012： 513-521.

[18]HAN S， TAO W， WANG D， et al. Image Segmentation Based on GrabCut Framework Integrating Multiscale Nonlinear Structure Tensor[J]. IEEE Transactions on Image Processing， 2009， 18（10）： 2289-2302.

[19]王祎璠， 姜志國， 史駿， 等. 顯著性檢測指導的高光區域修復[J]. 中國圖象圖形學報， 2014， 19（3）： 393-400.

[20]ORTIZ F， TORRES F. Automatic Detection and Elimination of Specular Reflectance in Color Images by Means of MS Diagram and Vector Connected Filters[J]. Systems， Man， and Cybernetics， Part C： Applications and Reviews， 2006， 36（5）： 681-687.

（編輯：關 毅）