紅外監控圖像紅眼檢測與消除

陳健沛++朱煒湛++蔡志崗

摘 要： 主動式紅外攝像機在夜視監控視頻中極易出現紅眼效應，在圖像中留下明顯的亮圓斑。針對此缺陷，提出一種自動紅眼檢測與消除算法。首先對紅外夜視監控圖像進行邊緣檢測和形態學閉運算，形成連通域；然后通過分析亮圓斑的幾何特征提出三個限制條件，篩選出紅眼所在的連通域，輸出紅眼掩膜；最后對紅眼區域用灰度替換和平滑濾波方法進行消除處理。該方法無需人臉檢測，無需利用色彩信息，實驗結果表明，紅眼消除效果良好，速度快，為紅外灰度圖像優化提供了有效的方法。

關鍵詞： 紅眼效應； 紅外監控攝像機； 紅眼定位； 紅眼消除

中圖分類號： TN929.1?34； TP391.4 文獻標識碼： A 文章編號： 1004?373X（2015）17?0065?03

Detection and elimination of red?eye in infrared monitoring images

CHEN Jianpei1， ZHU Weizhan2， CAI Zhigang1

（1. State Key Laboratory of Optoelectronic Materials and Technologies， Sun Yat?sen University， Guangzhou 510275， China；

2. Guangdong Beseen Digital Technology Limited Company， Guangzhou 510663， China）

Abstract： Since red?eye effect is liable to appear in night vision monitoring video of active infrared camera， the obvious bright and round spots will be left in digital images. For this defect， an algorithm which can detect and eliminate red?eye automatically is proposed. The edge detection and morphological closed operation of monitoring image of infrared night vision were conducted to form connecting areas. Then three constraints are put forward by analyzing the geometric features of the bright spots to select connecting areas that the red?eye are locating， and output red eye mask. The red eye areas are eliminated by using the methods of grayscale replacement and smoothing filtering. There is no need to detect human face and use color information for this method. The experimental results show that the proposed method can eliminate red?eye fast and effectively， which provides an effective method for the optimization of infrared grayscale images.

Keywords： red?eye effect； infrared monitoring camera； red?eye location； red?eye elimination

0 引 言

隨著社會對安防的重視，視頻監控技術特別是紅外夜視監控得到了空前應用。國內外在夜視監控技術領域，普遍使用的是低照度攝像機加紅外補光照明技術，但是由于紅眼效應，瞳孔位置會在監控圖像上形成一個明亮的圓斑，破壞圖像的真實性。為了解決此缺陷，本文從紅眼檢測和紅眼消除兩方面進行研究，以提高紅外夜視監控質量。

從1989年Hutchinson發現近紅外光源攝像的紅眼效應開始[1]，紅眼檢測發展迅速，日漸成熟。張昌明，Rizon， Yoo，Chen等大多數研究員都在人臉特征檢測的基礎上，縮小范圍再定位紅眼[2?5]。Gaubatz和Ali研究團隊結合顏色和強度變化創建檢測掩膜實現紅眼檢測，得到了很好的監測效果[6?7]，由于紅外監控是灰度圖像，沒有顏色信息，此方法并不適用。陳春波和Morimoto等人利用近軸光照射瞳孔的亮狀態和遠軸光照射瞳孔的暗狀態對兩張圖像進行差分處理[8?9]，很好地提取出人眼位置，但該方法需要復雜的設備，并不適合室外夜視監控。

Zhao和王基帆在室內理想條件下拍攝紅眼圖片，使用數理形態學的開運算或者Quoit濾波處理紅外圖像并與原圖像進行差分，從而實現瞳孔定位，具有很好的參考價值[10?11]。

柯達公司的Dobbs和Goodwin最早提出采用圖像處理方法進行紅眼消除[12]，之后DeLuca，Steinberg等人申請了大量消除紅眼效應的專利，Schettini，趙全友，路明等國內外研究人員都致力于研究自動紅眼消除算法[13?17]，并取得了一定效果，但這些方法都是基于RBG或者YUV顏色空間的，并不能直接應用于紅外監控圖像。

由于受到室外夜視環境和成像系統本身等多種因素的影響，主動式紅外監控圖像無色彩信息，人臉檢測難度大，前人研究方法都無法直接應用，所以本文針對紅外夜視監控圖像的特點提出具有可靠性的紅眼檢測和紅眼消除新方法。

1 紅眼檢測

一般情況下，為了保證室外監控范圍，監控圖像中的人物都比較小，加之黑暗條件下，攝像系統為取得合適亮度而提高感光度引起圖像噪聲，導致人物圖像模糊，人臉特征不明顯，無法檢測人臉。但是紅眼效應所產生的明亮小圓斑，其“亮”、“圓”特征非常明顯，通過圖1所示的流程，基本上可以剔除復雜的背景干擾，準確得到紅眼位置的掩膜。

（1） 對輸入的紅外監控圖像采用Canny算子進行邊緣檢測。Canny算法在檢測前會進行高斯濾波，有效地抑制噪聲；使用4個mask 檢測水平、垂直以及對角線方向的邊緣，沒有方向性，對圓形的檢測最有效果，能夠精確檢測出紅眼效應的邊緣。

（2） 將邊緣圖像進行形態學閉操作，即先膨脹后腐蝕操作，形成封閉的連通域。

（3） 對所有的連通域進行條件篩選，通過分析紅眼亮斑特征，其判定內容分別為：連通域的長短軸之比、連通域面積、連通域平均灰度值。

根據連通域的形狀，可以計算得到與該區域具有相同標準二階中心矩的橢圓的長軸[a]和短軸[b]（像素意義下），對于標準的圓形來說，長短軸之比[K=ab=1，]雖然紅眼效果在圖像上產生一個圓斑，但是由于環境影響，[K]值在[1，2]之間都是可能出現的。

紅外夜視圖像的紅眼效應產生的圓斑是有一定面積的，對連通域的面積進行限制，可以抑制環境背景中出現圓形物體的干擾，更重要的是可以剔除高亮噪點。其面積大小[A]應該根據監控范圍以及攝像機像素大小確定，一般情況下[A]值在[10，100]之間。

邊緣檢測會提取出所有明顯的邊界，包括光亮和灰暗的邊界，所以需要通過連通域的平均灰度值[S]大小剔除暗圓斑連通域，調查發現圖像亮度適中情況下，紅眼效應的圓斑平均灰度值[S]普遍大于150。

以上三個判定條件雖然都比較粗糙，但是各自獨立，結合在一起可以嚴格篩選出紅眼亮斑。算法采用的門限為[1≤K≤2，10≤A≤100，S≥150，]符合條件的連通域即為紅眼所在位置，輸出為紅眼掩膜，為下一步的紅眼消除提供依據。

2 紅眼消除

國內外研究人員多數致力于彩色圖像的紅眼消除，主要用G，B顏色信息對紅眼位置的R分量進行矯正，幾乎沒有涉及到灰度圖像的紅眼消除，但是夜視紅外監控圖像的紅眼效應非常明顯，給觀測者帶來不舒服的視感刺激，所以解決此問題對提高監控質量還是很有必要的。在夜視紅外監控中，紅眼效應已經完全破壞了眼睛位置的真實信息，本文只能憑借人們的觀察習慣，用人臉的灰度值作為參考，對紅眼進行矯正消除。

首先對紅眼掩膜用[3×3]大小的正方形為結構元素進行膨脹操作，提選出紅眼周圍寬為3個像素的圓環，作為矯正參考區域。該區域避開眼睛，但在人臉范圍內，如圖2所示。然后計算矯正參考區域的灰度平均值[V，]并將紅眼區域的像素灰度值修改為[V2]。這樣眼睛位置要比人臉稍暗一點，但是修正后的紅眼邊界過渡不自然，通過高斯平滑處理使邊界模糊達到目的。平滑范圍包括修正后的眼睛和作為矯正參考的區域，使用如下[3×3]高斯算子：

3 實驗結果

實驗在室外樹林環境下進行，截取其中一張夜視紅外監控圖像進行處理分析。圖3（a）是直接從攝像機輸出的原始監控圖像，人臉模糊，環境復雜，但是紅眼效應產生的明亮圓斑非常明顯。經過Canny算子邊緣檢測和閉運算后，圖3（b）中顯示了樹葉復雜輪廓對紅眼檢測帶來一定的干擾。但是對連通域進行[1≤K≤2，][10≤A≤100，S≥150]三個條件篩選限定后，只留下了紅眼連通域，形成紅眼掩膜，如圖3（c）所示。圖3（d）是將該紅眼掩膜在原圖中標記出來，可見定位非常準確，為紅眼消除提供了準確依據。通過本文提出的紅眼消除算法處理后，得到圖3（e）結果，通過放大圖可以看出消除效果是理想的，過渡平滑，紅眼不再突出。不過由于左邊的人佩戴眼鏡造成反光，帶來一定的影響。

另外，對一段視頻共150幀圖片進行實驗，94%的紅眼能夠檢測出并被修正，達到了很好的效果。但也有8%的圖片出現了誤檢，將圖片中類似于紅眼效應的亮斑進行了錯誤的修正。

4 結 語

針對紅外夜視監控圖像出現的紅眼效應，本文在前人的研究基礎上提出一種新穎的紅眼檢測及消除算法。該算法無需利用顏色信息，也不用對人臉進行檢測，針對紅外監控圖像直接判斷出紅眼所在位置，避免了人臉檢測帶來的誤判，同時也大大減少了對人臉檢測所耗費的時間，為實時檢測提供了有力工具。而且紅眼消除算法簡單，消除后具有良好的視覺效果，實用性強。不過該算法會將圖像中任何與紅眼效應相似的明亮圓斑消除掉，這是需要繼續改進的地方。

參考文獻

[1] HUTCHINSON T E， WHITE K P， MARTIN W N， et al. Human?computer interaction using eye?gaze input [J]. IEEE Tran?sactions on Systems， Man and Cybernetics， 1989， 19（6）： 1527?1534.

[2] 張昌明，童衛青，王燕群.一種高性能近紅外光人臉檢測和眼睛定位算法[J].計算機系統應用，2011，20（4）：96?101.

[3] RIZON M， KAWAGUCHI T. Automatic eye detection using intensity and edge information [C]// Proceedings of 2000 IEEE International Conference on TENCON. [S.l.]： IEEE， 2000， 2： 415?420.

[4] YOO S， PARK R H. Red?eye detection and correction using in painting in digital photographs [J]. IEEE Transactions on Consumer Electronics， 2009， 55（3）： 1006?1014.

[5] CHEN Yongsheng， SU Chanhung， CHEN Jiunhung， et al. Vi?deo?based real time eye tracking technique for auto stereoscopic displays [C]// Proceedings of 2000 the 5th IEEE International Conference on Artificial Intelligence and Applications. Taibei， China： IEEE， 2000： 188?193.

[6] GAUBATZ M， ULICHNEY R. Automatic red?eye detection and correction [C]// Proceedings of 2002 IEEE International Conference on Image Processing. [S.l.]： IEEE， 2002， 1： 804?807.

[7] ALI T， KHATTAK S， KIM I. Automatic red?eye effect removal using combined intensity and color information [J]. Journal of Imaging Science， 2011， 59（1）： 8?16.

[8] 陳春波，王元慶.基于紅眼效應的人眼探測[J].計算機工程與應用，2007，43（9）：198?200.

[9] MORIMOTO C H， KOONS D， AMIR A， et al. Pupil detection and tracking using multiple light sources [J]. Image and Vision Computing， 2000， 18（4）： 331?335.

[10] ZHAO S Y， GRIGAT R R. An automatic face recognition system in the near infrared spectrum [C]// Proceedings of 2005 the 4th International Conference on Machine Learning and Data Mining in Pattern Recognition. Leipzig： Springer， 2005： 437?444.

[11] 王基帆，童衛青.基于數理形態學的近紅外光圖像實時人臉檢測[J].華東師范大學學報：自然科學版，2010（3）：39?47.

[12] DOBBS C M， GOODWIN R M. Localized image recoloring using ellipsoid boundary function： US， 5130789 A [P]. 1992?07?14.

[13] DELUCA M J. Red?eye filter method and apparatus： US， 8264575 B1 [P]. 2012?09?11.

[14] STEINBER E， PRILUTSKY Y， CORCORAN P， et al. Red?eye filter method and apparatus： US， 8493466 B2 [P]. 2013?07?23.

[15] SCHETTINI R， GASPARINI F， CHAZLI F. A modular procedure for automatic red eye correction in digital photos [C]// Proceedings of 2004 SPIE Conference On Color Imaging IX： Processing， Hardcopy， and Applications. [S.l.]： SPIE， 2004： 139?147.

[16] 趙全友，潘保昌，鄭勝林，等.一種自動紅眼檢測與消除算法倡[J].計算機應用研究，2009，26（2）：763?765.

[17] 路明，趙群飛，施鵬飛.一種自動紅眼消除方法[J].電路與系統學報，2006，11（6）：124?128.