基于顏色屬性的信號指示燈檢測識別

胡燦林，肖尚華

（四川大學計算機學院，成都610065）

0 引言

在工業生產中，信號指示燈可以用來指示相應設備的運行情況。由于通常情況下，工業生產中會有大量信號指示燈存在，每個指示燈指示設備各不相同、指示的報警狀態也各不相同，這就要求工作人員對每個指示燈進行長時間甚至實時監視，很容易出現遺漏或者誤判的情況，造成較嚴重的生產損失。隨著計算機圖像處理技術的不斷發展，可以充分利用圖像處理技術為信號指示燈檢測識別提供幫助，將圖像處理技術部署在監控或巡檢的工業機器人內，可以實現實時信號指示燈狀態檢測識別。

在圖像處理研究和應用中，往往對圖像數據集中的某些特定的、具有獨特性質的特征感興趣，通過將有利于分類識別的特征分離提取出來，形成特征圖像，并在此基礎上對目標進一步采取一些處理。信號指示燈識別屬于圖像模式識別，由于信號指示燈在識別過程中，色彩特征作為其最大區分特征，因此以往研究都基于信號指示燈的顏色特征進行指示燈檢測和狀態識別。文獻[1]設計了一種數字信號等的識別方法，該識別方法分為兩部分，第一部分為預處理，采用基于顏色-形狀特征的目標檢測算法對信號燈和環境背景進行抽取分離，第二部分為采用基于BP神經網絡的識別算法對數字指示燈進行識別，其圖像預處理部分采用RGB圖像轉換為HIS色彩空間圖像。文獻[2]對視頻監控中指示燈閃爍狀態和顏色的變化進行了討論，其利用色差信息來判斷指示燈紅綠顏色的變化，在算法顏色亮度計算時，會把RGB顏色圖像轉化為YUV模式。上述算法迎合了人的視覺系統，提取了顏色亮度特征信息，提高了顏色亮度敏感度，但對于存在光照變化的圖像及多顏色狀態的信號指示燈，算法效果易受顏色失真而影響檢測識別效果。

1 顏色屬性

1.1 顏色屬性空間

顏色屬性是由文獻[3，4]提出的一種基于潛在語義模型的特殊顏色空間算法，其很大程度改善了原始觀測的RGB顏色的魯棒性，通過從帶有顏色標簽信息的自然圖像中，選取了11種較為常見的基本顏色（黑色、藍色、棕色、灰色、綠色、橘色、粉色、紫色、紅色、白色以及黃色）作為顏色屬性，建立起原始三維RGB空間到11維顏色屬性空間的概率映射關系，并用概率分布來代替原始的像素值。由于顏色屬性建立起了觀測顏色和本質顏色之間的映射關系，因而能夠適應光照等變化造成的顏色失真，實現了顏色特征的魯棒表示，顏色屬性空間應用到目標跟蹤和檢測領域，取得了較好的效果。

1.2 顏色屬性訓練

顏色屬性的訓練基于概率潛在語義分析（PLSA）算法。PLSA算法來源于自然語言處理研究，通過將顯性的文檔和詞匯關系抽象出潛在主題并以概率的形式表達出來。假設分別表示為文檔和詞匯集合，表示潛在主題集合，n(d,w)表示詞匯w出每個文檔d的次數。PLSA只考慮單詞在文檔中的出現頻率，忽略其出現的先后次序。假設“文檔—單詞”之間以及它們所包含的潛在主題都是獨立分布的，那么，一個在D×W上的聯合概率分布p(d,w)可定義為：

則在PLSA模型中，詞匯w在文檔d中的條件概率p(w|d)可定義為：

上式表示潛在主題在文檔d中出現的概率，表示單詞w屬于潛在主題z的概率，且和都服從離散多項分布，屬于隱含變量，因此和可以采用最大期望（EM）算法最大化其似然函數來進行求解，似然函數如下所示：

顏色屬性訓練采用PLSA算法，圖像和像素點作為已知樣本，分別對應文檔d和詞匯w，圖像內的顏色屬性對應于潛在主題z。如圖1所示，首先為帶顏色標簽圖像建立LAB空間顏色直方圖，帶顏色標簽的圖像可以為自然圖像，此處以信號指示燈為例，但在訓練顏色屬性時，信號指示燈圖像的bin對顏色屬性的訓練不作為參考。由于LAB顏色空間是慣用來描述人眼可見的所有顏色的最完備的色彩模型，因此先將原始RGB圖像轉換為LAB圖像，LAB顏色空間直方圖中的每個bin對應PLSA模型中的單詞，可以計算出每個bin在圖像中出現的概率，因此可以作為先驗分布。然后，將顏色屬性數量設為11，每種顏色屬性為上述11種基本顏色。由于PLSA算法本質在于計算出最能表示先驗分布的潛在主題（顏色主題），這一步驟可以用圖1中的矩陣分解來表示，因此可以通過EM算法來估計，其中表示每幅圖像中各種顏色屬性的特定混合系數，圖像中與已知標簽相同的顏色被賦予會擁有較高的概率；而作為算法最終要求得的顏色屬性分布，其每一列代表顏色屬性在LAB顏色空間的分布情況，每一行每個bin對應屬于某一顏色屬性的概率，且每一行的概率和為1。

圖1 基于PLSA算法的顏色屬性訓練

2 算法實現及實驗

2.1 指示燈狀態檢測識別流程

根據顏色屬性訓練可以得到每個bin在顏色屬性空間上的分布概率，對每一張包含信號指示燈的輸入圖像，首先計算每一個像素所對應的bin（文章將每個通道劃分為32個bin），再根據該bin從中找出其對應11種顏色屬性對應的概率值，依次遍歷輸入圖像所有像素點，最終可以得到一個11維的概率特征圖像，每一維的概率特征圖像對應輸入圖像在每一個顏色屬性上的空間映射。在信號指示燈識別過程中，每一幀圖像都可以作為輸入圖像，然后根據識別指示燈的顏色類別，選擇其中一維或多維概率特征圖像進行融合以及二值化，得到該類顏色指示燈的一個顏色分割圖像，最終可以將輸入圖像中含指示燈類似顏色的像素歸為1，不含指示燈的像素歸為0。由于輸入圖像可能存在和指示燈不同狀態顏色相似的像素點，得到的顏色分割圖像存在部分噪聲，結合腐蝕、膨脹及開閉等形態學圖像處理方法及指示燈形狀特征進行去噪，最后可以獲取還原指示燈輪廓的二值圖像，進而可以獲取指示燈狀態及指示燈在原圖像中的位置。以識別紅色、綠色兩種信號指示燈為例，圖2為指示燈狀態檢測識別流程圖。

圖2 指示燈狀態檢測識別流程圖

2.2 仿真實驗

實驗數據采集自發電站站內巡檢機器人在巡檢過程中所拍攝的照片，本文選取了帶有信號指示燈的機柜圖像作為實驗數據，部分數據如圖3所示。

圖3 部分帶信號指示燈的機柜圖片

（1）獲取顏色屬性特征圖像

根據已經訓練好的每個bin在顏色屬性空間上的分布概率p(w|z)，對每一張輸入的圖像，都為RGB三通道圖像，將每個通道劃分為32個bin，并計算三通道圖像每個位置像素點歸屬的bin，再根據，在映射處理時，找到“bin-顏色屬性”對應關系，最終將該像素點映射到顏色屬性空間，可以得到11維的顏色屬性特征圖像，在實驗過程中，計算每個顏色特征圖像時，將屬于該顏色屬性的像素點設為[255,255,255]，否則設為[0,0,0]，圖4為輸入圖像和11維顏色屬性特征圖像，從左至右、從上至下依次為原圖像、黑色、藍色、棕色、灰色、綠色、橘色、粉色、紫色、紅色、白色、黃色特征圖像。

（2）指示燈檢測和狀態識別

由圖4可以看出，紅色特征圖像可以很好地將信號指示燈與背景分離開來，從而實現指示燈分割。在紅色特征圖像中的指示燈區域，雖然整體出現高亮，但其邊緣出現一些像素空洞，從而導致對同一指示燈區域出現多個顏色分割塊的現象，此外，當背景出現同樣紅色像素點時，在非指示燈區域，有可能會出現高亮區域，形成噪音像素區域。為了解決這一問題，本實驗采用形態學方法來解決指示燈區域內空洞問題并去除噪音像素點。圖5為采用形態學中的閉運算處理的對比效果圖，從圖中可以看出，形態學處理后的圖像，指示燈分割區域完整，且非指示燈區域無噪音像素點出現。

圖4 輸入圖像和11維顏色屬性特征圖像

圖5 形態學圖像處理對比圖

對特征圖像進行形態學處理后，原始圖像中的指示燈輪廓已經較為完整，再利用MATLAB中的二值圖像輪廓提取函數以及輪廓最小外接矩形計算函數，即可完成信號指示燈的定位任務。

對于信號指示燈狀態識別問題，由于信號指示燈有多種顏色，且每種顏色的信號指示燈有開和關這兩種狀態，因此對于同一指示燈的不同狀態，需要借助多個顏色的特征圖像來分別完成。

在實驗中，“紅色關閉狀態”的指示燈，提取了紅色特征圖像進行輔助檢測識別；“紅色打開狀態”的指示燈，則提取了紅色特征圖像和白色特征圖像進行輔助檢測識別，因為紅色指示燈在打開狀態下，指示燈中心部分為白色，邊緣為紅色，因此將紅色特征圖像和白色特征圖像中的輪廓中心進行對比，當白色特征圖像中的輪廓中心的像素值為[255,255,255]，而該位置在紅色特征圖像對應的輪廓中心像素值為[0，0，0]時，再將兩個輪廓進行合并，即可將其歸類為“紅色打開狀態”的信號指示燈；“綠色關閉狀態”的指示燈，提取了綠色特征圖像進行輔助檢測識別；與紅色打開狀態的指示燈的處理方式類似，對“綠色打開狀態”的指示燈，提取了綠色特征圖像和白色特征圖像進行輔助檢測識別。在實際應用中，可以先將顏色進行分類，并為每種狀態封裝一個算法接口，在檢測識別過程中，依次調用每個算法接口即可完成檢測識別任務。圖6為部分實驗數據的檢測識別效果圖。

3 結語

本文基于顏色屬性來完成對信號指示燈的檢測識別。顏色特征作為信號指示燈最突出的特征，文章采用基于顏色屬性的方法進行顏色特征提取，建立了觀測顏色和本質顏色之間的映射關系，完成了顏色特征的有效提取，一定程度上解決了由于光照、視角等因素造成的圖像失真問題。該選取了發電站內帶信號指示燈的機柜圖像作為實驗數據，實驗結果表明，該方法能很好地檢測出輸入圖像中出現的信號指示燈，并能準確識別信號指示燈的開、關狀態。

圖6 信號指示燈的檢測識別效果圖

參考文獻：

[1]任勇,彭靜玉.基于BP神經網絡的交通信號數字指示燈識別[J].計算機與現代化，2013(4):77-80.

[2]黃戰華,姜永奎,張旺,等.基于視頻圖像的指示燈狀態監測識別技術研究[J].傳感技術學報,2010，23(4):543-547.

[3]Weijer,Joost Van De,C.Schmid,J.Verbeek.Learning Color Names from Real-World Images.Computer Vision and Pattern Recognition,2007.CVPR'07.IEEEConferenceon IEEE,2007:1-8.

[4]Van d W J,Schmid C,Verbeek J,etal.Learning Color Names for Real-World Applications[J].IEEE Transactions on Image Processing A Publication of the IEEESignalProcessing Society,2009,18(7):1512-23.