基于顏色屬性的車輛陰影去除方法

徐少飛　劉政怡

(安徽大學計算機科學與技術(shù)學院　安徽 合肥 230601)

?

基于顏色屬性的車輛陰影去除方法

徐少飛劉政怡

(安徽大學計算機科學與技術(shù)學院安徽 合肥 230601)

顏色屬性，即語言顏色標簽，可以表示世界中的所有顏色。視頻幀圖像中的陰影的顏色屬性為黑色，因此提出一種基于顏色屬性的車輛陰影去除方法。利用概率潛在語義模型學習顏色屬性，建立顏色名概率字典，并實現(xiàn)對視頻幀圖像的顏色名映射，將表征陰影的黑色區(qū)域二值化為背景，而非陰影區(qū)域二值化為前景。同時，將二值化圖與背景差分圖進行“與”操作，去除陰影，再去除陰影外邊緣的噪聲。最后，對其進行先膨脹再連通域填充處理，以得到去除陰影后的車輛目標。實驗證明，該方法在一定場景下可以很好地去除陰影，獲得相對完整的運動車輛目標。

顏色屬性概率潛在語義分析模型陰影顏色名映射

0　引　言

近年來，智能交通系統(tǒng)[1]在人們的生活中扮演著越來越重要的角色，為交通系統(tǒng)的管理提供了更為直觀方便的分析手段[2]。運動目標檢測是智能交通的一個重要內(nèi)容，而陰影去除則是精確檢測出運動車輛目標的前提。

目前，陰影去除方法主要分為基于模型和基于陰影特征兩類。基于模型的方法需要利用光照、運動車輛目標和固定場景等先驗知識建立陰影模型。多數(shù)情況下，先驗知識較難獲得，因此該方法具有較大的局限性。基于陰影特征的方法根據(jù)陰影的邊緣、幾何特征及紋理等特征來分離目標和陰影。利用運動前景與對應背景區(qū)域的梯度紋理相似性進行陰影檢測，相似性越高，陰影的可能性越大，但對紋理相近或物體表面紋理不明顯區(qū)域得不到有效的檢測結(jié)果[3,4]。對不同的陰影進行幾何分析，以實現(xiàn)陰影去除，需要知道光照的方向和相關輔助線，適應性較差[5,6]。基于邊緣信息檢測陰影的方法，會留下多個陰影塊，難以消除[7]。基于模型的方法雖然可以準確地計算出陰影的形狀和位置，但計算復雜，在實際應用中難以實現(xiàn)[8,9]。本文提出一種基于顏色屬性的陰影去除方法，該方法通過將顏色屬性與背景差分方法相結(jié)合以實現(xiàn)去除車輛陰影。該方法主要應用了陰影的顏色屬性為黑色的特征，利用顏色屬性將陰影映射成背景，并與背景差分方法相結(jié)合，將兩者進行“與”操作以去除陰影。同時，顏色屬性映射只對背景差分檢測到的前景區(qū)域進行映射，可以大大減少計算代價。本方法在去除較大塊的和較深的陰影具有比較突出的效果。

1　顏色屬性相關知識

1.1顏色名概率字典

人們通常使用語言顏色標簽去表示世界中的顏色，這些語言顏色標簽，即顏色屬性，也稱為顏色名。為了從現(xiàn)實世界中學習各種語言中的顏色名，使用Google圖像搜索技術(shù)建立數(shù)據(jù)集，這樣可以為每種顏色名檢索一定量的圖像，從而避免手動為每張圖像貼標簽。但是，Google檢索到的圖像有很多錯誤的正樣本，因此采用PLSA[10]模型從這個具有噪聲的圖像數(shù)據(jù)集中學習顏色名，以得到每個空間單元屬于各個顏色名的概率，形成顏色名概率字典。

假設，用一組給定的圖片集D={d1,d2,…,dN}表示文檔，一個確定的空間單元集合W={w1,w2,…,wM}表示詞集合，詞集合用于描述文檔，顏色名Z={z1,z2,…,zk}表示潛在語義的集合。在PLSA中，文檔d中的一個空間單元w的條件概率可表示為：

(1)

其中，每個空間單元屬于顏色名的概率p(w|z)可通過最大期望(EM)算法[10]來估計。

(2)

其中，n(d,w)是文檔d中每個空間單元w出現(xiàn)的頻度。將式(1)代入式(2)可得：

(3)

通過使用Google檢索的數(shù)據(jù)集訓練式(3)以得到每個空間單元屬于各個顏色名的概率p(w|z)，形成一個顏色名概率字典，其大小為M×k。

1.2顏色名RGB值字典

Berlin等[11]對語言中的基本顏色詞進行了研究，發(fā)現(xiàn)使用英國語言中的11種顏色名(black、blue、brown、green、grey、orange、pink、purple、red、white、yellow)能夠很好地表示現(xiàn)實世界中的各種顏色。

Weijer等[12]為了減小建立顏色名概率字典的代價和保證顏色概率名字典的有效性，為11種顏色名建立了一個32 768(32×32×32)×11的顏色名概率字典。同時，為了減少計算的復雜度，記下每個字典單元屬于各個顏色名的概率值最大的那個顏色名的RGB值，形成一個1×32 768的顏色名RGB值字典。其構(gòu)造方法如下：

rgb[j]=RGBCNj;

for(i=1:32768)

{

max=0;

index=0;

for(j=1:11)

{

if(A[i,j]>max)

{

max=A[i,j];

index=j;

colorname[i]=rgb[index];

}

}

}

其中，RGBCNj表示11種顏色中第j個顏色名所對應的RGB值，并存放在rgb數(shù)組中。colorname為顏色名RGB值字典，A為顏色名概率字典,colorname[i]為第i行的A[i,j]最大時，第j列對應的顏色名的RGB值。

1.3映射方程

根據(jù)三次樣條插值的方法建立映射方程，將每個像素值RGB映射到P字典中。將原圖像素值映射成對應的顏色名RGB值。其三次樣條插值方程為：

index_im=1+R1/8+32×G1/8+32×32×B1/8

(4)

其中，index_im為顏色名RGB值字典P的列數(shù)，R1、G1和B1分別對應原圖像像素點的R、G和B的值。

其映射效果如圖1所示。

圖1　顏色名映射

實驗中，通過原圖和映射圖可以發(fā)現(xiàn)，車輛的陰影和車窗顏色較暗的部位全被映射成了黑色，而其他部分則全部映射成了其他顏色名對應的顏色。因此，可以根據(jù)顏色名RGB值字典和映射方程找到陰影區(qū)域和疑似陰影區(qū)域。

2　車輛陰影去除方法

2.1基于顏色屬性的車輛陰影去除算法流程

首先，采用背景差分法對視頻圖像進行前景檢測，得到前景區(qū)域。在原圖上，對與背景差分檢測到的前景區(qū)域的對應區(qū)域進行顏色名映射，并對其進行二值化。將二值化圖與背景差分圖再進行“與”操作，并進行腐蝕、膨脹處理，對大于一定閾值的前景區(qū)域設置矩形閉包,去除噪聲區(qū)域。在“與”圖上，設置對應的矩形閉包，并對其進行先膨脹再連通域填充處理，得到去除陰影后相對較完整的運動車輛目標。流程如圖2所示。

圖2　基于顏色屬性的車輛陰影去除方法

2.2背景差分

為了減少要處理的區(qū)域范圍，尋找感興趣的區(qū)域，實驗采用基于混合高斯模型的背景差分方法[13]，檢測出前景區(qū)域。并對其進行二值化，將前景與背景分開。同時，用a×a大小的單元對前景區(qū)域進行腐蝕操作，a相對較小。去除車輛邊緣及外部較小的噪聲，同時必須保證車輛的完整性。其實驗流程如圖3所示。

圖3　前景檢測流程圖

其對應的核心代碼如下：

BackgroundSubtractorMOD2 bg_model;

//建立混合高斯背景模型

for(;;)

{//運動目標檢測，更新背景，img為逐幀圖像

bg_model(img,foreground,-1);

//腐蝕，element為結(jié)構(gòu)單元

erode(foreground,foreground,element);

}

其中，BackgroundSubtractorMOD2為來自OpenCV開放視覺庫的混合高斯函數(shù)類模型。

2.3映射二值化

對目標檢測的前景區(qū)域設置矩形閉包，在視頻幀圖像上設置對應的矩形閉包區(qū)域；對該區(qū)域進行顏色名映射，并且對映射后的圖進行二值化操作。由于陰影部分被映射成黑色，所以二值化的閾值取0。同時對其用b×b大小的單元進行腐蝕，以孤立減少噪聲的影響，b相對較小，避免對車輛區(qū)域造成過多腐蝕。其實驗流程如圖4所示。

圖4　映射二值化流程圖

其對應核心代碼如下：

findContours(foreground,contours,hierarchy,CV_RXTERNAL,

CV_CHAIN_APPROX_SIMPLE);

//尋找輪廓

for( i=0;i

//分別對每個輪廓區(qū)域進行處理

{rect=boundingRect(contours[i]);

//設置矩形閉包

for(i=0;i

//roi為原圖上與rect相對應的區(qū)域

for(j=0;j

{

index=1+roi.at(i,j)[0]/8+32*(roi.at(i,j)[1]/8)

+32*32*(roi.at(i,j)[2]/8);

//映射方程

//colorname為顏色名RGB值字典

colorR=colorname.at(0,index)[0];

//尋找對應顏色

colorG=colorname.at(0,index)[1];

//名的R、G、

colorB=colorname.at(0,index)[2];

// B值

roi1.at(i,j)[0]=colorR;

roi1.at(i,j)[1]=colorG;

roi1.at(i,j)[1]=colorB;

}

threshold(roi1,roi1,0,255,CV_THRESH_BINARY);

//二值化

}

2.4去除陰影

將映射二值化圖和背景差分圖進行“與”操作，去除陰影。但是，在陰影外邊緣會存在較多的噪聲未去除，所以用c×c的結(jié)構(gòu)單元對“與”圖進行腐蝕操作，進一步減少邊緣噪聲；再用d×d大小的結(jié)構(gòu)單元進行膨脹，以避免車輛區(qū)域因腐蝕而變得過小，c大于d。然而，腐蝕、膨脹處理后，可能還會有一些噪聲未去除。手動設置閾值，根據(jù)各個前景區(qū)域塊的面積，保留相對較大的區(qū)域，而去除一些剩下的較小噪聲，并對大于閾值的區(qū)域設置矩形閉包,以去除剩下的噪聲。但閾值不宜過大，若過大，可能會導致目標有部分區(qū)域丟失，一般在100～200。然后，在“與”圖上設置對應的矩形閉包，并對其先用e×e的結(jié)構(gòu)膨脹，其e大于d，以盡可能減少不連通區(qū)域的數(shù)量；再進行連通域填充，得到相對較完整的運動車輛目標。實驗流程如圖5所示。

圖5　去除陰影流程圖

其對應核心代碼如下：

//“與”操作,roi2為背景差分圖上與roi1對應區(qū)域

roi1=roi1&roi2;

roi1.copyTo(roi3);

//保存“與”圖

//腐蝕、膨脹，element1和element2為結(jié)構(gòu)單元

erode(roi1,roi1,element1);dilate(roi1,roi1,element2);

//尋找輪廓

findContours(roi1,contours1,hierarchy1,CV_RETR_EXTERNAL,CV_CHAIN_APPROX_SIMPLE);

if(fabs(contourArea(Mat(contours1[i])))>threshod)

//去除噪聲

{

rect1=boundingRect(contours1[i]);

//在roi1區(qū)域上設置閉包區(qū)域

Mat roi5(roi3,rect1);

//在“與”圖上設置閉包區(qū)域

//在結(jié)果圖上的閉包區(qū)域內(nèi)設置對應閉包區(qū)域，roi4為與原圖一樣大小的黑色圖上與rect1對應的區(qū)域

Mat roi6(roi4,rect1);

roi5.copyTo(roi6);

//保存結(jié)果

}

2.5膨脹和腐蝕

定義A和B為二維平面Z2上的集合，集合B平移z后得Bz，若Bz與A相交不為空，所有滿足上述條件的z點組成的集合稱作B對A的膨脹。被表示為：

A⊕B={z|Bz∩A≠φ}

(5)

定義A和B為二維平面Z2上的集合，集合B平移z后得Bz，若A包含Bz，所有滿足上述條件的z點組成的集合稱作B對A的腐蝕。被表示為：

AΘB={z|Bz?A}

(6)

3　實驗結(jié)果及分析

實驗采用在Intel(R) Core(TM) i5-2320的CPU,4 GB的內(nèi)存，系統(tǒng)為Win 7的計算機上進行。開發(fā)軟件為VS 2010，并結(jié)合OpenCV 2.4.6開放視覺函數(shù)庫。實驗圖像數(shù)據(jù)來自實際的公安網(wǎng)，大小為447 MB，分辨率為1280×720，色彩為RGB顏色，光照和噪聲為一般情況下的具有較強車輛陰影的一段視頻。首先，為了說明基于顏色屬性的方法能夠?qū)④囕v的陰影去除，分析了4輛不同顏色的車輛去除陰影的過程。其實驗效果如6所示。

圖6　去除陰影的過程

從圖6可以看出,(a1)、(a2)、(a3)、(a4)是視頻幀圖像中出現(xiàn)的不同車輛，在車輛的尾部均具有較大的陰影；(b1)、(b2)、(b3)、(b4)是不同車輛的背景差分圖，陰影部分均檢測成了前景；(c1)、(c2)、(c3)、(c4)在背景差分的前景區(qū)上設置矩形閉包，在原圖上設置相應的矩形閉包區(qū)域，進行顏色名映射，得到映射圖。其中，只對矩形閉包區(qū)域進行顏色名映射是為了減少不必要的計算量。(d1)、(d2)、(d3)、(d4)將映射圖進行二值化處理，使陰影部分被二值化為背景。(e1)、(e2)、(e3)、(e4)將映射二值化圖與背景差分圖進行“與”操作，去除陰影，但留下較多的噪聲；(f1)、(f2)、(f3)、(f4)對“與”圖進行腐蝕操作，以減少噪聲，同時對其進行膨脹，以減少目標的腐蝕程度；(g1)、(g2)、(g3)、(g4)為在“與”圖上設置分別與(f1)、(f2)、(f3)、(f4)前景區(qū)域?qū)掖笥谝欢ㄩ撝档膮^(qū)域，設置閾值是為了去除噪聲區(qū)域；(h1)、(h2)、(h3)、(h4)是分別對(g1)、(g2)、(g3)、(g4)圖進行連通域填充得到的車輛目標；(i1)、(i2)、(i3)、(i4)是分別對(g1)、(g2)、(g3)、(g4)圖進行先膨脹再連通域填充所得到的車輛目標，先膨脹是為了減少不連通區(qū)域的數(shù)目，以保證車輛目標的完整性。

同時，為了證明該方法在視頻中同樣具有有效性，實驗截取視頻中的兩輛車的逐幀視頻和對應的去除陰影后的結(jié)果。其效果如圖7所示。

圖7　實驗結(jié)果

通過圖7中兩組車輛的若干幀視頻圖像車輛去除陰影的結(jié)果可以看出，車輛的陰影基本上都已經(jīng)被去除，且運動車輛都相對較完整。在實驗結(jié)果(1)中，分別對應第791、792、793、795、799幀，車輛的后輪部分沒有完全被處理成前景，主要是因為車輪與背景顏色過于接近，有較大部分被檢測成了背景，但通過膨脹操作，車輪的很大部分已經(jīng)被處理成前景。在實驗結(jié)果(2)中，分別對應第6167、6169、6178、6180、6183幀，由去陰影的結(jié)果圖可以看出該組結(jié)果相對較好。實驗證明，該方法在一定場景下，可以很好地去除視頻中車輛的陰影。

由于該方法是基于顏色屬性的，所以對實驗的主要影響因素是光照和噪聲。當光照條件過低時，車身某些部位顏色會變得過暗，顏色名映射將其映射成黑色，從而被視為背景，使得目標的完整性損失較嚴重。當光照條件較弱時，陰影外邊緣出現(xiàn)的顏色較淺的區(qū)域過大時，顏色名映射會將其映射成其他顏色，而非黑色，從而產(chǎn)生較大的噪聲。當噪聲過大時，無法在保證目標完整性的前提下，通過閾值的方法，去除噪聲。當光照條件較好時，去除陰影的效果也會較好。

4　結(jié)　語

本文針對視頻車輛的陰影去除問題，提出了一種基于顏色屬性的陰影去除方法。該方法通過將顏色屬性與背景差分相結(jié)合，利用顏色屬性可以將陰影很好地映射成背景和背景差分法可以將陰影檢測成前景的不同特點，實現(xiàn)將車輛陰影去除的目標。在視頻車輛的陰影去除實驗中證明，該方法在一定的環(huán)境下能夠有效去除陰影，并且保留了車輛的較完整信息。

其在智能交通系統(tǒng)中具有重大的研究意義，主要應用于道路上車速測量，去除陰影后可以通過監(jiān)控攝像頭更加精確地測出車輛的速度，以判斷車輛是否超速行駛；通過監(jiān)控攝像頭得到圖像，計算在某一時段通過的車輛，去除陰影可以使多輛車因陰影而粘連在一起的現(xiàn)象消除，使車輛計數(shù)更加精確；去除陰影后可以更精確地計算出道路上前后車輛之間的距離，以防止車輛過近，導致車輛追尾事故發(fā)生。

當然，該方法也存在一定的局限性，由于顏色屬性是利用陰影部分接近于黑色，故而顏色名映射將其映射成了背景。所以，當車輛為黑色車輛時，陰影被映射成背景，車輛也會有很大程度被映射成背景，從而無法保證車輛的完整性；另一方面是，實驗中車輛的車輪部分有一定程度的損失。這兩個方面有待下一步研究。

[1] 王圣男，郁梅，蔣剛毅.智能交通系統(tǒng)中基于視頻圖像處理的車輛檢測與跟蹤方法綜述[J].計算機應用研究，2005,22(9):9-14.

[2] 李斌,史忠科.基于計算機視覺的行人檢測技術(shù)的發(fā)展[J].計算機工程與設計,2005,26(10):2565-2568.

[3] 馮文剛，高雋，Buckles B，等.多顏色空間中目標約束的車輛陰影分割研究[J].中國圖象圖形學報，2011,16(9):1599-1606.

[4] 任建強.一種自適應的運動目標陰影消除新算法[J].計算機工程及應用，2010,46(36):188-191.

[5] Zhao T,Nevatia R.Tracking multiple humans in complex situations[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2004,26(9):1208-1221.

[6] Hsieh J W,Yu S H,Chen Y S,et al.Automatic traffic surveillance system for vehicle tracking and classification[J].Intelligent Transportation Systems,IEEE Transactions on,2006,7(2):175-187.

[7] 黃英杰,盧湖川.一種改進的運動目標檢測和陰影消除算法[J].計算機工程,2008,34(6):207-209.

[8] 楊志邦,徐成,周旭,等.一種基于統(tǒng)計模型的前景陰影消除算法[J].小型微型計算機系統(tǒng),2013,34(2):423-428.

[9] Koller D,Daniilidis K,Nagel H H.Model-based object tracking in monocular image sequences of road traffic scenes[J].International Journal of Computer Vision,1993,10(3):257-281.

[10] Hofmann T.Probabilistic latent semantic indexing[C]//Proceedings of the 22nd annual international ACM SIGIR conference on Research and development in information retrieval.ACM,1999:50-57.

[11] Berlin B,Kay P.Basic color terms:Their universality and evolution[M].University of California Press,1991.

[12] Weijer J V D,Schmid C,Verbeek J,et al.Learning color names for real-world applications[J].Image Processing,IEEE Transactions on,2009,18(7):1512-1523.

[13] 韓劍輝,崔猛強,袁耀輝.基于混合高斯模型的背景差分法的 FPGA 實現(xiàn)[J].哈爾濱理工大學學報,2013,18(4):89-93.

VEHICLE SHADOW REMOVAL METHOD BASED ON COLOUR ATTRIBUTE

Xu ShaofeiLiu Zhengyi

(College of Computer Science and Technology,Anhui University,Hefei 230601,Anhui,China)

Colour attributes,i.e.,the language colour labels,can be used to represent all the colours in the world.The colour attribute of shadow in video frames is the black,therefore we propose a colour attribute-based vehicle shadow removal method.We study the colour attributes using probabilistic latent semantics model,establish colour names probability dictionary,and realise colour names mapping on video frames image.After binarisation operation,the black regions representing the shadows are set as the background,and the non-shaded regions are set as the foreground.At the same time,we process “AND” operation on the binarisation graph and background difference graph to remove shadows and then remove the noises on edges outside the shadows.Finally,we deal with the AND graph in operations of dilation first followed by connected domains filling to get the target vehicle without shadows.Experiments show that the method can remove shadows well under certain scenarios,and can get a relatively intact moving vehicle target.

Colour attributesProbabilistic latent semantics analysis modelShadowColour name mapping

2015-04-27。安徽省科技攻關計劃科技強警專項資金項目(1301b042020);高等學校博士學科點專項科研基金聯(lián)合課題(20133401110009)。徐少飛，碩士生，主研領域：圖像處理。劉政怡，副教授。

TP317.4

A

10.3969/j.issn.1000-386x.2016.09.048