基于光照不變性顏色特征的行人再識別方法

徐同文，白宗文，楊延寧，張元林

（1.延安大學物理與電子信息學院，陜西延安 716000；2.陜西省能源大數據智能處理省市共建重點實驗室，陜西延安 716000；3.西安交通大學人工智能學院，陜西西安 710049）

行人再識別[1-2]是指在無重疊視域跨攝像機網絡中對同一個行人目標進行匹配。由于行人姿態具有非剛性、不同的攝像機所在環境光照條件不同以及拍攝到的圖像分辨率低等問題，使得行人再識別成為當前計算機視覺的一大挑戰性任務。

深度學習方法[3]是當前解決行人再識別問題常用的方法之一。雖然深度學習在行人再識別中取得了較好的識別效果，但是其模型往往過大，需要大量計算資源完成模型訓練，此外，所得到的模型也無法部署到移動終端，成為深度學習模型走向應用的技術瓶頸。因此基于非深度學習的傳統方法仍然需要進行持續深入研究。由于不同的攝像機可能處于不同的光照條件下，而同一種顏色在不同的光照條件下會表現出很大的差異，因此再用顏色特征就不能準確地描述行人，給行人再識別造成困難。針對這個問題，提出了一種光照不變性顏色特征用以描述行人的外觀信息。首先，使用顏色屬性轉換[4-5]使得行人的不同圖像統一轉換到相近亮度。然后，把圖像從像素值變化大的RGB 空間轉換到像素值變化小的顏色空間中去，在轉換后的空間上提取顏色直方圖作為光照不變性顏色特征。這樣提取的特征對光照變化有一定的魯棒性。最后，使用XQDA[6]算法進行特征間的相似性度量。

1 光照不變性顏色特征

由于不同的攝像機可能處于不同的光照條件下，同一種顏色在不同的光照條件下會表現出很大的差異。如圖1 所示，圖像來自VIPeR 數據集，圖（a）和圖（b）是同一個行人在不同攝像機不同光照條件下拍攝出來的兩幅圖像。從兩幅圖像中可以看出，行人的外觀因為圖像亮度不同表現出很大的差異。

圖1 行人圖像顏色屬性轉換效果圖

1.1 顏色屬性轉換補償光照變化

為補償光照變化對顏色特征的影響，首先使用顏色屬性轉換把行人不同光照條件下的圖像統一變換到相近亮度。為了讓兩張圖像的光照亮度相近，CCT 把一張圖像（目標圖像）的顏色屬性加到另一張圖像上（源圖像）。首先把源圖像和目標圖像從RGB空間轉化到LMS 空間：

然后再把以上兩種圖像轉化到lαβ 空間：

把源圖像和目標圖像從RGB 空間都轉化到lαβ空間后，分別計算圖像3 個通道的均值和標準差。源圖像和目標圖像3 個通道的均值表示為：，標準 差表示為和。用如下公式把目標圖像的顏色屬性加到源圖像：

最后再轉換回RGB 空間：

如圖1所示，圖（c）是圖（a）的顏色屬性加到圖（b）上轉換過來的，從圖中可以看到，圖（c）的亮度明顯比圖（b）亮一些，和圖（a）相近，這樣就補償了光照變化帶來的影響。

1.2 顏色空間轉換及特征提取

在進行顏色屬性轉換后，兩幅圖像有相近的亮度，但是，在行人圖像上相同的位置還是有很大的變化，如圖2 所示，左圖右膝蓋上一個點的RGB值是[135 104 111]，右圖是經顏色屬性轉換而來，目標同一個像素點的RGB值是[75 64 65]，相比于左面圖像點的RGB值，其像素值分別變化為[-60-40-46]。根據顏色屬性轉換[5]算法，相同的像素點在不同的光照條件下，其RGB值大約呈線性變化，即有：

圖2 不同光照條件下像素值在RGB空間和nRGB空間的變化量圖

其中x、y、z表示轉換前像素點的RGB值，k表示比例系數。

如圖1 所示，圖（c）是圖（a）的顏色屬性加到（b）上轉換過來的，在圖（c）右膝蓋上取同一個像素點，如圖2 右圖所示，其RGB值與圖1（a）（圖2 左圖）相同點的RGB值的比例為：

從圖2 可以看出轉換到nRGB 空間后，點像素值的變化量為[-5 +8 +1]，比原始RGB值變化量大大減小，從而補償了光照變化對像素值變化的影響，使得不同光照條件下同一個像素點的變化大大減小。同樣，通過歸一化顏色空間rgs 中的r、g分量，H（色調）、S（色度）的計算公式，可以消除掉變化比例，因此對光照變化也有魯棒性。

該文為描述目標的顏色特征，首先把圖像平均分成6 等分，對于每一個顏色空間分量提取16 維的顏色直方圖，即對于三通道的nRGB、HSI 和rgs 顏色空間模型，提取到的顏色特征維數分別為16×6×3=288。在特征提取前，分別去掉圖像左右8 個像素點，降低背景對特征描述的影響。在提取出行人的特征后，需要對這些特征向量進行相似性度量。XQDA[6]算法是當前行人再識別中最常用的經典度量算法之一。它可以在進行度量學習的同時得出一個降維子空間，通過降維子空間對向量降維，可以有效避免先降維再進行度量學習的影響，因此度量向量間的相似度較為準確。

2 實驗結果與分析

該文實驗在Intel(R) CoreTM i5-7500 CPU，頻率為3.40 GHz，內存為4.00 Gbyte Matlab 2014a 基礎配置環境下進行。

VIPeR 數據集[7]被認為是在行人再識別算法測試中最常用的數據集之一。它是由兩個無重疊視域的攝像機采集到632 個行人，共1 264 張圖片組成。在算法測試中，隨機抽選316 個行人即632 張圖像作訓練集，剩下的作測試集。CUHK01[3]也是在兩個攝像機下采集到的圖像組成的常用數據集。一共有971 個行人，每一個行人有4 張圖像，兩張正面或背面，兩張側面。在實驗中，隨機選取485 個行人即970 張圖像做訓練集，剩下的486 個行人的圖像作測試集。

該文采用在行人再識別中最常用的評價量化方法累積匹配特性（CMC）曲線[2]作為評價該算法的度量標準。

2.1 在不同公共數據集上進行比較

文中提出的光照不變性顏色特征(Illumination Invariant Color Feature，IICF)在VIPeR 和CUHK01 數據集上使用XQDA 算法進行相似性度量得到的結果與當前的一些算法進行比較。如圖3 所示，為在VIPeR數據集上一些當前算法的CMC曲線圖。rank 1精度標記在算法名稱前。從圖中可以看出文中算法的rank-1 精度達44.37%，從rank-1 到rank-15，該算法的精度一直比其他算法高。為了更精確地進行精度比較，表1和表2分別列出了在VIPeR和CUHK01 測試的具體算法精度。從兩個表中看出，文中算法rank-1 在兩個數據集上分別高出4.37%和5.82%，優于其他算法。另外在表1 中，基于深度學習的方法Deep ML 和SLSTM 的rank 1 精度只有28.23%和42.4%，低于該文算法，間接說明了文中算法優于一些深度學習方法。

圖3 該文算法與當前算法在VIPeR上的精度比較圖

表1 該文算法與當前算法在VIPeR上的識別精確比較（%）

表2 該文算法與當前算法在CUHK01上的識別精度比較（%）

2.2 特征的有效性實驗分析

為說明文中提出的光照不變性顏色特征（IICF）可以有效準確地描述行人的外觀特征，在VIPeR 數據集上與當前常用的特征LOMO、WHOS、MCSH、ELF6 這4 種特征進行比較，相似性度量方式都采用XQDA 算法進行度量。如圖4 所示，是5 種特征的CMC 曲線比較圖。LOMO 特征的rank-1 算法精度為40%，比該文提出的特征精度低4.37%。WHOS 特征是先進行圖像的背景弱化，再提取HS、Lab 顏色直方圖和HOG、LBP 特征，rank-1 精度為34.15%。MCSH是使用顏色像素值統計、均值和方差直方圖來描述行人，rank-1 精度為22.53%。ELF6 特征則是用Gabor、Schmid 和YCbCr 等共同描述目標，rank-1 精度為20.13%。從圖中可以看出，文中提出的IICF 用XQDA 度量的結果精度在rank-15 之前要好于其他算法。這說明IICF 顏色特征可以很好地描述行人的外觀特征，對光照變化有很強的魯棒性。

圖4 文中提出的特征與常用特征精度比較圖

2.3 顏色屬性轉換補償光照變化實驗分析

為了說明顏色屬性轉換在算法中補償光照變化的作用，如表3 所示，列舉了進行使用顏色屬性轉換前后的算法精度對比。從表中可以看出，直接提取3 種顏色特征比使用顏色屬性轉換后再提取特征的rank-1 精度低22.76%，其他的rank 精度也平均低了大約25%左右。這說明顏色屬性轉換可以有效地把不同光照條件下的行人圖像統一轉換到相近亮度，對光照變化進行補償，提高了算法的精度。

表3 文中使用的顏色特征在VIPeR數據集上使用CCT前后的精度對比（%）

3 結束語

文中提出了基于光照不變性顏色特征的行人再識別方法。首先，對不同光照條件下的行人圖像使用顏色屬性轉換統一轉換到相近亮度；再把圖像轉換到可以使像素值變化很小的顏色空間；最后，在此空間上提取顏色直方圖作為光照不變性特征。實驗結果表明，文中提出的特征對光照變化有一定的魯棒性，可以很好地描述不同光照條件下的行人，算法的最終精度超過了一些主流算法。但是，只有顏色特征描述行人的信息有限，未來主要研究使用顏色、紋理、形狀相融合的特征表達算法。