基于深度卷積生成對(duì)抗網(wǎng)絡(luò)和拓展近鄰重排序的行人重識(shí)別

戴臣超 王洪元 倪彤光 陳首兵

(常州大學(xué)信息科學(xué)與工程學(xué)院 江蘇常州 213164)

行人重識(shí)別[1]旨在自動(dòng)匹配同一個(gè)行人在不同攝像機(jī)視圖下的行人圖片,該任務(wù)在公共安全方面具有很大的應(yīng)用潛力.因?yàn)楣庹铡⒄趽酢⒆藙?shì)改變、背景混亂等因素,不同攝像機(jī)視圖下同一個(gè)行人的圖片往往有很大不同，如圖1所示(同一列的圖片屬于同一個(gè)行人),所以該任務(wù)具有很大的挑戰(zhàn)性,是目前計(jì)算機(jī)視覺(jué)領(lǐng)域的研究熱點(diǎn).近幾年在行人重識(shí)別領(lǐng)域的進(jìn)步主要?dú)w功于高性能的深度學(xué)習(xí)算法[2].和傳統(tǒng)方法相比[3-6],這類(lèi)算法往往需要大量標(biāo)注好的行人圖片.盡管目前已經(jīng)發(fā)布了一些規(guī)模較大的行人重識(shí)別數(shù)據(jù)集,但是在這些數(shù)據(jù)集中每個(gè)行人的圖片仍然是有限的.據(jù)統(tǒng)計(jì),在Market1501數(shù)據(jù)集[7]之中平均每個(gè)行人只有17.2張圖片,在CUHK03數(shù)據(jù)集[8]之中平均每個(gè)行人只有9.6張圖片,在DukeMTMC-reID數(shù)據(jù)集[9]之中平均每個(gè)行人只有23.5張圖片.為解決這個(gè)問(wèn)題,有部分研究者試圖使用其他場(chǎng)景下標(biāo)注好的行人圖片,例如Ni等人[10]提出一個(gè)遷移學(xué)習(xí)模型試圖學(xué)習(xí)不同場(chǎng)景下行人圖片的公共特征.另外一些研究者試圖利用無(wú)標(biāo)簽行人圖片,例如Xin等人[11]提出多視圖聚類(lèi)的方法來(lái)為無(wú)標(biāo)簽圖片分配一個(gè)偽標(biāo)簽,然后在訓(xùn)練期間使用具有真實(shí)標(biāo)簽和偽標(biāo)簽的數(shù)據(jù)參與訓(xùn)練,進(jìn)而提高模型的泛化性能.然而這些方法往往只在特定場(chǎng)合下有用,有時(shí)候甚至?xí)?dǎo)致模型性能下降.本文從另外一個(gè)角度出發(fā),使用改進(jìn)的生成對(duì)抗網(wǎng)絡(luò),從現(xiàn)有訓(xùn)練集中生成類(lèi)似行人圖片參與訓(xùn)練,從而引入更多的顏色、光照以及姿勢(shì)變化等信息來(lái)正則化模型,提升模型的魯棒性.

Fig. 1 Pedestrian image pairs of public datasets圖1 公共數(shù)據(jù)集行人圖像對(duì)

另一方面,行人重識(shí)別在本質(zhì)上就是一個(gè)圖片檢索任務(wù),給定一張查詢(xún)圖片,在對(duì)應(yīng)的圖庫(kù)之中檢索出與這張查詢(xún)圖片身份相同的行人圖片.在這個(gè)過(guò)程之中經(jīng)常會(huì)出現(xiàn)匹配不吻合的現(xiàn)象,導(dǎo)致行人重識(shí)別第一匹配率下降.為緩解這個(gè)問(wèn)題,越來(lái)越多的研究者在行人重識(shí)別任務(wù)中加入重排序[12-15].簡(jiǎn)單來(lái)說(shuō),重排序就是重新計(jì)算查詢(xún)圖片與圖庫(kù)圖片之間的距離,從而使得更多與查詢(xún)圖片身份一致的圖庫(kù)圖片排在排序列表更靠前的位置.然而,目前流行的重排序方法往往需要根據(jù)每一組圖片對(duì)的k近鄰或者k互鄰重新計(jì)算新的排序列表,這使得重排序操作復(fù)雜度極高.為了解決這個(gè)問(wèn)題,本文通過(guò)引入拓展近鄰距離[16]的概念,提出了一種新的重排序方法,它不需要為每組圖像對(duì)重新計(jì)算新的排序列表.經(jīng)實(shí)驗(yàn)發(fā)現(xiàn),本文方法可以達(dá)到的最高Rank-1和mAP在Market-1501數(shù)據(jù)集上是89.70% 和82.86%,在CUHK03數(shù)據(jù)集上是87.60% 和87.46%,在DukeMTMC-reID數(shù)據(jù)集上是76.44%,67.59%,并成功用于2018全球(南京)人工智能應(yīng)用大賽多目標(biāo)跨攝像頭跟蹤賽題.

1 相關(guān)工作

1.1 生成對(duì)抗網(wǎng)絡(luò)

生成對(duì)抗網(wǎng)絡(luò)由2個(gè)子網(wǎng)絡(luò)組成：生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò).在訓(xùn)練過(guò)程中二者相互博弈直到進(jìn)入一個(gè)均衡和諧的狀態(tài).針對(duì)普通的生成對(duì)抗網(wǎng)絡(luò)經(jīng)常會(huì)面臨訓(xùn)練不穩(wěn)定、網(wǎng)絡(luò)難以收斂以及生成圖片質(zhì)量太差等問(wèn)題,本文采用的深度卷積生成對(duì)抗網(wǎng)絡(luò)[17](deep convolutional generative adversarial network, DCGAN)在3個(gè)方面作出改進(jìn):1)去除掉網(wǎng)絡(luò)中卷積層后面的全連接層,此時(shí)網(wǎng)絡(luò)變成了全卷積網(wǎng)絡(luò),實(shí)驗(yàn)發(fā)現(xiàn)去掉該全連接層,網(wǎng)絡(luò)可以收斂的更快;2)在生成網(wǎng)絡(luò)的輸入層之后作批歸一化操作,使得訓(xùn)練過(guò)程變得更加穩(wěn)定;3)使用步幅卷積來(lái)替換網(wǎng)絡(luò)中的所有池化層,使得網(wǎng)絡(luò)可以學(xué)習(xí)自身的空間下采樣,進(jìn)而生成質(zhì)量更高的行人圖片.

1.2 重排序

最近幾年,重排序在行人重識(shí)別領(lǐng)域受到了越來(lái)越多的關(guān)注,Shen等人[12]使用k近鄰生成新的排序列表,并且基于這些排序列表重新計(jì)算圖片對(duì)之間的距離.Ye等人[13]將k近鄰的全局特征與局部特征組合為一個(gè)新的查詢(xún)特征,并且根據(jù)這些信息修正初始排名列表.不同于普通的k近鄰,Zhong等人[14]利用k互鄰來(lái)計(jì)算杰卡德距離,融合杰卡德距離與原始的歐氏距離獲得更有效的排序距離.與基于k近鄰和k互鄰的重排序方法不同,本文引入了拓展近鄰距離的概念,通過(guò)聚合每一對(duì)圖片的拓展近鄰距離來(lái)進(jìn)行重排序(本文稱(chēng)之為拓展近鄰重排序).

由此,本文結(jié)合DCGAN與拓展近鄰重排序進(jìn)行行人重識(shí)別.通過(guò)DCGAN從原始訓(xùn)練集中生成類(lèi)似的行人圖片參與訓(xùn)練,提高模型的泛化能力,再對(duì)初始排序表進(jìn)行拓展近鄰重排序操作,緩解行人匹配錯(cuò)誤的現(xiàn)象,提升行人重識(shí)別的性能.

2 基于DCGAN和拓展近鄰重排序的行人重識(shí)別

本文提出基于DCGAN和拓展近鄰重排序的行人重識(shí)別方法,整體框架如圖2所示.首先使用訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)分別提取圖庫(kù)圖片和查詢(xún)圖片的特征向量,然后基于歐氏度量計(jì)算每一張圖庫(kù)圖片和查詢(xún)圖片之間的距離生成初始排序表,最后利用拓展近鄰重排序?qū)Τ跏寂判虮磉M(jìn)行重排序,生成最終的排序表.本節(jié)將介紹卷積神經(jīng)網(wǎng)絡(luò)如何在訓(xùn)練期間引入DCGAN生成的行人圖片,以及拓展近鄰重排序的定義與描述.

Fig. 2 The whole framework of the method圖2 本文方法的整體框架

2.1 卷積神經(jīng)網(wǎng)絡(luò)

Fig. 3 Network training framework with generated image圖3 結(jié)合生成圖片的網(wǎng)絡(luò)訓(xùn)練框架

本文采用ResNet50[1]作為基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu),并且采用文獻(xiàn)[1]中的訓(xùn)練策略.不同于文獻(xiàn)[1],本文去掉了最后1 000維的分類(lèi)層,并且增加了2層全連接層：第1個(gè)全連接層的輸出為1024維(稱(chēng)為FC-1024);第2個(gè)全連接層的輸出是T維(稱(chēng)為FC-T,其中T代表訓(xùn)練集中的類(lèi)別數(shù)).經(jīng)實(shí)驗(yàn)證明,添加這2層全連接層可以很有效地提升行人重識(shí)別的準(zhǔn)確率,并且不會(huì)影響模型的收斂速度.與文獻(xiàn)[1]采取的策略不同,本文并沒(méi)有為生成圖片賦予一個(gè)偽標(biāo)簽,而是分配了一個(gè)對(duì)現(xiàn)有類(lèi)別都統(tǒng)一的標(biāo)簽分布.在2.2節(jié)將對(duì)生成圖片標(biāo)簽分布的分配進(jìn)行討論.結(jié)合生成圖片的網(wǎng)絡(luò)訓(xùn)練框架如圖3所示.首先使用DCGAN從現(xiàn)有訓(xùn)練集中生成類(lèi)似的行人圖片,然后將生成圖片與真實(shí)圖片混合在一起作為卷積神經(jīng)網(wǎng)絡(luò)的輸入,最后通過(guò)最小化交叉熵?fù)p失來(lái)對(duì)網(wǎng)絡(luò)進(jìn)行調(diào)參使模型更魯棒.

2.2 標(biāo)簽平滑正則化

標(biāo)簽平滑正則化[18](label smoothing regulari-zation, LSR)的思想就是給非真實(shí)類(lèi)別賦予一個(gè)較小的值而不是0.這種策略相當(dāng)于加入一些噪音數(shù)據(jù),以防網(wǎng)絡(luò)過(guò)于傾向真實(shí)類(lèi)別.在每一個(gè)批次中都有一定數(shù)量的真實(shí)圖片和生成圖片,所以本文的損失函數(shù)為

LLoss=LR+LG,

(1)

其中,LR為真實(shí)圖片的交叉熵?fù)p失;LG為生成圖片的交叉熵?fù)p失.交叉熵?fù)p失定義為

(2)

(3)

其中,y代表圖片的真實(shí)標(biāo)簽.

在文獻(xiàn)[18]中,通過(guò)標(biāo)簽平滑正則化把非真實(shí)類(lèi)別的分布考慮在內(nèi),鼓勵(lì)網(wǎng)絡(luò)不要太傾向于真實(shí)類(lèi)別.因此,運(yùn)用標(biāo)簽平滑正則化策略后,圖片的標(biāo)簽分布為

(4)

其中,ε∈[0,1].

然而,生成的行人圖片不屬于任意已知類(lèi)別,無(wú)法為之分配一個(gè)準(zhǔn)確的標(biāo)簽.不同于以往文獻(xiàn)處理無(wú)標(biāo)簽圖片的策略,本文提出為無(wú)標(biāo)簽圖片分配一個(gè)虛擬的標(biāo)簽分布,設(shè)置其標(biāo)簽分布在所有已知類(lèi)別上都是統(tǒng)一的.因此，對(duì)于生成圖片,本文改進(jìn)后的標(biāo)簽分布被定義為

(5)

此時(shí),生成圖片的標(biāo)簽分布為均勻分布,即默認(rèn)任意一張生成圖片屬于任意已知類(lèi)別的概率是相同的.所以,生成圖片的交叉熵?fù)p失為

(6)

考慮到訓(xùn)練集中行人圖片的內(nèi)容和標(biāo)簽是正確匹配的,本文并沒(méi)有對(duì)訓(xùn)練集中的真實(shí)圖片進(jìn)行標(biāo)簽平滑正則化處理,因此真實(shí)圖片的交叉熵?fù)p失為

LR=-log(p(y)).

(7)

結(jié)合式(6)與式(7),本文的損失函數(shù)為

(8)

其中,β的取值為0或者1,β=0時(shí),是真實(shí)圖片的損失;當(dāng)β=1時(shí),則是生成圖片的損失.雖然本文使用的生成圖片質(zhì)量并不高,無(wú)法為之分配一個(gè)與圖片內(nèi)容相符的標(biāo)簽,但是本文使用改進(jìn)后的標(biāo)簽平滑正則化方法可以直接處理在樣本空間中位于真實(shí)圖片附近的生成圖片.通過(guò)這種方式可以引入更多的顏色、光照、背景、姿勢(shì)變化等信息來(lái)正則化網(wǎng)絡(luò)模型,進(jìn)而引導(dǎo)網(wǎng)絡(luò)去尋找更具有判別力的特征.

2.3 拓展近鄰重排序

給定一個(gè)行人圖庫(kù)G={gi|i=1,2,…,S}以及一張查詢(xún)圖片,那么查詢(xún)圖片與圖庫(kù)圖片之間的距離可以用歐氏距離來(lái)計(jì)算:

d(p,gi)=(xp-xgi)T×(xp-xgi),

(9)

其中,p指的是查詢(xún)圖片;gi指的是圖庫(kù)中的第i張圖片;xp指的是查詢(xún)圖片p的特征向量;xgi指的是圖庫(kù)圖片gi的特征向量.

重排序就是要重新計(jì)算查詢(xún)圖片與圖庫(kù)圖片之間的距離,進(jìn)而生成新的排序表.給定一組圖片(包括一張查詢(xún)圖片與一張圖庫(kù)圖片).首先尋找2張圖片對(duì)應(yīng)的拓展近鄰集合,然后聚合這2個(gè)集合中每一對(duì)圖片之間的距離,并用聚合之后的距離(本文稱(chēng)之為拓展近鄰距離)來(lái)代替該組圖片原本的距離.查詢(xún)圖片的拓展近鄰集合R(p,K)為

{R(p,M),R(M,N)}→R(p,K),

(10)

其中,R(p,M)是與查詢(xún)圖片p最相似的M張近鄰圖片;R(M,N)指的是與R(p,M)中每個(gè)元素最相似的N張近鄰圖片.同理,圖庫(kù)圖片的拓展近鄰集合計(jì)算方式也是如此.拓展近鄰距離可以被定義為

從表2得知，學(xué)生的學(xué)習(xí)計(jì)劃方面已經(jīng)有了明顯提高。但是，學(xué)生中的大部分沒(méi)有及時(shí)監(jiān)控學(xué)習(xí)過(guò)程、調(diào)節(jié)學(xué)習(xí)方法，在英語(yǔ)學(xué)習(xí)中不能熟練使用監(jiān)控策略和調(diào)節(jié)策略。

(11)

其中,pj指的是查詢(xún)圖片的拓展近鄰集合R(p,K)中的第j個(gè)近鄰;gij指的是圖庫(kù)圖片gi的擴(kuò)展近鄰集合R(gi,K)中的第j個(gè)近鄰;d(·)是圖片對(duì)之間的距離.

本文采用基于排序列表的方式來(lái)計(jì)算d(·),即根據(jù)2個(gè)排序列表前k個(gè)近鄰的位置來(lái)計(jì)算2個(gè)排序列表之間的距離.雖然該方法是由Jarvis等人[16]提出的并且已經(jīng)成功地運(yùn)用到人臉識(shí)別任務(wù)[19]中,但是據(jù)我們所了解,該方法是首次運(yùn)用到行人重識(shí)別任務(wù)中.基于排序列表的距離計(jì)算：

(12)

其中,Sp(n)表示圖片n在排序列表Lp中的位置;Sgi(n)表示圖片n在排序列表Lgi中的位置;×表示矩陣乘法;Lp與Lgi分別表示p與gi所對(duì)應(yīng)的排序列表.[·]+=max(·,0).因?yàn)橹豢紤]排序列表中前k張行人圖片的情況,所以使用max函數(shù)將排序列表中前k張以外的圖片排除在外.minmax(·)是指對(duì)(·)進(jìn)行歸一化處理.

3 實(shí) 驗(yàn)

本文在Market-1501,DukeMTMC-reID和CUHK03數(shù)據(jù)集[7-9]上進(jìn)行實(shí)驗(yàn),并采用累積匹配特征曲線(xiàn)以及平均查準(zhǔn)率(mean average precision, mAP)來(lái)評(píng)價(jià)實(shí)驗(yàn)性能.累積匹配特征曲線(xiàn)表示查詢(xún)圖片出現(xiàn)在排序后圖庫(kù)列表中的概率.因?yàn)樵趯?shí)際應(yīng)用中往往只會(huì)考慮Rank-1，即第一次就成功匹配的概率,所以本文主要關(guān)注Rank-1.

3.1 數(shù)據(jù)集

Market-1501中的行人圖片收集自6個(gè)攝像機(jī),其中包括來(lái)自于1 501個(gè)行人的32 668張標(biāo)記好的行人圖片.該數(shù)據(jù)集分為訓(xùn)練集,圖庫(kù)集和查詢(xún)集.訓(xùn)練集由來(lái)自751個(gè)行人的12 936張行人圖片組成,圖庫(kù)集則是由來(lái)自750個(gè)行人的19 732張行人圖片組成.查詢(xún)集合中擁有來(lái)自750個(gè)行人的3 368張查詢(xún)圖片.

DukeMTMC-reID是最新發(fā)布的大規(guī)模行人重識(shí)別數(shù)據(jù)集,其中有1 812個(gè)行人,一共1 404個(gè)行人出現(xiàn)在至少2個(gè)攝像頭下,剩余408個(gè)行人僅出現(xiàn)在一個(gè)攝像頭之下.它的訓(xùn)練集和測(cè)試集各包含702個(gè)人,訓(xùn)練集包括16 522張圖片,圖庫(kù)集由17 661張圖片組成,查詢(xún)集包括2 228張圖片.

3.2 實(shí)驗(yàn)設(shè)置

本文在Market-1501數(shù)據(jù)集上采用了Single Query和Multiple Query設(shè)置.Single Query指查詢(xún)集中每個(gè)行人只有一張圖片,Multiple Query指查詢(xún)集中每個(gè)行人有多張圖片.在CUHK03數(shù)據(jù)集上使用了single-shot和multi-shot設(shè)置.single-shot是指在圖庫(kù)中每個(gè)行人只有一張圖片,multi-shot是指在圖庫(kù)中每個(gè)行人有多張圖片.和本文方法進(jìn)行比較的有DNS[20], Verif.-Identif.[21], SOMAnet[22], XQDA[23]等方法.DNS方法通過(guò)匹配訓(xùn)練數(shù)據(jù)判別零空間中的行人來(lái)克服行人重識(shí)別度量學(xué)習(xí)中的小樣本問(wèn)題.Verif.-Identif.方法基于驗(yàn)證模型和識(shí)別模型可以同時(shí)計(jì)算驗(yàn)證損失和識(shí)別損失,進(jìn)而可以得到一個(gè)更具有判別力的卷積神經(jīng)網(wǎng)絡(luò)和相似性度量.SOMAnet則是基于深度卷積神經(jīng)網(wǎng)絡(luò)的框架,它試圖通過(guò)對(duì)人體結(jié)構(gòu)信息建模來(lái)緩解行人重識(shí)別的類(lèi)內(nèi)差異.XQDA方法首先提取特征,并提出一種度量學(xué)習(xí)方法來(lái)使類(lèi)內(nèi)距離變小類(lèi)間距離變大.

3.3 參數(shù)分析

本文在Market1501數(shù)據(jù)集上采用控制變量法對(duì)重排序方法中的參數(shù)M與N進(jìn)行測(cè)試,以期望獲得最優(yōu)值.首先固定住一個(gè)參數(shù),然后通過(guò)調(diào)整另一個(gè)參數(shù)來(lái)查看Rank-1和mAP的變化.從圖4中可以看出在Single Query設(shè)置下當(dāng)N=8時(shí),Rank-1和mAP達(dá)到最優(yōu)值.從圖5中可以看出在Single Query設(shè)置下當(dāng)M=3時(shí),Rank-1和mAP達(dá)到最優(yōu)值.經(jīng)實(shí)驗(yàn)測(cè)試,在數(shù)據(jù)集CUHK03和DukeMTMC-reID上,M=3與N=8時(shí)Rank-1和mAP也可以達(dá)到最優(yōu).因此,本文取M=3和N=8為實(shí)驗(yàn)參數(shù).

Fig. 4 Influence of parameter N on Re-ID performance on Market1501 dataset圖4 在Market1501數(shù)據(jù)集上參數(shù)N對(duì)行人重識(shí)別性能的影響

Fig. 5 Influence of parameter M on Re-ID performance on Market1501 dataset圖5 在Market1501數(shù)據(jù)集上參數(shù)M對(duì)行人重識(shí)別性能的影響

Fig. 6 Generated images of CUHK03圖6 CUHK03數(shù)據(jù)集的生成圖片

3.4 生成圖片的數(shù)量對(duì)Re-ID性能的影響

Fig. 7 Generated images of Market-1501圖7 Market-1501數(shù)據(jù)集的生成圖片

圖6～8分別展示了以CUHK03,Market-1501和DukeMTMC-reID為訓(xùn)練集的生成對(duì)抗網(wǎng)絡(luò)生成的行人圖片.隨著生成圖片數(shù)量的增加,行人重識(shí)別的表現(xiàn)是否可以獲得一個(gè)持續(xù)性的改進(jìn)?表1展示了不同數(shù)量的生成圖片參與Market-1501數(shù)據(jù)集訓(xùn)練的實(shí)驗(yàn)結(jié)果.在Market-1501數(shù)據(jù)集中訓(xùn)練集一共有12 936張圖片.從表1中可以看出：太少的生成圖片參與訓(xùn)練時(shí),標(biāo)簽平滑正則化的正則化能力并不充分;太多的生成圖片參與訓(xùn)練時(shí),則會(huì)引入過(guò)多的干擾項(xiàng).本文采取一個(gè)折中處理,即設(shè)置參與訓(xùn)練的生成圖片與真實(shí)圖片的比例為1∶1.

Fig. 8 Generated images of DukeMTMC-reID圖8 DukeMTMC-reID數(shù)據(jù)集的生成圖片

Table 1 Impact of the Number of Generated Images on Person Re-identification表1 生成圖片的數(shù)量對(duì)Re-ID性能的影響

3.5 標(biāo)簽平滑正則化對(duì)Re-ID性能的改進(jìn)

表2～5展示了本文方法在Market-1501,CUHK03和DukeMTMC-reID數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果.在所有表中,LSR代表在訓(xùn)練期間加入了生成圖片,rerank代表在測(cè)試期間使用了拓展近鄰重排序操作.從中可以看出:當(dāng)使用生成圖片參與訓(xùn)練時(shí),實(shí)驗(yàn)效果明顯超過(guò)了本文的基準(zhǔn)方法Resnet50：在Market-1501數(shù)據(jù)上Single Query與Multiple Query情況下,Rank-1分別提升了1.22%和0.66%,mAP分別提升了0.61%和1.48%(如表2所示);在CUHK03數(shù)據(jù)集Single-shot與multi-shot情況下,Rank-1分別提升了2.97%和0.51%,mAP分別提升了2.32%和0.70%(如表3、表4所示);在DukeMTMC-reID數(shù)據(jù)上,Rank-1和mAP上分別提升了1.22%和0.64%(如表5所示).這使我們有興趣探索使用現(xiàn)實(shí)生活中真實(shí)的行人圖片參與訓(xùn)練是否也有好的效果.為了驗(yàn)證這一點(diǎn),本文隨機(jī)挑選DukeMTMC-reID數(shù)據(jù)集中12 000張真實(shí)的圖片來(lái)代替Market-1501訓(xùn)練集中的生成圖片.

Table 2 Performance Comparison on the Market-1501 Dataset表2 在Market-1501數(shù)據(jù)集上的性能比較

Table 3 Performance Comparison on the CUHK03 Dataset Under single-shot Setting表3 single-shot情況下多種方法在CUHK03數(shù)據(jù)集上的比較

Table 4 Performance Comparison on the CUHK03 Dataset Under multi-shot Setting表4 multi-short情況下CUHK03數(shù)據(jù)集上的性能比較

Table 5 Performance Comparison on the DukeMTMC-reID Dataset表5 DukeMTMC-reID數(shù)據(jù)集上的性能比較

從表6可以看出,加入12 000張DukeMTMC-reID數(shù)據(jù)集中的真實(shí)圖片參與訓(xùn)練也有助于模型的正則化,改善了行人重識(shí)別的準(zhǔn)確度,但是加入DCGAN生成的圖片參與訓(xùn)練取得的效果更好.

Table 6 Impact of Generated Images and Real Images onPerson Re-identification表6 生成圖片與真實(shí)圖片對(duì)行人重識(shí)別性能的影響

3.6 拓展近鄰重排序?qū)e-ID性能的改進(jìn)

從表2～5中可以看出,拓展近鄰重排序可以有效地改善行人重識(shí)別的性能：在Market-1501數(shù)據(jù)集Single Query情況下,Rank-1和mAP分別提升了3.86%和16%,Multiple Query情況下,Rank-1和mAP分別提升了2.02%和12.94%;在CUHK03數(shù)據(jù)集single-short情況下Rank-1和mAP分別提升了5.45%和4.16%,multi-short情況下Rank-1和mAP分別提升了7.52%和12.61%;在DukeMTMC-reID數(shù)據(jù)集上Rank-1和mAP分別提升了5.97%和17.67%.

本文還將拓展近鄰重排序方法和目前2種流行的重排序方法相比較,這2種重排序方法分別為稀疏上下文激活重排序[15](sparse contextual activa-tion, SCA),k互鄰重排序[14](k-reciprocal, k-r).SCA通過(guò)考慮上下文空間中的原始成對(duì)距離,設(shè)計(jì)一個(gè)稀疏上下文激活的特征向量來(lái)對(duì)圖像進(jìn)行編碼.k-r則是通過(guò)k互近鄰方法降低圖像錯(cuò)誤匹配情況,最后將歐氏距離和杰卡德距離加權(quán)來(lái)對(duì)排序表進(jìn)行重排序.表7展示了在Market-1501,CUHK03和DukeMTMC-reID這3個(gè)數(shù)據(jù)集上拓展近鄰重排序方法和其他2種先進(jìn)重排序方法的實(shí)驗(yàn)比較結(jié)果.從表7中可以看出,本文提出的拓展近鄰重排序方法無(wú)論是Rank-1指標(biāo)還是mAP指標(biāo)都要比上述2種重排序方法效果要好.

Table 7 Comparison of Various Reranking Methods 表7 不同重排序方法的比較

4 總 結(jié)

基于深度學(xué)習(xí)算法的行人重識(shí)別方法往往需要大量標(biāo)記好的訓(xùn)練數(shù)據(jù),然而標(biāo)記大量的行人圖片極其耗時(shí).針對(duì)這個(gè)問(wèn)題,本文使用改進(jìn)的生成對(duì)抗網(wǎng)絡(luò)DCGAN從現(xiàn)有訓(xùn)練集中生成類(lèi)似行人圖片參與訓(xùn)練,并采用標(biāo)簽平滑正則化方法來(lái)同時(shí)訓(xùn)練生成圖片與真實(shí)圖片.通過(guò)這種方式在訓(xùn)練過(guò)程中引入更多的顏色、光照、背景、姿勢(shì)變化等信息,提升模型的魯棒性.大量實(shí)驗(yàn)表明該方法能有效提升行人重識(shí)別性能.在此基礎(chǔ)上,本文進(jìn)一步提出了用于行人重識(shí)別的新的重排序方法——拓展近鄰重排序方法.該方法根據(jù)2個(gè)排序列表前k個(gè)近鄰的位置來(lái)計(jì)算2個(gè)排序列表之間的距離,無(wú)需重新計(jì)算每一對(duì)圖片的排序列表,通過(guò)有說(shuō)服力的實(shí)驗(yàn),證明該方法比其他重排序方法有更好的性能表現(xiàn),能更好地提升行人重識(shí)別性能.本文所報(bào)道的上述方法也在2018全球(南京)人工智能應(yīng)用大賽多目標(biāo)跨攝像頭跟蹤賽中得到了成功應(yīng)用(榮獲第2名).