基于上下文特征重聚合網(wǎng)絡(luò)的人群計(jì)數(shù)*

郝曉亮，楊倩倩，夏殷鋒，彭思凡，殷保群

(中國(guó)科學(xué)技術(shù)大學(xué) 信息科學(xué)技術(shù)學(xué)院，安徽 合肥230027)

0 引言

在人群計(jì)數(shù)所面臨的諸多難題中，人群尺度變化導(dǎo)致的計(jì)數(shù)性能下降問(wèn)題備受關(guān)注。圖1所示在人群密度較大的場(chǎng)景中，圖片中不同區(qū)域的人群在分布上存在人頭尺度上的不均衡，對(duì)計(jì)數(shù)準(zhǔn)確性造成嚴(yán)重的影響。為了解決此類問(wèn)題，本文提出了基于上下文的特征增強(qiáng)方法，提取不同尺度的人頭特征，融合經(jīng)過(guò)強(qiáng)化的特征，生成反映不同人頭尺度的密度圖。

圖1 人群分布示例圖

1 研究現(xiàn)狀

基于CNN的方法應(yīng)用于人群計(jì)數(shù)的早期，研究者們采用多列網(wǎng)絡(luò)[1-3]來(lái)感知復(fù)雜場(chǎng)景下不同人頭的尺度來(lái)解決因尺度變化而造成的計(jì)數(shù)誤差。MCNN[2]首次以多列網(wǎng)絡(luò)提取單圖的人群尺度，使用不同尺寸的卷積核建立網(wǎng)絡(luò)，利用不同的感受野提取多尺度人群信息，并生成最終的人群密度圖。ONORO-RUBIO D等人[4]從多分辨率輸入圖入手，利用三種不同分辨率的同一張人群圖像中提取的多尺度特征并融合生成密度圖，實(shí)現(xiàn)利用不同尺寸圖像輸入來(lái)解決人群尺度變化的問(wèn)題。文獻(xiàn)[5]中提出一種端到端的編碼解碼網(wǎng)絡(luò)，旨在提取圖片中的不同語(yǔ)義信息與空間信息，通過(guò)融合低層特征彌補(bǔ)密度圖像素上的不足，提高了生成密度圖的質(zhì)量。

盡管上述方法可以在一定程度上提升性能，但是因人群圖片尺度變化過(guò)于劇烈，多列網(wǎng)絡(luò)或者多分辨率處理在處理多尺度問(wèn)題上仍存在參數(shù)量過(guò)大的問(wèn)題[6]；更多的計(jì)數(shù)方法依賴融合后的高層語(yǔ)義信息，忽視了低層的細(xì)節(jié)信息，缺乏對(duì)密度圖細(xì)節(jié)的補(bǔ)充，在復(fù)雜場(chǎng)景下計(jì)數(shù)性能難有提升。并且使用單個(gè)卷積層生成人群密度圖容易引起計(jì)數(shù)誤差，不能充分利用圖片有效特征。

為解決上述問(wèn)題，本文針對(duì)密度估計(jì)圖中部分人群空間細(xì)節(jié)信息缺失的問(wèn)題，將不同模塊提取的特征重新聚合利用，通過(guò)特征融合機(jī)制，將上下文提取的特征強(qiáng)化后進(jìn)行多尺度語(yǔ)義融合，補(bǔ)充密度圖中關(guān)于不同人頭尺度的細(xì)節(jié)，從而提高算法性能。

綜上，本文提出基于上下文特征重聚合的人群計(jì)數(shù)網(wǎng)絡(luò)(Context-aware Feature Reaggregation Network for Crowd Counting，CFRNet)，可完成任意分辨率的人群圖片輸入，并輸出對(duì)應(yīng)分辨率的人群密度估計(jì)圖，實(shí)現(xiàn)了對(duì)提取特征增強(qiáng)后的重新聚合，從而提升算法網(wǎng)絡(luò)的多尺度特征表達(dá)能力。CFRNet由特征提取器(Feature Extraction Network，F(xiàn)EN)、上下文特征增強(qiáng)模塊(Context-aware Feature Enhance Block，CFEB)、多尺度特征融合結(jié)構(gòu)(Multi-Scale feature Fusion Model，MSFM)三部分組成。

1 上下文特征重聚合網(wǎng)絡(luò)

1.1 密度圖生成

假設(shè)在任意的像素xi處標(biāo)記一個(gè)人頭目標(biāo)，可以將其轉(zhuǎn)化為單位沖激函數(shù)δ(x-xi)，因此人群圖像可以利用式(1)來(lái)標(biāo)記所有的人頭位置。

式中x代表二維圖像中的坐標(biāo)，N表示人頭標(biāo)記總數(shù)。對(duì)單一人頭標(biāo)記而言，將人頭中心位置利用高斯核平滑處理，將δ(x-xi)平滑處理為高斯核，通過(guò)對(duì)密度圖整體求和得到總?cè)藬?shù)。人群密度圖F(x)可由H(x)與標(biāo)準(zhǔn)高斯核卷積而生成，F(xiàn)(x)定義如下：

利用15×15大小的固定高斯核生成密度圖，直接對(duì)密度圖進(jìn)行逐像素相加即可獲得真值人數(shù)，計(jì)算如下：

式中Gk表示第k個(gè)人群圖片的總?cè)藬?shù)。

1.2 網(wǎng)絡(luò)結(jié)構(gòu)

1.2.1 特征提取器

為提高算法對(duì)特征的提取能力，表1所示為特征提取器模型結(jié)構(gòu)(Feature Extraction Network，F(xiàn)EN)，包括13個(gè)卷積層和4個(gè)池化層。FEN網(wǎng)絡(luò)中卷積核尺寸為3×3，使用多個(gè)層次的小卷積核組成提取網(wǎng)絡(luò)提取特征，可以加快模型的訓(xùn)練。

表1 FEN結(jié)構(gòu)細(xì)節(jié)

1.2.2 上下文特征增強(qiáng)模塊

LIU S等[7]指出可以模擬人眼機(jī)制，通過(guò)增大網(wǎng)絡(luò)的感受野，從而提高特征的表達(dá)能力。因此，CFRNet基于空洞卷積[8]建立上下文特征增強(qiáng)模塊(Context-aware Feature Enhance Block，CFEB)來(lái)強(qiáng)化提取的特征。圖3為所提出的特征增強(qiáng)模塊，多層空洞卷積被用于構(gòu)建CFEB，同時(shí)使用大量的空洞卷積層代替卷積網(wǎng)絡(luò)中的池化操作，保持輸出特征的分辨率，避免小尺度人群信息的丟失，從而提高了人群密度圖的質(zhì)量。

圖3 CFEB結(jié)構(gòu)

1.2.3 多尺度特征融合模塊

為進(jìn)一步提高CFRNet對(duì)提取特征的表征能力，本文提出了多尺度特征融合結(jié)構(gòu)(Multi-Scale feature Fusion Model，MSFM)。此方法有兩個(gè)優(yōu)點(diǎn)：不僅利用低層特征補(bǔ)充空間細(xì)節(jié)信息，將融合后的特征重新聚合并強(qiáng)化，而且將多層網(wǎng)絡(luò)輸出的密度圖融合多尺度特征生成最終密度圖，提升了生成質(zhì)量。在后續(xù)消融實(shí)驗(yàn)中證明了MSFM的有效性。

MSFM主要基于FEN的后三個(gè)模塊的輸出映射，利用多組CFEB模塊來(lái)逐層強(qiáng)化FEN提取的特征，并自下而上地補(bǔ)充多尺度細(xì)節(jié)信息。如圖2所示，經(jīng)過(guò)B5輸出的特征經(jīng)過(guò)多組CFEB強(qiáng)化后，經(jīng)過(guò)雙線性插值函數(shù)進(jìn)行上采樣，得到與第四個(gè)模塊B4相同大小的特征圖，與上一層網(wǎng)絡(luò)的計(jì)算過(guò)程所不同的是，B4模塊后接的第一個(gè)CFEB輸出特征與B5所在層的最后一個(gè)CFEB模塊輸出特征圖的拼接。與第四層網(wǎng)絡(luò)映射關(guān)系類似，完成B3層的特征強(qiáng)化過(guò)程。

圖2 CFRNet算法結(jié)構(gòu)圖

1.3 算法實(shí)現(xiàn)

1.3.1 數(shù)據(jù)預(yù)處理

本節(jié)中對(duì)所用到的人群計(jì)數(shù)相關(guān)的數(shù)據(jù)集進(jìn)行預(yù)處理以及數(shù)據(jù)增強(qiáng)。首先，將數(shù)據(jù)集圖片隨機(jī)裁剪為9塊256×256大小的圖像塊；按照先前的工作[9]，對(duì)數(shù)據(jù)集進(jìn)行增強(qiáng)。

1.3.2 實(shí)驗(yàn)環(huán)境

本文實(shí)驗(yàn)中，采用如表2所示的開(kāi)放環(huán)境進(jìn)行實(shí)驗(yàn)。

表2 開(kāi)發(fā)環(huán)境配置列表

1.3.3 損失函數(shù)

本文將歐式距離損失作為CFRNet的損失函數(shù)，以測(cè)量計(jì)數(shù)算法的誤差，定義如下：

其中，Θ表示可學(xué)習(xí)的參數(shù)，N表示訓(xùn)練圖片數(shù)目。Xi表示第i張圖像，F(xiàn)i與F(Xi；Θ)分別對(duì)應(yīng)真實(shí)密度圖與生成密度圖。本文采用Adam優(yōu)化器訓(xùn)練網(wǎng)絡(luò)，初始學(xué)習(xí)率為1×10-5，學(xué)習(xí)率的衰減率為0.995。

2 實(shí)驗(yàn)結(jié)果與分析

本文引入平均絕對(duì)誤差(Mean Absolute Error，MAE)、均方誤差(Mean Squared Error，MSE)來(lái)評(píng)價(jià)計(jì)數(shù)算法的性能，如式(5)和式(6)所示：

其中N代表測(cè)試圖片數(shù)目，zi與分別代表真值與算法的預(yù)測(cè)值。

2.1 ShanghaiTech數(shù)據(jù)集實(shí)驗(yàn)

ShanghaiTech數(shù)據(jù)集由ZHANG Y等人[10]在2016年提出。這里將ShanghaiTech數(shù)據(jù)集的兩部分標(biāo)記為SHT_A和SHT_B，數(shù)據(jù)圖片分別來(lái)源于互聯(lián)網(wǎng)搜索和上海的街頭拍攝。在本節(jié)中引入9種具有代表性的計(jì)數(shù)算法與CFRNet進(jìn)行對(duì)比，表3中給出兩個(gè)數(shù)據(jù)集上的性能對(duì)比。

表3 SHT_A和SHT_B數(shù)據(jù)集結(jié)果

圖4顯示了SHT_A和SHT_B部分密度估計(jì)圖上的對(duì)比結(jié)果，其中第一列為測(cè)試圖片，第二列為真實(shí)密度圖，而第三列則是本算法獲得的密度圖。

圖4 SHT_A與SHT_B估計(jì)密度圖與真實(shí)密度圖對(duì)比

2.2 UCF_CC_50數(shù)據(jù)集實(shí)驗(yàn)

UCF_CC_50數(shù)據(jù)集在2013年由DREES H等人[18]提出。該數(shù)據(jù)集圖片具有人群分布較為密集、人頭尺度變化較小等特點(diǎn)。本實(shí)驗(yàn)采用五折交叉驗(yàn)證的方法來(lái)評(píng)價(jià)算法的性能。由表4可知，9種不同的的計(jì)數(shù)算法被用來(lái)與CFRNet進(jìn)行對(duì)比能，表中給出了各算法的性能指標(biāo)。

表4 UCF_CC_50數(shù)據(jù)集結(jié)果

圖5中展示了本算法在UCF_CC_50數(shù)據(jù)集的密度圖對(duì)比示例。由于本數(shù)據(jù)集訓(xùn)練樣本過(guò)少，相關(guān)算法在本數(shù)據(jù)集中的誤差結(jié)果表現(xiàn)均較大，因此在后續(xù)章節(jié)中引入場(chǎng)景豐富的UCF_QNRF數(shù)據(jù)集實(shí)驗(yàn)。

圖5 UCF_CC_50估計(jì)密度圖與真實(shí)密度圖對(duì)比

2.3 UCF_QNRF數(shù)據(jù)集實(shí)驗(yàn)

IDREES H等人[24]于2018年公開(kāi)UCF_QNRF數(shù)據(jù)集，UCF_QNRF數(shù)據(jù)集大約有125萬(wàn)個(gè)標(biāo)注點(diǎn)，其中人群圖片大多來(lái)自網(wǎng)頁(yè)搜索和朝圣素材等圖片素材，意味著UCF_QNRF數(shù)據(jù)集中人群場(chǎng)景滿足復(fù)雜性要求，并且存在多尺度變化的人群，對(duì)檢驗(yàn)本章算法的魯棒性意義較大。表5展示了本文與10種高水平計(jì)數(shù)算法的性能對(duì)比。

表5 UCF_QNRF數(shù)據(jù)集結(jié)果

圖6展示了CFRNet在UCF_QNRF數(shù)據(jù)集中的可視化情況，由圖可知CFRNet可真實(shí)地在估計(jì)密度圖上展現(xiàn)復(fù)雜場(chǎng)景中的人群分布，進(jìn)一步說(shuō)明了CFRNet算法的先進(jìn)性。

圖6 UCF_QNRF估計(jì)密度圖與真實(shí)密度圖對(duì)比

2.4 消融實(shí)驗(yàn)

為驗(yàn)證CFRNet的有效性，針對(duì)密度圖的生成方式以及CFEB的有效性，本小節(jié)在SHT_A上進(jìn)行消融實(shí)驗(yàn)。

2.4.1 密度圖融合方式對(duì)比實(shí)驗(yàn)

表6為密度圖生成方式的對(duì)比實(shí)驗(yàn)數(shù)據(jù)，其中單層生成表示僅依賴CFRNet最后一層輸出人群密度估計(jì)圖，而多層融合方式則是本文所采用的多尺度生成方法，通過(guò)對(duì)比可以充分說(shuō)明CFRNet在密度圖生成方式上的有效性。

表6 CFRNet密度圖融合方法對(duì)比實(shí)驗(yàn)

2.4.2CFEB參數(shù)選擇實(shí)驗(yàn)

為驗(yàn)證CFEB模塊的有效性實(shí)驗(yàn)，進(jìn)行如表7所示的消融實(shí)驗(yàn)，其中3CFEB w/o MSFM表示本文模型去掉了MSFM結(jié)構(gòu)，而0CFEB表示采用0個(gè)CFEB模塊，以此類推可得其他結(jié)構(gòu)的示意結(jié)果。通過(guò)對(duì)比可以得出使用3個(gè)CFEB模塊建立CFRNet可以達(dá)到最佳性能。

表7 CFEB參數(shù)選擇實(shí)驗(yàn)

3 結(jié)論

本文提出了一種基于上下文特征重聚合的計(jì)數(shù)算法以解決人群圖像中的尺度變化問(wèn)題。CFRNet由特征提取器提取圖片的基本特征，通過(guò)多組CFEB來(lái)組成上下文特征增強(qiáng)模塊用以提取不同尺度的有效信息，并結(jié)合多尺度特征融合結(jié)構(gòu)，將底層信息融入到高層特征中，建立起編碼到解碼的計(jì)數(shù)網(wǎng)絡(luò)。結(jié)構(gòu)驗(yàn)證實(shí)驗(yàn)說(shuō)明了本文算法結(jié)構(gòu)的有效性。