鐵路車站旅客密度自適應場景 估計與應用研究

李 瑞，李 平，王萬齊，代明睿

（1.中國鐵道科學研究院 研究生部，北京 100081；2.中國鐵道科學研究院集團有限公司 電子計算 技術研究所，北京 100081）

鐵路車站是旅客運輸的基層組織單位，承擔著旅客運輸過程中乘降、中轉、疏導等旅客運輸業務，是城市中旅客集散、疏導的重要場所。特別是在節假日時期，大量旅客在車站售票廳、候車室、出站口很容易形成高密度人群聚集效應，因此鐵路車站一直將旅客人群密度的管理疏散作為旅客服務管理中的一項重要工作內容[1]。目前，全國大多數鐵路車站在人流密集區域都安裝有大量攝像頭，通過統計視頻區域范圍內客流量和人群密度，輔助旅客組織管理工作。精準地掌握區域范圍內人群密度，無論是對旅客的站內服務組織管理，還是針對疫情下的防控疏導，都具有十分重要的意義。同時，在旅客服務應急管理過程中，車站針對多種突發性事件都做了充分的預案，通過旅客視頻人群密度分析技術，可以深度挖掘應急場景中的視頻監控信息，為車站應急管理提供數據支撐，提升車站突發性事件場景下的應急處置效率。

1 車站旅客人群密度估計場景和技術需求分析

1.1 車站旅客視頻場景需求分析

車站作為旅客集購票、安檢、候車、換乘于一體的公共服務空間，人群聚集效應明顯，特別是在周末、小長假、春節等節假日或是遇到突發情況時期，車站人流量急劇攀升，很容易形成高密度人群聚集區，給站內運營組織管理和旅客服務管理提出了很高的要求[2]。鐵路車站的人群密度由于旅客候車、乘降過程中的聚集方式，以及特有的密度分布特點，對現有視頻分析算法提出了較大的挑戰。

（1）旅客密度分布特點。①旅客人群分布不均勻。對于臨近發車時間的候車區域，由于大量乘車旅客的聚集，在檢票口附近人群密度高度集中，通常呈現出以檢票口為中心，聚集密度向外逐步減弱的高聚類屬性；對于距發車時間較長或暫無開行計劃的候車區域，旅客為尋求候車的舒適性和私密性，往往呈現均勻分布的特點，人群密度呈現出稀疏態勢。由于車站列車的頻繁到達與發車，不同候車區隨著列車接發工作和旅客候車乘降過程，呈現出人群密度分布不均勻且動態變化的特點。 ②旅客人群遮擋問題嚴重。旅客在站內由于聚集效應會造成較為嚴重的遮擋，造成人群密度估計困難[3]，可分為靜態遮擋和動態遮擋。靜態遮擋主要為旅客受座椅遮擋、大件行李箱遮擋，以及旅客依偎、摟抱等姿態形成的人體遮擋。動態遮擋指旅客在站內活動造成的人體遮擋，主要包括進站、檢票、購物等過程中旅客群體間發生的人體遮擋。

（2）旅客人群視頻圖像難點分析。由于車站本身的功能區域豐富多樣，車站內布設了大量的攝像頭，旅客視頻圖像具有背景復雜、光線變化、尺寸不一的特點。在對旅客人群密度估計過程中，需要滿足各個視角環境下的估計需求，視頻圖像的相關因素都會制約旅客人群密度估計的性能。①圖像背景復雜的影響。鐵路車站站房結構龐大，站內場景復雜多樣，除了主要的檢票區域和候車區域，還分布有大量商鋪、巨型廣告牌、站內引導牌、列車時刻表大屏等設施。在視頻圖像前景與背景分離過程中，前景為靜坐和走動的旅客，而背景包括廣告牌、商鋪、座椅、指示牌、閘機等其它容易形成遮擋的設施[4]。由于站內背景圖像復雜，因此對前景人像的識別和分離形成了較大的挑戰。②光線變化的影響。鐵路車站站房寬敞宏大，為保證采光充足，通常會通過寬大的落地窗引入自然光。這造成逆光安裝的攝像頭局部光線太強，加大了視頻圖像的識別難度。另外，地面反光也會造成視頻圖像呈現逆光、過度曝光效果，影響對旅客人群密度的識別估計。③旅客圖像尺寸不一的影響。在攝像頭視角下，由于旅客人群與攝像機的距離不同，造成人群在視頻圖像中的尺寸大小不一的問題，這對人群密度估計方法也提出了一定挑戰。

1.2 基于旅客人群密度的技術分析

傳統基于視頻圖像分析的人群密度算法主要有基于檢測、回歸、非線性密度估計的方法。早期基于檢測的方法主要是采用“滑窗”原理[5]，對視頻圖像進行逐幀的掃描分析，并且人群密度特征的提取需要人工方式來完成，工作量大，檢測效率低。為了解決遮擋和背景雜亂的問題，P.Viola等[6]采用回歸的方法，對局部圖像提取特征圖及其計數過程建立了一種映射，通過線性回歸或高斯混合回歸方式進行識別估計，雖然能夠解決畫面阻塞和背景雜亂的問題，但是由于特征提取不全面降低了模型的精度。近年來基于卷積神經網絡（CNN）在識別和分類任務上的成功，啟發了研究人員通過使用CNN來實現人群計數和密度估計。Walach等[7]提出了多層次訓練的CNN方法。Zhang等[8]提出了一種不同尺寸特征提取的多列網絡結構，通過不同支路對圖像中不同尺寸的人群進行識別，提高了圖像中人群密度估計準確性。

基于深度卷積神經網絡算法模型，針對鐵路車站旅客人群密度分布特點和旅客視頻圖像分析難點，構建出一種基于車站不同旅客密度分布場景下的自適應密度估計模型（ASCCNet， Adaptive Scenario Crowd Counting Network）。該模型以預訓練模型—可視化深度卷積模型（VGG16）作為骨干基礎網絡，用于前端輸入圖像的特征提取，在此基礎上構建2條平行分支，分別對人群密集場景和稀疏場景進行處理，并給出相應的權重，然后通過第3條分支對前2個分支進行權重線性組合處理，綜合計算出對場景密度的感知權重，從而提高整個網絡的密度統計精度。其中采用注意力機制和空洞卷積操作實現對目標特征圖像的重點關注，實現在背景復雜多樣的車站視頻圖像中快速、精準地定位到人群目標，保證人群密度估計的準確性。

2 自適應場景人群密度估計網絡（ASCCNet）模型網絡構建

2.1 注意力機制模塊

針對車站旅客人群密度分布特點和場景的復雜性，構建的模型需要對不同站內環境下不同的旅客人群分布狀況具有足夠的魯棒性，即在不同的場景下都能夠準確地將旅客人群的特征信息進行識別提取和估計。由于不同場景下的圖像特征在進行深度卷積操作后所表示的語義信息不同，不同人群密度狀況下所提取的語義相似性不同且特征明顯。旅客在站內的人群密度分布情況往往與實際的候車、檢票等實際狀態具有強相關性，針對旅客人群密度的分布特點，在模型構建的過程中，引入注意力機制，在圖像特征提取過程中，將圖像中提取出的人群特征信息賦予較高的權重，同時抑制背景特征，降低背景信息對人群特征的干擾。

具體而言，通常的CNN模型是在卷積核的作用下對所有圖片信息進行處理，而注意力機制是利用圖像中的重點處理信息來計算出網絡中各個神經元的響應，具體在圖像信息對應的特征圖上，對每個像素點都給出相應的權重，然后基于掩碼原理，將圖片數據中關鍵的特征標識出來。在經過大量標注圖片的訓練學習后，網絡可以學習到每一張圖片中需要關注的區域，從而實現對關鍵信息產生注意力的目的[9]。

實際的旅客密度估計過程中，在輸入圖像經過深度卷積操作生成相應的特征圖后，引入注意力模塊對各自特征圖中的密度人群與車站背景進行語義分割提取，由于該模型中只對人群和背景進行分割，因此可以看作一個二分類問題。注意力語義分割模塊示意圖如圖1所示。為實現二分類處理，對輸出的特征圖都設定為雙通道，一層指背景Fb，另一層指人群Fc；Wb，Wc為特征圖在經過全局平均池化處理后，得到對應特征圖的空間平均權重值，通過分類激活函數對整體特征圖進行分類（背景和人群），得到背景、人群的置信度Pc和Pb，當Pc= 1，表示該像素點為人群，當Pb= 0，表示該像素點為背景。最后通過像素點積運算后融合為只顯示人群密度的特征圖。通過引入注意力機制，可以將模型注意力集中到有人群的區域，提升對不同噪音的抵抗能力，有助于提高模型密度估計的準確性。

2.2 不同尺寸旅客圖像識別模塊

由于旅客在站內分布的特點，視頻圖像中旅客影像尺寸大小不一，經過傳統的卷積操作后，不同尺寸大小的旅客信息，在經過深層的特征提取后，小尺寸的語義特征信息丟失較多，因此在常規的卷積和池化操作訓練過程中，雖然能夠很好地控制過擬合，保持特征圖像的穩定性，但由于造成空間信息的丟失，擴大特征圖的損失，視頻圖像中小尺寸的旅客圖像往往不能被準確識別，因而大大降低了人群密度的準確程度。而反卷積操作可以減少信息丟失，能夠將小尺寸的旅客進行估計，但所增加的計算復雜度和時間開銷不能滿足所有的應用場景。

針對小尺寸旅客圖像的估計，空洞卷積可以很好地彌補上述操作的缺陷，一方面通過使用稀疏卷積核替代池化和卷積操作，擴大了特征圖像的感受野，可以有效地實現對人群的快速定位，另一方面空洞卷積的使用無需更多的參數。空洞卷積可以在不改變尺寸大小的情況下代替上采樣和下采樣過程，減少信息的損失。

2.3 自適應場景人群密度估計模型網絡結構

由于站內環境的復雜和車站旅客人群密度的特點，傳統的深度學習網絡通常在稠密人群場景下可以取得很好的預測效果，但難以對稀疏人群場景下的人群密度進行有效估計；而對于在稀疏場景下有很好表現的算法模型，難以準確提取到稠密人群場景下的密度特征。該模型在構建過程中除了引入注意力機制和多尺度的特征提取，還針對不同密度的場景進行了自適應操作，即引入自適應權重模塊對人群的稀疏程度進行識別，從而實現不同密度場景下人群密度的準確估計。

ASCCNet以VGG16的前10層網絡作為基礎網絡架構（backbone-VGG16），將輸入圖像提取出相應的特征圖，在此基礎上設計了平行處理的3層網絡架構，包括用于稠密人群密度估計的分支，用于稀疏人群密度估計的分支，以及基于權重的場景自適應分支。ASCCNet模型網絡結構圖如圖2所示。

（1）稠密人群密度估計分支。在經過VGG16提取出的特征圖上，先對其進行反卷積操作，以獲得更多的特征圖信息，然后經過空洞卷積模塊處理，且空洞卷積率設為2，以增強對密集區域人群特征的信息提取，然后通過3次常規卷積操作，最后經過注意力機制模塊對人群密集區域進行聚焦，過濾掉復雜背景元素，以提高密度分析精度，完成對稠密人群密度的特征提取工作。

（2）稀疏人群密度估計分支。在初始特征圖上，首先經過空洞卷積層（空洞卷積率設定為3），實現人群的快速定位和特征提取，然后在其基礎上進行3次常規卷積操作，最后經過注意力機制模塊處理，將密度人群和背景進行分離，最后進行密度估計，完成對稀疏人群密度的特征提取工作。

油菜黑脛病的病原、病害循環及其傳播危害……………………………………………… 宋培玲，吳 晶，史志丹，郝麗芬，皇甫海燕，燕孟嬌，皇甫九茹，賈曉清，李子欽（88）

（3）場景自適應分支。場景自適應分支的主要任務是通過動態權重變更來對上述2個分支的密度特征進行融合處理，得出最終的人群密度圖結果。在經過VGG16骨干網的特征提取后，先經過一個全局平均池化操作（GAP），然后經過2個全卷積層，將輸出結果作為初始化的特征權重ω，并且通過ω自動地對上述兩個分支的權重進行動態調整，同時，通過公式（1）將權重值進行正則化操作，將權重取值范圍確定在[0，1]之間。ω*為正則化的特征權重值，計算公式如下。

在每個卷積層后面引入了批量歸一化操作，因為批量訓練和批量歸一化操作在訓練過程中，能夠有效地保持模型的穩定性，同時可以大大地加速損失收斂。

3 實驗驗證分析

3.1 數據采集

在基于視頻分析人群密度研究領域，有很多公開的應用數據集，這些公開的數據集涵蓋了較多的人群密集應用場景，有廣場、商場以及集會場所等，目前業內流行的數據集有上海科技大學發布的公共場所行人數據集STCCD，加州大學發布的行人數據集UCSD，由公開網頁圖片生成的多場景多密度類型數據集UCF_CC_50，以及來自于商場大廳監控錄像的數據集MALL。為人群密度的研究提供了重要的樣本基礎，各國研究人員也以這些數據集作為標準來對各自模型進行對比驗證。考慮到鐵路車站與上述數據集在場景上的差異，因此在實驗過程中，選取了樣本環境差異性較小的STCCD數據集，將訓練結果與經典模型多列卷積神經網絡模型（MCNN）進行了對比，并通過新構建的車站旅客人群數據集進行了訓練、預測。

（1）公共場所行人數據集。該數據集包含 1 198張圖片，分為A/B兩個部分，總共有330 165 個標注信息，是一個比較大的數據集。其中A部分數據從互聯網上隨機抽取而成，包括多個國家人員聚集場景；B部分數據的圖片則來自于上海市比較繁華的街道視頻數據。由于該數據集場景豐富，人群密度范圍較大，訓練集和測試集數據較多，使得多數人群密度研究人員都會使用該數據集進行測試訓練。

（2）鐵路車站旅客人群數據集。為驗證模型在實際車站人流密度估計中的準確性，構建了以實際車站監控視頻為數據源的人流密度數據集。該數據集以京張線（北京北—張家口）清河車站內15個不同位置的視頻數據為基礎，根據不同時間段下人流密度情況，提取2 000張分辨率為1 920×1 080像素的高清圖像，并且通過人群密度標注軟件實現對人群密度的標注。標注好的數據集由原始圖片和標注文件組成，同時將數據集按照比例7 : 3分為訓練集和測試集。

3.2 模型訓練與分析

在訓練過程中，首先將數據集圖片進行尺寸調整，設定長寬比為[0.8，1，1.2]，按照此區間將圖像調整為長寬不超過512像素大小的圖片，在此基礎上進一步將圖像裁剪為分辨率為400×400像素的尺寸作為輸入圖片。

在ASCCNet網絡結構中，前部分骨干網為預訓練網絡VGG16的前7層網絡，在前端特征提取時采用了批量歸一化處理。剩下的網絡參數由均值為0和標準差為0.01的高斯分布進行隨機初始化。網絡學習過程中，為了使損失函數盡量達到最優收斂效果，對控制收斂過程的學習率和隨機梯度進行參數設置，其中學習率為1e-4，隨機梯度為5e-3，訓練圖像輸入批量大小設為8，迭代過程為500次。實驗環境為Linux操作系統下部署的輕量型容器，采用4張Nvidia1080T圖形加速卡進行訓練和推理。模型的損失函數基于歐式距離公式進行設計，具體定義如下。

式中：Lden為損失函數值；F（Xi；Θ）為特征圖像密度估計圖；Θ為網絡中需要學習的參數集合；Xi為輸入的訓練圖像；DiGT為訓練圖像的標注值（GroudTruth）；N為樣本數量。

模型在訓練完成后，采用均值絕對誤差和均方差（MSE）來對模型推理質量進行具體評估[10]，具體定義方程如下。

式中：CiGT為測試圖像樣本的標注數據所代表的人群密度數量；Ci為模型輸出的特征數據生成的密度估計數量。

ASCCNet模型在設計過程中，借鑒了多列卷積神經網絡模型（MCNN）的結構設計優勢[8]，并在此基礎上進一步改進，增加了空洞卷積和注意力算法模塊。MCNN模型在公開數據集STCCD中A部分的MAE和MSE分別為110.2和173.2，在B部分的MAE和MSE為26.4和41.3[8]。ASCCNet模型在STCCD數據集A部分的MAE和MSE為69.84和115.3，在B部分的MAE和MSE為7.59和12.75，相對于MCNN模型有較大的提升。ASCCNet模型在STCCD （A/B）數據集上預測結果如圖3所示。

在上述訓練模型的基礎上，對車站人群數據集進行預測性驗證，最終預測結果平均損失降到了0.8以下。ASCCNet模型在鐵路車站人群數據集損失曲線如圖4所示。

ASCCNet模型經過測試數據集驗證后，測試準確率達到92%，可以對實際車站人群密度進行預測推理。車站不同場景下旅客樣本圖象、標注值以及模型估計結果如圖5所示。其中圖5a為車站旅客正常候車時人群密度較為稀疏的場景；圖5d為車站旅客集中檢票人群局部稠密的場景。在實驗過程中，模型的平均推理速率達到每秒21幀圖象，在稀疏場景下推理速度會更快，在硬件環境支持下，能夠達到人群密度估計的實時性要求。

4 基于車站人群密度估計的車站旅客服務應急管理優化

鐵路車站旅客服務系統以信息的自動采集為基礎，以為旅客提供全方位信息服務為目標，實現客運車站自動廣播、導向、監視、監控等功能，運用多樣化的服務手段為旅客提供優質的服務，實現旅客服務的信息化。旅客服務系統大多采用計劃信息，比如開點、到點信息來自調度運行圖，旅客進站信息來自客票系統，而其它的實時動態管理全部由人工來完成，缺乏自動化的動態識別和管理，在車站應急管理中仍難以及時地為旅客提供相應的保障措施。車站人群密度監測作為應急自動化動態識別的一項重要功能，可在應急管理過程中提供重要的基礎性服務。車站旅客服務應急管理優化過程如圖6所示。

基于車站場景自適應人群密度估計算法，可以圍繞旅客進站、候車、乘車、換乘、出站等重要環節提供較為精確的人群密度估算。在應急情況下，如列車大面積晚點事件、突發大客流事件、公共衛生安全事件、突發性火災爆炸事件，突發暴力暴恐事件等，可結合鐵路旅客服務系統中現有數據（包括行車調度信息、自然災害監測信息、售票信息、引導系統大屏信息、站內物聯網設備信息等），在多維度數據融合基礎上，通過大數據算法模型的深度挖掘、預測，實現應急場景的智能化識別，主動推送應急策略，指導車站管理人員進行現場快速反應；同時，通過車站全場景下人群密度估計的熱力圖可視化，可以實現車站應急過程的態勢感知，方便現場及時對應急策略做出優化調整。

5 結束語

鐵路車站人群密度識別算法應用還處于不斷完善階段，在傳統模型基礎上引入注意力機制和場景自適應算法，提高了超大視野、復雜場景下人群密度估計的準確率，為車站智能旅服、智能應急提供技術支撐與保障。為了提高模型的推理速度和邊緣端部署的需求，需進一步對模型進行輕量化研究。同時，為進一步提高模型準確率和泛化能力，需要進一步對更多的鐵路車站人群密度場景進行標注，豐富訓練集和測試集。