生物啟發的人群突發局部聚集感知神經網絡

劉 倡，胡 濱

貴州大學 計算機科學與技術學院，貴陽 550025

公共場所中的人群突發局部聚集常是非法游行、暴力事件、行人踐踏等發生的先兆，易伴隨重大災難事件的發生。研究表明[1]，若能對其萌芽狀態及時檢測，相關部門可提前采取措施消除安全隱患或最大限度降低潛在的生命財產損失。伴隨著視頻監控設備在公共場所中的普及，為建立基于視頻大數據分析的公共安全應急決策智能化、智慧化應用奠定了基礎，構建具有自治能力的智能視頻監控系統以實時感知人群活動，對其中突發的人群聚集等異常事件的檢測與預警成為當前計算機視覺、人工智能、社會公共安全應急管理等眾多領域亟需解決的重要科學問題。

基于傳統的計算機視覺技術，國內外學者對人群活動中的突發局部聚集行為檢測問題開展了探索性研究，并提出相應的計算模型TCBDM（traditional crowd behavior detection models）[2-12]。這些模型可分為兩大類：基于數字圖像處理技術和基于深度學習的方法。前者使用數字圖像處理技術提取圖像中的人群局部特征以實現檢測，但存在依賴先驗規則，場景泛化能力弱的缺點[1]；后者基于卷積神經網絡模型，采用深度學習分類方法實現檢測，但模型特性受制于訓練樣本且存在計算資源消耗量過大的劣勢[1]。由于公共場所中的人群活動隨機性強、異常行為前兆特征不明顯，現有的傳統方法較難有效解決，對此類問題的研究急需借助新技術尋求突破。動物的視覺系統經歷億萬年進化，高度成熟可靠，其中存在著對特定運動模式具有特殊偏好響應的視覺神經元。例如，蝗蟲視葉中的小葉巨型運動檢測器（lobula giant movement detecto，LGMD）對感受野運動目標逼近眼睛的危險行為產生強烈響應[13-14]。近年來，蝗蟲視覺神經學家已初步揭示了LGMD神經元的神經環路與響應特性，其被用于構建解決視覺感知難題的新型人工視覺系統[15-23]，這為進一步挖掘蝗蟲視覺神經理論以探究公共場所人群突發局部聚集檢測與預警問題提供了重要的生物啟發。

本文基于蝗蟲視覺系統神經結構特性與LGMD 神經元危險感知機理，研究了視覺場景下的人群突發局部聚集行為檢測與預警問題，主要貢獻包括：（1）原創性地提出一種LGMD 改進型的人工視覺神經網絡（crowd gathering behavior perception neural network，CGBPNN），用以檢測與預警公共場所突發的人群局部聚集行為；（2）CGBPNN從計算機視覺的角度進一步解釋了LGMD神經元的危險感知視覺神經機理，為構建公共場所人群活動檢測的動態視覺信息加工處理人工視覺系統提供了新思路；（3）基于不同視覺場景下的人群活動視頻，開展了系統性的實驗并驗證了CGBPNN的性能。

需要指出的是，本文提出的CGBPNN 不同于已有的人群活動檢測模型，尤其是上文提到的TCBDM[2-12]以及前期的人群逃逸行為檢測神經網絡（crowd escape behavior detection neural network，CEBDNN）[20]。這幾種人群活動檢測模型的主要區別如下：（1）TCBDM 基于傳統計算機視覺技術構建，使用數字圖像處理技術、經典或卷積神經網絡以達到對人群行為活動分類的目的；（2）CEBDNN[20]借助LGMD 模型提取人群活動中的視覺運動行為量突變以檢測突發的逃逸行為；（3）本文提出的CGBPNN感知人群活動引發的視覺運動行為量突變，并依據其時空收斂變化特性實現對人群局部聚集行為的檢測和預警；（4）CGBPNN不依賴先驗知識，無需網絡訓練，其依據蝗蟲視覺神經感知機理、LGMD 神經元響應特性加工處理人群活動引發的視覺運動變化線索。

1 相關工作

1.1 傳統人群活動檢測模型

傳統的人群活動檢測模型通過數字圖像處理技術提取人群外形特征或低階運動特性實現檢測，采用人工方式構建特征描述符，或利用機器學習等方法達到行為分類的目的。

借助人群運動光流，Gu 等[3]提出一種粒子熵法，該方法提取光流圖像網格表征人群分布的運動粒子，通過計算粒子分布熵描述人群分布信息，并使用高斯混合模型檢測突發的人群聚集事件；Wang等[4]介紹了一種基于像素和模式識別的人群異常檢測全局框架，該模型利用光流方向直方圖編碼每一幀圖像內運動信息描述符，使用非線性單分類SVM算法檢測異常事件；Rao等[5]提出一種基于光流矢量長度OFMs（optical flow manifolds）算法的人群事件分類方法，其利用光流束中的黎曼聯絡來傳送光流向量，從中定位人群群組，并通過群組之間的距離檢測人群聚集；Liu等[7]和Yang等[8]基于前景對象和密集光流提取靜止和運動的人群特征來計算瞬時人群靜止水平，并通過漏桶模型得到人群長期靜止水平，最后使用閾值分析檢測人群聚集。然而，由于光流法的檢測模型存在計算資源消耗量大、光線敏感、難以獲得有效光流、檢測精度不高的問題，在實際應用場景效果不佳。

除此之外，基于傅里葉域數據屬性，Briassouli 等[2]提出一種人群事件檢測方法，該方法利用傅里葉變換構建人群運動模型，通過應用統計順序變化檢測技術實時檢測人群運動變化；Xu等[6]提出一種基于人數的非監督人群異常行為檢測方法，該模型考慮了人群密度信息和人群分布信息，構建圖像勢能模型進行人群計數，建立前景直方圖計算水平、豎直方向上的人群熵，利用人群計數結果和人群熵檢測人群聚集行為。上述人群活動檢測方法在仿真實驗場景能獲得較好的效果，但它們需要采用人工描述特征，依賴先驗規則，存在泛化能力差、計算開銷大等不足。

研究人員也基于深度學習方法對人群活動檢測模型開展了研究。例如，黃賀賀等[9]利用擴張因果卷積神經網絡和邏輯回歸模型，分析群體行為以預測人群中的異常聚集；羅凡波等[10]提出一種基于多尺度卷積神經網絡（multi-scale convolutional neural network，MCNN）的人群異常聚集預測模型，模型通過訓練人群計數模型來完成人數統計及人群頭部坐標點獲取，利用人群密度、人群距離勢能和人群分布熵三種狀態實現預測；Bai等[11]使用多列卷積神經網絡（multi-column convolutional neural network，M-CNN）來提取人群的局部密度特征，基于人群聚集模式提出一種人群聚集安全評估方法。基于深度學習方法雖能提取人群活動的高階特征，但模型的檢測性能取決于結構設計和訓練效果，需要大量的訓練樣本和高昂的計算成本，難以適應復雜多變的真實視覺場景。

1.2 蝗蟲LGMD神經網絡模型

視覺神經生理學研究表明蝗蟲在快速飛行的蝗群中能有效避開彼此之間的碰撞，這源于其視葉中的LGMD神經元[13-14]。英國紐卡斯爾大學的Rind等[15]深入研究了LGMD 神經元的視神經機理與響應特性，初步揭示了視覺信號在蝗蟲視覺系統中的加工處理機制。具體而言[15-16，18-20，22，24]：（1）蝗蟲復眼采集感受野中光線的流明變化以獲得運動目標的視覺信號；（2）視覺信號被分為興奮和抑制；（3）興奮和抑制在時空域中相互調諧以提取運動目標的危險運動行為視覺線索；（4）LGMD神經元整合視覺線索并輸出強烈激勵以響應感知到的危險碰撞行為。

基于LGMD神經元視覺神經機理，Rind等[15]開創性地提出了一種蝗蟲LGMD 人工視覺神經網絡。近年來，該LGMD 模型被成功應用或擴展到解決不同視覺感知任務的人工視覺系統。例如，Yue等[16]提出了一種基于LGMD模型的汽車碰撞檢測神經網絡；張國鵬等[17]在簡化LGMD模型的基礎上設計了一種碰撞預警傳感器網絡；Zhao等[23]報道了一種用于增強無人機的碰撞檢測性能的LGMD 分布式連接模型；Hu 等[18]利用LGMD 神經結構特性提出一種旋轉運動感知神經網絡以解決視覺感知中的基運動檢測難題；Hu 等[20]提出了一種基于LGMD的改進型神經網絡CEBDNN用來檢測公共場所中的人群逃逸行為。大量實驗[16-25]已證明LGMD 模型在解決視覺運動感知問題上的有效性。基于生物學理論，例如蝗蟲視覺神經學理論，構建合適的人工視覺系統以解決計算機視覺中的運動感知問題是可行的。

2 人工視覺神經網絡設計

公共場所中的人群聚集行為活動呈現局部中心密度增加、周邊區域行人流量下降的運動特性，可表征為視覺運動線索在視野域中的時空能量收斂變化[26-27]。為感知人群活動中的突發局部聚集行為，依據蝗蟲視覺系統的神經結構特性[15-16，18-20，22，24]，本文構建的人工視覺神經網絡對視覺信息的加工處理流程如圖1所示，其包括信號采集、運動攝取、收斂感知、視信匯聚和尖峰調諧五個流程模塊。具體而言，信號采集模塊從輸入的視頻圖像幀中提取每個像素點的亮度變化，并將其傳到后續的運動攝取模塊；運動攝取模塊加工處理接收到的視覺信號，從中提取視野域中的人群運動線索；收斂感知模塊接收來自上層的輸出，對其處理以感知人群聚集行為在視野域中引發的全局運動收斂變化線索；上述視覺信號被送入后續的視信匯聚模塊，由此定位出視野域中人群聚集區域的空間位置信息；最后，尖峰調諧模塊向外輸出脈沖激勵以表征檢測到人群活動中的突發局部聚集行為。

圖1 視覺信息加工處理流程圖Fig.1 Overall flowchart of visual information processing

基于上述視覺信息加工處理流程，本文提出的LGMD改進型神經網絡（CGBPNN）如圖2所示。圖中，CGBPNN包含四個神經網絡層和兩個功能神經元，分別是感光層（photoreceptor，P）、興奮層（excitation，E）、求和層（summation，S）、匯聚層（convergence，C）以及聚集神經元（gathering，G）、人群聚集行為感知神經元（crowd gathering behavior perception，CGBP）。在CGBPNN 中，P層與圖1 的信號采集模塊相對應；與其類似，E 層、S 層對應其中的運動攝取模塊，G 神經元對應收斂感知模塊，C層對應視信匯聚模塊，CGBP神經元對應尖峰調諧模塊。神經網絡的設計細節如下。

圖2 CGBPNN結構示意圖Fig.2 Structure diagram of CGBPNN

2.1 P層

感光層P 由排列成nc×nr矩陣形式的感光細胞組成，其中nc、nr分別表示輸入視頻幀的像素列、行數。作為輸入端，P層接收視頻圖像中的像素值信號并將其轉化為表征視覺運動信息的亮度變化值。在f時刻幀，細胞(x,y)的亮度變化Pf(x,y)表示為[22]：

式中，Lf(x,y)和Lf-1(x,y)分別表示像素(x,y)在第f和f-1 時刻幀的流明亮度；x(x∈(0,nc]）和y(y∈(0,nr]）分別表示細胞的列和行坐標。Pf(x,y)由下式[28]處理獲得

其中，Tp是細胞膜電位的約束系數。

為過濾視覺信號中的孤立噪聲，借助中心環繞機制[29]調諧細胞的輸出，即細胞(x,y)鄰域內特定數量的細胞產生興奮時，該細胞向外輸出膜電位。具體而言，令Vf(x,y)為：

則P層細胞(x,y)的輸出興奮P^f(x,y)由下式計算：

式中，rw是中心環繞半徑；Tr是中心環繞激勵強度。P層的輸出信號分別傳遞給E層和S層。

2.2 E層

興奮層E 中，細胞排列成nc×nr矩陣形式，并分別接收來自P層對應位置的細胞輸出，對其延遲一個時間步長處理。在第f時刻幀，E 層細胞(x,y)的輸出膜電位Ef(x,y)由下式獲得[20]：

2.3 S層

哺乳動物視網膜中的雙極細胞接收來自上層感光細胞和水平細胞的輸出，按權重整合以增強視覺信號的信噪比[30]。類似地，求和層S 中的細胞排列成nc×nr形式，分別接收來自P層對應位置細胞以及E層對應位置的鄰域細胞的興奮輸出。S 層細胞(x,y)的輸出興奮Sf(x,y)可表示為[20，22]：

式中，wp是P層信號的權值系數；wl(i,j)是E層信號的權值系數矩陣，如下所示[31]：

經過上述處理，S層可感知到視野域中人群活動在空間域中的視覺運動信息。具體而言，那些膜電位值大于0的細胞Sf(x,y)表征著視頻圖像中對應空間位置存在運動人群。

2.4 G神經元

神經元G接收S層傳來的視覺信號，從中獲得視野域中人群活動引發的全局運動量和局部運動量視覺信息，對其匯聚并提取出人群運動視覺行為量的全局收斂變化線索。具體來說，神經元G首先接收S層所有細胞的興奮[22]：

式中，Gf為第f時刻幀S層匯聚到神經元G的視覺信號。

為感知人群活動在時空域中的全局運動量信息，視覺信號Gf作如下處理：

式中，Tm是全局運動量閾值。

人群活動在時空域中的局部運動量信息由下計算。首先計算S層細胞在第f時刻幀的空間聚集量

式中，Tg是局部運動量閾值。

最后，神經元G向外輸出的膜電位信號G^f為：

2.5 C層

匯聚層C由nc×nr細胞組成，這些細胞分別接收來自S層對應位置的細胞以及神經元G的輸出量，即：

式中，Cf(x,y)是匯入C層神經元(x,y)的視覺信號。接著以式（13）的密度中心為基準，依據鄰域rc中的細胞膜電位調節神經元(x,y)的輸出興奮，即：

式中，Tc為興奮閾值；rc為鄰域半徑；V~f(x,y)由下式確定：

經過以上處理，神經層C中的各個細胞在第f時刻幀的輸出膜電位可表征視野域中人群聚集區域的空間位置信息，即若C 層的細胞(x,y)膜電位不為0，則該區域周圍存在著局部聚集的運動人群。

2.6 CGBP神經元

CGBP 神經元接收神經層C 的輸出興奮，對其加工處理產生檢測和預警人群突發聚集行為的脈沖激勵。具體而言，匯入CGBP神經元的視覺信號Φf為：

接著對Φf作如下處理[19]：

式中，τ為C層細胞的總量。

CGBP 神經元的輸出膜電位由特定的尖峰閾值機制決定[33]。若，則在第f時刻幀CGBP神經元的內部產生一個尖峰，表示為：

如果在連續輸入的npe幀中出現持續的尖峰，Φ~f由下式處理獲得

CGBP神經元的輸出興奮，即整個CGBPNN向外輸出的放電激勵由下式計算[19]：

式中，μ是激勵幅值；ν為迭代系數。ΦCGBPf≠0 表明CGBPNN 檢測到視野域中的人群突發局部聚集行為并向外輸出預警信號。

2.7 神經網絡算法與復雜度分析

2.7.1 神經網絡算法

基于圖2 所示的神經網絡結構及第2.1～2.6 節中的設計細節，CGBPNN的算法描述如下：

2.7.2 計算復雜度分析

CGBPNN 復雜度取決于其內部視覺信息的神經計算過程。令N(N=nc×nr)為輸入CGBPNN的視頻圖像幀的像素總量。每一幀時刻，P層共執行次加減運算、N次絕對值運算及3N次條件判斷；而E層和S層共提供8N次加減運算、10N次乘除運算和N次邏輯判斷操作；神經元G 執行N+10δ-4 次加減運算、16δ+3 次乘除運算、N+δ+7 次條件判斷、5δ次指數冪操作和2 次最大值操作；C 層提供次加減運算、4N次乘除運算和2N次條件判斷；CGBP神經元作N+npe+2 次加減運算、5 次乘除運算、3 次條件判斷及2次指數冪操作。

由此可知，CGBPNN在第f幀需要執行7種不同的操作，它們分別是14N+16δ+8 次乘除運算次加減運算、N次絕對值運算、6N+δ+10 次條件判斷、N次邏輯判斷、5δ+2 次指數冪操作和2次最大值操作。基于此，CGBPNN在f時刻幀執行的操作數可以表示為：

上式表明CGBPNN的計算效率受多個參數的影響。由于參數npe、δ、rw和rc為常數且取值較小，CGBPNN的計算復雜度由下式決定：

由式（28）可知，視頻幀分辨率N直接影響神經網絡的計算復雜度。因此，在確保圖像質量的情況下，對輸入的視頻圖像幀作降維處理能有效提高CGBPNN的運行效率。

3 實驗研究

3.1 測試視頻

為驗證神經網絡的有效性，實驗使用的測試數據分別來自公共視頻數據集和自拍的人群活動視頻序列。所使用的公共視頻數據包括AGORASET[34]、PETS 2009[35]、UCSD Pedestrian[36]以及Violent-Flows[37]數據集，它們分別記錄了人群活動中的各種行為模式。其中，AGORASET模擬了人群活動中的聚集行為事件；PETS 2009包含著真實監控場景中的人群聚集、正常人流、人群逃逸行為活動模式；UCSD Pedestrian 提供了運動人群中的行人逆流；Violent-Flows 拍攝了人群中發生的暴力行為事件；而自拍的人群活動視頻序列則記錄了人群在視野域不同位置發生的聚集行為活動。

實驗在AGORASET、PETS 2009 以及自拍視頻序列中驗證CGBPNN的有效性；使用不同人群行為模式的視頻序列（取自PETS 2009、UCSD Pedestrian和Violent-Flows數據集）挑戰CGBPNN對人群活動的偏好響應特性；開展對比實驗分析，驗證本文提出的CGBPNN相比TCBDM 及LGMD 同源計算模型在執行人群聚集行為檢測任務中的優越性。

3.2 實驗環境設置

實驗在CPU/3.20 GHz、RAM/16 GB、Win10 的計算機上實現。使用C++并在Visual Studio 2013平臺編寫程序代碼。測試視頻幀率規整為30 frame/s，輸入神經網絡的圖像幀規整為140×80 像素的8 位灰度圖。根據文獻[18-20，22，24]及當前實驗，CGBPNN 的參數設置如表1所示。

表1 CGBPNN參數設置Table 1 Parameter settings of CGBPNN

實驗中使用誤報率（false alarm rate，FAR）、漏報率（missing alarm rate，MAR）、精確率（Precision）作為神經網絡的性能評價指標。同時，由于CGBPNN神經層C的輸出興奮攜帶著視野域中人群聚集的空間位置信息，而CGBP 神經元的輸出膜電位表征著CGBPNN 對人群突發聚集行為的檢測與預警情況。為便于展示實驗結果，對神經層C的放電激勵作可視化以顯示人群聚集活動在神經網絡視野域中的狀態，繪制CGBP神經元的輸出興奮值曲線以展示神經網絡對人群聚集行為的檢測與響應結果。

3.3 實驗分析

3.3.1 有效性測試

（1）模擬場景測試

首先使用計算機生成的人群聚集模擬視頻測試CGBPNN 的有效性。如圖3 所示的視頻I 包括1 000 幀圖像，來自于AGORASET模擬數據集[34]，其完整地模擬了人群從分散活動到聚集的行為過程。視頻中，人群在第650 幀開始直至視頻結束形成聚集區域并向中心區域逐漸收攏。

圖3 模擬場景測試采樣幀Fig.3 Example frames from simulated scene test

模擬場景測試的實驗結果如表2 和圖4、圖5 所示。其中，表2展示了實驗結果的統計數據；圖4呈現了CGBPNN神經層C的輸出膜電位可視化圖；圖5為CGBP神經元的輸出興奮值曲線。表2和圖4、圖5所示的模擬視頻實驗結果表明，CGBPNN 能有效檢測出視野域中人群活動的聚集行為。伴隨著人群從分散活動向聚集行為的轉變，CGBP 神經元向外輸出強烈的興奮響應，并且輸出的激勵一直伴隨著整個人群活動的聚集過程。

表2 模擬場景測試的統計結果Table 2 Statistic results of simulated scene test

圖4 模擬場景測試的神經層C膜電位可視化Fig.4 Visualization of membrane potentials in neural layer C from simulated scene test

圖5 模擬場景測試的神經元CGBP輸出曲線Fig.5 Output curve of CGBP neuron from simulated scene test

（2）真實場景測試

真實場景測試使用PETS 2009 數據集[35]和自拍的視頻序列挑戰CGBPNN的有效性。如圖6（a）所示的視頻II共260幀，源自PETS 2009，描述了監控區域中行人出現的匯聚過程。視頻顯示，行人從第1幀開始不斷走向聚集中心，在116幀形成聚集區域并在其后的所有視頻幀一直保持聚集狀態；圖6（b）～（d）所示的自拍視頻III-V展示了同一監控場景下視野域不同位置發生的人群聚集行為。人群在這三個視頻序列中分別于第115、第135 和第112 幀形成聚集，并分別于第159、第160 和第160幀四處散開。圖6（e）、（f）所示的視頻VI、VII展示了不同場景下的人群突發聚集活動。其中，視頻VI 的行人在第170幀形成聚集并在第265幀后散開；視頻VII的行人在第73幀形成聚集并持續到視頻的最后一幀。

圖6 真實場景測試采樣幀Fig.6 Example frames from real scene tests

表3和圖7、圖8 給出了真實場景測試的實驗結果。如表3 所示，CGBPNN 在真實的監控視覺場景中能正確檢測人群活動中突發的局部聚集行為。圖7 展示了CGBPNN神經層C的膜電位可視化圖，其表明神經網絡能有效感知視野域中出現的人群異常活動區域。圖8描繪了CGBP 神經元的輸出膜電位曲線，其顯示CGBPNN能有效感知視野域中的人群局部聚集并對其發出強烈的預警信號。

圖8 真實場景測試的神經元CGBP輸出曲線Fig.8 Output curve of CGBP neuron from real scene tests

表3 真實場景測試的統計結果Table 3 Statistic results of real scene tests

圖7 真實場景測試的神經層C膜電位可視化Fig.7 Visualization of membrane potentials in neural layer C from real scene tests

本小節分別使用了模擬、真實視覺場景中的人群聚集行為活動視頻序列驗證CGBPNN的有效性。實驗結果表明，本文提出的神經網絡在各種視覺場景中都能感知和預警人群活動中突發的局部聚集行為，這些特性與蝗蟲LGMD神經元的危險感知視覺響應特性相吻合。

3.3.2 偏好性測試

為驗證CGBPNN對人群活動行為模式的偏好響應特性，本小節使用幾種不同類型的非人群聚集視頻，包括正常人流、人群逃逸、行人逆行、人群暴力事件挑戰神經網絡。使用的測試視頻采樣幀如圖9所示。

圖9（a）、（b）所示的視頻VIII、IX 取自PETS 2009數據集[35]。圖9（a）包含109幀圖像，顯示了監控場景中的正常人流運動；圖9（b）由66幀圖像組成，描述了聚集的人群四處逃逸的行為過程。圖9（c）的視頻X 取自UCSD Pedestrian[36]，包括有100 幀圖像，記錄了運動人群中的行人逆行活動。圖9（d）的視頻XI 源自Violent-Flows 數據集[37]，包括118 幀圖像，描繪了人群中發生的暴力事件。

圖9 偏好性測試采樣幀Fig.9 Example frames for preferential tests

使用上述視頻測試神經網絡，獲得的實驗結果如圖10所示。圖10展示了神經網絡CGBP神經元的輸出興奮值曲線。實驗結果表明，本文提出的CGBPNN 對非人群聚集行為的人群活動模式無響應輸出。這是因為CGBPNN是通過感知視野域中人群聚集引發的時空域視覺能量收斂變化以達到檢測與預警的目的。然而，上述測試的人群活動視頻并未存在觸發神經網絡輸出興奮的條件，因此CGBPNN 對非人群聚集的人群活動模式無響應。

圖10 CGBP神經元輸出曲線Fig.10 Output curves of CGBP neuron

3.3.3 對比分析

本節使用TCBDM 及LGMD 同源計算模型參與神經網絡的對比分析。

（1）TCBDM

選取引言提到的TCBDM[2-8，10，12]參與對比分析，使用第3.3.1節中的真實視覺場景公共視頻II[35]開展測試，使用誤報率（FAR）、漏報率（MAR）、精確率（Precision）作為評價指標。實驗結果如表4所示。

表4的統計數據表明，本文提出的CGBPNN在上述三項評價指標中達到綜合最佳，其檢測性能優于對比的TCBDM。這是因為，CGBPNN模擬了蝗蟲LGMD視覺神經特性與響應機理，從視野域提取人群活動引發的時空能量收斂變化線索以達到檢測預警人群突發局部聚集行為的目的。但也發現CGBPNN的漏報率略高于部分TCBDM，這是由于CGBPNN使用了蝗蟲LGMD神經元的尖峰響應機制調諧預警輸出信號，該機制所具有的生物延遲特性[38]導致神經網絡的輸出呈現輕微延時。

表4 TCBDM對比實驗結果Table 4 Statistic results of contrast experimentswith TCBDM

（2）LGMD同源計算模型

現有的蝗蟲LGMD 同源計算模型有三類，分別是LGMD 碰 撞 檢 測 模 型[16]、DSNN 模 型[25]和CEBDNN 模型[20]。其中，LGMD碰撞檢測模型[16]適用于汽車碰撞預警；DSNN 模型[25]用于感知運動目標的平移方向線索；而CEBDNN[20]對人群活動中的逃逸行為具有偏好響應特性。這里將CGBPNN與上述三種LGMD同源計算模型展開橫向對比。實驗選擇公共視頻II[35]（見第3.3.1小節）參與測試，實驗結果如表5和圖11所示。

表5 LGMD同源模型對比實驗結果Table 5 Statistic results of contrast experiments with LGMD-basedmodels

圖11 LGMD同源模型輸出曲線Fig.11 Output curves of LGMD-based models

表5給出了四種LGMD 同源計算模型的實驗結果統計數據；圖11顯示了LGMD、DSNN和CEBDNN模型的輸出膜電位曲線圖。表5和圖11的實驗結果表明，參與比較的其他三種LGMD 同源計算模型均無法有效檢測人群活動中的突發局部聚集行為。具體而言，由圖11（a）獲悉，LGMD 碰撞檢測模型對人群活動中的突發異常聚集行為無響應，這是因為該模型僅對運動目標逼近眼睛引發的危險視覺刺激產生響應；圖11（b）所示，人群活動在視野域中不同方向產生的運動行為能有效觸發DSNN產生響應，但該神經網絡對人群突發的局部聚集行為并無偏好響應；圖11（c）顯示，CEBDNN 對視頻產生了錯誤響應，這是由于CEBDNN 對人群中的突發運動行為具有偏好響應特性，但對其后較為平穩的人群聚集無響應。

上述比較分析表明：（1）LGMD 碰撞檢測模型適用于汽車碰撞檢測，但無法感知人群活動中的突發局部聚集行為；（2）DSNN 能感知人群活動在視野域中四個不同方向引發的運動線索，但對人群突發局部聚集行為無偏好響應特性；（3）CEBDNN模型能感知人群活動引發的時空視覺運動能量突變，但無法檢測人群聚集活動引發的收斂變化線索，因此在實驗中產生了錯誤的輸出；（4）本文提出的CGBPNN 可有效感知視覺場景中人群活動引發的突發局部聚集行為并對其產生預警。

4 結束語

基于生物啟發的視覺信息加工處理機制，本文對公共場所中的人群突發局部聚集行為檢測問題進行了研究，提出了一種LGMD 改進型的人工視覺神經網絡模型，用以解決構建自治智能視頻監控系統中的人群活動檢測關鍵技術問題。該模型基于蝗蟲視覺系統的神經結構特性，模擬了LGMD 神經元感知外界目標對象危險運動行為的視覺神經機理，將視野域中采集到的人群活動視覺行為量逐層加工處理轉化為全局尖峰響應輸出，以檢測和預警人群活動中的突發異常事件。基于不同視覺場景下的公共視頻數據集AGORASET[34]、PETS 2009[35]、UCSD Pedestrian[36]、Violent-Flows[37]以及自拍的真實視頻序列進行實驗，實驗結果表明所提出的CGBPNN能有效檢測人群活動中的突發局部聚集行為并對其預警。盡管通過簡單模擬LGMD 神經元的視覺神經特性，CGBPNN 能檢測和預警人群中突發的局部聚集行為，但模型仍存在一些不足：（1）CGBPNN 是單目視覺系統，其需要提取人群活動在視野域中的視覺行為量以加工處理。因此，人群中存在的嚴重遮擋可能會直接影響模型的檢測性能。（2）為降低神經網絡的計算復雜度，輸入CGBPNN的圖像序列需做降維處理。在這種低空間圖像分辨率的情況下，圖像中若存在過多噪聲將會干擾神經網絡的檢測性能。本研究工作涉及生物視覺神經機理啟發的人群活動動態視覺信息加工處理，可為構建具有自治能力的人群活動檢測與異常行為分析新型人工智能視覺系統提供有力幫助。

未來將進一步擴展本研究工作，提升CGBPNN 的檢測性能，以更好適應復雜動態視覺場景中的異常人群活動檢測任務。同時將試圖把CGBPNN 嵌入MCU，用以構建具有自治能力的新型智能視頻監控系統。