基于時間序列組合邏輯運算的智能 視頻監控報警算法

夏平 任強 雷幫軍 師冬霞 胡蓉

摘? 要： 針對智慧小區視頻監控中多目標的判別與報警問題，提出一種基于時間序列組合邏輯運算的智能視頻監控報警算法。為實現在多攝像機、多觸發事件的協同工作，以完成對目標的檢測、跟蹤及分析，構建了各觸發事件之間依據邏輯與、或、非等組合邏輯運算規則來滿足智能監控的要求;其次，引入事件觸發時間、順序及優先級別等因素，構建基于時間序列的監控系統報警組合邏輯運算算法，所有觸發事件按時間序列組合邏輯運算規定，觸發視頻監控系統報警。實驗結果表明，所提算法可綜合應用多視頻信號源實現多觸發信號混合使用與報警，實現安全可控、精確便捷的智能化監控。

關鍵詞： 智能視頻監控; 時間序列; 報警算法; 組合邏輯; 觸發事件; 仿真實驗

中圖分類號： TN948.64?34; TP391? ? ? ? ? ? ? ?文獻標識碼： A? ? ? ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2020）06?0101?05

Intelligent video monitoring alarm algorithm based on time series

combinational logical operation

XIA Ping1，2， REN Qiang1，2， LEI Bangjun1，2， SHI Dongxia1，2， HU Rong1，2

（1. Hubei Key Laboratory of Intelligent Vision based Monitoring for Hydroelectric Engineering， Three Gorges University， Yichang 443002， China;

2. College of Computer and Information Technology， Three Gorges University， Yichang 443002， China）

Abstract： An intelligent video monitoring alarm algorithm based on time series combinational logic operation is proposed to improve the identification and alarm of multiple targets in video monitoring of smart community. In order to realize the cooperative work of multi?cameras and multi?triggering events， and complete the detection， tracking and analysis of targets， the operation rules of combination logic， such as logic and， or and non between triggering events are constructed to meet the requirements of intelligent monitoring. The alarm combination logical operation algorithm of monitoring system based on time series is constructed by introducing event triggering time， sequence， priority and other factors， All triggering events could trigger the alarm of video monitoring system according to the regulations of time series combined logic operation. The experimental results show that the proposed algorithm can synthetically apply multi?video signal source to realize the mixed use and alarm of multi triggering signals with multi video signal source synthetically， and realize the safe， controllable， accurate and convenient intelligent monitoring.

Keywords： intelligent video monitoring; time series; alarm algorithm; combinatorial logical; triggering event; simulation experiment

0? 引? 言

隨著信息技術的發展與社會的進步，人性化管理和現代信息通信技術（ICT）有機融合，通過“技術+社區+服務平臺”組合的方式，構建了完善的智慧城市、智慧小區的服務體系;同時，也促進了智能視頻監控技術的廣泛應用，使得視頻監控系統可以根據監控場景中相關規則要求，完成相應規則下控制任務事件，呈現出一定智能化的視頻監控系統[1]。傳統的監控系統中，觸發報警信號集中于單一數據源和單一事件的分析、判斷上[1?5]，監控任務相對單一[2?3]，可操作性不強[4?7];對于多任務的監控則需要多個監控系統來完成，結構相對復雜，浪費大量的人力物力而未取得理想的整體監控效果，無法滿足更高層次系統全監控需求[1，8?12]。相對于傳統監控系統，用戶對于智能視頻監控系統提出了異常目標檢測、人臉檢測、人數統計、流量分析等多種智能分析功能的需求[4，10?12]。

針對智慧小區中對多攝像機、多觸發事件的協同工作，按既定時間、順序及規則混合使用多觸發事件的智能分析功能需求，本文提出基于時間序列組合邏輯運算的視頻監控報警算法。通過引入事件觸發時間、順序及優先級別等因素，構建各觸發事件之間以邏輯與、或、非等組合邏輯運算規則，形成了基于時間序列的監控系統報警組合邏輯運算算法，所有觸發事件按時間序列組合邏輯運算規定，觸發視頻監控系統報警，以滿足智能化的視頻監控需求。

1? 基于時間序列組合邏輯運算原理

1.1? 基于時間序列的最小邏輯運算集

基于時間序列的最小邏輯運算集是基于時間序列組合邏輯運算的視頻監控報警系統算法的基礎，是在基本邏輯運算基礎上加入時間序列約束條件，即在傳統的與（∧）、或（∨）、非（┐）等邏輯運算中引入時間信息作為約束，此時，與、或、非運算分別定義為[∧t]，[∨t]，[?t];同時，引入了邏輯順序運算“先于（[?t]”）”和“后于（[?t]）”，從而，構建了基于時間序列的最小邏輯運算集：時間序列邏輯與運算、時間序列邏輯或運算、時間序列邏輯非運算以及時間序列邏輯順序運算等，以此描述視頻監控報警系統中各觸發事件之間的既定運算序列規則。

1.2? 時間序列邏輯運算規則

1） 時間序列邏輯“與運算”和“或運算”真值表如表1所示。

2） 時間序列邏輯非運算：

若“A=0”，則[?t]A=1;若“A=1”，則[?t]A=0。

3） 時間序列邏輯順序運算：

“先于[?t]”“后于[?t]”描述事件的運算先后順序。

1.3? 時間序列邏輯運算嵌套的運算級

本文算法規定嵌套使用的運算順序：同級事件運算時，按照時間先后順序依次響應，觸發報警信號;優先級運算時，先響應優先級高的事件，再響應優先級低的事件;多層優先級事件的響應，先響應優先級最高的，依次遞減，最后響應其他事件觸發報警信號。

2? 基于時間序列組合邏輯運算的視頻監控報警算法

視頻監控報警中，各觸發事件之間的時序會影響報警結果，本文算法實現的智能視頻監控系統主要觸發事件有運動檢測、拌線檢測、人數統計以及火焰&煙霧檢測，分別用事件A、事件B、事件C和事件D描述。監控報警算法為：

1） 基礎邏輯算法。

采用并行運算的方式進行，所有事件運算級相同，要求所有參與邏輯運算的每個觸發事件在規定的時間間隔內完成響應，才產生報警信號。基礎邏輯算法包括時間序列邏輯“與運算[∧t]”、“或運算[∨t]”和“非運算[?t]”。具體算法：A[∧t]B描述了在t時間內，事件A與事件B同時產生響應信號，觸發器產生報警;A[∨t]B表示在t時間內，事件A與事件B中任一事件產生響應信號，觸發器均產生報警信號;若事件A產生響應信號，[則?t]A表示在時間間隔t內，事件A的報警信號沒有被觸發;同理，在t時間間隔內，事件A與事件B同時產生響應信號，或者事件C與事件D同時產生響應信號時，觸發器產生報警信號，組合邏輯運算描述為：（A [∧t] B）[∨t]（ C [∧t ]D）。基礎邏輯算法如圖1所示。

2） 全部連續算法。

要求所有參與邏輯運算的每個觸發器事件按照預先設定好的時間先后順序，在規定的時間內依次產生響應，終端才產生報警信號。引入時間序列邏輯運算“先于運算（[?t]）”和“后于運算（[?t]）”。具體算法：A[?t]B描述在t時間內，事件A先于事件B產生響應信號，觸發器產生報警信號;同理，A[?t]B表示在t時間內，A后于B產生響應信號時，觸發器才產生報警信號。將此算法應用于A，B，C，D四個事件順序觸發產生報警信號的時間序列組合邏輯運算表示為：A[?t]B[?t]C[?tD];其中，任一事件未在規定時間內按順序產生響應，則觸發器不報警。全部連續算法如圖2所示。

3） 領導合成算法。

領導合成算法是基礎邏輯算法和全部連續算法的嵌套運算算法，指定一個或一組觸發事件為領導運算成員時，其優先級最高;該信號產生響應信號后，在規定的時間內，所有規定的響應運算成員均產生了響應信號，而所有規定的不能產生響應的運算成員均沒有產生報警的條件下，觸發器產生報警信號。若事件A為領導運算成員，其優先級最高，必須先產生響應信號，同時，若規定事件B、事件C產生報警信號，而事件D不產生報警信號，最終才能產生報警，組合邏輯運算為：A[?t（]B[∧t]C[∧t（?t]D））。領導合成算法如圖3所示。

3? 實驗仿真及分析

3.1? 實驗仿真

智能視頻監控系統中，通過對基本運算組合及其嵌套使用，在傳統報警處理基礎上，實現或合成、與合成、全部連續和領導合成4種智能組合邏輯運算報警。通過開發的“千里眼視頻監控系統”進行仿真實驗。

3.1.1? 或合成

任一運算事件產生響應時，均能馬上產生報警信號。以“運動檢測”和“火焰&煙霧檢測”事件為例。實驗結果如圖4～圖6所示。

“運動檢測”是在指定區域檢測到有物體運動時會發生報警響應，如圖4所示。“火焰&煙霧檢測”是在指定的區域檢測到火焰或者煙霧時就會發生報警，如圖5、圖6所示。將“運動檢測”和“火焰&煙霧檢測”兩個觸發器以或合成運算后描述為系統在指定的區域內檢測到運動的人或物體、或火焰、或煙霧，系統產生報警。

3.1.2? 與合成

所有參與組合運算事件均須在規定的時間內產生報警響應時，系統才產生報警信號。以“拌線檢測”和“車牌識別”兩個觸發器為例實驗。實驗結果如圖7、圖8所示。

“拌線檢測”是運動的物體通過設計的門禁會發生報警，如圖7所示。“車牌識別”是指在指定的區域內識別機動車牌號發生報警，如圖8所示。將“拌線檢測”和“車牌識別”兩個觸發器進行與合成運算后，描述為非固定車輛經過設計的門禁時產生報警。設計的門禁亦可用于禁止機動車輛，此時使用“拌線檢測”和“車牌識別”兩個觸發器，車輛進入到門禁之內，通過“車牌識別”觸發器識別到其車牌并記錄，系統發出報警信號。

3.1.3? 全部連續

所有參與邏輯運算事件只有按照規定順序在時間t內產生響應信號時，才產生報警信號。以智能視頻監控系統中“拌線檢測”、“人臉檢測”和“人數統計”三個觸發器為例。實驗結果如圖9、圖10所示。

“人臉檢測”是系統在指定的區域識別到人臉時發生報警，如圖9所示。“人數統計”是在指定的區域內，對人數進行數量統計，當人數達到設定的最高值時，發生報警，如圖10所示。此方案可用在諸多公共場合，對控制人流量十分有效。

3.1.4? 領導合成

指定一個或者一組觸發事件為領導運算成員，在整個系統運行中優先級最高，必須優先于其他觸發事件產生報警信號，然后在規定的時間內，所有必須產生報警信號的觸發事件產生了報警信號，而所有不能產生報警信號的觸發事件沒有產生報警信號的條件下，系統產生報警信號。以智能視頻監控系統中“拌線檢測”“人臉檢測”和“火焰&煙霧檢測”三個觸發器為例。實驗結果如圖11所示。

系統規定“拌線檢測”為領導觸發器，“人臉檢測”不產生報警而“火焰&煙霧檢測”產生報警。因此，“拌線檢測”觸發器必須先產生報警信號，然后在規定時間內，“人臉檢測”不能產生報警信號，而“火焰&煙霧檢測”觸發器須產生報警信號時，系統才產生報警信號。如圖11的實際場景為家庭廚房，若廚房有人，即使檢測到火焰或煙霧也不會發生報警信號;若檢測到廚房無人，同時檢測到火焰或煙霧信號，系統就會報警。

3.2? 實驗結果分析

本文采用項目組開發的“千里眼視頻監控系統”，模擬智能組合邏輯運算的視頻報警實驗，預先根據實際應用的需求設定每個觸發信號的觸發時間、順序及優先級別，而后執行各種聯動操作，當所有的觸發信號按照設定的要求一致時，系統產生報警信號。相對于傳統單一信號的報警，本文設計的報警系統應用領域廣、可控性強、智能化程度高，解決了目前智能分析和觸發數據源單一、分析方法單一的現狀，滿足全監控系統需求;同時，多種觸發信號類型可混合使用，也可綜合應用從多種數據源和多種分析而來的信號，智能化程度更高。

4? 結? 論

視頻監控報警系統單純使用單一報警觸發模式很難解決日常應用中的突發問題，本文提出的基于時間序列組合邏輯運算的視頻監控算法充分考慮了影響報警結果的觸發事件的時間、順序、優先級等因素，通過時間序列的智能組合邏輯運算建模，實現多源響應信號的智能監控報警，在一定程度上解決了視頻監控系統多源信號的聯動報警，滿足人們對智能視頻監控報警系統更高智能化的需求。本文算法實現的智能視頻監控報警系統具有較廣泛的應用前景。

注：本文通訊作者為雷幫軍。

參考文獻

[1] 黃凱奇，陳曉棠，康運鋒，等.智能視頻監控技術綜述[J].計算機學報，2015，38（6）：1093?1118.

[2] ZHENG X， HU C P， MEI L. Video structured description technology based intelligence analysis of surveillance videos for public security applications [J]. Multimedia tools & applications， 2015， 75（19）： 1?18.

[3] TIAN B， LI Y， LI B， et al. Rear?view vehicle detection and tracking by combining multiple parts for complex urban surveillance [J]. IEEE transactions on intelligent transportation systems， 2014， 15（2）： 597?606.

[4] 邵振峰，蔡家駿，王中元，等.面向智能監控攝像頭的監控視頻大數據分析處理[J].電子與信息學報，2017，39（5）：1116?1122.

[5] CHAARAOUI A A， PADILLAL?PEZ J R. A vision?based system for intelligent monitoring： human behavior analysis and privacy by context [J]. Sensors， 2014， 14（5）： 8895?8925.

[6] MEI K L， TANG S， CHAN C S. iSurveillance： intelligent framework for multiple events detection in surveillance videos [J]. Expert systems with applications， 2014， 41（10）： 4704?4715.

[7] 李鵬飛，陳朝武，李曉峰.智能視頻算法評估綜述[J].計算機輔助設計與圖形學學報，2010，22（2）：352?360.

[8] SONG X H， SUN L， LEI J， et al. Event?based large scale surveillance video summarization [J]. Neurocomputing， 2016， 187： 66?74.

[9] FAN C T， WANG Y K， HUANG C R. Heterogeneous information fusion and visualization for a large?scale intelligent video surveillance system [J]. IEEE transactions on systems man & cybernetics systems， 2017， 47（4）： 593?604.

[10] CHEN T S， LIN M F， CHIEUH T C， et al. An intelligent surveillance video analysis service in cloud environment [C]// IEEE International Carnahan Conference on Security Technology. [S.l.]： IEEE， 2016： 1?6.

[11] 施巍松，孫輝，曹杰，等.邊緣計算：萬物互聯時代新型計算模型[J].計算機研究與發展，2017，54（5）：907?924.

[12] DUTT S， KALRA A. A scalable and robust framework for intelligent real?time video surveillance [C]// IEEE International Conference on Advances in Computing， Communications and Informatics. Kochi： IEEE， 2016： 212?215.

[13] KIM H， LEE S， KIM Y， et al. Weighted joint?based human behavior recognition algorithm using only depth information for low?cost intelligent video?surveillance system [J]. Expert systems with applications， 2016， 45： 131?141.

[14] 畢林，王李管，陳建宏，等.三維網格模型的空間布爾運算[J].華中科技大學學報（自然科學版），2008，36（5）：82?85.

[15] 王一丁，魏忠義，董毅.DSP處理器XINTF接口與液晶并口的兼容通信設計[J].西安工程大學學報，2016（3）：306?311.

[16] 劉焱，周圣澤，羅軍，等.基于FPGA的并串轉換電路硬件實現[J].電子技術應用，2017（12）：21?24.