基于視頻分析與深度學習的疫情防控系統設計

孫夏恩，顏王亮

摘? 要： 根據疫情期間各場所的防疫信息化、智能化需求，設計了一種基于視頻分析與深度學習的疫情防控系統。從口罩檢測和人群計數角度，在多場景下通過實時聚合監控和風險預警，配合現場語音反饋和后臺數據記錄，提升疫情防控管理效能。系統運用了RTMP、HTTP、WebSocket三種應用層協議，結合緩沖區、雙進程、多線程設計，利用深度學習網絡完成了對最新緩沖幀的實時檢測，最終基于Flask框架實現客戶端交互。

關鍵詞： 疫情防控; 深度學習; 人群計數; 口罩檢測; 視頻分析; RTMP

中圖分類號：TP391.4;TP183;R184.1? ? ? ? ? 文獻標識碼：A? ? 文章編號：1006-8228（2022）06-54-04

Design of epidemic prevention and control system based on

video analysis and deep learning

Sun Xiaen， Yan Wangliang

（College of Computer Science and Technology， Hangzhou Dianzi University， Hangzhou， Zhejiang 310018， China）

Abstract： According to the information and intelligent requirements of epidemic prevention in various places during the epidemic period， an epidemic prevention and control system based on video analysis and deep learning is designed. From the perspective of mask detection and crowd counting， real-time aggregate monitoring and risk warning are realized in multiple scenarios. With on-site voice feedback and background data recording， the management efficiency of epidemic prevention and control has been improved. Three application-layer protocols including RTMP， HTTP and WebSocket are used. Combined with designs of buffer， concurrent process and multithreading， the real-time detection of the latest buffer frame is completed by using the deep learning network. Client interaction is implemented based on the Flask framework.

Key words： epidemic prevention and control; deep learning; crowd counting; mask detection; video analysis; RTMP

0 引言

科學技術是人類同疾病較量的銳利武器，人類戰勝大災大疫離不開科學發展和技術創新[1]。疫情大數據地圖、出入校人臉識別系統、健康碼等疫情背景下誕生的應用，都很好地體現了科學技術在現代社會疫病預防和控制中發揮的重要作用。與此同時，深化計算機視覺、生物特征識別、監控圖像目標提取等技術的應用也是推進社會治理模式創新與智慧城市建設的重要舉措[2]，在疫情防控常態化背景下，智能化與信息化的方法具有低風險、低人力消耗、結果精確等眾多優勢，有效維護了疫情期間的社會秩序。

本文構建一種基于視頻分析與深度學習的疫情防控系統，依托多場景監控資源，利用深度學習技術，部署人群計數、口罩檢測模型，并配合直播視頻傳輸技術，構建高效的緩沖策略和異步檢測流程，實現了多場景的聚合監控和檢測能力，為管理人員和普通流動人員提供雙端反饋，充分發揮監控視頻的價值，提升場所疫情防控能力。

1 疫情防控系統設計

1.1 功能模塊設計

基于視頻分析與深度學習的疫情防控系統，按功能劃分為三個模塊（如圖1），分別是口罩檢測模塊、人群計數模塊和管理模塊。其中，口罩檢測模塊和人群計數模塊輸入均為某場景RGB圖像。口罩檢測模塊利用Yolov4網絡[3]，輸出為畫面中人員口罩佩戴情況的JSON標注文件，并傳遞語音提醒信息至客戶端;人群計數模塊利用LSC-CNN網絡[4]，輸出為畫面人群計數結果數據，快速發現人群聚集性情況;管理人員模塊的輸入為多場景RTMP監控視頻流[5]，實時聚合展示口罩檢測模塊和人群計數模塊輸出結果，實現多場景聚合監控功能，同時該模塊也具備監控數據記錄查看和參數配置功能。

1.2 技術架構設計

軟件整體架構為C/S模式（如圖2），包含服務器節點和客戶端節點（包含監控輸入客戶端和管理人員客戶端）。系統作為結合視頻分析和深度學習技術的落地應用，需要處理來自多監控場景輸入的視頻流，并進行檢測分析和反饋。在計算資源部署方面，系統采取分別架設視頻直播服務器、GPU服務器的方式，降低RTMP視頻直播流與深度學習人群計數和口罩檢測業務的耦合。在深度學習模型部署方面，系統將口罩檢測模塊和人群計數模塊封裝，以檢測API的方式，部署于GPU服務器中，并配置CUDA驅動。在應用層協議方面，每一個監控輸入客戶端均基于RTMP協議推流至直播服務器，GPU服務器以及管理人員客戶端接收的視頻流基于RTMP協議從直播服務器進行拉取，其余涉及業務邏輯的網絡數據傳輸基于HTTP協議和WebSocket協議。

2 疫情防控系統實現

2.1 視頻傳輸過程

直播Nginx服務器配置RTMP應用之后，將針對場所內不同場景的視頻流進行編號，作為RTMP協議中的流標識。每一處場景的監控視頻流將對應惟一確定的URL，可以表示為“rtmp：//IP/應用名/場景編號”。直播服務器在運行過程中維護著系統中的多場景直播流數據。

2.2 構建輸入緩沖區

GPU服務器中人群計數算法和口罩檢測算法所需要的輸入是圖像數據，通過循環拉取各RTMP視頻流的方式可以持續得到最新幀。在多場景的疫情防控系統中，多條直播通道的實時畫面均需要經過深度學習模型進行檢測才能獲得結果。因此，為了去除視頻流拉取與深度學習模型檢測之間的耦合并提升檢測效率，GPU服務器設計了輸入緩沖區（如圖3），實現循環緩沖刷新機制。

輸入緩沖區數據結構為數組，在內存中為順序存儲結構。緩沖區每一個數據元素對應一個類對象，包含最新緩沖幀、時間戳（Timestamp）、啟用狀態（Status）、過期狀態（Outdated）、待檢測任務類型等數據項。管理人員可根據實際監控需要配置啟用狀態，對不同場景的啟用狀態信息進行更新，經啟用后的緩沖區數據元素才會被實時刷新。

刷新線程的工作依賴OpenCV庫，并構建等待隊列，所有啟用的視頻流獲取對象（Video Capture）均會進入隊列中。刷新線程每次取出隊首的Video Capture，匹配緩沖區中對應數據元素進行刷新，更新最新幀和Timestamp，并標記Outdated為0，表示狀態未過期，刷新完畢后插入隊尾，如此循環。若出現匹配的數據元素并未啟用的情況，該Video Capture將被銷毀，不再插入隊尾。

2.3 口罩檢測模型

口罩檢測任務為多目標檢測任務，目標類別為兩類，分別是佩戴口罩的人臉目標和未佩戴口罩的人臉目標。本文通過網絡爬蟲獲取相關圖像、校園內蹲點拍攝的方法，制作口罩檢測數據集，對兩類目標進行標注。在目標檢測網絡選取上，疫情防控系統使用Yolov4網絡作為口罩檢測的端到端模型。該網絡運用了眾多免費包和特價包的優化技巧[6]，并基于交叉階段部分連接優化的CSPDarknet53進行特征提取，使用改進的SPP[7]和PANet[8]分別增加感受域和保留淺層特征，提高了特征融合的效率。模型最終在自定義口罩檢測數據集的測試集上mAP@0.5達到0.83，且在不同明暗環境下都有較好的檢測效果。

2.4 人群計數模型

系統采用訓練于UCF-QNRF數據集[9]上的LSC-CNN網絡作為系統的人群計數模型。該模型從檢測和定位角度完成計數任務，針對不同語義深度特征的張量進行信息融合、在不同分辨率層的像素上開展人頭大小估計并分區預測、多層獨立訓練最終融合輸出檢測結果。有效地解決了人頭定位、大小估計、檢測框生成等關鍵點。因此，LSC-CNN網絡比基于密度圖預測[10]的其他人群計數網絡更適用于疫情防控系統所面對的多種類疏密場景，擁有較好的平均性能。同時，其相較于單階段目標檢測網絡或者RCNN系列為代表的雙階段目標檢測網絡[11]在遠景人群、中小目標計數上有更好的表現。

2.5 構建檢測API與輸出緩沖區

系統中的口罩檢測、人群計數模型被封裝成為檢測API形式，對外提供口罩檢測能力和人群計數能力，通過函數調用即可實現模型在實時輸入下的檢測。輸入緩沖區中的數據經過檢測API實現層中的模型運算后，得到的結果存儲在新構建的輸出緩沖區中，該輸出緩沖區數據結構與輸入緩沖區數據結構相同。檢測API在接口實現部分具有以下三個特點。

⑴ 子進程運行。模型運行于系統子進程中，需要通過共享內存的方式獲得父進程中的輸入緩沖區資源作為輸入對象以及父進程中的輸出緩沖區資源作為輸出對象。在資源共享過程中，輸入緩沖區內部數據按照元素索引實現分布式鎖，提升了并發效率。檢測流程將采取輪轉分析的形式，由父進程中開啟的檢測線程負責循環調度各場景最新緩沖幀，依次輸入子進程進行檢測。深度學習模型的運算屬于系統的耗時任務，通過創建子進程運行的方式可以使得任務并行以提高系統效率。

⑵ 單例模式。每一個深度學習模型在系統初始化時間段被創建并一直存在于顯存存中，保持單實例運行。可以避免在運行過程中因多次創建模型造成的顯存溢出問題。

⑶ 校驗機制。檢測前需要對輸入的緩沖幀進行Timestamp校驗，保證待檢測的最新緩沖幀距今時差并未超出設定閾值。否則，該圖像所在數據元素的Outdated字段將被標記為1，系統將拋出自定義異常并進入異常處理程序，重啟輸入緩沖區的緩沖刷新線程。

2.6 數據持久化

在子進程循環更新輸出緩沖區數據的過程中，父進程會同步數據到位于外存的MySQL數據庫，以實現數據持久化記錄（如圖4）。在數據庫中，圖像和JSON標注文件均采取路徑存儲的方式。

管理人員可以按照記錄時間、場景編號、檢測任務類型、檢測結果等眾多條件進行結構化查詢，發揮關系型數據庫的優勢，保證疫情防控系統后期復盤的能力。

2.7 客戶端交互實現

疫情防控系統在客戶端與服務端之間存在兩類交互邏輯，第一類是基于RTMP協議的直播視頻流交互，與Nginx直播服務器建立連接;第二類是基于HTTP協議以及WebSocket協議的業務數據流交互，與GPU服務器建立連接，由基于Flask框架部署的業務前臺與客戶端實現雙向通信。

2.7.1 服務端Flask框架

系統調用Flask-SocketIO模塊使得Flask Web應用具有封裝WebSocket協議的能力，實現GPU服務器和客戶端的全雙工通信，以及服務端推送信息的功能。通過部署參數配置和記錄查詢等HTTP接口，客戶端能夠實時調整監控場景啟用狀態、預警閾值、分析頻率等參數，進行記錄分析等。

2.7.2 輸入客戶端

輸入客戶端負責視頻的推流，將監控攝像頭等外部設備采集到的視頻流推送到Nginx直播服務器。同時，輸入客戶端承擔著面向流動人員的反饋功能。輸入客戶端在保持長連接過程中，對于接收到的服務端推送的文字信息進行語音轉換與播報，實現口罩佩戴提醒（如圖5）以及場景內人群聚集性預警。

2.7.3 管理人員客戶端

管理人員客戶端與GPU服務器也實現了長連接機制且傳輸內容涉及圖像資源，為管理人員客戶端頁面的多場景聚合監控功能提供數據側支持。管理人員客戶端采用了MVVM設計模式，結合觀察者模式實現數據的雙向綁定，完成客戶端多媒體內容呈現（如圖6）、數據動態化更新等關鍵需求，提升了客戶端代碼的可維護性。

3 結束語

本文論述了基于視頻分析與深度學習的疫情防控系統的設計與實現過程，提出了一種面向多場景實時視頻分析的技術架構。介紹了視頻傳輸、緩沖設計、檢測流程實現、數據持久化、客戶端交互實現等內容。該系統利用深度學習技術進行場景圖像檢測并結合多種應用層協議實現實時監控、反饋、預警等功能，有效提升了疫情防控工作的智能化和信息化水平，達到了預期目標。面對日益增多的監控場景數量，系統在迭代過程中還需更多的關注計算資源的分布式部署或客戶端計算資源的利用，以減輕中心化服務器節點的壓力。

參考文獻（References）：

[1] 中華人民共和國國務院新聞辦公室. 抗擊新冠肺炎疫情的中國行動[N].人民日報，2020-06-08（010）

[2] 趙楊，曹文航.人工智能技術在新冠病毒疫情防控中的應用與思考[J].信息資源管理學報，2020，10（6）：20-27，37

[3] Bochkovskiy A， Wang C Y， Liao H Y M. Yolov4： Optimal? speed and accuracy of object detection[J].arXiv preprint arXiv：2004.10934，2020

[4] Sam D B， Peri S V， Sundararaman M N， et al. Locate， size and count：Accurately resolving people in dense crowds via detection[J]. IEEE transactions on pattern analysis and machine intelligence， 2020.

[5] 吳楊.基于RTMP協議的實時視頻監控系統的設計與實現[D].浙江工業大學，2017

[6] 楊國東.安防巡邏機器人的行人檢測與跟蹤方法研究[D].昆明理工大學，2021

[7] He K， Zhang X， Ren S， et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[J].IEEE transactions on pattern analysis and machine intelligence，2015，37（9）：1904-1916

[8] Liu S， Qi L， Qin H， et al. Path aggregation network for?instance segmentation[C] //Proceedings of the IEEE conference on computer vision and pattern recognition，2018：8759-8768

[9] Idrees H， Tayyab M， Athrey K， et al. Composition loss for counting， density map estimation and localization in dense crowds[C] //Proceedings of the European Conference on Computer Vision （ECCV），2018：532-546

[10] 劉旭.視頻監控中的目標計數方法研究[D].中國科學技術大學，2018

[11] 南曉虎，丁雷.深度學習的典型目標檢測算法綜述[J].計算機應用研究，2020，37（S2）：15-21