基于OpenCV和GPS的安全設備綜合監控系統研究*

唐中乾，王運兵，雷 波

(中國電子科技集團公司第三十研究所，四川 成都 610041)

基于OpenCV和GPS的安全設備綜合監控系統研究*

唐中乾，王運兵，雷 波

(中國電子科技集團公司第三十研究所，四川 成都 610041)

隨著信息化網絡的發展，人們對網絡和信息安全的需求日益增大，安全設備本身的安全狀態也越來越受到關注。設計了一個基于OpenCV和GPS的安全設備綜合監控系統。該系統不僅能夠實時獲取視頻和GPS信息并顯示監視畫面，還可以根據視頻信息檢測設備是否被非法移動或拆卸，也可以根據GPS信息檢測設備是否處于安全范圍內。一旦發現異常，系統會向控制中心報警。文中的研究對加強安全設備周圍環境和自身移動范圍方面的安全狀態監控具有一定的現實意義，也為安全設備監控管理的進一步研究奠定基礎。

視頻監控；安全設備；OpenCV；GPS

0 引 言

隨著信息化網絡的發展，人們對網絡和信息安全的需求日益增大，特別是在金融行業、大型企業、政府部門和軍隊中，這一需求尤其突出。因此，在電子商務、電子政務、軍事通信等眾多網絡系統的內部和邊界，都部署有各種網絡安全防御設施、多種用途的網絡加密機以及多套密碼管理設備和應用系統[1](本文中將這些安全設施、加密機、密碼管理設備和應用系統統稱為安全設備)。但是，現在針對網絡和信息的攻擊技術手段日益提高，安全設備本身的安全狀態值得我們關注。本文基于OpenCV進行對安全設備所處環境的視頻監控，結合GPS獲取安全設備的位置信息，最后實現一套具有異常情況報警和遠程控制功能的綜合監控系統。

OpenCV(Open Source Computer Vision Library)是Intel公司開發的一個開源的跨平臺計算機視覺庫，可以運行在Windows/Linux/Mac等操作系統上。OpenCV源碼使用C/C++語言編寫，實現了圖像處理和計算機視覺方面的很多通用算法。它具有免費、視覺處理算法豐富、圖像處理功能強大以及輕量級且高效等眾多優勢，并因此在人臉識別、目標運動檢測、圖像處理等領域得到了廣泛應用[2]。

GPS(Global Positioning System)全球定位系統可以為用戶提供位置、速度、時間等信息，實現導航、定位與授時。它的主要特點包括：定位精度高、觀測時間短、執行操作簡單、全球全天候作業以及功能多應用廣。

1 系統設計目標

安全設備綜合監控系統基于監控視頻進行自主分析，對視頻的移動偵測，保護安全設備在其所處環境不受非法移動、拆卸、入侵等物理方面的攻擊，從而達到對監管設備周邊環境和安全態勢的自動分析、判定，并采取相應的防護措施；結合基于GPS的監控技術，獲取監管對象的地理位置，通過設定電子圍欄使得監管對象越過安全范圍則報警，從而實現對監管設備位置信息的實時掌控和依據策略的安全預警。

本系統的設計目標包括：

(1)通過攝像頭采集視頻，并進行實時顯示；

(2)基于OpenCV實現對采集視頻的移動偵測；

(3)獲取設備GPS位置信息，檢測其是否在安全范圍內；

(4)監控信息上報控制中心，異常情況報警。

2 系統總體設計

安全設備綜合監控系統由攝像設備、GPS模塊、監控終端主機、顯示設備組成，結構如圖1所示。為了更好地對安全設備進行全程跟蹤，將綜合監控系統部署在安全設備旁邊，其中GPS模塊置于安全設備內部。攝像設備提供原始圖像數據，GPS模塊提供原始GPS數據，監控終端主機對數據進行處理，并進行顯示以及通過Internet與控制中心進行通信。監控終端主機內主要包括視頻監控模塊、GPS監控模塊，顯示和通信模塊。其中視頻監控模塊獲取視頻信息，對視頻數據進行移動偵測，發現異常進行報警；GPS監控模塊獲取GPS信息，對GPS數據進行安全范圍越界檢測，發現異常進行報警；顯示和通信模塊主要顯示當前實拍的圖像或播放錄制的視頻，并通過有線或無線方式傳輸報警信息和視頻文件。在存儲和傳輸圖像、視頻和GPS信息時，系統對相應數據進行加密。

圖1 安全設備綜合監控系統結構

本系統硬件部分由攝像設備、GPS模塊、顯示設備、PC機構成。本文使用羅技C270USB攝像頭，pl2303 USB GPS模塊，PC機CPU I5-3470S 2.9GHz，內存4G。軟件部分包括Linux操作系統(內核2.6)，OpenCV2.4.9庫和自主開發的監控軟件。Linux操作系統(內核2.6)具備強大的多進程處理能力、出色的穩定性和良好的擴展性，易于安裝各種應用軟件和函數庫。OpenCV2.4.9有強大的圖像處理能力。

在日常工作生活中，各應用系統對安全設備的需求廣泛，使安全設備的使用范圍并不僅限于室內，也有大量車載、艦載等經常處于移動狀態的安全設備。為此，我們在預設安全范圍時將安全設備大體分為以下四類：高密級固定設備、低密級固定設備、形狀區域移動設備、既定線路移動設備[3]。

其中，高密級的固定設備，由于其存儲信息的敏感性，一般放置在具有安全防護措施的特定房間內，不允許隨意搬動。而對于密級較低的固定設備，一般可以允許其在辦公室內或辦公樓內的搬動?？偟膩碚f，固定設備大多位于室內，這種情況下，光照條件較好而GPS信號較弱，相應地本系統的視頻監控方面的功能作用較大而GPS分析方面的功能較小甚至失效。此時，對固定設備的監控主要關注視頻圖像是否發生變化。如果發現圖像有變化且經過一定的平移可以大致與之前的圖像重合，即圖像發生整體移動，可以判斷出設備正在被移動；如果發現有物體從圖像邊緣處進入，可以判斷有異物入侵，設備可能會遭受非法敲擊或拆卸。當設備遭遇到這些非法物理攻擊時，需主動、迅速做出響應，低密級固定設備要進行報警、甚至設備禁用，高密級固定設備則要禁用、甚至銷毀數據、設備自毀等。固定設備需要進行移動時，可提前由管理員限時解除系統對這一設備的監控。

對移動設備，本文主要考慮車載、艦載等應用環境，可以將綜合監控系統部署在安全設備相鄰的位置，使用車輛、艦船上的電源進行供電，并在通信模塊中使用3G/4G技術來進行無線通信。然后，我們為移動設備設計一個電子圍欄。電子圍欄是指由控制中心預先設置的設備在某個時間段內的可移動范圍的虛擬圍欄。我們將這個范圍視為設備移動的安全范圍，對以上兩類移動設備，安全范圍的設置有相應的兩種方式：形狀區域和既定路線。形狀區域可以是圓形區域，根據設備的初始狀態和移動速度設置中心點和安全半徑，設備可在區域內任意移動，條件較為寬松，多用于設備日常使用過程中；也可以是多邊形區域，用于設備需要在盡可能精確指定的形狀區域內移動時。既定路線是根據需要給設備設置一條規定路線，設備只能在規定路線上移動，多用于設備運輸、設備拆卸維修、更換配置位置等場合。如果設備的移動不符合時間或位置要求，系統會進行報警，通知控制中心及時對設備中的敏感信息進行銷毀。這樣即使設備失控，由于其中的敏感信息已經銷毀，其他人也不可能從中獲得有關的敏感信息，增強了設備的安全保障。設備處于移動狀態時，光線明暗變化和圖像抖動都可能會增加，但室外GPS信號一般較好。所以此時需要重點關注GPS信息分析，監控設備移動狀況，接近有效范圍邊緣時提出警告，盡可能保障設備在預設安全范圍之內；也提高視頻監控的圖像變化報警閾值相應的設置，將視頻監控作為輔助策略。

系統監控與設備響應流程如圖2所示。系統首先從安全設備采集視頻和GPS信息，結合策略進行移動偵測和越界檢測，如果發現異常就向控制中心報警?？刂浦行氖盏綀缶盘柡螅虍惓ＴO備所在網段的安全設備管理設備發送控制指令，然后安全設備管理設備啟動響應預案，進一步細化控制命令，管理控制安全設備做出響應。

圖2 系統監控與設備響應流程

3 系統模塊設計與實現

系統各個模塊具體工作流程如圖3所示。

圖3 系統模塊軟件工作流程

3.1 視頻監控模塊

視頻監控模塊實現視頻采集、圖像拍照、壓縮存儲、移動偵測、異常報警功能。

視頻采集由OpenCV庫程序調用攝像設備讀取數據完成。首先調用cvCreateCameraCapture獲取攝像設備指針，然后用cvQueryFrame操作此指針讀取攝像設備的一幀圖像，用cvPutText寫入時間和經緯度信息，再調用函數cvCreateVideoWriter指定視頻壓縮格式并獲得視頻文件指針。這樣可得到一個接收從USB攝像頭提取圖像數據的視頻緩沖區。此時可以通過調用cvWriteFrame將緩沖區數據按指定視頻格式寫入本地文件的方式來進行視頻信息存儲。通常視頻完全存儲下來會占據很大的存儲空間，為了減少重復信息存儲，減小視頻文件占據的存儲容量，提高存儲空間利用率，系統可以僅在收到報警信息時調用cvWriteFrame進行存儲，即節省存儲模式[4]。同時，也可以根據需要采用完全存儲模式將視頻完整存儲下來。

考慮到實時傳輸視頻對帶寬要求較高，在網絡條件較差或需要減輕網絡負載的時候，我們希望能夠以傳輸圖片的方式來代替。為此，該模塊還實現圖像拍照功能，即啟動一個計時器，每當一輪計時(如1分鐘)完成，就調用cvCreateImage初始化一張圖片，并將當前cvQueryFrame讀取的攝像設備的圖像在寫入時間和經緯度信息后用cvSaveImage保存下來，然后由通信模塊發送此圖片。視頻圖像采集的工作流程如圖4所示。

圖4 視頻圖像采集工作流程

采集到視頻信息后，需對其進行移動偵測。一般來說，移動偵測主要有背景減除法、幀間差分法[5]和光流法三種方法。其中，背景減除法一般能夠提供最完全的特征數據，但對于動態場景的變化，如光照和外來無關事件的干擾等特別敏感；幀間差分法對于動態環境具有較強的自適應性，但一般不能完全提取出所有相關的特征像素點，在運動實體內部容易產生空洞現象；光流法的優點是在攝像機運動存在的前提下也能檢測出獨立的運動目標，但計算方法相當復雜，且抗噪性能差[6]。

這里我們選用幀間差分法，該方法是在連續的圖像序列中兩個或三個相鄰幀間于像素進行差分并且閾值化來提取出圖像中的運動區域。它是通過比較圖像序列中前后兩幀圖像對應像素點灰度值的不同，通過兩幀相減，如果灰度值很小，可以認為該點無變化；反之，則認為該點有變化。當相鄰兩幀有變化的點多達一定數量時，我們認為設備發生移動或者有異物入侵。第k幀和k+1幀圖像fk(x，y)，fk+l(x，y)之間的變化用一個二值差分圖像D(x，y)表示，如式:

D(x,y)=

二值圖中0對應前后未變化的地方，1對應變化的地方。移動偵測報警工作流程如圖5所示。首先，由cvQueryFrame獲取攝像設備的一幀圖像tempFrame，用cvCvtColor將其轉化為單通道灰度圖放入previousFrame，然后獲取下一幀圖像，灰度化后放入currentFrame。接著將兩個Frame變量用cvConvert變換成Mat變量以便進行計算，下一步用cvAbsDiff計算前后兩幀各像素點的差(這步之后將tempFrame灰度化后放入previousFrame作為下一次檢測的前幀)，然后用cvThreshold設定一個閾值將結果變換為二值圖像。接著讓cvCountNonZero統計二值圖像的非零像素點，如果結果小于設定的報警閾值N_SET，就返回cvQueryFrame獲取下一幀圖像；否則，將進行alarm報警，然后經膨脹和腐蝕后由cvShowimage進行幀間差狀態顯示。

圖5 移動偵測報警工作流程

3.2 GPS監控模塊

GPS監控模塊實現GPS信息采集、GPS信息寫入視頻、GPS越界檢測、異常報警功能。

由于條件限制，本文使用外接USB接口的GPS模塊來模擬功能實現。在進行GPS數據采集時，使用USB轉串口從GPS模塊讀取數據。首先，用open(“/dev/ttyUSB0”,O_RDWR)打開串口，然后設置串口屬性set_opt(fd,4800,8,'N',1)包括波特率、字符大小、奇偶校驗位、停止位等，最后用read讀取串口數據即可。讀取的數據如圖6所示。

圖6 GPS數據信息

接著根據GPS數據格式，主要是$GPGGA語句得到時間、經緯度、海拔高度等信息。在圖6中根據$GPGGA和$GPRMC語句，可以得到北京時間2015年7月27日20:32:26(UTC時間+8時)，30.354317N，104.057391E，503.5米。然后可調用OpenCV庫程序cvPutText將時間和經緯度信息以文本的形式寫入視頻幀或者圖片之中。

進行GPS位置越界檢測時，首先需要獲取設備預設的安全范圍。預設范圍是圓形區域時，需要獲取預設中心點和安全半徑，可將系統初始化時的經緯度設置為中心點，也可以根據這一位置進行一定調整重新指定一個經緯度作為中心點，安全半徑由設備載體的平均時速相關，取其一定時間內所移動的最大距離，中心點和安全半徑具體數據均由控制中心確定并傳送到監控終端主機通信模塊。然后根據得到的GPS經緯度計算其與中心點的距離，如果此距離達到安全半徑的80%和90%，分別發出不同的提示信息；當此距離大于等于安全半徑時，發出GPS位置越界報警信息。

預設范圍是既定路線時，考慮路線由線段和弧線組成(以下只基于經緯度考慮點在二維平面上的位置，不考慮高度的影響)。對于線段，由XOY坐標系上的線段方程和目標點(設備GPS坐標)可計算設備是否在線段上。對于弧線，可以考慮根據弧線的長度等距劃分出若干中間點將弧線劃為弧度較小的多段；對每段弧線，先判斷目標點與弧線是否在弦的同側，如果是，則計算出弧線到弦(弧線端點連線)的最大距離dm，然后計算目標點與弦的距離d，若d

預設范圍是多邊形區域時，使用射線法判斷目標點與指定多邊形的位置關系。射線法的基本思想是從目標點P向X軸正向引射線，計算P和多邊形各邊交點的個數和，如果是奇數則P在形內，否則P在形外，見圖7(a)。其中有三種特殊情況：(1)P在多邊形邊界時，視為在形內，見圖7(b)；(2)射線經過頂點時，規定 多邊形邊的兩個端點，相對于另一個端點在上面的頂點稱為上端點，下面的稱為下端點，只有射線經過邊的下端點以外的點時，才認為射線和邊相交，見圖7(c) ，A為上端點，B為下端點；(3)當P點引出的射線經過多邊形的水平邊時，計算交點個數時忽略水平邊，見圖7(d)[7]，P1與多邊形無交點，P2與多邊形有一個交點C。如果判斷出設備不在指定多邊形內，發出報警信息。

圖7 射線法判斷點與多邊形關系

3.3 顯示和通信模塊

顯示模塊有兩種工作模式：實時監控模式和視頻回放模式。在實時監控模式下，本模塊啟動后也會檢測與攝像頭是否連接，如果沒有檢測到攝像頭則會報錯退出。檢測通過后，來自攝像頭的圖像被實時顯示在顯示設備上。在視頻回放模式下，用戶選擇以前記錄的視頻文件播放，播放的畫面顯示在顯示設備上，播放時可以根據用戶需要隨時暫停播放或調整播放進度。

顯示模塊實現時，用cvCreateCameraCapture或者cvCreateFileCapture 獲取攝像設備或者打開文件，接著用cvQureyFrame獲取圖像，經cvPutText寫入GPS信息后用cvNamedWindow建立窗口再用cvShowImage顯示即可。顯示效果如圖8所示。

(a)視頻監控顯示畫面

(b)有入侵時的視頻監控顯示畫面

(c)有入侵時的幀間差狀態顯示畫面

通信模塊使用多線程機制通過socket與控制中心進行通信，一個server線程以長連接的方式等待接收控制中心下發的信息，多個按需要創建和銷毀的client線程向控制中心發送視頻信息、圖片信息、GPS信息、報警信息。傳輸視頻信息時，client線程首先獲取被傳輸視頻文件指針，即之前采集視頻信息時用cvCreateVideoWriter獲取的視頻文件指針，然后建立數據報socket，復制視頻文件中的信息到緩存區向控制中心進行發送。重復以上過程，將持續發送實時視頻信息。同時，一個client線程定時獲取圖片信息和GPS信息進行發送，另一個client線程在系統報警時被創建來發送報警信息。

4 結 語

本文設計了一種安全設備綜合監控系統，簡要介紹了系統的結構和各模塊的工作流程，實現了信息采集、檢測報警、顯示和通信各種功能，對加強安全設備周圍環境和自身移動范圍方面的安全狀態監控具有一定的現實意義，也為安全設備監控管理的進一步研究奠定基礎。

同時，需要說明的是，該系統目前僅實現了基本的監控功能，仍然需要進行后續的開發來增加新的功能、提高運行效率和檢測準確性等，具體包括：攝像設備的云臺控制，結合電子地圖的GPS位置顯示，視頻文件的不同速率播放；從PC機移向嵌入式，使系統更加精簡；檢測算法的優化，提高檢測效率和準確性；視頻傳輸協議的優化，提高實時視頻信息傳輸效率。

[1] 周長春,歐海文.密碼設備安全性能在線測評方法[J].北京電子科技學院學報,2007,15(02):1-4. ZHOU Chang-chun, OU Hai-wen. On-Line Test and Evaluation Methods of Cryptographic Device Security Performance [J]. Journal of Beijing Electronic Science and Technology Institute, 2007,15(02):1-4.

[2] Gary Bradski, Adrian Kaehler.學習OpenCV[M].于仕琪,劉瑞禎,譯.北京：清華大學出版社,2009:4-12. Gary Bradski, Adrian Kaehler. Learning OpenCV [M]. YU Shi-qi, LIU Rui-zhen, translated. Beijing: Tsinghua University Press, 2009:4-12.

[3] 馬媛.基于遠程可控的保密系統資源保障增值技術研究[D].成都：西南通信研究所,2013. MA Yuan. Studies on Secure System Resource Protection Increment Technology based on Long-distance Control [D]. Chengdu, Southwest Communications Institute, 2013.

[4] 劉冬.基于Qt4和OpenCV的嵌入式視頻監控系統[J].現代電子技術,2013,36(08):104-108. LIU Dong. Embedded Video Surveillance System based on Qt4 and OpenCV [J]. Modern Electronics Technique, 2013,36(08):104-108.

[5] Zarka Niza,Alhalah Ziad,Deeb Rada. Real-Time Human Motion Detection and Tracking 2008 3rd International Conference on Information and Communication Technologies:From Theory to Applications,ICTTA,2008:4530098.

[6] 夏勇泉,李衛麗,甘勇等.智能視頻監控中的運動目標檢測技術研究[J].通信技術,2009,42(06):185-187. XIA Yong-quan, LI Wei-li, GAN Yong, et al.Studies on Moving Objects Detection Technology in Intelligent Video Surveillance [J].Communications Technology, 2009，42(06):185-187.

[7] 楊雅軍,段明義.判斷點與指定多邊形區域的關系的改進算法[J].電腦知識與技術,2014，10(22): 5362-5364. YANG Ya-jun, DUAN Ming-yi. The Improved Algorithm for Determining Position Relation between Point and Polygon[J]. Computer Knowledge and Technology, 2014，10(22):5362-5364.

Integrated Surveillance System for Secure Equipment based on OpenCV and GPS

TANG Zhong-qian, WANG Yun-bing, LEI Bo

(No．30 Institute of CETC，Chengdu Sichuan 610041，China)

With the development of IT technology and network, the demand for network and information security increases rapidly, the security status of secure equipment itself is also increasingly concerned. An integrated surveillance system for secure equipment based on OpenCV and GPS is designed in this paper. The system could in real-time acquire video and GPS information, display monitoring frames, and based on video information detect whether the equipment is moved or dismantled illegally, and also based on the GPS information,test whether the equipment is in secure range. Once there is any abnormal phenomenon, the system will alarm the control center. The research in this paper is of certain practical significance in strengthening monitoring of security status of secure equipment environment around and moving range, and also lays the foundation for the further research of secure equipment monitoring and management.

video surveillance; secure equipment; OpenCV; GPS

10.3969/j.issn.1002-0802.2015.11.022

2015-06-06；

2015-09-16 Received date:2015-06-06；Revised date：2015-09-16

TN915

A

1002-0802(2015)11-1315-06

唐中乾(1991—)，男，碩士研究生，主要研究方向為保密通信；

王運兵(1980—)，男，高級工程師，主要研究方向為密碼學及其應用；

雷 波(1975—)，男，工程師，研究方向為信息安全、虛擬化。