基于HOG+SVM的智能家居入侵檢測系統設計*

，，，

(西南交通大學 電氣工程學院, 成都611756)

引　言

近些年來，隨著社會的發展，人們對自身的安全以及財產保護意識愈發的凸顯出來[1]，基于安防的視頻監控系統技術也在不斷地提高。而在智能家居領域，視頻監控系統作為其重要的一部分，實時地監控家居內部異常情況對保護我們自身的安全以及財產就顯得非常重要。而傳統的智能家居視頻監控系統，需有專門人員集中注意力在客戶端軟件上不間斷地查看監控畫面，來判斷是否有外來人員以及其它相關的異常情況發生。因此，智能家居系統就顯得不那么智能。隨著時間的發展，天津理工大學的屈鵬設計了可以檢測到室內物體的移動并且利用GPRS模塊給主人發送短信報警的系統[2]，而這種系統的缺點就是會將室內的運動物體全部檢測出來。

若家居主人有養著寵物貓或者寵物狗，這些小動物的活動會造成系統的錯誤報警，并不是十分符合家居里面的實際情況。隨著計算機視覺的快速發展，計算機視覺技術也在不斷地融入視頻監控中。

目前走在智能視頻監控系統前列的為美國和歐盟，美國的以Carnegie Mellon University和DAVID SARNOFF公司為主的研究機構的VSAM項目開發的智能視頻監控系統堪稱經典，主要用于未來戰爭中不適宜或者人力無法監控的場合[3]。

而國內智能視頻監控處于起步和發展階段，能夠對監控圖像實現自動分析、目標識別、目標跟蹤，但目前均是將視頻傳送至PC端后，利用OpenCV技術完成相應的智能檢測[4]。近十年來，計算機技術得到了飛速發展，嵌入式技術與圖像處理技術的結合已經成為視頻監控的主流研究方向[5]。一種直接在嵌入式系統中融入智能識別和檢測的低功耗、成本適中的新型智能家居視頻監控系統應運而生。

1　系統的總體設計

根據智能家居視頻監控的需要，綜合成本、實用性考慮。系統硬件方面采用Cotex-A9架構的三星Exynos4412高效、低成本處理器作為本系統的嵌入式系統處理器。選取羅技C170 USB攝像頭直接插在主板上用來采集視頻數據，SIM908芯片功能板內嵌的GPRS模塊通過串口與主板進行連接進行短信報警，最后通過以太網口連接到互聯網上。硬件實物圖如圖1所示。

圖1　系統硬件實物圖

系統軟件方面移植了當今嵌入式行業主流的實時性操作系統Linux，以及具有強大的圖像處理能力的OpenCV(計算機視覺庫)來實時地處理采集到的視頻圖像數據。此外作者還針對不同平臺以及不同用戶的需要，在系統的服務器中融合了B/S架構，又融合了傳統的C/S架構模式。B/S架構使得用戶可以通過電腦以及手機連接網絡，登錄網頁查看視頻信息，C/S架構中開發了具有豐富的圖形化界面以及移植性強的Qt客戶端。系統的總體結構框圖如圖2所示。

圖2　系統總體結構框圖

2　系統的總體實現

整個系統是在嵌入式Linux操作系統下開發完成的。Linux操作系統具有可靠性高、移植性強、內核可裁剪、運行速度快、實時性好等特點。而Linux系統在ARM中的啟動流程一般分為三個部分，首先板子上電會啟動U-boot完成一些軟硬件的初始化工作，U-boot啟動成功之后開始加載內核，最后再掛載根文件系統完成整個操作系統的啟動。

系統的整體代碼實現是在主程序中開啟了三個子線程，線程之間相互獨立。其中一個子線程負責圖像的檢測識別報警功能；另兩個子線程主要負責視頻圖像的傳輸功能；主線程負責視頻圖像的采集，并將采集到的數據存放在一個全局buffer緩沖區里面提供給其他線程使用，從而達到系統的總體要求。開啟線程代碼如下：

pthread_create(&qt_tid,NULL,thread_qt,NULL);

//負責Qt端的通信及數據的傳輸

pthread_create(&web_tid,NULL,thread_web, NULL);

//負責web瀏覽器端的通信及數據傳輸

pthread_create(&detect_tid,NULL,thread_detect,NULL);

//負責圖像的檢測和GPRS報警功能

2.1　視頻圖像的采集

系統視頻圖像的采集是根據V4L2(Vedio 4 Linux 2)視頻采集程序框架結構實現的。V4L2是Linux中關于視頻設備的內核驅動。在Linux中，視頻設備是設備文件，可以像訪問普通文件一樣對其進行讀寫，攝像頭在/dev/video0下。所以將USB攝像頭插在移植了Linux操作系統的開發板上面，只需對/dev/video0這個設備文件進行讀寫操作就可以完成整個視頻圖像的采集。整個視頻圖像的采集流程圖如圖3所示。

圖3　圖像采集流程圖

2.2　視頻圖像的處理

系統將OpenCV直接移植到ARM上面，使得系統在ARM上可以直接對采集到的視頻圖像進行處理分析，然后報警。克服了傳統的視頻監控需將視頻傳送到PC端后才能進行檢測和分析的問題，同時利用HOG特征算法以及SVM分類器使得可以檢測到視頻中是否有人員的入侵。一旦發現有外人入侵室內，系統將會自動啟動GPRS模塊發送短信到用戶的手機上面進行報警和通知，并且將檢測到有人圖像的第一幀圖片保存到本地進行取證。

2.2.1HOG特征算法

圖4　HOG特征檢測算法步驟

HOG(Histogram of Oriented Gridients)特征檢測算法，最先是由法國的Dala等人在CVPR-2005上提出來的，是一種解決人體目標檢測的圖像描述法，主要是用來表征圖像局部梯度方向和梯度強度分布特性的描述符。其算法的主要思想是：在不知道邊緣的具體位置的時候，邊緣方向的分布同樣也可以很好地表示人體目標的外形輪廓。HOG特征檢測算法的具體步驟如圖4所示。

顏色空間歸一化：由于圖像的采集環境、裝置等因素，采集到的圖像效果可能不是很好，容易出現誤檢或漏檢的情況，所以需要對采集到的圖像進行預處理，主要是處理光線太暗或太強的情況。這里有兩次處理：圖像灰度化、Gamma校正。圖像的灰度化是對于一張彩色的圖片，將其RGB分量轉化成灰度圖像，轉化公式為：

Gray=0.3×R+0.59×G+0.11×B

Gamma校正：Gamma校正通常是在圖像照度不均勻時，提高或者降低圖像的整體亮度。目前較用平方根法和對數法兩種方式來進行Gamma標準化。本文采用的是兩種方式之一的平方根法，公式如下：

Y(x,y)=I(x,y)γ

(2)

(3)

梯度方向直方圖：通常情況下，我們會將圖像分劃成若干個cell(單元)，例如一個cell的大小為8×8個像素，相鄰之間的cell不重疊，然后統計出每個cell內的梯度方向直方圖，再將所有的梯度方向劃分為9個bin(即9維特征向量)，作為直方圖的橫軸，然后直方圖的縱軸為角度范圍所對應的梯度累加值，每個bin的角度范圍如圖5所示。

圖5　bin的角度范圍

重疊塊直方圖歸一化：因為有著局部光照和前景背景對比度的變化，這樣就會造成梯度強度的變化范圍非常之大，由此就必須對梯度強度做歸一化處理。本文使用的方法是:把各個單元塊組合成空間上連通的、大的區間(blocks)。這樣，一個block內所有的cell的特征串聯起來便是這個block的HOG特征。同時這些blocks是有相互重疊的，這就說明：每一個單元格的特征會以不同的結果多次出現在最后的特征向量中，我們將歸一化后的塊描述符(向量)稱作HOG描述符。

HOG特征：最后就是將檢測窗口里面所有重疊的塊進行HOG特征的收集，然后結合成最終的特征向量來給分類器使用。

2.2.2SVM分類算法

SVM(Support Vector Machine)指的是支持向量機，是常見的一種判別方法。在機器學習領域是一個有監督的學習模型，通常用來進行模式識別、分類以及回歸分析。圖6為SVM分類器的計算方式，一共包含了乘法累加器模塊、訓練器模塊、比較器共三個模塊。首先是由SVM對訓練圖形庫進行訓練然后得到一個系數wT和閾值φ。然后由乘法累加器模塊將HOG的描述值X與wT相乘然后再進行累加。最后，比較器模塊將由累加器模塊得到的結果與訓練模塊得到的閾值φ做對比，來判斷是否有人的存在，檢測結果如圖7所示。

圖6　SVM分類器計算流程

圖7　檢測結果

2.2.3GPRS報警模塊

系統選用的是內嵌SIM908芯片的功能板。SIM908 是一款集成GPS導航技術的4頻GSM/GPRS模塊，緊湊的模塊尺寸將GPRS和GPS整合在SMT封裝里。由于系統是基于智能家居視頻監控而設計的，已經知道家居所在位置，所以系統只選取了GPRS模塊進行短信報警通知。

2.3　視頻圖像的傳輸

由于系統為了滿足不同平臺的需求，所以在服務器的程序中設計了兩種協議的視頻圖像傳輸功能。使用UDP(用戶數據報)協議來和Qt客戶端進行通信傳輸視頻數據，UDP協議是一種簡單的無連接的傳輸層協議，只需要對方套接字的地址信息就可以發送數據。使用HTTP(超文本傳輸)協議來和瀏覽器進行通信，相當于在主服務器程序中融合了一個小型WEB服務器。HTTP是一個屬于應用層的面向對象的協議，由于其簡捷、快速的方式，適用于分布式超媒體信息系統，廣泛應用于B/S架構中。

2.4　視頻圖像的顯示

視頻圖像的顯示主要是在客戶端以及瀏覽器上面的顯示，本系統的服務器程序的設計既可以滿足C/S架構，又可以同時兼容B/S架構。C/S架構是以Qt5開發的客戶端，Qt是一個多平臺的C++圖形用戶界面應用程序框架[6]。它提供給應用程序開發者建立藝術級的圖形用戶界面所需的所有功能[7]。

Qt是完全面向對象的語言，因此很容易擴展，并且允許真正的組件編程。自從1996年早些時候Qt進入商業領域，它已經成為全世界范圍內數千種成功的應用程序的基礎，Qt不僅是流行的Linux[8]桌面環境KDE的基礎，而且近年來越來越多的智能化儀表[9]、虛擬儀表[10]也開始采用Qt作為基本的圖形化操作界面。

同時Qt具有強大的可移植性，現已可以移植到Android操作系統中，所以在嵌入式領域中廣受歡迎。圖8便是本系統的Qt客戶端界面，左上方是視頻監控畫面，右上方是視頻的截圖顯示區，同時提供截圖下載按鈕鍵，一旦發現可疑目標人物，保存截圖至本地留作證據。

當前，在視頻監控領域中，B/S架構模式因其便利的原因，越來越多的受到用戶的喜愛。所以系統為滿足需求，在服務器程序中也融合了B/S架構模式，使得用戶可以在任意時間、地點只需要一部手機或者一臺電腦以及任何聯網的智能終端登錄指定的網頁，就可以實時地查看家庭內部的視頻信息，如圖9所示。

圖8　Qt客戶端界面

圖9　瀏覽器登錄

3　系統總體測試

整個系統完成設計之后，需對整個系統進行測試，驗證系統是否符合預期結果。首先對視頻的網絡傳輸部分進行測試。

其次再對系統中的智能識別部分進行測試，分別對圖像中人的正面、側面、背面進行測試。測試結果如圖10所示。

圖10　智能識別部分測試

最后對系統進行GPRS報警模塊以及整個系統的聯調測試，當室內有人入侵系統時將發送報警短信至用戶手機，且檢測到有人入侵的第一幀圖片會寫入到SD卡中。如圖11所示。

圖11　系統聯調測試結果

結　語

本文以智能家居視頻監控系統為研究課題，分析了目前智能家居視頻監控的發展狀況，結合實際成本和應用出發，依托嵌入式技術，以整體的系統設計為目標，設計了一套基于視覺的圖像處理技術與嵌入式技術相結合的智能家居視頻監控系統。

系統以Samsung公司的Exynos4412作為本次系統的核心控制器，通過USB攝像頭模塊來對視頻圖像數據進行采集，創新性的在嵌入式系統中引入了HOG特征算法和SVM分類器的機器學習的方法來對室內外來人員進行檢測，同時系統兼容C/S和B/S兩種架構，滿足了不同場合、不同用戶的需求。

[1] 李立新，李艷文，蔡剛毅，等.基于物聯網技術的智能家居安防系統的研究與開發[J].控制工程，2015,22(5)：1001-1005.

[2] 屈鵬. 基于 ARM 和 Linux 的嵌入式智能家居網絡視頻監控[D]. 天津：天津理工大學，2017.

[3] COLLINS R, LIPTON A, KANADE T. A system for video surveillance and monitoring[J]VSAM final report,CMU-RI,2000[S.l.]1-68.

[4] 李丹丹，董靜薇，徐博，等. 嵌入式智能視頻監控技術的研究與 OpenCV 實現[J]. 電視技術，2017,41(9).

[5] 劉磊，余淑榮，吳明亮. 用 ARM9 實現移動目標跟蹤的視頻監控系統[J].單片機與嵌入式系統應用,2017(12)：25-27.

[6] 成潔，盧紫毅.Linux窗口程序設計：Qt4精彩實例分析[M].北京：清華大學出版社，2008.

[7] 劉冬.基于Qt4和OpenCV的嵌入式視頻監控系統[J].現代電子技術，2013,36(8)：105.

[8] 陳莉君.Linux操作系統內核分析[M].北京：人民郵電出版社，2000.

[9] 陳卿，戴仙金，唐玉國.基于Qt/Embedded的新生兒監護儀軟件系統設計與實現[J].微計算機信息，2012，28(9)：431- 432.

[10] 王潤民，趙祥模，惠飛，等.基于嵌入式Linux與QT的汽車虛擬儀表設計[J].現代電子技術，2012，35(6)：1-4.

潘青松、曹永鵬(碩士研究生)、張怡(副教授)，主要研究方向為嵌入式系統設計與應用、物聯網技術；辛春輝(碩士研究生)，主要研究方法為虛擬現實與人群仿真。