基于樹莓派與ROS系統的網絡視頻監控系統研究

周 鳳王 利

（1.綏化學院信息工程學院 黑龍江綏化 152061；2.北京市回龍觀中心校 北京 102200）

視頻監控系統是目前安全領域不可或缺的組成部分，在交通、倉儲、銀行、物流等領域都有著廣泛的應用。隨著計算機軟硬件技術的進步，目前的監控系統已經以數字化設備為主導，遠程網絡技術越來越穩定[1]。但是隨著監控設備數量的不斷增多，監控范圍的不斷增大，監控環境需求越來越復雜，對監控設備的要求也相應提高。

網絡無線化需求。目前，視頻監控設備主流方案多數仍然采用RJ45接口聯接攝像頭與主控電腦等網絡設備，需要進行網絡布線，一是硬件成本相對較高，二是需要對布線進行布局。

監控移動化需求。有些環境區域不適合做大量固定監控設備布置，需要以機器人等形式實現巡邏式監控。

功能擴展性需求[2]。可以根據需要，靈活地設置監控終端數量，根據網絡具體情況實時調整圖像壓縮算法，或者加入人臉識別、動作識別等功能。

本文提出一種以嵌入式設備為基礎的無線網絡監控系統，硬件采用樹莓派主控設備及高清攝像頭，軟件采用Linux、ROS和OpenCV等開源軟件平臺，構建分布式的網絡監控系統，能夠無線傳輸監控視頻數據，構建簡單靈活，功能擴展性強。

一、硬件組成-基于Raspberry Pi

系統硬件組成結構圖如圖1所示。攝像頭主控系統采用微型電腦樹莓派（RaspberryPi）。樹莓派至今已經經過3代機型更新迭代，具有成本低、接口全、功能強、功耗低等突出優勢[3]。樹莓派系統帶有Linux內核操作系統，并可以通過板載wifi模塊直接與網絡設備或者上位機直接聯接。使用樹莓派研發監控系統，已經無需關心底層硬件具體設計，可以大幅度減少研發成本。并且，采用樹莓派作為主控系統，可以無成本地將此監控系統移植到移動設備，并且可以在移動設備上聯接多個視頻采集設備，實現全景圖像采集。本系統采用2016年2月發布的樹莓派3B版本，運算速度和功能模塊相比較之前版本均有大幅度提升。樹莓派自帶無線網卡，可通過wifi直接聯網，節省布線成本。另外，樹莓派也帶有RJ45標準以太網接口，根據需要也可進行有線網絡連接。

本系統攝像頭采用OV2710，具備1/2.7CMOSSensor3.6mm鏡頭，90度視角，擁有很好的低照度，照度可達星光級0.05Lux，拍攝速度快，幀數在640×480分辨率下可達120fps，在1280×720分辨率下可達60fps，在1920×1080全高清分辨率下可達30fps。

圖1 系統硬件組成結構圖

若在特定環境下，比如要求監控節點有較大視角范圍，或者移動監控設備多方向同時監控等情況，根據樹莓派具有多個USB接口的特點，可以直接在樹莓派上聯接多個攝像頭，擴大監控視角。在本系統設備中，聯接2個USB接口的OV2710攝像頭，聯接后設備如圖2所示。單個監控節點多個攝像頭可同時采集圖像，如圖3所示，其中，Frame1和Frame2兩個窗口分別顯示兩個攝像頭的畫面。

圖2 單個監控節點聯接2個攝像頭（攝像頭1帶有紅外補光燈）

圖3 單個監控節點2個攝像頭同時采集圖像

二、軟件流程-基于ROS及OpenCV

系統軟件采用ROS（RobotOperating System）。ROS系統本質上是一個開源機器人軟件平臺，在系統層之上，封裝了多種不同功能的軟件包，比如導航、定位、繪圖、感知等。由于系統是開源的，所有軟件包都是共享使用的，所以可以利用已有的開發包快速實現所需功能。使用ROS系統，一方面方便調用ROS已開發的開源模塊，能夠最大限度減少研發成本；另一方面，根據需求可以將已有的監控模塊直接移植到機器人最小移動平臺上，實現移動監控功能。

根據ROS系統的特性，每個攝像頭都可以單獨作為一個節點，在ROS中發布關于監控視頻的話題。并且，在網絡中，任意一個上位機節點，包括電腦、手機或平板電腦等設備，都可以訂閱任意攝像頭節點的話題，接收到對應的監控信息。利用樹莓派的wifi或者以太網接口，可以直接實現各個節點的網絡聯接。

樹莓派結合ROS系統，就可以直接構建出分布式的監控系統，無論是固定式的還是移動式的，每個節點之間都可以相互通信，也可以同時向設定服務器傳輸數據，可以根據需求靈活定制具體實現形式。

攝像頭控制采用開源的OpenCV跨平臺視覺庫。在本系統中，在linux系統安裝了v4l驅動和OpenCV2.4.9庫，系統軟件流程如圖4所示，利用OpenCV啟動攝像頭，讀取攝像頭圖像數據，并可以同時顯示2個攝像頭的實時圖像。與此同時，啟動ROS系統，將攝像頭的實時圖像作為話題發布出去，同時，其他訂閱攝像頭圖像話題的節點都可以接收到對應攝像頭的圖像數據。

圖4 軟件流程

圖5為一個示例，節點1聯接兩個攝像頭，并將兩個攝像頭的數據發布兩個話題；節點2訂閱攝像頭1的話題，即接收攝像頭1 的圖像；攝像頭2的話題沒有被訂閱，如果有需要，所有節點可以隨時訂閱。節點1在發布兩個攝像頭數據的同時，也可訂閱其他話題。同樣，節點2也可根據需求發布話題。在視頻監控系統中，圖5中的節點1就是圖2樹莓派帶2個攝像頭的一套設備，而節點2既可以是服務器、平板電腦、手機，也可以是其他樹莓派設備。在每個樹莓派設備接入顯示設備，就可以隨時隨地查看其它任意節點圖像。可以看出，利用ROS系統構建的網絡視頻監控系統為分布式結構，可以根據需求進行各種靈活多樣的設置。

圖5 節點關系

三、基于幀相關法的智能入侵物監測方法

嵌入式平臺配套資源非常豐富，也為嵌入式監控系統增加了實現高級監測功能的可能性。例如，在倉儲環境中，在無人狀態下，自動分析所監測圖像數據，如果有異常情況則自動報警。此功能可以針對不同需求，應用于防盜、防鼠、火災監控等領域，在無人值守或是攝像頭節點過多等情況下實現智能入侵物監測。本系統根據實際需求加入了動態監測報警功能。

對于同一套監控系統，其所采集的視頻圖像中，每一幀的圖像分辨率都是相同的。并且，在沒有外來物侵入時，相鄰兩幀圖像是完全相同的。針對這個特點，動態監測可以通過比較監測視頻中相鄰兩幀圖像的相似程度來實現。相關運算能直接體現出兩組數據的相關程度，對相鄰或相近的兩幀圖像進行相關運算，相關性差異明顯大于正常水平的，就可以判斷所監控的區域出現了問題。

在室內環境中，由于光線等原因會使圖像灰度產生變化，如果直接對相鄰兩幀圖像進行比較，會存在錯誤的判斷。而將圖像進行傅里葉變換，將其轉入頻域進行計算，將圖像的灰度分布轉換為對應的頻率分布，就能消除圖像灰度變化的影響。

設 m(x1,y1)，n(x2,y2)為相鄰兩幀圖像，M(u,v)、N(u,v)分別為其對應的傅里葉變換。則兩幀圖像間的互功率譜為：

其中，φm，φn分別為兩幀圖像的相位角。對互功率譜相位做傅里葉反變換，就能得到兩幀圖像的互相關函數：

在監測畫面正常時，相鄰幀圖像相似性較為均勻，應該沒有明顯峰值。當有畫面中出現外來入侵物時，相鄰幀圖像會在入侵物位置體現出明顯的相關性峰值，表示圖像有明顯差別。

四、測試效果

本系統在測試時運行穩定，圖像清晰，單個攝像頭在室內燈光條件下將圖像發布，并由另外一臺電腦訂閱視頻數據，監控圖像效果如圖6所示。

圖6 單個攝像頭監控畫面

圖7（a）為正常監控畫面，并且與圖6為不同幀畫面。將圖6與圖7（a）進行互相關運算，結果如圖7（d）所示，互相關結果峰值不超過50。圖7（b）為有入侵物畫面，（c）中入侵物的位置發生了改變，為了觀察結果的方便性，這兩幀圖像模擬入侵物移動一段時間間隔的情況。將圖7（a）與（b）做幀相關運算，結果如圖7（e）所示，在入侵物位置出現明顯峰值。將圖 7（b）和（c）做幀相關運算，結果如圖 7（f）所示，在兩處有入侵物的畫面都產生了明顯峰值。可以看出，利用幀相關方法，可以確定監控畫面中是否有入侵物，并能確定入侵物的位置。

圖7 利用幀相關法檢測入侵物

(a)正常監控畫面；（b）有入侵物畫面；（c）入侵物位置變化；（d）圖 6與（a）互相關結果；（e）有無入侵物畫面互相關結果；（f）入侵物位置改變互相關結果

五、結束語

樹莓派是接口豐富、功能強大的單板系統，利用樹莓派作為網絡視頻監控系統，具有功耗低、擴展性強等優勢。并且，一個樹莓派可以聯接多個攝像頭，擴大單個節點的監控視角范圍。使用ROS系統，可以將網絡監控系統設置為分布式結構，每個節點，包括樹莓派、服務器、平板電腦和智能手機，都可以發布和訂閱話題，能根據功能需求靈活多樣地設置監控系統的結構。利用幀相關方法，可以結合嵌入式網絡監控系統，根據圖像的相關性，實現智能入侵物的監測。

[1]王燕飛.基于Web的嵌入式網絡監控系統的設計與實現[J].電腦知識與技術，2017(2):240-241+255.

[2]劉勝楠,汪恭焰,李京,等.嵌入式視頻摘要及智能視頻監控系統設計[J].長春理工大學學報(自然科學版),2017(1):119-122+126.

[3]王曉，蹤琳.基于OpenCV視覺庫的嵌入式視頻處理系統[J].電子質量,2017(3):54-59.