農作物區域中多媒體傳感網絡智能監測架構的研究與設計

任　華

(成都農業科技職業學院信息技術分院，四川成都 611130)

我國作為一個農業大國，規范化的大面積集中種植已經是一種普遍現象。在大面積農作物種植區域中為了節約人力成本，實現現代化農業規范種植，往往會使用無線傳感控制網絡對環境進行監控[1]。受地殼運動和板塊擠壓作用，我國地震、火山等自然災害頻繁，特別是西部、南部山區，川陜、川滇、川藏等地區，由于山體高大，巖層風化劇烈，雨季降水比較多，容易引起滑坡、泥石流等地質災害。基于多媒體傳感器網絡的地質災害災區智能監測采用綜合多源異質傳感器系統[2]，通過目標識別及數據融合等技術，以智能方式識別監測環境中可能發生的余震、滑坡、滾石、坍塌以及泥石流等險情，可區分人員車輛等運動目標，降低虛報率并就所監測的場景提供實時圖像，完成實時智能監測與險情判決，同時具有自組織、自配置及低功耗管理等特性。

在通過實地考察獲取的實際地質監測數據的基礎上，本設計將應用日益廣泛的多媒體傳感器網絡與地質災害災區險情智能監測相結合。與傳統傳感器網絡監測相比，本設計不但同樣具有自組織、自配置、抗毀性等優勢，同時具有更為真實全面的多源異質信息感知監測能力[3]。與現有其他無線音頻、視頻監測系統相比，本設計中的監測架構具有智能特性，由人工視頻監視變為智能分析告警。

1　研究方法

1.1　目標識別

運動目標檢測與監測跟蹤是多媒體傳感器網絡的主要用途之一，運動目標檢測的目的是對序列圖像進行分析，將運動目標區域從背景圖像中區分并且提取出來。運動目標檢測是圖像分析和理解的前提，目前常用的目標識別方法有幀間差分法、背景差分法和光流法[4]。

1.2　監測跟蹤判決

運動目標跟蹤的目的是通過對序列圖像的分析，對感興趣目標的位置和速度等運動特征進行估計或預測。目前常用的監測跟蹤目標的方法有基于特征的跟蹤，基于區域的跟蹤，基于模型的跟蹤和基于活動輪廓的跟蹤[5-6]。

在農作物種植區域使用多媒體傳感網絡進行監控時，捕捉到的圖像序列會受到多種環境因素的影響，如光線亮度的變化，風沙暴雨等氣候的變化，陰影和物體間重疊以及運動目標的運動變化等。圖像序列變化都會給運動目標的監測和跟蹤帶來不同程度的影響。本研究面向的監測對象不同于一般監測系統所監測的(車輛、人員等)目標，而是更為復雜的地質險情表征目標，如滾石等，所監測的背景雖然較為復雜，但是相對固定，具有較高的監測可行性。

1.3　智能信息處理

由于能量的限制，不可能將圖像信息直接傳輸到融合節點進行融合，這就要求將視頻傳感器采集的圖像在當前多媒體傳感器網絡節點(以下簡稱網絡節點)實時進行處理，除了對圖像進行簡單的壓縮編碼，同時還須要提取圖像的特征編碼，這樣傳輸到融合中心的就是壓縮后的圖像和特征編碼。考慮到網絡節點的處理能力和低功耗需求，微控制單元(micro controller unit，簡稱MCU)會先將傳感器采集的音頻、視頻數據保存在本地存儲器中，這里采用的是嵌入式多媒體卡(embedded multi media car，簡稱EMMC)高速存儲器，然后優先將特征編碼發送到融合中心。

融合中心對多個傳感終端傳來的數據進行融合[7]，融合之前要對時間空間進行校準。校準需要2個方面的信息：一方面是該網絡節點的路由和位置信息，另一方面是網絡節點數據的時間信息。在融合的過程中，圖像的配準問題要求使用2幅或多幅圖片進行配準，以確保疊加的每幅圖像上相應的像素代表地面上的同一位置、對應于同一物體。多媒體傳感器網絡節點結構如圖1所示。

本設計對特征層目標特性進行融合，包括視頻、振動、紅外等多傳感器系統，為識別提供了比單傳感器更多有關目標的特征信息，增大了特征空間維數。具體的融合方法仍是模式識別的相應技術，只是在融合前必須先對特征進行關聯處理，把特征矢量分類成有意義的組合，區域異構傳感特征融合流程如圖2所示。

相鄰網絡節點異構的傳感設備(振動、圖像、聲音等)所采集的數據融合并配合使用，是多媒體信息融合的一項主要內容，這里采取的方式是通過實時采集，分別將傳感設備中的數據進行特征提取，以特征向量的形式共同傳向融合節點，在節點處處理單一時刻的多方信息，由于聲音、振動、紅外的數據量相對較小，所以采用以圖像為融合主體的形式，其他相關傳感特征以時間為基準進行融合。對目標進行的特性融合識別就是基于關聯后的聯合特征矢量進行模式識別。

2　多媒體傳感網絡智能監測架構設計

2.1　基于低功耗設計的多媒體監控網絡

在目標的識別和監控網絡中對數據的采集和處理主要包括音頻、視頻和基礎數據。其中，基礎數據如紅外傳感器數據、震動傳感器數據等的數據量較小，使用帶ZigBee的低功耗MCU(以下稱傳感器MCU)即可實現數據的傳輸和處理[8-9]；音頻和視頻數據龐大，傳輸過程中對網絡要求高，須要使用運算能力較強的MCU(以下稱節點MCU)對數據進行壓縮和特征提取。

針對這2類數據類型的特點加上節點能耗的重要性，筆者設計1個低功耗實現方法：節點MCU常態為低功耗狀態，實時監測各傳感器的狀態，當傳感器MCU監測到異常后，節點MCU須要進行數據處理，此時自動提升頻率，處理完畢后繼續進入低功耗狀態。由于特征編碼提取速度較壓縮快，節點MCU會先將特征編碼發送到融合中心，當融合中心須要傳輸音頻、視頻文件時，節點MCU才會通過無線網絡(WiFi)將存儲在EMMC中的音頻、視頻數據發送至融合中心。

2.2　無線網絡設計方案

本設計使用IEEE 802.15.4[10]為無線通信提供物理層數據服務，WiFi提供音頻和視頻的控制層數據通信服務，使用ZigBee實現基礎傳感器的組網與控制。設計方案如圖3所示。

在大面積農作物種植區域中，由無線網絡構成的種植區域地質災害視頻、音頻監控網絡和各類傳感器控制網絡組成系統的農作物智能感知系統。每個基礎傳感器都與對應多媒體傳感節點的ZigBee連接實現組網通信，音頻、視頻傳感器直接連接多媒體傳感節點，由當前節點對其采集到的數據分別進行處理和通信傳輸。

多媒體傳感節點的數據均發送到融合中心，該中心設立了用戶監控功能，可及時將緊急信息通過短信方式發送至用戶手機和在線客戶端，同時直接刷新強調顯示報警圖像，用戶可通過任一客戶端訪問無線網絡進行控制和處理。

2.3　組網應用設計

本設計具體的組網應用過程如圖4所示。當所監控的農作物區域有異常(震動、高溫、物體移動、爆炸等)發生時，傳感器MCU會通過ZigBee發送信息到多媒體傳感器節點，節點收到信息后啟動視頻傳感器，定位異常現象，將監測到的具體數據、聲音和圖像先存儲在EMMC中，提取視頻特征編碼，然后通過無線網絡將數據傳輸到融合中心進行數據分析、預測、統計；若激發異常請求，融合中心的監控功能則發布命令給終端設備(手機、PC客戶端等)進行預警[11]，按異常等級進行控制處理，保存異常狀態和處理機制、結果等。若未激發異常請求，則記錄狀態保持監控[12]。

3　智能監測架構實現

3.1　硬件設計

硬件設計主要包括多媒體傳感器節點和融合中心2大部分，設計方案如圖5所示。

3.1.1多媒體傳感器節點設計方案主控選用意法半導體集團(STMicroelectronics，簡稱ST)生產的STM32F469NIH6，該芯片的特點是基于高性能的ARM Cortex-M4處理器，集成浮點運算加速器(float point unit，簡稱FPU)以及數字信號處理(digital signal processing，簡稱DSP)，最大主頻支持180 MHz；Cortex-M4具有單精度浮點運算單元且具備增強的DSP指令集，音頻、視頻處理速度快；集成2 MB Flash、384 kB SRAM超大存儲空間；內置靜態存儲控制器(flexible static memory controller，簡稱FMC)、隊列式串行外設接口(queued serial peripheral interface，簡稱QSPI)，以太網媒體訪問控制子層協議(media access control，簡稱MAC)、數字多媒體卡(secure digital multi media card，簡稱SDMMC)、通用串行總線(universal serial bus，簡稱USB)及攝像頭接口等；具有低功耗運行模式。

除主控芯片外，多媒體傳感器節點硬件方案的其他模塊包括(1)存儲器選用高速32 GB EMMC 5.0，可以在多媒體傳感器節點存儲大量采集數據，通過SDMMC接口與STM32F469主控芯片通信；(2)視頻采集選用OV7620-模組通過可變靜態存儲控制器(flexible static memory controller，簡稱FSMC)總線與主控芯片STM32F469通信；(3)WiFi模塊使用Marvell8801主控芯片通過SDIO接口與STM32F469通信；(4)ZigBee協調器選用德州儀器(texas instruments，簡稱TI)公司的CC2530通過通用異步收發傳輸器(universal asynchronous receiver transmitter，簡稱UART)接口與主控芯片STM32F469通信[8-9]；(5)定位模塊選用VK1513，模塊輸出的數據格式遵循NMEA0183協議，通過UART總線與主控芯片STM32F469通信；(6)普通傳感器如震動、溫度、紅外、超聲波等均使用CC2530，并采用ZigBee協議實現子節點。

3.1.2融合中心設計方案融合中心[13]類似一臺電腦終端，須要處理網絡通信、數據庫、文件系統、界面交互等，本方案選用三星ARM11架構S3C6410主控系統，其特點為擁有強大的內部資源和處理能力，可穩定運行667MHz主頻；支持Mobile 雙倍速率同步動態隨機存儲器(double data rata，簡稱DDR)和多種NAND Flash；支持WinCE 6.0、Linux 2.6.28、Android 2.3以及μC/OS-Ⅱ等操作系統；支持QT Extended 4.4.3圖形界面，提供了標準板級支持包(board support package，簡稱BSP)并開放源碼；支持通用分組無線服務技術(general packet radio service，簡稱GPRS)模組，選用的MG323是華為公司生產的GPRS無線通信模塊，具備語音電話、短信和GPRS數據通信的功能。

3.2　軟件設計

3.2.1多媒體傳感節點軟件設計多媒體傳感器節點選用嵌入式廣泛使用的FreeRTOS操作系統。FreeRTOS是一個輕量級實時操作系統內核，其功能包括任務管理、時間管理、信號量、消息隊列、內存管理、記錄功能、軟件定時、協程等，可基本滿足較小系統的需要。在硬件資源需求上，FreeTROS占用資源少，可以運行在隨機存取存儲器(random access memory，簡稱RAM)有效的嵌入式平臺中，同時具有源碼公開、可移植、可裁減、調度策略靈活等優點。

多媒體傳感器節點實現的主要功能包括(1)實時監測ZigBee節點是否有異常數據；(2)啟動視頻采集并存儲到本地EMMC存儲器；(3)對視頻信息進行壓縮；(4)對視頻信息進行特征編碼提取；(5)通過WiFi將打包的多媒體節點數據發送到融合中心；(6)通過WiFi將音視頻信息發送到融合中心。

多媒體傳輸通信技術如下：多媒體傳感節點(以下稱網絡節點)將全球定位系統(global positioning system，簡稱GPS)定位信息、預警視頻特征編碼、聲音震動、溫度等數據封包成數據幀，然后發送到融合中心；融合中心對數據幀進行解析，提取出對應的傳感器信息；融合中心下達上傳音頻、視頻問題的指令，網絡節點收到上傳指令后就開始通過WiFi將音頻、視頻數據發送給融合中心。其中網絡節點數據幀的格式如表1所示。每組數據幀都以00開始，FF結束。SN(serial number)表示數據序號；ID(identification)表示發送數據幀的設備編號；Type表示報警類型和等級；CFG(control flow graph)表示控制信息；Power表示電源電壓數；DA(data address)表示數據地址；SA(source address)表示源地址。

表1　節點數據幀的格式

為進一步保證數據的完整性，本方案對數據進行循環冗余校驗(cyclic redundancy check，簡稱CRC)處理，網絡節點計算CRC數據，融合中心進行驗證，通過后才認為結束，否則須要重發。

3.2.2融合中心軟件設計從軟件系統的優化性、可移植性、使用方便性和多樣性角度出發，本設計的軟件系統在Linux上開發，主要有Linux組件、文件系統、數據庫系統、外設應用驅動和瀏覽器/服務器(browser/server，簡稱B/S)應用程序等。Linux采用的是目前使用最為廣泛的Redflag Linux版本；數據庫系統采用MySQL和XML進行數據存儲；應用驅動包括USB、網卡、串口及以太網、應用外設驅動(音頻、打印等)；應用程序是基于B/S結構進行開發的，可提供友好的可視化界面。本方案中融合中心的一個重要功能就是要對多個多媒體傳感器節點的數據進行時空校準后融合，重點在視頻、音頻的處理上。

3.2.2.1音頻、視頻壓縮技術音頻、視頻的傳輸是軟件設計的關鍵，在B/S架構中客戶直接通過IE瀏覽器查看視頻和音頻文件。視頻文件數據很大，為提高傳輸速度和圖像質量，在傳輸過程中須要對其進行有效壓縮和解壓。根據國際電信聯盟(international telecommunication union，簡稱ITU)設置的視頻壓縮編碼標準，本設計采用H.26X系列進行視頻壓縮。

攝像頭采集到的圖像格式是一種將亮度信息與色彩信息分離的格式(YUV，Y表示亮度即灰度，U、V表示色度)，該格式的好處在于即使沒有UV信息也可以顯示完整的黑白圖像。而計算機是通過紅色、綠色、藍色(red green blue，簡稱RGB)3種基色混合成圖像或視頻。從YVU到RGB之間的轉換公式如下：

R=Y+1.371V；G=Y-0.698U-0.336V；B=Y+1.732U。

通過公式可以快速將YUV轉換為RGB并顯示出來。視頻數據采集后打包成數據包，打包數據封裝成接口，可提供字段包括Que_link數據包隊列、Addr數據存放地址、Length數據長度、arg應用程序、cmd數據命令、status數據命令狀態、reserve保留字段。

3.2.2.2視頻特征編碼提取技術提取視頻特征碼選用目標識別常用算法中的背景差分算法[6]。基于視頻傳感器采集到的YUV格式視頻數據，采用一種結合YUV顏色空間色度和亮度進行運動檢測的算法，對YUV模型中的Y分量(亮度信號)建立基礎的背景模型。本算法中亮度信號(Y)和色度信號(U、V)相互獨立，可以大量減少復雜的開平方與乘法運算，同時算法可單獨編碼，能與動態圖像專家組(moving picture experts group，簡稱MPEG)標準保持良好的兼容性，易于進行目標數據的壓縮、處理和傳輸，而且節約了存儲空間。該方法在視頻監控系統中的使用效果較好、計算速度快、實時性好，對硬件的資源要求低，也更節約系統的計算內存。

4　測試與驗證

筆者搭建了模擬農作物環境的虛擬軟件，對本設計的可行性、功能性進行了測試和驗證，總結如下：

4.1　基本功能測試

使用2個多媒體傳感器節點、1個協調器和2個終端設備驗證基本功能：報警數據采集、傳輸、客戶端查看和系統控制等。使用可滅火源模擬惡劣天氣中高溫預警，發送預警數據包20 KB，每個預警節點的觸發頻率設置為5次/min。

試驗結果：每個傳感節點可以測試出≥45 ℃的熱源高溫并進行自動報警，第1次未采用GPS定位，無延時立即報警；第2次采用GPS定位，有10 s左右延時，由此可見，本設計基本可以應用于農作物區域險情智能檢測。

4.2　傳輸網絡測試

主要測試分別在使用ZigBee[14]和WiFi進行數據傳輸過程中，若遇到干擾信號或干擾信號突然增強或減弱時，傳輸網絡穩定性受影響的程度。在測試中添加了一些家用電器和不同網絡的手機[碼分多址(code division multiple access，簡稱CDMA)、全球定位系統、寬帶碼分多址(wideband code division multiple access，簡稱WCDMA)等]、收音機等信號的干擾，手動發送大小為10 kB的數據進行測試。試驗結果如表2所示。

表2　ZigBee和WiFi傳輸測試結果

由表2可知，通過WiFi傳輸數據包時，數據穩定不宜失真，基本不會受干擾信號左右，而通過ZigBee傳輸數據包時，數據會丟失或出錯，容易受干擾信號左右[15]，只有3號ZigBee數據出錯率最低，受影響最小。研究表明，當ZigBee與WiFi信號所使用的信道接近時，出錯率升高，為保證數據傳輸的正確率：一方面可以盡量采用WiFi傳輸，另外一方面數據包應簡潔，避免冗余。

4.3　網絡部署覆蓋率測試

在實驗室分別模擬2種覆蓋方式：一種是傳統的按一定規模隨機撒播部署；另一種是針對傳感器網絡的特定具體應用進行有計劃的部署，即對文中提到的組網方式進行比較。通過Matlab仿真出覆蓋對比示意圖，如圖6和圖7所示。

由圖6、圖7可以看出，采用文中架構設計的多媒體傳感器網絡對環境監測覆蓋得更加全面、均勻。當然在實際部署中，必須結合災區環境實際考察所獲取采集的真實環境數據，并以此為基礎開展研究工作。由于監測環境的不同特性，研究在地質災區監測特殊環境下的部署、覆蓋策略與算法，才能實現在特定災區環境全面有效的監測覆蓋。

5　結束語

本研究創新提出將多媒體無線傳感網絡應用在大面積無人看守的農作物種植區域，并有效將多媒體節點與無線傳感網絡和多媒體網絡進行連接，實現突發地質災害時可及時預警和控制，實時將視頻、音頻傳輸到服務器和移動終端方便用戶查看。以地質險情的識別和跟蹤為切入點，分析基于多層結構的多媒體監控網絡架構和設計方案，詳細介紹硬件設計、軟件設計。通過測試驗證本方案設計的可行性和有效性，為農作物種植區域的智能監控向精準化、實時化方向發展提供一定的參考依據。

參考文獻：

[1]Malhi K，Mukhopadhyay S C，Schnepper J，et al.A ZigBee-based wearable physiological parameters monitoring system[J]. IEEE Sensors Journal，2012，12(3)：423-430.

[2]昌凱，薛棟梁，孫強，等. 圖書館溫濕度智能控制系統研究與設計[J]. 計算機科學，2014，41(11A)：436-439.

[3]唐川，馬國超. 基于地貌單元的小區域地質災害易發性分區方法研究[J]. 地理科學，2015，35(1)：91-98.

[4]趙立秋，梁晨明. 配電室無人職守集控站在京博石化的運用[J]. 科技視界，2016(20)：297，301.

[5]張猛，房俊龍，韓雨. 基于ZigBee和Internet的溫室群環境遠程監控系統設計[J]. 農業工程學報，2013，29(增刊1)：171-176.

[6]江建成，周中良，阮鋮巍，等. 基于動態貝葉斯博弈的雙機行為決策方法[J]. 計算機仿真，2016，33(7)：95-98.

[7]陳正宇，楊庚，陳蕾，等. 無線傳感器網絡數據融合研究綜述[J]. 計算機應用研究，2011，28(5)：1601-1604.

[8]Texas Instrument Inc. Z-stack developer’s guide[Z/OL]. http：//www.ti.com.cn.

[9]Texas Instrument Inc. CC2530 Datasheet[Z/OL]. http：//www.alldatasheet.com/datasheet-pdf/pdf/461731/TI1/CC2530.html.

[10]Cuomo F，Abbagnale A，Cipollone E. Cross-layer network formation for energy-efficient IEEE 802.15.4/ZigBee wireless sensor networks[J]. Ad Hoc Networks，2013，11(2)：672-686

[11]蘇文莉，葉晟. 一種基于無線傳感器網絡的災害預警系統設計[J]. 現代電子技術，2015，38(24)：72-75.

[12]李慧，張可，徐良. 無人值守區域智能監測系統的架構設計與實現[J]. 計算機科學，2016，43(7)：115-119.

[13]楊庚，李森，陳正宇，等. 傳感器網絡中面向隱私保護的高精確度數據融合算法[J]. 計算機學報，2013，36(1)：189-200.

[14]魏興，祝詩平，黃華，等. 基于ZigBee的煙草育苗大棚群環境參數無線監測系統設計[J]. 江蘇農業科學，2016，44(2)：414-417.

[15]Singh V，Sharma R，Tomar MS. An Analytical study of interference problem between ZigBee and WI-FI[C]//International Conference on Communication Systems and Network Technologies. India：Gwalior，2013：257-261.