基于深度學(xué)習(xí)的智能無線傳感器網(wǎng)絡(luò)

孟林勤 李雪巍

摘要：深度壓縮（Deep Compression）引發(fā)了模型壓縮研究的熱潮，使得深度學(xué)習(xí)（Deep learning）模型可以推廣到更多的硬件平臺(tái)上。本文以深度壓縮為背景，研究了深度學(xué)習(xí)模型在無線傳感器網(wǎng)絡(luò)上的實(shí)現(xiàn)，提出了一個(gè)種基于事件探測(cè)的智能無線傳感網(wǎng)絡(luò)模型（Event-driven intelligent wireless sensor network， EIWSN）， 在大尺度、廣分布區(qū)域上實(shí)現(xiàn)了事件的智能識(shí)別。

關(guān)鍵詞：無線傳感器網(wǎng)絡(luò)；深度學(xué)習(xí)；人工神經(jīng)網(wǎng)絡(luò)；事件探測(cè)

中圖分類號(hào)：TP393 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2019）07-0057-03

Abstract： Deep compression has triggered a wave of model compression research， making the deep learning model can be extended to more hardware platforms. In this paper， the deep compression technology is used to study the implementation of deep learning model on wireless sensor networks. Aiming at the advantages of deep learning model， a kind of event-based intelligent wireless sensor network model is proposed， which realizes large scale and wide.

Key words： wireless sensor network； deep learning； artificial neural network； event detection

機(jī)器學(xué)習(xí)應(yīng)用于現(xiàn)代社會(huì)的方方面面，但傳統(tǒng)機(jī)器學(xué)習(xí)算法不適合處理未加工過的數(shù)據(jù)，而深度學(xué)習(xí)為這個(gè)困擾人工智能領(lǐng)域多年的難題找到了解決的方法，深度學(xué)習(xí)更擅長(zhǎng)高維數(shù)據(jù)錯(cuò)綜復(fù)雜的結(jié)構(gòu)處理，已在圖像識(shí)別、語音識(shí)別等領(lǐng)域戰(zhàn)勝了其他機(jī)器學(xué)習(xí)技術(shù)，并表現(xiàn)出了極廣闊的應(yīng)用前景。

大量隨機(jī)散布于特定區(qū)域小尺寸，可編程、可探測(cè)多種參數(shù)和具有無線交流能力的低功耗設(shè)備構(gòu)成無線傳感器網(wǎng)絡(luò)（Wireless Sensor Networks， WSNs），提高了數(shù)據(jù)的可靠性、準(zhǔn)確度和區(qū)域覆蓋能力，并且實(shí)際的性能優(yōu)于精確采集[1]。Heinzelman等[2]最早提出自組織管理簇內(nèi)節(jié)點(diǎn)形式的分層路由協(xié)議LEACH。Manjeshwar等[3]提出了通過閾值實(shí)現(xiàn)的更具實(shí)時(shí)性的TEEN。Serpen等[6]認(rèn)為WSNs與人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，ANN）有極高的相似性和互補(bǔ)性直接將WSNs作為神經(jīng)計(jì)算平臺(tái)。

1 深度學(xué)習(xí)模型

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）作為目前最成功的深度學(xué)習(xí)模型之一，得到了廣泛的應(yīng)用。CNN的最大特點(diǎn)是局部感受、權(quán)重共享，其成功地在減少訓(xùn)練的參數(shù)的同時(shí)，減少計(jì)算復(fù)雜度。

1.1 卷積神經(jīng)網(wǎng)絡(luò)

從右到左包括卷積層、池化層及全連接層。卷積層對(duì)輸入層進(jìn)行多個(gè)卷積核的特征提取，輸出相應(yīng)多個(gè)特征映像。池化層降低特征映像的維度，在保持準(zhǔn)確率的情況下減少參數(shù)數(shù)量，控制過擬合。

1） 局部感受野（Local Receptive Fields）

在卷積神經(jīng)網(wǎng)絡(luò)中使用小片n×n的區(qū)域（n

2） 池化（Pooling）

池化是某一特征是否存在于空間某一位置的判斷，丟棄不重要的局部空間特征，有效減少需要的參數(shù)，實(shí)質(zhì)上對(duì)局部特征少量移位和扭曲也更具容忍性。

3） 卷積層的權(quán)重、偏置共享（Shared Weights and Biases）

卷積層的權(quán)重、偏置共享意味著同層的一組隱層神經(jīng)元探測(cè)空間輸入的不同區(qū)域的同一個(gè)特征。共享權(quán)重、偏置通常被叫作一個(gè)核（kernel），多數(shù)情況下作識(shí)別往往使用多個(gè)核。

1.2 深度壓縮（Deep Compression）

深度壓縮做到了在保持精度的情況下減少存儲(chǔ)和能耗，實(shí)現(xiàn)了更少的網(wǎng)絡(luò)帶寬和更好的實(shí)時(shí)性。

深度壓縮由三步構(gòu)成，如圖2所示。首先通過剪枝網(wǎng)絡(luò)移除冗余連接，然后通過共享權(quán)重對(duì)權(quán)重量化，最后使用哈夫曼編碼（Huffman Encoding）對(duì)有效權(quán)重進(jìn)一步壓縮。

1） 剪枝（Pruning）

利用 CSR（Compressed Sparse Row）或CSC（Compressed Sparse Column）存儲(chǔ)稀疏結(jié)構(gòu)完成剪枝。通過存儲(chǔ)索引差來實(shí)現(xiàn)壓縮，CSR或CSC格式僅需要2a+n+1空間（a是非零元，n是行（列）數(shù)量）。

2） 量化和權(quán)重共享（Quantization and Weight Sharing）

訓(xùn)練后的網(wǎng)絡(luò)量化和權(quán)重共享進(jìn)一步的壓縮剪枝網(wǎng)絡(luò)，減少表示權(quán)重的比特位。例如4輸入，4輸出的神經(jīng)元有4×4矩陣的權(quán)重，權(quán)重矩陣被量化到4容器（bin），位于相同容器的權(quán)重共享相同的值，更新梯度時(shí)把同類梯度作為一組求差，結(jié)果乘上學(xué)習(xí)率后減掉上次迭代的共享中心（共享中心在網(wǎng)絡(luò)完全訓(xùn)練后使用k-means算法得到）。

2 基于深度學(xué)習(xí)的智能無線傳感器網(wǎng)絡(luò)

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

網(wǎng)絡(luò)以傳感域作為基本單元，域由匯聚節(jié)點(diǎn)（Sink）與普通節(jié)點(diǎn)（Node）構(gòu)成，假定Sink節(jié)點(diǎn)具有充足的電量和一定的計(jì)算能力，普通節(jié)點(diǎn)能量和計(jì)算能力受限，隨機(jī)均勻分布于Sink周圍，并可通過某種形式進(jìn)行能量補(bǔ)充。域由d×d區(qū)組成，區(qū)分成b×b塊，塊內(nèi)Node被隨機(jī)生成巡邏節(jié)點(diǎn)（Patrol），用于事件發(fā)現(xiàn)、喚醒Node和神經(jīng)計(jì)算。MATLAB仿真的域如圖3所示：設(shè)9×9區(qū)，9×9塊，區(qū)內(nèi)2個(gè)Patrol，8100節(jié)點(diǎn)隨機(jī)分布。

2.2 首次成網(wǎng)

當(dāng)網(wǎng)絡(luò)首次建成，無核（kernel）可用時(shí)，成網(wǎng)后首先進(jìn)行數(shù)據(jù)采集，由Sink或基站（Base Station，BS）完成核的訓(xùn)練（同時(shí)網(wǎng)絡(luò)得到的核，可用于之后組網(wǎng)使用）。訓(xùn)練過程進(jìn)行模型壓縮：剪枝、量化、哈夫曼編碼，其中量化使用（1）式進(jìn)行誤差反向傳播的梯度中心更新：

2.3 成網(wǎng)運(yùn)作

1） 初始化階段

傳感域內(nèi)由Sink完成管理工作。初始開始，傳感域分區(qū)，采集區(qū)分塊，Sink隨機(jī)生成Patrol，并隨機(jī)下發(fā)核到所有節(jié)點(diǎn)（或者布網(wǎng)前隨機(jī)預(yù)存核于節(jié)點(diǎn)內(nèi)），并對(duì)Node進(jìn)行休眠。節(jié)點(diǎn)可以通過某種形式補(bǔ)充能量[7]，節(jié)點(diǎn)休眠時(shí)充能仍可進(jìn)行。

2） 數(shù)據(jù)采集與事件識(shí)別

網(wǎng)絡(luò)的基本單位域以輪的形式運(yùn)作，由Sink管理全域，最大限度地實(shí)現(xiàn)WSNs的分布式、并行處理優(yōu)勢(shì)。每輪在區(qū)內(nèi)隨機(jī)選擇一定量的Patrol組成整個(gè)傳感域的事件感應(yīng)鏈（以每區(qū)100節(jié)點(diǎn)，每輪1s采集間隔為例，倘若選擇2個(gè)Patrol，輪換完成該區(qū)所有節(jié)點(diǎn)大約50s）。塊內(nèi)進(jìn)行鏈?zhǔn)剑ɑ驅(qū)哟问剑┎杉瘮?shù)據(jù)，并進(jìn)行數(shù)據(jù)融合（去局部冗余，增加精度），每塊形成一個(gè)數(shù)據(jù)包，作為一次池化操作，得到一個(gè)池化輸出。池化輸出被近鄰Patrol收集，同區(qū)Patrol共享數(shù)據(jù)。區(qū)內(nèi)池化后得到與塊數(shù)一致的b×b輸出。Patrol得到適量的池化輸出后開始特征提取，進(jìn)行卷積的局部感受（局部感受和共享數(shù)據(jù)同時(shí)進(jìn)行），隱層神經(jīng)元共享同組權(quán)重、偏置，卷積輸出為：

4總結(jié)

本文提出的EIWSN得益于深度學(xué)習(xí)模型無需對(duì)天然數(shù)據(jù)預(yù)處理即可模擬任意函數(shù)的優(yōu)勢(shì)，解決了傳統(tǒng)機(jī)器學(xué)習(xí)模型過于復(fù)雜，對(duì)未加工數(shù)據(jù)處理能力不足的難題。同時(shí)WSNs巨量的數(shù)據(jù)量解決了深度學(xué)習(xí)對(duì)大量訓(xùn)練數(shù)據(jù)的需求，在深度壓縮技術(shù)加持下解決了ANN訓(xùn)練大量能量消耗的問題。另外得益于WSNs與ANN互補(bǔ)性，WSNs作為分布式、并行計(jì)算平臺(tái)，滿足了深度學(xué)習(xí)模型對(duì)于分布式、并行神經(jīng)計(jì)算的需求。

在實(shí)現(xiàn)尺度大，分布廣的WSNs上，EIWSN具有更廣闊的應(yīng)用前景，如邊境探測(cè)，森林防火，安防安保，災(zāi)害事件預(yù)警，提升局部天氣預(yù)報(bào)精度等。

參考文獻(xiàn)：

[1] Warneke B， Last M， Liebowitz B， et al. Smart Dust： Communicating with a Cubic-Millimeter Computer[J]. Computer， 2001， 34（1）：44-51.

[2] W.Heinzelman， A. Chandrakasan， and H. Balakrishnan. Energy-Efficient Communication Protocol for Wireless Microsensor Networks. In Proceedings of the Hawaii Conference on System Sciences， Jan. 2000.

[3] Manjeshwar A， Agrawal D P. TEEN： A Routing Protocol for Enhanced Efficiency in Wireless Sensor Networks[C] International Parallel & Distributed Processing Symposium. IEEE Computer Society， 2001：189.

[4] 孔玉靜，侯鑫，華爾天，等.基于BP神經(jīng)網(wǎng)絡(luò)的無線傳感器網(wǎng)絡(luò)路由協(xié)議的研究[J].傳感技術(shù)學(xué)報(bào)，2013，26（2）：246-251.

[5] Han S， Mao H， Dally W J. Deep Compression： Compressing Deep Neural Networks with Pruning， Trained Quantization and Huffman Coding[J]. Fiber， 2015， 56（4）：3-7.

[6] Serpen G， Liu L. Parallel and distributed neuro computing with wireless sensor networks[J]. Neuro computing， 2016， 173：1169-1182.

[7] Saeed N， Celik A， Al-Naffouri T Y， et al. Energy Harvesting Hybrid Acoustic-Optical Underwater Wireless Sensor Networks Localization[J]. Sensors， 2018， 18（1）.

【通聯(lián)編輯：唐一東】