基于靈敏感知的異構傳感器協作數據清洗機制*

林曉佳，黃榕寧

(1.福州大學 數學與計算機科學學院，福建 福州350116;2.福州師范大學 數學與計算機科學學院，福建 福州350117)

0 引 言

傳感器網絡在工業、農業、醫療等各個領域應用越來越廣泛，數據集成度逐步提高，數據量增長迅速，于是各領域用戶對于數據質量［1］，特別是精度、冗余度和數據覆蓋等問題非常關注，鑒于傳感器網絡的計算能力和存儲能力受限特點，如何從大數據中清除差錯和冗余，提取具有較高一致性、可信度和實時性的數據服務［2］成為用戶和科技界所關注的熱點問題。影響數據質量的因素很多，包括數據的產生、采集、傳輸、存儲和處理等方面。因此，研究人員根據影響因素設計了一系列相應數據處理與清洗算法。

文獻［3］基于數據和應用特點，設計了一種支持融合與交叉的數據清洗算法。文獻［4］基于數據集動態變化的副本識別特點研究了結合聚類樹增量特性的數據清洗算法。文獻［5］以時間為對象基于事件序列，研究了提高射頻識別(radio frequency identification，RFID)數據質量的清洗策略。文獻［6］研究了支持數據質量評估的交互式可視形態集及其分析系統。

此外，WangBing等人［7］設計了一種允許用戶在相同的接口生成高維數據、沉浸式和直接數據生成的數據清潔工具。Zhang Zhaosheng 等人［8］將閾值控制和加權平均法及指數平滑法相結合提出了多閾值控制的修復方法。文獻［9］為了解決RFID 和WSNs 數據集成中的冗余度、降低能耗和保障實時性等問題研究了一種五層體系結構。文獻［10］將并行處理與并行機群相結合研究了支持協同的大數據可視分析方法。

為了外界參量和內部因素對數據質量的影響和提高數據質量保障能力，本文研究工作包括:1)單節點中，基于各類外界參量和內部因素對數據質量產生的干擾建立了數據質量分析模型和靈敏感知決策方法;2)多節點中，通過建立協作狀態概率分析方法給出協同處理下數據質量衰減分析模型;3)將靈敏感知與協同處理相結合提出了一種高能效和高精度的傳感器數據清洗算法。

1 基于靈敏感知的數據質量分析

傳感器網絡覆蓋范圍內，采集監測值例如:溫度結合頻域，當在閾值區間內時，數據可靠;否則，主動棄包。設定滿足應用需求的溫度區間為［Te1，Te2］，頻域為［f1，f2］，ni表示第i 次實際溫度值，mi表示測量值，數據舍棄判斷決策過程如圖1 所示。

圖1 數據舍棄過程Fig 1 Process of data abandon

其中，m3雖然在頻域范圍內，但與實際值n3沒有交叉，誤差較大，質量低，應該被舍棄，靈敏度很差。m2與n1同時滿足頻域和閾值區間質量高，數據可靠，靈敏度高。對于m1與n1，雖有交叉，但比例較低且測量值并不完全在頻域區間內，表明數據出現差錯具有不確定性，其靈敏度不同，因此，可以建立感知數據靈敏度的數據質量分析模型，從而決定是否需要舍棄或通過清洗改善數據質量。

基于頻域的參量測量值概率分布如公式

其中，函數Dsensor(f)為測量值概率分布函數，即在頻域內［f1，f2］評價測量值與實際值。

由于傳感器節點內部元器件噪聲、外部環境噪聲和采集誤差等對參量測量概率產生的影響可由式(2)得到

其中，γ=［γ1，γ2，…，γm］T為各類因素對數據質量的干擾因子，nty表示各類影響因素，其向量長度必須與向量γ保持一致，其中定義的因素包括:外源噪聲、內部硬件噪聲、電路輸入噪聲、電路輸出噪聲、測量不確定性、計算誤差等。

基于上述定義因素，給出傳感器誤差概率分布密度一般性計算如式(3)所示

其中，變量記錄λ 根據測量值是否在頻域內確實是否需要考慮進一步優化分布。

在式(1)～式(3)建立的測量概率統計分析基礎上，進一步分析數據質量對傳感器內部電路各器件的噪聲干擾的靈敏度，電路結構如圖2 所示。頻率為10 Hz 時噪聲分析后各部件輸入噪聲測量結果如表1 所示。頻率對電路輸入噪聲影響如圖3 所示。可以發現，輸入噪聲隨著頻率增大逐步增大，40 Hz 下增速較大，此后增速減緩，而輸出噪聲不受頻率影響，在任何頻域內均保持定值，結合圖1 的數據舍棄過程，因此，不同頻域內不同參量對數據質量影響程度不同，即數據質量對各類參量具有靈敏感知。

圖2 傳感器內部電路Fig 2 Internal circuit of sensor

表1 輸入噪聲分析Tab 1 Input noise analysis

2 協同處理的傳感器數據清洗算法

前文是對于單節點的數據質量干擾因素進行分析，并得出靈敏感知判斷策略，然而傳感器網絡應用是在監測區域布設高密度傳感器節點，多跳傳輸與數據轉發也將影響數據質量，因此，基于傳感器節點間協同合作進行信號處理以便保證數據質量。

多節點協同處理基于頻率的無線鏈路保持正常概率分布如式(4)所示

圖3 不同頻率下輸入噪聲分析Fig 3 Input noise analysis at different frequencies

其中，Fs(f)為鏈路保持正常概率分布函數，v，φ 分別為中繼節點的協作規模和保持協作狀態概率，ω 為傳感器節點工作角頻率。

協同合作信號處理過程中，隨著鏈路狀態的變化，轉發信號受外界參量等干涉后的強度如式(5)所示

此外，加入協同合作的中繼節點規模與鏈路狀態存在如式(6)所示

其中，μ 為中繼節點在協作下信號增強系數。

因此，基于單節點下靈敏感知策略的多節點協作處理的數據質量可由式(7)分析

將靈敏感知與協作處理相結合的數據清洗算法架構如圖4 所示。其中，單節點上的靈敏感知和協同處理模塊結構如圖5 所示。多節點應用下數據清洗流程如下所示:

1)單傳感器節點靈敏感知分析，根據式(1)～式(3)。

2)依據式(4)選擇中繼協作節點，并監測節點鏈路狀態。

3)查詢協作:在頻域內，根據用戶需求和靈敏感知分析結果，建立增強數據質量的清洗規則。

4)協同處理:規模為v 的協作處理根據數據質量失真程度進行處理。

5)接收端節點，根據式(7)依據λ 經過數據清洗回復質量，保障傳輸可靠性。

3 實驗結果與性能

圖4 數據清洗架構Fig 4 Data cleaning architecture

圖5 單節點架構Fig 5 Single-node architecture

實驗中，按照圖6 所示布設傳感器網絡架構，為了便于統計測量結果，在網關節點上增設數據存儲和查詢模塊。網絡中每個節點架構如圖5 所示，為了便于在同一環境和設備上使用基于靈敏感知的數據清洗算法(記為:SDC)和所提的基于靈敏感知和協同處理的清洗算法(記為:SCDC)進行對比分析，在圖5 中增加圖7 所示的定時計數控制電路，該電路內部產生的噪聲干擾與整體噪聲相比較小，故可忽略不計。

為了準確驗證所提算法性能，實驗中分別統計系統能效、數據壓縮率和準確度，分析網絡規模和頻率對以上性能的影響，結果如圖8 所示。

圖6 實驗布設網絡架構Fig 6 Experimental layout network architecture

圖7 實驗切換定時裝備電路Fig 7 Experimental switching and timing equipment circuit

從圖8(a)發現，SDC 算法能效很低而所提SCDC 算法能效隨著頻率增大快速增大，這主要得益于協同處理機制，在感知單節點靈敏度的前提下，多中繼協同合作明顯降低了數據清洗能效。如圖8(b)所示，SDC 與所提的SCDC 算法的數據壓縮率相差較大，而且隨著網絡規模的增大，SCDC 算法的壓縮率保持快速增大，單節點靈敏感知的SDC算法因受到傳輸過程的外界參量干擾和節點之間信號干涉使得數據壓縮率提升很慢。單節點使用靈敏感知方法進行數據清洗可以提高數據準確率但幅度較小，通過多節點協同合作處理降低傳輸過程中的數據質量衰減，對失真數據進行清洗，可以顯著改善數據質量，使用所提SCDC 算法時數據準確率較高。

圖8 清洗算法分析Fig 8 Analysis on cleaning algorithm

4 結束語

為了解決傳感器應用中因內部和外界各類干擾導致的數據質量下降問題，從參量和影響因素定義出發，分別對于單節點和多節點進行了深入分析:1)單節點下分析了各類因素對數據質量產生影響的分析模型機靈敏感知策略;2)利用傳感器網絡的高密度和協同特性建立了協同處理數據質量分析模型;3)將靈敏感知與協同處理相結合建立了適用于傳感器和網絡應用的數據清洗算法。與單節點靈敏感知數據清洗算法相比，實驗從頻率和網絡規模對能效、壓縮率和精度等方面驗證了所提算法的可行性和優越性。

［1］ 郭志懋，周傲英.數據質量和數據清洗研究綜述［J］.軟件學報，2002，13(11):2076－2082.

［2］ Exner A T，Pavlichenko I，Lotsch B V，et al.Low-cost thermo-optic imaging sensors:A detection principle based on tunable onedimensional photonic crystals［J］.ACS Applied Materials＆Interfaces，2013，5(5):1575－1582.

［3］ Chua K J，Chou S K，Yang W M，et al.Achieving better energyefficient air conditioning-A review of technologies and strategies［J］.Applied Energy，2013，104:87－104.

［4］ Wang Bing，Ruchikachorn P，Mueller K.SketchPadN-D:WYDIWYG sculpting and editing in high-dimensional space［J］.IEEE Transactions on Visualization and Computer Graphics，2013，19(12):2060－2069.

［5］ Zhang Zhaosheng，Yang Diange，Zhang Tao，et al.A study on the method for cleaning and repairing the probe vehicle data［J］.IEEE Transactions on Intelligent Transportation Systems，2013，14(1):419－427.

［6］ Wang Li，Xu Lida，Bi Zhuming，et al.Data cleaning for RFID and WSNs integration［J］.IEEE Transactions on Industrial Informatics，2014，10(1):408－418.

［7］ 劉 芳，何 飛.一種基于聚類樹的增量式數據清洗算法［J］.華中科技大學學報:自然科學版，2005，33(3):46－48.

［8］ 王 霞，玄麗娟，夏秀峰.基于時序關系的RFID 不確定數據清洗算法［J］.遼寧大學學報:自然科學版，2012，39(2):174－178.

［9］ 滕東興，曾志榮，楊海燕，等.一種面向關系型數據的可視質量分析方法［J］.軟件學報，2013，24(4):810－824.