環(huán)繞智能環(huán)境多模態(tài)數據融合技術研究*

何 堅,宋 玥,沈坤花,劉金偉

(1.北京工業(yè)大學軟件學院,北京 100124;2.北京工業(yè)大學信息中心,北京 100124)

?

環(huán)繞智能環(huán)境多模態(tài)數據融合技術研究*

何 堅1*,宋 玥1,沈坤花1,劉金偉2

(1.北京工業(yè)大學軟件學院,北京 100124;2.北京工業(yè)大學信息中心,北京 100124)

針對環(huán)繞智能環(huán)境中感知數據類型不同、格式多樣問題,設計了基于XML的數據表示方法。其次,提出數據級和決策級相結合的數據融合架構,解決了環(huán)繞智能環(huán)境數據存在的異質、弱關聯問題。最后,設計實現了基于加權自適應和模糊邏輯的數據融合算法,并應用于環(huán)繞智能環(huán)境監(jiān)測,實驗證明本技術可有效抑止傳感器精度差異及噪聲等因素導致的感知數據漂移問題,提高了系統(tǒng)決策的準確性。

環(huán)繞智能;數據融合;模糊邏輯;多模態(tài)

針對傳統(tǒng)計算模式以計算設備為中心、難以真正融入人們的工作和生活的問題,Mark Weiser提出了普適計算的思想,強調把計算機嵌入到生活、工作環(huán)境或日常工具中去,讓人們注意力的中心回歸到要完成的任務本身[1]。歐盟相應提出了環(huán)繞智能AmI(Ambient Intelligence)[2]的概念,強調“無所不在的計算”,“無所不在的通信”及“無所不在的接口”[3]。AmI系統(tǒng)以不同傳感器為紐帶,自動感知環(huán)境中溫度、濕度以及用戶的語音、手勢等多模態(tài)數據,并融合這些多模態(tài)數據為用戶提供個性化的服務[4]。由于AmI環(huán)境中數據類型不同、格式多種多樣,如何高效描述并融合其中的數據是AmI研究的一個重點問題。

本文在分析AmI環(huán)境數據特點基礎上,建立了基于XML的數據表示方法,提出了數據級和決策級[5]結合的AmI數據融合架構,設計了基于加權自適應[6]和模糊邏輯[7]的數據融合算法,并應用于AmI環(huán)境監(jiān)測。

1 AmI中多模態(tài)數據融合模型

與用戶通過鼠標、鍵盤等設備被動與計算機交互的傳統(tǒng)模式不同,AmI環(huán)境能自動感知用戶所處環(huán)境狀態(tài)和交互的數據[8]。針對AmI中數據的類型、格式不盡相同的問題,本文建立了基于XML的感知數據表示方法,并提出了相應數據融合架構。

1.1 AmI中感知數據表示

在AmI環(huán)境中,用戶通過移動手持設備(如智能手機等)及可穿戴計算設備(如活動感知背心等)同系統(tǒng)進行交互。同時,分布于AmI環(huán)境中的不同傳感器自動感知環(huán)境狀態(tài)(如環(huán)境的溫度、光線強度等)。因此,在AmI環(huán)境中存在著大量的數據感知設備,這些設備的類別、工作方式不盡相同,使得AmI環(huán)境中的數據具有與時空、設備等相關的多模態(tài)特性。例如,通過GPS感知的用戶位置信息包括時間、經度、緯度;而三軸加速度感知的數據包括設備ID、時間以及在X、Y、Z三軸向的加速度。為了適應AmI數據的多模態(tài)特征,確保數據在感知節(jié)點和不同Agent間高效傳輸和解析[9],本文設計了基于XML的感知數據表示方法,如圖1所示。

圖1 基于XML的感知數據表示

以下是可穿戴計算背心上陀螺儀傳感器感知的3軸角速度數據示例。

encoding="ISO-8859-1"?>

…

1.2 AmI中多模態(tài)數據融合架構

AmI環(huán)境中不同傳感器從物理空間獲得的原始數據具有異質、弱關聯等特性[10],需要進行預處理和數據級融合,以抑制傳感器精度差異及噪聲等導致的感知數據漂移問題。同時,需要通過模糊變換將數據級融合產生的多維數值結果轉換為自然語言符號描述的定性結果,即通過決策融合建立物理空間與信息空間的對偶關系[11],進而為用戶提供個性化服務。

本文設計了數據級和決策級相結合的AmI多模態(tài)數據融合架構,如圖2所示。

其中,數據級融合針對相同類別傳感器的數據融合。由于自適應加權算法能克服單傳感器的不確定性,且不需要傳感器測量數據的任何先驗知識。因此本文采用自適應加權算法實現數據融合,進而通過抑制感知數據的漂移和噪聲來提高系統(tǒng)精度。決策級融合需要針對不同類別傳感器數據的相關因素進行綜合考慮,以獲得識別結果和權重進而做出最后決策。對此,本文選取模糊綜合評判方法實現決策級數據級融合。通過對不同類別傳感器數據進行模糊變換,生成自然語言符號描述的定性結果,并依據AmI中的規(guī)則和策略做出全局最優(yōu)決策。

圖2 AmI環(huán)境中多模態(tài)數據融合架構

2 AmI中多模態(tài)數據融合算法

針對AmI環(huán)境數據存在異質、弱關聯的特征,本文采用基于自適應加權和模糊邏輯的數據融合算法。下面介紹相關算法。

2.1 基于自適應加權的數據級融合算法

AmI環(huán)境存在類型不同的傳感器,造成感知數據的類型、精度不盡相同。對此,本文采用自適應加權算法對感知數據的均方差、測量精度等融合,通過抑制感知數據的漂移和噪聲來提高系統(tǒng)精度。如圖3所示,設有n個傳感器對被測對象進行數據采樣,各傳感器感知數據的權值不盡相同,在總均方差最小這一最優(yōu)條件下,通過自適應調整每個傳感器的權值使得融合后的數據達到最優(yōu)。

圖3 多傳感器自適應加權數據融合模型

(1)

(2)

總均方差為:

(3)

因為X1,X2,…,Xn彼此獨立且為X的無偏估計,所以E[(X-Xi)(X-Xj)]=0(i≠j;i=1,2,…,n;j=1,2,…,n),故σ2可寫為:

(4)

從式(4)可以看出,總均方差σ2是關于各加權系數W1,W2,…,Wn的多元二次函數,因此σ2必然存在最小值。該最小值可由滿足式(2)的加權因子W1,W2,…,Wn求極值得到。依據拉格朗日定律,可計算出σ2取最小值時所對應的加權系數Wi為:

(5)

此時對應的最小均方差為:

(6)

當估計真值X為常量時,可通過各個傳感器歷史數據的均值來估計。其中,針對第i個傳感器的k次測量,其平均值為:

(7)

第i個傳感器的方差為:

(8)

此時的估計值為:

(9)

2.2 基于模糊邏輯的決策級融合算法

在AmI環(huán)境中,設V是m類傳感器的集合,即V=(v1,v2,…,vm);U是系統(tǒng)可能的n個決策,即U=(u1,u2,…,un)。對i類傳感器vi而言,對其決策結果歸一化后得到其對決策融合中心的輸入向量ri=(ri1,ri2,…,rin)。對?vi∈V,ri向量組成m×n決策矩陣R。

在決策級融合時,不同類傳感器的作用程度各不相同,因此每類傳感器的權重不盡相同,它是V上的模糊子集,即模糊向量子集A=(a1,a2,…,am),其中ai=μ(vi),i=(1,2,…,m),滿足:

(10)

在決策級融合中,傳感器權重向量A與決策矩陣R的合成結果為決策集上的模糊子集。即

(11)

在決策級融合的全局估計中,輸入為合成運算的結果B,采用最大隸屬度的方法最終確定全局估計A[12]。即

A∈F(ui),i=(1,2,…,n),ui∈U

(12)

若存在i0使得Ai0=max{A1,A1,…,An},則判定u∈Ai0。

3 系統(tǒng)實驗及結果分析

課題組以北京工業(yè)大學嵌入式計算研究所開發(fā)的環(huán)繞智能原型系統(tǒng)AmI-Space為基礎,采用ZigBee搭建了AmI環(huán)境監(jiān)測系統(tǒng)。分布于AmI環(huán)境中的多傳感器采集環(huán)境中的溫度、濕度、CO2數據,通過上述多模態(tài)數據融合技術計算室內環(huán)境綜合指數,并依據計算結果執(zhí)行相關策略活動。例如,啟動、關閉空調等。

3.1 環(huán)繞智能中環(huán)境監(jiān)測系統(tǒng)實現

圖4所示為基于ZigBee的AmI環(huán)境監(jiān)測拓撲結構。系統(tǒng)總體由負責數據采集、傳輸的感知部分和運行于服務器上的數據融合軟件構成。感知部分由集成了ZigBee的溫度、濕度、CO2數據采集節(jié)點,以及基于ZigBee的路由節(jié)點和數據網關構成;服務器端軟件實現基于自適應加權和模糊邏輯的數據融合算法。實驗中,溫度、濕度和CO2感知節(jié)點各包含3個節(jié)點,考慮到室內各區(qū)域空氣的物理參數(如溫度、濕度、污染物濃度等)分布均勻一致[13],因此本文將每種傳感器的3個節(jié)點均勻分布于AmI環(huán)境(分別部屬于近窗、近門和室內中心位置)。

圖4 基于ZigBee的AmI環(huán)境監(jiān)測拓撲圖

表1和表2所示為國家標準GB/T 18883—2002中部分室內環(huán)境質量評價指標建議值和相關等級標準[14]。

表1 我國部分室內環(huán)境質量評價指標建議值

表2 室內環(huán)境質量等級標準

3.2 實驗結果分析

表3所示為AmI環(huán)境中溫度、濕度和CO23類傳感器,共9個數據采集節(jié)點所采集的5組實驗數據。其中,溫度測量單位為℃,濕度測量單位為%RH,氣體測量單位為10-6。

表3 傳感器采集的溫度、濕度和CO2數據

表4 傳感器數據融合處理結果

表5為與表3相同時間點AmI環(huán)境數據的實際檢測值,以及數據融合值及平均值。由表5可知自適應加權融合數據值更接近于實際檢測值,說明該算法可減小數據測量的誤差和不穩(wěn)定性。

表5 室內環(huán)境數據對比表

此外,表4實驗結果表明測量精度高的傳感器具有高的加權系數,使得在硬件設計等因素不變情況下,提高了系統(tǒng)的檢測精度,為決策級融合提供更準確的數據。

本文采用幾何平均法作為AmI環(huán)境質量綜合指數的計算方法。具體方法為:

(13)

其中,I為室內環(huán)境質量綜合指數,xi為室內環(huán)境質量因素測量值,xmax為該因素允許的最大值。

以上述數據級融合數據為基礎,通過模糊變換并應用式(13)求得AmI環(huán)境質量綜合指數I等于0.95。對比表2的綜合指數,可知AmI環(huán)境等級為Ⅰ(很好);同時,將融合值25.17,49.368,722.043與表1對比,可知各檢測參數均不超標。

4 結論

針對AmI環(huán)境中感知數據類型不同、格式多樣等特征,本文在分析提煉AmI環(huán)境中數據特點的基礎上,設計了基于XML的數據表示方法。其次,針對AmI中感知數據具有異質、弱關聯的特性,提出了數據級和決策級相結合的數據融合構架,設計了基于加權自適應和模糊邏輯的數據融合算法,并應用于AmI環(huán)境監(jiān)測。實驗結果表明,本技術可有效抑止傳感器精度差異及噪聲等因素導致的感知數據漂移問題,提高系統(tǒng)決策的準確性。課題組下一階段將研究AmI中系統(tǒng)策略與服務的關聯技術,進而為用戶提供個性化的服務。

[1] Mark Weiser.The Computer for the Twenty First Century[J].Scientific American,1991,265(3):94-104.

[2]Ducatel K,Bogdanowicz M,Scapolo F,et al.Scenarios for Ambient Intelligence in 2010[EB/OL].[20 10-08-28].http://www.philips.co.kr/Assets/Download-ablefile/eur19763en-1505.pdf.

[3]van der Poel C,Pessolano F,Roovers R,et al.On Ambient Intelligence,Needful Things and Process Technologies[C]//Proceeding of the 30th European Conforence on Solid-State Circuits.Belgium:[s.n.].2004:3-10.

[4]何堅,李輝,張勇,等.環(huán)繞智能中基于投票權重的HMM人臉識別系統(tǒng)[J].北京工業(yè)大學學報,2009,35(增刊):44-49.

[5]黃漫國,樊尚春,鄭德智,等.多傳感器數據融合技術研究進展[J].傳感器與微電子,2010,29(3):5-8.

[6]廖惜春,丘敏,麥漢榮.基于參數估計的多傳感器數據融合算法研究[J].傳感技術學報,2007,20(1),193-197.

[7]張兆禮,孫圣和,王祁.多傳感器數據融合中基于模糊邏輯和神經網絡的傳感器管理[J].傳感器技術學報,2000,13(4):267-271.

[8]何堅,張勇,侯義斌,等.環(huán)繞智能系統(tǒng)結構設計及身份感知Agent實現[J].北京航空航天大學學報,2008,34(10):1163-1167.

[9]張會兵,侯義斌,黃樟欽,等.環(huán)繞智能環(huán)境下自適應服務選擇方法研究[J].小型微型計算機系統(tǒng),2011,32(8):1599-1603.

[10]劉濤.信息融合算法及其應用研究[D].南京:南京郵電大學,2013.

[11]徐光祐,陶霖密,史元春,等.普適計算模式下的人機交互[J].計算機學報,2007,30(7):1041-1053.

[12]張曉亮,羅文廣.多傳感器數據融合技術在室內環(huán)境品質監(jiān)控系統(tǒng)中的應用[J].儀表技術與傳感器,2012(2):103-105.

[13]Inard C,Bouia H,Dalicieux P.Prediction of Air Temperature Distribution in Buildings with a Zonal Model[J].Energy and Buildings,1996,24:125-132.

[14]沈晉明.室內空氣品質的評價[J].暖通空調,1997,27(4):22-25.

何堅(1969-),博士,北京工業(yè)大學副教授,主要研究領域為嵌入式系統(tǒng)、物聯網和軟件工程,Jianhee@bjut.edu.cn;

宋玥(1989-),北京工業(yè)大學碩士研究生,主要研究領域為嵌入式系統(tǒng)、多通道人機交互技術,shellingfordsy@hotmail.com。

TechnologyonMulti-ModalityDataFusioninAmbientIntelligence*

HEJian1*,SONGYue1,SHENKunhua1,LIUJinwei2

(1.School of Software Engineering,Beijing University of Technology,Beijing 100124,China;2.Information Center,Beijing University of Technology,Beijing 100124,China)

According to the type and format diversity of Ambient Intelligent(AmI)environmental data,a XML-based representation for AmI data is firstly designed.Meanwhile,an architecture combining the data level and decision level data fusion is proposed to solve the AmI data problems on heterogeneity and weak association.Finally,a data fusion algorithm based on weighted adaptive and fuzzy logic is designed,and applied to AmI environmental monitoring.The experiment shows that this technology can reduce the error of data measurement and instability,and improve the decision accuracy of the system.

ambient intelligence;data fusion;fuzzy logic;multi-modality

項目來源:國家自然科學基金項目(61040039,61201361);北京市自然科學基金項目(4102005,4122010);北京市教委科研計劃項目(KM201210005029)

2014-03-23修改日期:2014-06-11

10.3969/j.issn.1004-1699.2014.07.010

TP391

:A

:1004-1699(2014)07-0905-05