工業物聯網環境下隱式人機交互消息傳播方法

楊 林 李文鋒 段 瑩 羅 云 楊文超

武漢理工大學物流工程學院，武漢，430063

0 引言

制造需求正從大規模集成生產向小批量、定制化、大量服務協作化轉變。柔性制造、敏捷制造、cyber制造[1]、social制造[2]等各類制造模式的出現，加速了物聯網和信息物理系統技術在制造業的應用，構造了未來工業4.0生態：小型化、高度柔性生產者及各類服務資源組成的制造網絡[3]，智能聯網現場設備能獨立提供自服務、自感知、自配置的智能物體資源[4]，智能物體服務間彼此交互或通信來提高服務附加值，個性化的客戶需求預測與追蹤，“客戶即生產者”的參與式生產[5]等。工業4.0使得人、產品、機器和其他資源被作為信息和服務分享到整個企業生產系統和價值鏈。人既是數據和服務使用者也是提供者，信息和服務呈現以人為中心的特征。

以人為中心的物聯網技術將智能手機作為人與物聯網資源交互的接口，實現人與物理設備和信息空間(cyber)數據服務的隨時隨地交互[6]。人通過智能化的技術獲取周邊服務資源，周邊智能物體網絡根據人的行為特征提供前瞻性的服務[7]。人機交互模式由傳統的面向物理實體的顯式交互轉為面向服務的隱式交互[8-9]。一方面，這種面向服務的智能工業環境模糊了傳統的金字塔式的分層控制與感知[10]，制造過程中，人周邊的環境出現新特征：設備對設備(device-to-device, D2D)直接獲取現場設備物理數據，全局化點對點(peer-to-peer, P2P)通信的數據和服務訪問，數據在物理和信息空間進行交互，人機交互隱式化[11]；另一方面，移動設備是人隨身攜帶的物理計算設備，是實現高度動態的制造現場設備環境下人機交互普適性的硬件基礎。移動設備被應用到制造業全生命周期的各個環節，通過內置傳感器、可穿戴生產設備、駕駛或操作的車輛等感知人的行為，增強了人與周邊智能設備彼此交互的能力。隱式交互形式由人與設備接口或操作界面交互，拓展為智能手機設備與其他設備的交互。周邊環境的智能設備通過分析手機采集的數據來推理人的行為特征。面向帶人屬性的智能物體服務隱式交互在工業物聯網中的研究逐漸被重視。然而，人與工業物聯網環境的集成具有移動性、社會性等因素，這給智能物體間的交互帶來了新的挑戰。本文以移動性、非中性化的工業物聯網智能物體服務為研究對象，探索人與工業物聯網交互中的隱式社會關系及其交互信息傳遞性能。

1 隱式人機交互國內外研究現狀

國內，徐光等[12]研究了普適計算環境下基于覺察的動態的上下文感知的隱式交互，提出了物理信息系統“時空流”的信息交互形式，將傳統的基于固定設備和環境的人機交互擴展至隨時隨地的日常物品和環境接口間的交互。針對動態的環境上下文感知，王國建等[13]提出了動態環境下服務共享機制，實現視覺感知系統對隱式交互的支持。王巍等[14]總結了隱式人機交互的研究現狀，指出物聯網環境與普適計算下，移動設備傳感器感知與可穿戴體感網是隱式交互研究的關鍵技術。針對傳統WIMP(windows, icon, menu, point device)界面復雜人機交互難以適應的問題，馬翠霞等[15]研究了云制造環境下的隱式人機交互，通過筆畫操作智能終端與虛擬化、服務化制造資源交互，提高企業移動制造效率。這種面向設備或系統的隱式交互基于垂直、封閉的人周邊環境，數據來自人周邊范圍測量環境，信息來自特定應用的云端虛擬服務器集中查詢和分發。但是，人進入新的環境中，需要重新配置與周邊設備的連接、從其他企業或者云服務器獲取授權。針對面向非中心化企業層級的自治系統服務，張祖國[16]提出了社會化智能代理的制造體系架構，企業制造資源的動態組合無需開發新的軟件系統，支持人(自由職業者)與企業的制造分包服務動態耦合。上述研究為無所不在的普適性感知奠定了理論基礎。以人為中心的工業物聯網環境中，設備高度密集分布、隨時隨地服務本地直接交互的新特征，需要對隱式交互展開進一步探索。

國外，SCHMIDT[9]首次定義了隱式交互，基于XML對上下文感知建模進行了論證。人不需要直接操作機器，機器系統根據人的意圖提供服務。JAROSLAW等[17]針對傳感器-執行器上下文推斷不準的問題，提出智能物體主動提示機制，在人周邊提示可選提示或暗示，簡單交互做出選擇。在智能手機與智能物體隱式交互方面，STEFAN等[18]指出，智能手機與可穿戴設備的體感網結合是隱式交互的有效工具，并分析了當前移動隱式交互中的可穿戴設備。在物聯網隱式交互方面，GUIOU[19]探索了物聯網智能物體在沒有提示的情況下感知人的活動，作為橋梁連接不同的人之間的關系，并創建安全可信的新的人際連接，增強人的社會關系網絡連接。上述針對工業4.0中人與自組織智能物體交互的研究，為人機混雜環境下的隱式交互研究奠定了基礎。

2 智能設備的服務及社會化網絡建模

2.1 帶人屬性的智能設備服務描述

工業4.0中，網絡化制造資源由離散的自組織服務構成，客戶需求或定制生產任務通過一組服務交互的形式完成。在隱式交互范式下，人的移動性與個性化需求具有不確定性，導致服務組合與觸發具有機會性。考慮人的因素和機器社會化屬性，社會化智能物體服務以中間件的形式對外提供服務和交互。異構智能設備通過智能物體(smart object)技術抽象為服務中間件，單獨或者動態組合構建服務，滿足用戶請求[20]。社會化智能設備服務包含以下部分：自身獨立的服務(m-service)、社會化活動(social activities)、物理活動(physical activities)、設備對設備直接服務交互(device-to-device service aggregation)。智能物體服務m-service(mobile-、micro-、multiple-service, 移動式、微小、多模態服務)具有獨立的發現、自服務、自組織和自配置的功能，包含服務評價、匹配、帶人屬性的交互模型(people-centric interaction model)等。物理活動包含服務屬性、鏈表訪問、記錄及知識庫，記錄設備本地局部網絡物理連接鏈表及設備間依賴關系，在與其他智能物體交互的過程中進行更新，存儲在本地智能設備內存。社會化活動包含智能設備社會關系網絡連接、社會屬性的推理匹配。將人的屬性引入智能設備服務語義模型，考慮人在日常活動中動態的社會屬性與狀態改變的觸發因素，構建一種面向人屬性的智能物體服務模型：

(1)

其中，mServicei表示智能物體在第i種服務組合狀態下，具有屬性單元AttrUi、觸發單元TrigUi。觸發單元是服務組合狀態改變的驅動單元，作為驅動服務自組織、推理、篩選的參數。其中，Obj.Location為位置，Obj.Tim為時間，Obj.Soci為社會連接，Obj.LocLink為本地連接，Obj.Mov為移動，Obj.Orin為朝向，Obj.Env為環境。該服務語義描述模型為社會化智能物體動態創建服務組合與節點間社會關系的軟件實現方法。

2.2 工業物聯網智能設備社交網絡

機器社交網絡[21]與人攜帶的體感網交互過程中形成的關系表征為社會關系，它動態創建了智能物體的服務連接網絡與D2D通信的增強連接圖(social-D2D enhanced graph)。社會關系強度是智能設備之間消息轉發的傾向指標之一。工業物聯網環境中帶人社會屬性的制造資源社會關系示例見表1。

2.3 帶人移動特性的設備社會化網絡構建

圖1 帶人移動特性的D2D網絡交互消息擺渡與新社會關系構建Fig.1 Message ferrying of human mobility in D2D interaction network for implicit social relationship tie creating

借鑒文獻[22]中機會網絡節點相遇與概率模型，在社會化自組織生產網絡中，社會化設備節點對(pairs)的相遇或者內部連接分布服從長尾Weibull分布Xphy_meet，且D2D節點聯系間隔服從平均分布Xinner_meet[a,b]。基于D2D接觸間隔，節點ni和nj之間的接觸率記為

(2)

其中，E[·]為數學期望；Ii,j為節點對(pairs)接觸時長；Ti,j為接觸的間隔；γ為長尾分布冪律指數；tmin為設定的最短接觸時間；[a,b]為平均分布區間。因此，通過接觸率σi,j獲取移動用戶節點ni和nj的D2D設備對的連接概率。設某社團Cave的影響因子為Ic,c?C，其中，C是社團集合，體現了社團內設備相互連續接觸的頻繁度，可通過該社團節點的平均接觸率計算：

(3)

式中，Nc為社團c中節點的數量。

3 帶社會屬性的隱式人機交互消息傳播方法

3.1 隱式交互系統消息傳播方法

基于D2D社會化網絡，從人的需求信息傳播角度，隱式交互可分為兩個階段：人直接交互階段和社會化D2D(social-D2D)網絡交互階段，如圖2所示。在體感網的物理無線通信覆蓋范圍內，人直接參與周邊物理通信連接的智能物體節點交互；體感網物理通信覆蓋范圍外，第一階段的交互信息在社會化D2D(其他人與智能物體設備)網絡中進行迭代傳播。與已有的基于蜂窩基站的設備對設備病毒傳播擴散模型相比，信息傳播受三個方面的約束：帶人屬性的周邊設備選擇、受物理通信范圍限制的D2D連接、帶社會關系的自組織網絡。社會化D2D網絡內的消息迭代傳播模型是一種概率模型。建模過程可分為：帶人傾向的轉發與種子選擇、社會關系連接的轉發、D2D移動網絡連接的轉發。

圖2 帶人屬性的隱式交互信息傳播方法Fig.2 Message dissemination method for human-IoT implicit interactions under human attributes

3.2 帶人傾向的種子選擇

P(u,m,l,i)=P(m,l,i|u)P(u)

(4)

(5)

由于體感網或智能設備的計算資源受限，因此，對于給定的種子數量,當前節點的候選鄰居節點的選擇策略可視為周邊智能設備節點轉發傾向的概率排序問題。

3.3 設備社會化網絡的消息迭代轉發

通過社會化的自組織智能制造設備網絡，種子節點將客戶需求信息傳播給其他社會化D2D網絡節點。種子節點與其連接的鄰近智能物體節點交互，并將用戶需求消息進一步傳輸給其他制造節點，迭代傳播直至消息傳遞到目標節點。

定義1 對于交互系統中的一組社會化設備節點集合Nuser，Nuser之間的社會連接關系網絡可表示為帶權重的無向圖Gsoc，即

Gsoc=(N,E)vi∈V
E={(v1,v2),(v3,v4),…,(vi,vj)}

(6)

圖Gsoc的邊(vi,vj)記為ei,j={(i,j)|i,j∈Nuser},ei,j∈E,表示節點i、j的社會化連接,其權重wi,j∈W。

(7)

其中，P(k|i,j)表示消息k對節點i、j的轉發傾向，由式(5)計算。

4 方法性能評估

4.1 案例場景

以某企業汽車輪轂定制的隱式交互流程為例。商場C展銷的汽車輪轂是加裝智能硬件的智能物體，能通過無線射頻識別(RFID)技術定位智能手機，如NFC、Bluetooth、WiFi等技術。通過Device-free客戶追蹤技術能隱式獲取客戶停留位置、時間、往返次數，推算當前熱門產品。輪轂消費者D要求修改輪轂鋁材，訂購數量4個。商場銷售人員手機隱式獲取輪轂無線MAC地址或者RFID的ID，通過社交化制造業平臺(如Kenandy、海爾扁平制造平臺或云ERP)隱式向專屬制造企業A員工推送提醒。制造商A員工審閱后直接點擊同意并更新按鈕，發送至Cyber制造網絡。車間或者制造現場流水線B的工人E手機收到提醒，同時現場CNC機床隱式下載加工任務。現場加裝無線智能物體的鋁材，隱式地主動向周邊智能傳送帶/運輸設備或工人推送搬運提醒。

客戶使用手機與輪轂樣品直接交互，輪轂樣品根據所在的social-D2D網絡傳遞客戶需求信息，并將人的需求發布到工業物聯網節點，傳遞至目標生產設備。因此，定制化過程可定義為客戶需求信息在social-D2D網絡中傳播的問題。為簡化數值計算模型中的參數，對場景中的隱式交互系統環境作如下假設：①以人為中心的工業物聯網環境下，客戶興趣與需求總能被周邊智能物體感知。為了與已有消息傳遞方法中的基站到初始移動用戶的選擇階段匹配，將體感網覆蓋范圍內的設備初始選擇種子數量設置為常量。設置體感網的為人工選定的初始種子節點，在體感網范圍外迭代傳播中，轉發傾向設置為指定的概率Vij。②用戶興趣及訂單的制造需求信息由一組服務ID集合組成；需求信息可表示為社會網絡中的一組目標節點Mtar，設置為常量。③客戶需求與制造資源的匹配問題[24]總能得到滿足和響應，且交互信息的接收、存儲、轉發不影響制造資源當前的生產任務。文獻[25]已經證明Caveman模型非常接近社會網絡真實情況，節點在某時間窗內動態地產生社會關系連接完全連接子圖。使用Caveman社會關系模型，該場景中社會化設備節點和人的節點網絡能構造Caveman完全連接子圖。現場設備、物料、訂單、工人等資源是社會網絡的節點，這些帶人社會屬性的節點服務間的交互與人的社會網絡特征相似。④僅考慮服務消息的傳遞過程。不同制造設備的能力和工序的差異較大，模型暫不考慮服務執行時間。需求信息成功傳遞到集合中盡可能多的服務節點，即制造需求信息滿足制造服務集合。隱式定制化制造問題轉化為信息在以人為中心的物聯網中傳播的消息傳播問題。

4.2 評價指標

為了對所提工業物聯網人機交互模型進行性能評估，提出的如下2個分析評價指標：①消息傳播的平均完成率(average completion ratio，ACR)指所有物聯網制造資源節點收到消息的數量與客戶定制請求服務信息集合中總數的比。與文獻[26]中基于機會網絡社區的隨機傳播方法相比，social-D2D傳播方法考慮社會關系及人的傾向因素的種子選擇機制。②種子數量與消息傳遞能力(體感網的設備連接能力)。考慮體感網/手持智能設備及智能設備資源受限，與周邊群集智能設備直接連接數量(種子數量)影響交互體驗，使用數值計算方法探索在某一性能目標下的體感網連接數量，該指標是隱式交互宜人化的指標之一。

4.3 仿真結果分析

為了與文獻[27]中隨機傳播方案進行性能比較，本文隱式交互機制的性能評估仿真實驗參數設置見表2。基于Caveman模型構建輪轂制造資源節點網絡的社會關系圖，首先隨機選擇2個物聯網制造資源節點作為孤立節點，然后使用經典的社會網絡模型在剩下的88個節點中來產生一個社會關系。Caveman模型從獨立完全圖開始，通過一個節點以概率P指向另外一個節點，隨機構建內部連接。在重新連接節點的連線階段，在已有網絡中選擇一個完全圖，該圖的每個邊隨機重新連邊。為了更好地模擬真實場景，在已有社會化連接圖中隨機選擇一些節點，作為擺渡節點在固定的時間間隔內與其他節點相遇。單次仿真時間周期為600個時間窗(dissemination time slot)，實驗100次取平均值，得到平均完成率與時間窗口數量的關系。間隔30個時間窗取值進行采樣觀測，獲取離散的平均完成率數值。

表2 仿真環境設置及參數

social-D2D機制與隨機轉發(random)機制性能比較如圖3所示。在人攜帶的智能手機直接向周邊交互的智能制造資源種子數量為4的情況下，social-D2D交互機制在任意時間窗的平均信息完成率總體優于隨機轉發機制。social-D2D機制的平均完成率最大值趨于80%,隨機轉發機制的平均完成率最大值趨于73%。在第450個時間窗，隨機轉發機制達到極值，但social-D2D機制持續投遞消息，并在后30個時間窗左右達到極值。表明在相同的物理連接網絡環境和移動模型下，帶社會關系的social-D2D機制消息傳播完成率提高7%，增加了工業物聯網信息在網絡中的可達性。

圖3 不同消息傳播機制下的平均完成率Fig.3 Average completion rate under different message propagation mechanisms

體感網連接設備數量對消息傳播能力的影響如圖4所示。采用移動平均線進行趨勢分析，間隔為30個時間窗。設定初始種子數nseed分別為2、4、6、8，當種子數量為2時，在第210個時間窗抵達平均完成率上限，種子數量越大，抵達上限的時間越長。隨著種子數量從2增加至8，消息傳播平均完成率從40%增大到95%，說明隨著種子數量的增加，消息傳播的性能逐漸提升。種子數量遞增，消息傳播平均完成率增幅分別為40%、10%、5%，增幅逐漸減小。當種子數量大于8時，可供提升的最大空間僅為5%。由于種子節點數量代表體感網同時連接周邊物理設備的數量和計算能力，在設定用戶滿意度的條件下，持續增加連接能力與設備成本可找到平衡方案。仿真結果表明，在給定的消息平均傳輸率目標區間內，種子數量具有可預測性，因此，在用戶設定的滿意度下，數值計算結果可以對人的體感網設備的連接能力進行預測，為工業物聯網節點交互參數選取提供理論依據。

圖4 不同種子數量對消息傳播能力的影響Fig.4 Effects of different seed numbers on the ability of message dissemination

5 結語

本文分析了社會化制造環境下人與群集智能物體制造資源動態集成、隨時隨地高頻隱式交互的特點，針對移動設備能力受限與交互復雜性不匹配的矛盾，構建了面向社會化智能設備服務的人與智能物體隱式交互架構。考慮人的社會化因素，提出了人的交互信息在社會化設備對設備網絡中的傳播方法。通過一個輪轂制造的案例，描述本文隱式人機交互架構如何支持工業4.0應用。在不考慮物理位置部署細節的情況下，從概率模型的角度對social-D2D消息傳播方法進行數值計算。與傳統的機會接觸、隨機轉發的物聯網方案相比，以人為中心的工業物聯網隱式直接交互方法更加宜人：降低服務獲取的復雜度，在搜索階段與周邊的個別節點交互，而不會影響其他節點工作狀態。下一步將考慮帶人屬性智能設備通信網絡覆蓋范圍內與其他節點的物理距離、不同移動模型等因素對交互消息傳播的影響，使用Multi-Agent方法構建請求與服務的選擇模型與算法，進一步完善人機交互消息傳播方法。

[1] LEE J, BAGHERI B, JIN C. Introduction to Cyber Manufacturing[J]. Manufacturing Letters, 2016, 8: 11-15.

[2] JIANG Pingyu, DING Kai, LENG Jiewu. Towards a Cyber-physical-social-connected and Service-oriented Manufacturing Paradigm: Social Manufacturing[J]. Manufacturing Letters, 2016, 7: 15-21.

[3] YING Cheng, TAO Fei, XU Lida, et al. Advanced Manufacturing Systems: Supply-demand Matching of Manufacturing Resource Based on Complex Networks and Internet of Things[J]. Enterprise Information Systems, 2016,7:1-18.

[4] LEE J, BAGHERI B, KAO H A. A Cyber-physical Systems Architecture for Industry 4.0-based Manufacturing Systems[J]. Manufacturing Letters, 2015, 3: 18-23.

[5] MOURTZIS D, DOUKAS M. Design and Planning of Manufacturing Networks for Mass Customisation and Personalisation: Challenges and Outlook[J]. Procedia CIRP, 2014, 19: 1-13.

[6] MIRANDA J, MKITALO N, GARCIA-ALONSO J, et al. From the Internet of Things to the Internet of People[J]. IEEE Internet Computing, 2015, 19(2): 40-47.

[7] DELMASTRO F, VALERIO A,CONTI M. People-centric Computing and Communications in Smart Cities[J]. IEEE Communications Magazine, 2016, 54 (7): 122-128.

[8] KIETZMANN J. Interactive Innovation of Technology for Mobile Work[J]. European Journal of Information Systems, 2008, 17(3): 305-320.

[9] SCHMIDT A. Implicit Human Computer Interaction through Context[J]. Personal Technologies, 2000, 4(2/3): 191-199.

[10] ZüHLKE D, LISA O. Agile Automation Systems Based on Cyber-physical Systems and Service-oriented Architectures[J]. Advances in Automation and Robotics, 2011, 1: 567-574.

[11] BERGWEILER S. Intelligent Manufacturing Based on Self-monitoring Cyber-physical Systems[J]. UBICOMM, 2015,121.

[12] 徐光,陶霖密,史元春, 等. 普適計算模式下的人機交互[J]. 計算機學報,2007(7): 30.

XU Guang, TAO Linmi, SHI Yuanchun. Human Computer Interaction for Ubiquitous/Pervasive Computing Mode[J]. Chinese Journal of Computers, 2007, 30(7):1041-1053.

[13] 王國建, 陶霖密. 支持隱式人機交互的分布式視覺系統[J]. 中國圖象圖形學報, 2010, 15(8): 1133-1138.

WANG Guojian, TAO Linmi. Distributed Vision System for Implicit Human Computer Interaction[J]. Journal of Image & Graphics, 2010, 15(8): 1133-1138.

[14] 王巍, 黃曉丹, 趙繼軍,等. 隱式人機交互[J]. 信息與控制, 2014, 43(1): 101-109.

WANG Wei, HUANG Xiaodan, ZHAO Jijun, et al. Implicit Human-Computer Interaction[J]. Information & Control, 2014, 43(1): 101-109.

[15] 馬翠霞, 任磊, 滕東興,等. 云制造環境下的普適人機交互技術[J]. 計算機集成制造系統, 2011, 17(3):504-510.

MA Cuixia, REN Lei, TENG Dongxing, et al. Ubiquitous Human-Computer Interaction in Cloud Manufacturing[J]. Computer Integrated Manufacturing Systems, 2011, 17(3):504-510.

[16] 張祖國. 面向社會化協同的智能制造體系結構[J]. 計算機集成制造系統, 2016, 22(7):1779-1788.

ZHANG Zuguo. System Architecture for SNS-based Collaborative Intelligent Manufacturing[J]. Computer Integrated Manufacturing Systems, 2016, 22(7):1779-1788.

[17] JAROSLAW D, LALIS S, PRUZKOWSKI A, et al. Soft Actuation: Smart Home and Office with Human-in-the-loop[J]. IEEE Pervasive Computing, 2016, 15(1): 48-56.

[18] STEFAN S, OLSSON T, MAYER S, LAERHOVEN K V. Mobile Interactions Augmented by Wearable Computing: a Design Space and Vision[J]. International Journal of Mobile Human Computer Interaction, 2016, 8(4): 104-114.

[19] GUIOU K. The Ethical Impact of the Internet of Things in Social Relationships[J]. IEEE Consumer Electronics Magazine, 2016, 5(3): 85-89.

[20] YANG L, LI W, LUO Y,et al. A Social-D2D Architecture for People-centric Industrial Internet of Things[C]// International Conference on Networking, Sensing and Control. Calabria, 2017:744-749.

[21] PTICEK M, PODOBNIK V, JEZIC G. Beyond the Internet of Things: the Social Networking of Machines[J]. International Journal of Distributed Sensor Networks, 2016(4):1-15.

[22] ZHANG B, LI Y, JIN D, et al. Social-aware Peer Discovery for D2D Communications Underlaying Cellular Networks[J]. IEEE Transactions on Wireless Communications, 2015, 14(5):2426-2439.

[23] CHEN X, PROULX B, GONG X, et al. SocialTrust and Social Reciprocity Based Cooperative D2D Communications[C]//ACM MobiHoc.Bangalore, 2013: 187-196.

[24] YING, C, TAO F, XU L, et al. Advanced Manufacturing Systems: Supply-Demand Matching of Manufacturing Resource Based on Complex Networks and Internet of Things[J]. Enterprise Information Systems, 2016(5): 1-18.

[25] WATTS D J. Small Worlds: the Dynamics of Networks between Order and Randomness[M]. Princeton:Princeton University Press, 1999.

[26] KARAGIANNIS T, BOUDEC J Y L, VOJNOVIC M. Power Law and Exponential Decay of Intercontact Times between Mobile Devices[J]. IEEE Transactions on Mobile Computing, 2010, 9(10):1377-1390.

[27] CHUANG Y J, LIN C J. Cellular Traffic Offloading through Community-based Opportunistic Dissemination[C]//IEEE WCNC.Shanghai, 2012: 3188-3193.