一種以數據為中心的分布式系統自適應集成方法

陳 華,魏長寶,蔡 燕

(1.江西環境工程職業學院通信學院,江西 贛州 341000;2.黃淮學院信息工程學院,河南 駐馬店 463000)

一種以數據為中心的分布式系統自適應集成方法

陳 華1,魏長寶2*,蔡 燕1

(1.江西環境工程職業學院通信學院,江西 贛州 341000;2.黃淮學院信息工程學院,河南 駐馬店 463000)

為了減少分布式系統本身的緊耦合特性,達到系統獨立開發、增量開發的目的,提出了一種以數據為中心的分布式系統自適應集成方法。該方法采用在網絡中間件中添加協商模塊實現了通信合約的自適應締結。采用該方法開發的軟件,將3個獨立的應用快速、高效地集成為一個溫度推送分布式系統,并滿足了通信質量要求。這充分說明以數據為中心分布式集成方法可降低系統復雜度,達到分布式系統的快速、高效的集成。

計算機;分布式系統集成;自適應;耦合度

隨著網絡技術以及各計算平臺的廣泛應用和飛速發展,對分布式系統的要求也越來越嚴格,需其滿足大規模、動態改變以及分散控制等要求。因而,這就要求系統以及各參與者間,需采用一種較為靈活的、具備動態性和松散耦合性的通信模型和交互機制。與傳統的通信模型相比,發布-訂閱(Pub/Sub)通信模型能實現參與通信者時間和空間上的完全解耦,具備異步、多點通信等優點,較好地解決了目前分布式系統中存在的緊耦合問題。

然而隨著計算環境的不斷更新、變化,發布-訂閱系統中仍有一些核心問題亟待解決。目前,以數據為中心的分布式系統集成方法的提出為實現實時分布式系統的集成提供了較好的解決方案。這種以數據為中心的發布-訂閱通信模型(DCPS),具有使數據耦合松散化,多點通信等優點。但該機制需通過優先指定QoS策略才能保證通信服務的質量,提高了系統的復雜度,對實現達到動態、自適應、快速集成的系統提供了阻礙[1-3]。

針對以上不足,本文提出一種以數據為中心的分布式系統自適應集成方法,在這種方法中數據生產者以及消費者將分別以通信質量約束方和需求方的角色,以Pub/Sub的通信模型和中心節點為基礎,實現了自動配置通信質量策略的能力并降低了系統的緊耦合性。實驗表明通過這種自適應的集成方法,能達到降低分布式系統耦合性,提高通信質量的目的。

1 分布式系統內在緊耦合性成因分析

分布式系統被稱之為一個集成的“系統組成的系統”,即由多個獨立系統集成在一起的一個大系統。能跨平臺和多個系統間集成數據,具備支持動態變化的環境和配置,可靠性強,安全性高等特點[4-5]。

盡管分布式系統具有如此多的優點,但由于其內部各系統間的獨立性,對于較為復雜的分布式系統來說,很難使其存在于統一的系統架構中。因而,各業務模塊間也構成了相互耦合的復雜網絡關系,系統越復雜,其耦合性也越強,表現為系統內部的緊耦合特性。其內在的緊耦合特性如圖1所示,不同的數字代表各個不同的獨立系統,不僅獨立系統間存在差異性,而且網絡間的關系也較為復雜,兩種作用使得集成的復雜度大大提高。

圖1 分布式系統的內在緊耦合關系

為降低分布式系統內在的緊耦合性,提出了以下兩點解決方案,使耦合松散化[6]:一方面可通過降低各獨立系統間的差異性來降低集成復雜度;另一方面可在系統中加入中心信息節點來降低耦合,具體方法措施如下。

1.1 通過屏蔽子系統差異性降低耦合

在圖1中,不同的數字代表不同的獨立系統,這些獨立系統間存在著較大的差異,如:語言、數據、平臺以及協議等方面的差異,這寫差異性的存在不可避免地增加了系統的集成復雜性。因此,屏蔽差異性,降低復雜度,則成了以后研究工作的重點,通常可采用技術方法來屏蔽這種差異性,降低系統接口間的耦合性。如今,該技術應用的較為廣泛,如現在主流的異構跨平臺通信組件Apache Thrift基于TCP/IP協議實現了與多語言之間的通信;C++等編程語言實現了可移植跨平臺通信等。另外,屏蔽差異性還可以通過添加中間件的方法,如分布式對象技術、遠程調用過程技術,以及實時CORBA對象技術等[7]。為了減小各系統間的差異性,以達到降低集成復雜度的目的,通過在各系統外添加一個標準化的規程來屏蔽這種差異性,具體方法可形象的表示如圖2所示。

圖2 屏蔽了差異性的耦合關系

但采用該種方法的缺點是,這是一種面向對象模型,數據庫存儲對象以對象為單位,以點對點的方式進行通信,通信的實現必須通過優先獲取對方的網絡地址才能完成聯系,在減小系統的集成網絡復雜度、降低耦合方面并沒有起到多大作用。

1.2 添加中心節點降低網絡復雜度

以屏蔽子系統差異性降低耦合度的方法為基礎,提出了添加數據總線作為中心節點的方法,具體過程如圖3所示。在C/S通信模式下,被屏蔽了差異性的子系統,將數據信息發送到數據總線后再通過總線發送給各獨立系統。采用這種方法,各子系統間避免了多方傳遞的這種復雜聯系,而變成圖3所示的單線聯系,即系統集成復雜度從O(n2)變到了O(n)。然而,采用這種方法的弊端是,所有的數據都集中到了數據總線上,容易造成總線負載過大,進而使系統因超負荷而導致數據失效等問題[8-9]。

圖3 加入中心節點的耦合關系

1.3 基于發布-訂閱通信模型的系統集成方法

為了進一步彌補以上兩種方法的不足,又出現了一種發布-訂閱(Pub/Sub)式的通信的模型。(Pub/Sub)模型定義了一種一對多的依賴關系,讓多個訂閱者對象同時收到某個主題對象。且一旦這個主題對象在本身發生改變時,即會通知所有訂閱者,使它們也能夠實時更新自己的狀態。該模型的優點是,采用資源共享的方式,將數據生產者以及消費者分別配以通信質量約束方和需求方的角色。以Pub/Sub的通信模型和中心節點為基礎,實現了自動配置通信質量策略的能力并降低了系統的緊耦合性。其具體模型如如圖4所示。

圖4 發布-訂閱通信模式下的耦合關系

該模型與上面加入中心節點最大的不同就是,數據間的聯系可在各個子系統間發生通信聯系,而不是將中心信息節點作為唯一的數據中轉地,從而大大減小了中心節點的負荷,有效解決了因負載太大而導致數據失效的問題。

盡管如此,該方法還是具有一定的局限性,以DDS為標準的相關技術為例,為了實現數據的實時共享、確保通信質量的目的,DDS將通過Qos策略來實現數據信息在發布者以及訂閱者之間的匹配,這種模式相當于在各個子系統間建立了一個統一的合約,只有滿足這個合約才能進行下一步通信。而這種優先指定Qos的策略,無不避免地增加了系統的復雜度,對提高通信質量是不利的。為了解決該方法的弊端,降低因Qos策略而引起的高復雜度,本文提出了以數據為中心的自適應集成方法,該方法通過引入協商機制以自適應締結通信合約,從而取消了QoS策略的事先約定過程。

2 以數據為中心的分布式系統自適應集成方法

系統集成的最終目的就是使資源達到充分共享,實現集中、高效、便利的管理,并使得事件按規定的協議發展。為了達到這個目的,則必須降低系統的復雜度,較少數據的冗余。

分布式集成的復雜性來源于多個方面,如:通信開始前首先要約定通信內容,然后需要確定聯系雙方的通信IP地址,最后還要確保雙方通信的質量,確保通信的實時性、真實性以及有效性。然而,對于通信雙方的內容以及通信地址這些信息,數據發送方在多對多通信模式下是無法獲取的。因而,為能自動獲取通信雙方的地址、節點信息以及策略信息等,則要建立一種特定的機制,以彌補元數據只包含通信雙方內容信息的缺陷。這種特定機制則可通過DDS實現,DDS作為一種數據分發服務,其能結合(Pub/Sub)通信模型,依靠中心信息節點,在網絡中加入協商模塊,進而使得通信服務質量能自適應地進行配置。通過這種方法后,自動獲取通信雙方的地址、節點信息以及策略信息等就變得很容易了。下面將對此方法構建的通信模型以及通信傳遞過程進行詳細地介紹。

小意：沒人能讓你墮落，除非你先放棄自己，所以，不必勉強自己融入別人的圈子，做你自己就好。上了大專不意味著停止進步，希望你學精技術的同

2.1 總體架構

為了達到降低系統復雜度、較少集成耦合的目的,將在元數據中限定各子系統間的接口。在協商模塊中,通信發布方與訂閱方可自適應獲取通信合約。以數據為中心的分布式系統集成總體架構圖如圖5所示。

圖5 總體架構

這種以數據為中心的分布式系統集成主要由應用層、傳輸層以及核心部分中間層這3部分組成。3個部分各司其職,在整個系統中都占據著不可替代的位置。各部分的主要功能如下:

應用層顧名思義就是指應用程序層,該層中每個應用程序都是獨立的,而每當它們要進行相互交互必須要首先約定元數據信息。以數據為中心的分布式系統集成規定在應用層必須且僅能約定元數據信息。

傳輸層雖不涉及業務協議與邏輯方面,但它是OSI中最重要、最關鍵的一層,也是唯一負責總體的數據傳輸和數據控制的一層,提供端到端的交換數據的機制。通信合約信息的完整、準確是順利完成傳輸的必備條件,通信合約中必須包含發送雙方的地址、通信策略以及協議內容等。

中間層是以數據為中心的分布式系統集成架構中重要的基礎實施,也是面向數據思想的集中體現。中間層處于應用層和傳輸層的中間部位,起到了中轉的作用。其作用顯而易見,可將應用層中約定的元數據信息,通過中間層的作用轉化為傳輸層中通信合約信息。另外,一些數據信息的傳遞也可通過中間層得以實現。中間件能提供一種形式化定義元數據包括數據模型和服務質量的機制;能滿足數據流的傳輸需求,并動態地定義和配置數據流,具有較為強大的功能。

根據創建的總體架構模型,將按圖6所示需要完成以下工作:元數據約定、通信前握手和樣本數據傳輸。從用戶的角度來看,元數據的約定是用戶進行系統集成唯一要做的,從而最大化的弱化了接口,減輕了集成耦合性。

圖6 集成步驟

然而,在應用層方面由于應用程序在約定信息時,可能不具備完整性,因此,要想取得樣本數據交互的完備信息,系統在進行通信之前首先要通過中間層的中間件和中心節點進行握手取得。具體流程和握手階段的信息,可參見下一節。

2.2 握手階段的信息模型及其傳遞

中間層通信前握手的目的是為了將應用層的元數據信息轉化為傳輸層的通信合約信息,該握手階段的信息模型主要涉及到以下模型:

元數據信息模型(MetaData Information Model)主要由元數據(MetaData)以及主題(Topic)兩部分組成。其中,元數據與主題間是彼此相互對應的關系,元數據是信息模型的主要內容,主題是為了清晰地標出主要內容。主題也包含兩個部分,分別為元數據類型(MetaData Type,縮寫為 MDType),元數據大小(MetaData Size,縮寫為MDSize)。標識出元數據的類型和大小的目的是為了完成元數據信息序列化和反序列化。

在元數據信息模型中,我們需將主題從中傳遞出來到達中間件。因此,就需要數據生產者在中間層部分將信息注冊發布出來。發布注冊信息模型(Pub Information Model)主要由4部分組成,分別為:主題信息(Topic)、發布方關鍵信息(Key)、生產者節點信息(PubNodelInfo)、通信質量約束信息(CommCons)。其中,關鍵信息(Key)的作用是為了在同時存在多個相同話題時,能將它們通過標識清晰地區別開來。

訂閱注冊信息模型(Sub Information Model)也主要由4部分組成,分別為:主題信息(Topic)、發布方關鍵信息(Key)、消費者節點信息(SubNodelInfo)、訂閱方通信需求信息(CommReq)。訂閱模塊與發布模塊組成部分,大致相同,但需要注意的是,在訂閱模塊,發布方的關鍵信息,不是強制要求的,可選擇訂閱。一旦指定了關鍵信息,則可訂閱該Key信息下的所有發布信息,若不指定則可選擇訂閱該Key信息下的發布信息。

中心節點信息指定的內容主要為數據生成方的網絡地址和端口信息兩部分。在中心節點處會對發布以及訂閱模塊中的注冊信息進行集中注冊。該部位的功能主要為:對所有的注冊信息進行記錄和監聽,并對所有具有類似主題信息的發布方以及訂閱方注冊信息進行匹配集合。當集合完成后,繼續將該信息發送到中間層,中間層的協商模塊會對信息進行處理并轉化為傳輸層所需的通信合約信息。至此,通信握手完成。

綜上可得,元數據在通信過程中起到了連接紐帶的作用,中間層幾乎完成了所有的細節封裝,充分體現了以數據為中心的分布式系統的集成。

2.3 基于協商機制的通信合約自適應締結

所謂以數據為中心的分布式系統集成,就是數據生產者向數據消費者發送數據時,能智能區分開各個數據消費者的需求并發送相應的數據。與傳統通過傳輸數據的方法不同,該方法通過將原先在系統集成之前完成的QoS策略延緩到中間件中執行,大大降低了系統的耦合度,通信合約締結序列圖如圖7所示。

圖7 通信合約締結序列圖

在通信過程中,數據生產者負責生產數據,數據生產的能力可由通信約束信息衡量,通信約束信息即通信合約締結過程中的一種表現形式,數據生產能力主要包括生產數據的速率以及最大生產量。數據消費者要從大量的數據生產者生產的數據中找到所需求的信息,就需要通過比較數據的可靠性、數據的關鍵性等找到通信需求信息。數據生產者的通信約束信息和數據消費者的通信需求信息,都要經過中心節點傳到數據生產者處,然后再由協商模塊中的協商算法算出它們的通信合約,整個流程即為圖7所示的通信合約締結序列圖。

然而,在上面的流程中,由數據生產者生產的數據是無法確定的,因此通信約束信息也是變化的,要想動態獲取數據生產者的約束信息,可采用協商模塊作為數據生產者中間件的一部分。

通信合約信息模型主要由5部分組成,分別為:通信合約信息(Agreement)、主題(Topic)、發布方節點信息(PubNodeInfo)、訂閱方節點信息(SubNodeInfo)、通信協議信息(CommProtocol)、通信策略信息(CommmTacics)。其中,CommProtocol指定了所使用的網絡通信協議,CommmTacics指定了一些控制服務質量的關鍵信息。這兩種信息均需要由協商模塊通過協商算法獲得,系統可對協商算法進行制定,并通過相應軟件得以實現。而其他的Agreement、Topic、PubNodeInfo模塊信息可由中心節點平臺匹配取得。

3 驗證

本文通過以上思路,設計了包含多種模塊的軟件,其中含有:中心節點服務程序、中間件軟件模塊、協商算法庫以及可插入的傳輸軟件模塊。除此之外,該軟件還實現了跨平臺服務,例如:采用TCP/IP協議的數據通信服務,采用標準C++編輯語言的軟件開發服務,以及采取OMG IDL語言來約定元數據,借以解除開發語言差異性的問題。接下來將以一個具體實例,來驗證此方法的可靠性。

數據首先通過溫度傳感器可感應到外界溫度的實時變化情況,其感應效率很高,可達到800次/s。其次,再通過電腦PC端將溫度傳感器感應到的數據實時記錄下來,其記錄的的頻率也較高,每秒可記錄100次,且每當溫度的變化超過設定范圍時,則會激發它的提醒模式。最后,這些記錄的數據將直接反饋到移動手機客戶端,反饋頻率較前兩個應用略低,但依然可達到10次/s。基于這3種應用的特點,我們嘗試使用圖8所示的部署方法將這3個獨立的子系統集成到一起,實現一體化的流程。圖8采用的即是以數據為中心的分布式集成方法。

圖8 溫度推送分布式系統部署圖

根據圖8所示的溫度推送分布式系統部署圖,將移動端、PC端、溫度傳感器這3個應用分別進行相互的交互,圖9為在規定的一段時間內,溫度傳感器產生的數據、溫度實時記錄系統記錄的數據以及溫度報告應用記錄的數據。

圖9 應用生產和消費的數據

從圖9中可看到,3種應用在相同時間時記錄的溫度幾乎相同,記錄的頻率也與之前設置的一致。因此,我們可得出只需要約定好應用之間的元數據接口并根據以數據為中心的分布式系統自適應集成方法,即可自適應的完成通信合約間的締結,達到了降低系統集成復雜度、較少耦合的目的,也為分布式系統集成提供了一種新的思路。

4 結語

綜上,為了減少分布式系統本身的緊耦合特性,達到系統獨立開發、增量開發的目的,重點要使得系統間的接口信息最小化以及動態化。因此,本文提出了以數據為中心的分布式系統集成方法,基于該方法,提出通信服務信息應在中間層中完成而不是應用層,這樣就使得通信服務質量信息能在中間件中自適應獲取,達到減小耦合的目的。最后,以應用生產和消費產生數據的實例,說明了該方法的快速、有效性,并能降低系統的耦合度。為以后設計以數據為中心分布式系統提供了一種新的方法。

[1] 汪洋,王振宇. 一個支持QoS的實時CORBA中間件ORB的結構模型[J]. 計算機科學,2002,29(4):38-40.

[2] 王海濤,宋麗華,張學平,等. 面向無線自組網的交疊分簇網絡結構及性能分析[J]. 軟件學報,2012,40(10):81-84.

[3] 田祎. 分布式計算機網絡結構的可靠性與運行模式分析[J]. 計算機學報,2014(35):90-91.

[3] 張亞珍. 分布式計算機網絡結構的優化措施研究[J]. 系統仿真學報,2015(21):18-19.

[4] 高俊,熊淑云. 分布處理計算機系統研究[J]. 東南大學學報(自然科學版),2016(3):81-82.

[5] 熊淑云,高俊. 計算機技術在通訊中的應用研究[J]. 數字技術與應用,2015(6):118.

[6] 劉亞霄. 松散耦合的分布式信息系統的研究與實現[J]. 清華大學學報(自然科學版),2012(8):18-25.

[7] 周建華,支曉繁,鐘亦平. 無線傳感器網絡的通信能量有效性的研究[J]. 傳感技術學報,2016,29(1):37-41.

[8] 秦忠國,姜弘道. 靜態負載平衡問題的表示與算法[J]. 計算機科學,2013,25(2):95-97.

[9] 蔡皓,馮仁劍,萬江文. 具有多種通信方式的無線傳感器網絡網關[J]. 傳感技術學報,2012,25(1):169-172.

ResearchonData-CenteredSelf-AdaptiveArchitectureforDistributedSystemIntegration

CHENHua1,WEIChangbao2*,CAIYan1

(1.School of Communication,Jiangxi Environmental Engineering Vocational College,Ganzhou Jiangxi 341000,China;2.School of Information Engineering,Huanghuai University,Zhumadian He’nan 463000,China)

In order to reduce the tight coupling character of the distributed system and achieve the goal of system independently developed and incremental development of system,an adaptive integration method of the distributed data-centric system has been proposed. The negotiation module is added in the network middleware and the communication agreement of adaptive conclusion is realized. The software was developed by this method. In the software,three separate applications was integrated to a distributed system of temperature push quickly and efficiently. The data-centric distributed integration method can reduce the complexity of the system and achieve rapid and efficient integration of distributed systems.

computer;distribute enterprise information system;adaptive;the coupling

10.3969/j.issn.1005-9490.2017.06.031

2016-10-12修改日期2017-04-17

TP393.0

A

1005-9490(2017)06-1490-06

陳華(1982-),男,江西贛州人,漢族,碩士,講師,江西環境工程職業學院通信學院,從事計算機應用和網絡研究;

魏長寶(1972-),男,河南駐馬店人,漢族,碩士,副教授,研究方向為數據應用與信息處理技術等;

蔡燕(1983-),女,江西贛州人,漢族,碩士,講師,江西環境工程職業學院通信學院。