數(shù)據(jù)代理同步方法解決礦山舊業(yè)務(wù)系統(tǒng)集成問題

馮治東 李雄懷 盧留偉(.榆林學(xué)院信息工程學(xué)院,陜西 榆林 79000；.中國神華神東煤炭集團公司信息中心,陜西 榆林 79000；.洛陽欒川鉬業(yè)集團礦山公司，洛陽 欒川 47500)

礦山信息化建設(shè)往往面臨著這樣一個較為現(xiàn)實的問題：目標企業(yè)的信息化現(xiàn)狀如何？從縱向上看，是否已有穩(wěn)定運行的傳感系統(tǒng)、控制系統(tǒng)、生產(chǎn)執(zhí)行系統(tǒng)、經(jīng)營管理系統(tǒng)和決策支持系統(tǒng)；從橫向看，是否已有一些安全管理系統(tǒng)、采掘控制系統(tǒng)、物料運輸系統(tǒng)、機電管理系統(tǒng)、通風解算系統(tǒng)、人員定位系統(tǒng)和人力資源系統(tǒng)等[1-3]。理想的情況是，該企業(yè)為新建企業(yè)，信息化建設(shè)人員可以從零開始規(guī)劃、設(shè)計系統(tǒng)集成方案，如以SOA架構(gòu)思路或以《GBT 26335—2010 工業(yè)企業(yè)信息化集成系統(tǒng)規(guī)范》[4]等標準進行規(guī)劃，后續(xù)新進系統(tǒng)嚴格按照已有規(guī)范開發(fā)部署，這種信息化架構(gòu)合理，思路明確，成功的可能性較大，是大多研究學(xué)者的主攻方向。然而，據(jù)不完全統(tǒng)計，目前為止，這類“零起點”礦山企業(yè)不足我國礦山企業(yè)總數(shù)的5%，大多礦山企業(yè)已耗費了大量的人力物力引進了一些并未遵循規(guī)范的“老系統(tǒng)”[5]，丟棄這些系統(tǒng)浪費損失嚴重，而改版這些系統(tǒng)又成本代價巨大。

據(jù)此，筆者長期以來思考這樣一個問題：如何以最小的代價，最高效地集成已有系統(tǒng)。本研究從數(shù)據(jù)角度出發(fā)，提出“數(shù)據(jù)的單流入多分發(fā)”是老業(yè)務(wù)系統(tǒng)間集成的基本目標和原則，并在分析傳統(tǒng)“流入分發(fā)”方法及新一代工業(yè)企業(yè)數(shù)據(jù)集成框架基礎(chǔ)上[6-9]，提出了“數(shù)據(jù)代理模型”解決礦山老業(yè)務(wù)系統(tǒng)間的集成問題，該方法無需改動原有系統(tǒng),原理簡單，成本較低，且能夠降低系統(tǒng)間耦合度，可作為同行研究人員的有效參考依據(jù)。

1 多業(yè)務(wù)系統(tǒng)集成的基本思路

認為“數(shù)據(jù)集成”是系統(tǒng)集成的關(guān)鍵內(nèi)容之一，重點討論多業(yè)務(wù)系統(tǒng)間的數(shù)據(jù)集成問題。系統(tǒng)間的數(shù)據(jù)集成問題的關(guān)鍵是在不新增原有系統(tǒng)功能的前提下，保證多業(yè)務(wù)系統(tǒng)的數(shù)據(jù)一致性，如同一員工的ID、姓名、崗位等信息在ERP、辦公系統(tǒng)和生產(chǎn)執(zhí)行系統(tǒng)等平臺中需要保持高度一致。

為此提出使用“單輸入多分發(fā)”方法：

(1)只保留一個信息輸入點，屏蔽其他輸入接口。通常情況下，舊的業(yè)務(wù)系統(tǒng)中的同一數(shù)據(jù)需要重復(fù)錄入多次，不僅使得工作繁雜，且可能造成數(shù)據(jù)不一致。可以找出其中的一個業(yè)務(wù)系統(tǒng)為主輸入系統(tǒng)，屏蔽其他業(yè)務(wù)系統(tǒng)的輸入模塊，如可以將人資管理系統(tǒng)作為人員信息的主輸入系統(tǒng)，屏蔽掉請銷假系統(tǒng)、入井登記系統(tǒng)、人員定位系統(tǒng)等其他子系統(tǒng)的人員錄入接口(可以借助制度或適當?shù)募夹g(shù)手段實現(xiàn))。

(2)以保留下的主輸入點所在的數(shù)據(jù)庫為源點，以“屏蔽掉”的其他子系統(tǒng)數(shù)據(jù)庫為目標點，將數(shù)據(jù)進行分發(fā)，實現(xiàn)主數(shù)據(jù)庫和目標數(shù)據(jù)庫的同步共享。

歸類輸入點和分發(fā)點需要具有一定的技巧性，建議根據(jù)業(yè)務(wù)系統(tǒng)的主業(yè)務(wù)進行。

2 傳統(tǒng)數(shù)據(jù)集成方法

數(shù)據(jù)交叉訪問模型是廣泛應(yīng)用的數(shù)據(jù)集成模型。該模型如圖1所示，子系統(tǒng)1、子系統(tǒng)2和子系統(tǒng)3為3個較為獨立業(yè)務(wù)子系統(tǒng)，其各自的主數(shù)據(jù)庫分別為db1、db2和db3。應(yīng)用程序除了直接訪問自身數(shù)據(jù)庫外同時按照各自所需訪問著其他數(shù)據(jù)庫。

圖1 多數(shù)據(jù)源交叉訪問模型Fig.1 Multi-data source cross-access model

數(shù)據(jù)交叉訪問模型實現(xiàn)了數(shù)據(jù)的高度共享，保證了數(shù)據(jù)的實時性，但由于部分數(shù)據(jù)庫被頻繁查詢，使得數(shù)據(jù)訪問效率低下，同時各系統(tǒng)之間交叉訪問使得整個系統(tǒng)的耦合度增加，給擴展升級帶來較大的困難。因此，人們通常情況下在各子數(shù)據(jù)庫中新增所需數(shù)據(jù)表，并借助同步軟件工具實現(xiàn)數(shù)據(jù)庫表的同步，使其中數(shù)據(jù)與源數(shù)據(jù)庫數(shù)據(jù)保持一致，避免了各子系統(tǒng)間的直接訪問，相對地降低了系統(tǒng)耦合度，稱為“數(shù)據(jù)庫同步式共享模型”，如圖2所示。

圖2 數(shù)據(jù)庫同步式共享模型Fig.2 Database synchronization sharing model

該模型中的“同步”主要指源數(shù)據(jù)庫(或表)到目標數(shù)據(jù)庫(或表)的同步，前者是數(shù)據(jù)的生產(chǎn)者，后者是前者的拷貝，是數(shù)據(jù)的消費者。例如員工“職責”信息，其“源”通常是人力資源或ERP數(shù)據(jù)庫，而其“目標”通常是考勤系統(tǒng)、定位系統(tǒng)和安全管理系統(tǒng)數(shù)據(jù)庫等。

工業(yè)互聯(lián)網(wǎng)的關(guān)鍵是“互聯(lián)”[10]，而互聯(lián)的關(guān)鍵是數(shù)據(jù)共享和同步，解決數(shù)據(jù)同步問題重點從以下3個方面考慮。

(1)實時性：要求源數(shù)據(jù)庫的數(shù)據(jù)改變時，目標數(shù)據(jù)庫同步的越快越好。

(2)耦合度：系統(tǒng)之間的鏈接越少越好，數(shù)據(jù)量的傳遞越少越好，輔助性變量和載體越少越好，同時盡量不改變原來的數(shù)據(jù)庫結(jié)構(gòu)，使得同步后的應(yīng)用程序能夠正常運行。

(3)資源消耗程度：盡量降低數(shù)據(jù)庫中表的訪問頻率，不過多地增加表或部署額外服務(wù)器。

傳統(tǒng)的數(shù)據(jù)同步主要有2種[11-13]：①觸發(fā)式同步；②輪詢查詢式同步。觸發(fā)式同步是通過在源數(shù)據(jù)庫添加觸發(fā)器，當數(shù)據(jù)發(fā)生改變時，自動觸發(fā)存儲過程或程序進程將變化的信息反映到目標數(shù)據(jù)庫，這種方法及時性高，但需要改動源數(shù)據(jù)庫結(jié)構(gòu)模式，導(dǎo)致耦合度較大，于是工程師們傾向于實時性讓步于耦合性的“比對數(shù)據(jù)同步”方法，其基本思想如圖3所示，使用獨立進程定時輪詢比對源和目標數(shù)據(jù)記錄，當兩邊記錄相異時，便將變化的源數(shù)據(jù)同步更新到目標數(shù)據(jù)庫中。由于數(shù)據(jù)庫結(jié)構(gòu)不做改變，且由單獨進程實現(xiàn)數(shù)據(jù)的跟進，系統(tǒng)間的耦合度較低。

圖3 傳統(tǒng)數(shù)據(jù)同步模型Fig.3 Traditional data synchronization model

然而，由于每個目標數(shù)據(jù)庫都需要根據(jù)自身業(yè)務(wù)需求建立同步軟件進程實現(xiàn)數(shù)據(jù)集成，導(dǎo)致數(shù)據(jù)庫中的同一張表被多個軟件進程同時訪問，隨著目標數(shù)據(jù)庫及其業(yè)務(wù)量的增多，資源消耗線性增長，導(dǎo)致原有系統(tǒng)癱瘓甚至奔潰。為解決此問題，本研究提出基于數(shù)據(jù)代理的數(shù)據(jù)集成方案。

3 基于數(shù)據(jù)代理的數(shù)據(jù)集成方法

定義1：基于數(shù)據(jù)代理的數(shù)據(jù)共享模型。使用代理進程實時監(jiān)測各源數(shù)據(jù)庫，當數(shù)據(jù)變化時，將變化了的數(shù)據(jù)信息分發(fā)到各目標數(shù)據(jù)庫。即代理進程負責數(shù)據(jù)的同步分發(fā)工作，首先將源數(shù)據(jù)庫、目標數(shù)據(jù)庫、數(shù)據(jù)表等信息注冊到代理進程，代理進程根據(jù)注冊信息輪詢源數(shù)據(jù)，并將變化信息反饋到目標數(shù)據(jù)庫中。在這種模式下，由于有限代理訪問數(shù)據(jù)資源，無論目標數(shù)據(jù)庫及其業(yè)務(wù)如何增長，對源數(shù)據(jù)庫的訪問量并無變化。

具體而言，如圖4所示，代理進程主要訪問源數(shù)據(jù)庫、日志庫和代理列表庫3類資源。其中日志庫用于存儲分發(fā)后的數(shù)據(jù)狀態(tài)信息，代理列表庫用于存儲目標數(shù)據(jù)庫的回調(diào)地址。代理進程根據(jù)日志庫，發(fā)現(xiàn)有數(shù)據(jù)變化時，從代理列表庫中查詢所有目標地址實現(xiàn)更新，同時將新的數(shù)據(jù)狀態(tài)記錄到日志庫中。

4 方法應(yīng)用

本研究將數(shù)據(jù)代理同步方法應(yīng)用于某大型礦山企業(yè)，嘗試了一些基本同步應(yīng)用。以辦公自動化系統(tǒng)(業(yè)務(wù)協(xié)同系統(tǒng))人員信息數(shù)據(jù)作為單輸入點，以即時通信、人員定位、安全管理、生產(chǎn)執(zhí)行和調(diào)度監(jiān)控系統(tǒng)為分發(fā)點。并研發(fā)了同步軟件工具，首先設(shè)計數(shù)據(jù)同步模型，如圖5(a)所示，然后將模型進行作業(yè)調(diào)度，定時分發(fā)數(shù)據(jù)，如圖5(b)所示。代理數(shù)據(jù)同步日志和統(tǒng)計分析如圖6所示。軟件運行1 a以來，數(shù)據(jù)的一致性和及時性都能達到預(yù)期目的，一些老業(yè)務(wù)系統(tǒng)得到了最大化利用，應(yīng)用效果較好。

圖4 基于數(shù)據(jù)代理的數(shù)據(jù)同步模型Fig.4 Data agent based data synchronization

5 結(jié) 語

本研究針對并未遵循設(shè)計規(guī)范的老業(yè)務(wù)系統(tǒng)最大化利用問題，以數(shù)據(jù)為中心，提出了“數(shù)據(jù)的單流入與多分發(fā)”的數(shù)據(jù)代理方法實現(xiàn)系統(tǒng)集成，其原理簡單，無需新增原有系統(tǒng)功能,只需在代理列表庫中注冊目標數(shù)據(jù)庫的接口定義及其地址即可方便地增加新的目標數(shù)據(jù)庫，實現(xiàn)實時性、耦合度和資源消耗程度都較為理想的系統(tǒng)集成方案，可最大化地減輕礦山企業(yè)在信息化建設(shè)過程中的損失。

[1] Jay Lee.Industrial Big Data-the Revolutionary Transformation and Value Creation in Industry 4.0 Era[M].Bejing:China Machine Press,2015.

[2] Nguyen T H,Prinz A,Friiso T,et al.A framework for data integration of offshore wind farms[J].Renewable Energy，2013，60(4)：150-161．

[3] 馮治東.礦井突水平行應(yīng)急管理方法研究[D].西安:西安建筑科技大學(xué),2015.

Feng Zhidong.Study and Application on Parallel Emergency Management Method for Mine Water Incrush[D].Xi′an:Xi′an Univiersity of Architecture and Technology,2015.

[4] 中國國家標準委員會.GBT 26335—2010 工業(yè)企業(yè)信息化集成系統(tǒng)規(guī)范[S].北京:中國標準出版社,2011.

China National Standards Committee.GBT 26335—2010 Industrial Enterprise Information Integration System Specification[S].Beijing:China Standard Press,2011.

[5] 顧清華,盧才武,江 松,等.采礦系統(tǒng)工程研究進展及發(fā)展趨勢[J].金屬礦山，2016(7):25-33.

Gu Qinghua,Lu Caiwu,Jiang Song,et al.Technical progress and development trends of mining systems engineering[J].Metal Mine,2016(7):26-31.

圖5 數(shù)據(jù)集成的設(shè)計與調(diào)度Fig.5 Design and scheduling of data integration

圖6 數(shù)據(jù)同步日志與統(tǒng)計分析Fig.6 Data synchronization log and statistics

[6] 吳立新,汪云甲,丁恩杰,等.三論數(shù)字礦山——借力物聯(lián)網(wǎng)保障礦山安全與智能采礦[J].煤炭學(xué)報,2012，37(3):357-365.

Wu Lixin,Wang Yunia,Ding Enjie,et al.Thirdly study on digital mine：serve for mine safety and intellimine with support from IoT[J].Journal of China Coal Society,2012,37(3):357-365.

[7] 何廷潤.以數(shù)據(jù)為中心的智慧城市信息體系架構(gòu)研究[J].移動通信,2013,37(21):13-17.

He Tingrun.Wisdom city information architecture research of data-centric[J].Mobile Communications,2013,37(21):13-17.

[8] 神華和利時信息公司.數(shù)字礦山藍圖匯報[R].北京：中國神華集團有限責任公司,2012.

Shenhua Helishi Informtion Company.Digital Mine Blueprint Report[R].Beijing：Shenhua Group,2012.

[9] IBM商業(yè)價值研究院.中國制造2025——構(gòu)建以數(shù)據(jù)洞察為驅(qū)動的新價值網(wǎng)絡(luò)[R].北京：IBM商業(yè)價值研究院，2015.

IBM Institute for Business Value.China Industry 2025：Build a New Value Network Driven by Data Insight[R].Beijing:IBM Institute for Business Value in China,2015.

[10] 田世明，欒文鵬，張東霞，等．能源互聯(lián)網(wǎng)技術(shù)形態(tài)與關(guān)鍵技術(shù)[J]．中國電機工程學(xué)報，2015，35(14)：3482-3494．

Tian Shiming，Luan Wenpeng，Zhang Dongxia，et al.Technical forms and key technologies on energy internet[J]．Proceedings of the CSEE，2015，35(14)：3482-3494．

[11] 魏紅雨.基于4G地學(xué)空間數(shù)據(jù)集成關(guān)鍵技術(shù)研究[D].長春：吉林大學(xué)，2014.

Wei Hongyu.Research on the Key Technology Based on 4G Geological Spatial Data Integration[D].Changchun:Jilin University,2014.

[12] 馬小平，胡延軍，繆燕子．物聯(lián)網(wǎng)、大數(shù)據(jù)及云計算技術(shù)在煤礦安全生產(chǎn)中的應(yīng)用研究[J].工礦自動化,2014(4):5-9．

Ma Xiaoping，Hu Yanjun，Miao Yanzi.Application research of technologies of internet of things， big data and cloud computing in coal mine safety production[J].Industry and Mine Automation，2014(4):5-9．

[13] 劉 歆.領(lǐng)域數(shù)據(jù)集成及服務(wù)關(guān)鍵技術(shù)研究[D].北京：北京科技大學(xué),2016.

Liu Xin.Research on the Key Techonologyies of Domain Data Integration and Service[D].Bejing:University of Science & Technology Beijing,2016.