一種基于大數(shù)據(jù)的動(dòng)態(tài)建模技術(shù)

胡輝，劉宇芳，蔡昭權(quán)，盛杰，劉江林，雷莉

（1.惠州學(xué)院，惠州516007；2.惠州市疊維科技有限公司，惠州516001；3.廣東科學(xué)技術(shù)職業(yè)學(xué)院，珠海519090）

一種基于大數(shù)據(jù)的動(dòng)態(tài)建模技術(shù)

胡輝1，劉宇芳1，蔡昭權(quán)1，盛杰2，劉江林2，雷莉3

（1.惠州學(xué)院，惠州516007；2.惠州市疊維科技有限公司，惠州516001；3.廣東科學(xué)技術(shù)職業(yè)學(xué)院，珠海519090）

在如今大數(shù)據(jù)時(shí)代，企業(yè)由單一的小系統(tǒng)變成復(fù)雜的多系統(tǒng)并存的現(xiàn)狀以及大規(guī)模數(shù)據(jù)的產(chǎn)生和應(yīng)用，使得企業(yè)迫切需要解決不同數(shù)據(jù)源之間的結(jié)構(gòu)性差異和數(shù)據(jù)指數(shù)增長所帶來的瓶頸。提出一種基于大數(shù)據(jù)的動(dòng)態(tài)建模技術(shù)，有效地解決了不同數(shù)據(jù)源之間整合和重構(gòu)的障礙和面向大數(shù)據(jù)的拓展性問題。

大數(shù)據(jù)；數(shù)據(jù)重構(gòu)；動(dòng)態(tài)建模

0　引言

在過去，許多企業(yè)通過開發(fā)各種業(yè)務(wù)系統(tǒng)來提升自身的能動(dòng)性、工作效率和業(yè)務(wù)水平，然而這些業(yè)務(wù)系統(tǒng)缺少前瞻性的設(shè)計(jì)，未能考慮到系統(tǒng)功能的拓展性和大規(guī)模數(shù)據(jù)增長帶來的存儲(chǔ)瓶頸，使得它們急需優(yōu)化升級(jí)［1］。而不同業(yè)務(wù)系統(tǒng)之間數(shù)據(jù)的結(jié)構(gòu)性差異給數(shù)據(jù)的整合和重構(gòu)帶來了極大的障礙［2］。如何解決數(shù)據(jù)整合和重構(gòu)以及海量數(shù)據(jù)的增長性存儲(chǔ)這兩大難題成為了討論的熱點(diǎn)。

本文提出了一種基于大數(shù)據(jù)的動(dòng)態(tài)建模技術(shù)，通過采用彈性的存儲(chǔ)結(jié)構(gòu)，將傳統(tǒng)數(shù)據(jù)庫中橫向的字段轉(zhuǎn)換為縱向的彈性增長，解決了數(shù)據(jù)結(jié)構(gòu)的水平擴(kuò)展問題。

1　建模技術(shù)研究

一般而言，數(shù)據(jù)庫的數(shù)據(jù)建模主要可以劃分為三個(gè)步驟，從概念數(shù)據(jù)模型到邏輯數(shù)據(jù)模型再到物理數(shù)據(jù)模型，反映的是設(shè)計(jì)過程中從抽象數(shù)據(jù)到確定數(shù)據(jù)結(jié)構(gòu)之間的關(guān)系再到編碼數(shù)據(jù)結(jié)構(gòu)的流程［3］。

概念數(shù)據(jù)模型是指用戶對(duì)數(shù)據(jù)的看法，是一種綜合性的信息需求，反映具體項(xiàng)目中的數(shù)據(jù)需求，包含了實(shí)體與實(shí)體之間的關(guān)系，目標(biāo)是統(tǒng)一業(yè)務(wù)概念，作為業(yè)務(wù)人員和技術(shù)人員之間溝通的橋梁，確立不同實(shí)體之間的層次關(guān)系。邏輯數(shù)據(jù)模型是指系統(tǒng)分析設(shè)計(jì)人員對(duì)數(shù)據(jù)的看法，是對(duì)概念數(shù)據(jù)模型的進(jìn)一步分解和細(xì)化，是對(duì)業(yè)務(wù)與對(duì)象之間關(guān)系的規(guī)劃，包含了實(shí)體的關(guān)系和屬性，進(jìn)行范式處理，詳細(xì)的描述數(shù)據(jù)，力求數(shù)據(jù)集的構(gòu)建更為規(guī)范、合理和高效。物理數(shù)據(jù)模型是在邏輯數(shù)據(jù)模型的基礎(chǔ)上進(jìn)行的數(shù)據(jù)庫結(jié)構(gòu)化設(shè)計(jì)，包含了表和列的設(shè)計(jì)，根據(jù)實(shí)際情況定義實(shí)體之間的鍵位關(guān)聯(lián)，用以保存真實(shí)數(shù)據(jù)［4］。

人們?cè)谶@三個(gè)步驟的基礎(chǔ)上，總結(jié)出了不少規(guī)范性的方法和工具，如E/R圖建模［5］、UML建模［6］等。

2　節(jié)點(diǎn)容器原理

在概念數(shù)據(jù)模型和邏輯數(shù)據(jù)模型設(shè)計(jì)的階段，可以通過用抽象節(jié)點(diǎn)容器的方式定義數(shù)據(jù)結(jié)構(gòu)，即若將系統(tǒng)中的一個(gè)子集看做是一個(gè)節(jié)點(diǎn)容器，而一個(gè)數(shù)據(jù)環(huán)境擁有多個(gè)子集，那么系統(tǒng)中的子集庫就可以看做是一座由一個(gè)個(gè)節(jié)點(diǎn)容器構(gòu)成的森林。

每個(gè)子集以節(jié)點(diǎn)容器的方式存儲(chǔ)在系統(tǒng)數(shù)據(jù)庫中，我們稱之為原始節(jié)點(diǎn)容器。每個(gè)節(jié)點(diǎn)容器在使用時(shí)，一般是部分使用，不過會(huì)使用多次，且每次的使用內(nèi)容都不一樣。因此，要為原始節(jié)點(diǎn)容器定義對(duì)應(yīng)的用途節(jié)點(diǎn)容器或顯示節(jié)點(diǎn)容器。由于不同的情況下，同一個(gè)原始節(jié)點(diǎn)容器有不同的使用內(nèi)容，因此一個(gè)原始節(jié)點(diǎn)容器需要對(duì)應(yīng)定義多個(gè)用途節(jié)點(diǎn)容器。而這些用途節(jié)點(diǎn)需要根據(jù)時(shí)間、進(jìn)程、大小或維度進(jìn)行分類，當(dāng)用途節(jié)點(diǎn)容器已經(jīng)為實(shí)際使用情景完成了所有的分類定義，即可以將這些零散的使用通過建模方式串聯(lián)起來，變成一個(gè)完整連續(xù)的使用過程，并在過程中通過對(duì)使用進(jìn)程、內(nèi)容的判斷，決定在當(dāng)前建模節(jié)點(diǎn)需要使用哪個(gè)用途節(jié)點(diǎn)容器。至于具體指向哪個(gè)用途節(jié)點(diǎn)容器，是由建模中的具體多重輸入條件交叉定位決定的。

3　動(dòng)態(tài)建模

多態(tài)系統(tǒng)中，所有的對(duì)象、組件、交互行為，都抽象為一個(gè)子節(jié)點(diǎn)容器，每個(gè)子節(jié)點(diǎn)容器都通過其根節(jié)點(diǎn)進(jìn)行驅(qū)動(dòng)。原型節(jié)點(diǎn)容器，是對(duì)所有實(shí)體對(duì)象、實(shí)體組件、實(shí)際交互行為的一種原型定義，主要是定義這些對(duì)象、組件、交互行為的維度、參數(shù)。所有實(shí)體對(duì)象都從原型對(duì)象節(jié)點(diǎn)容器繼承而來，所有實(shí)體組件都從原型組件節(jié)點(diǎn)容器繼承而來，所有實(shí)際交互行為都從原型交互行為節(jié)點(diǎn)容器繼承而來。通過對(duì)原型節(jié)點(diǎn)容器的驅(qū)動(dòng)，進(jìn)行所有對(duì)象、組件、行為的定義驅(qū)動(dòng)，然后通過對(duì)節(jié)點(diǎn)容器節(jié)點(diǎn)的各類操作，實(shí)現(xiàn)所有系統(tǒng)的實(shí)現(xiàn)驅(qū)動(dòng)。

單通道建模鏈設(shè)計(jì)，是一種將實(shí)際數(shù)據(jù)進(jìn)程邏輯轉(zhuǎn)換為系統(tǒng)最簡易驅(qū)動(dòng)的系統(tǒng)建模邏輯的方法。該方法中是將一個(gè)復(fù)雜的數(shù)據(jù)進(jìn)程邏輯，轉(zhuǎn)換為多個(gè)單一的、固定方向的數(shù)據(jù)進(jìn)程邏輯，通過節(jié)點(diǎn)的任意增加、刪除，以及提交與駁回的自定義，實(shí)現(xiàn)數(shù)據(jù)的動(dòng)態(tài)建模。

我們假設(shè)一個(gè)實(shí)際的數(shù)據(jù)進(jìn)程圖，這個(gè)數(shù)據(jù)進(jìn)程圖有兩次判斷，每次判斷后，都會(huì)有多個(gè)分支，如下圖1所示。

圖1　數(shù)據(jù)進(jìn)程圖

第一步，將所有操作框從1開始順序編號(hào)，開始框、結(jié)束框、判斷框都不能編號(hào)，如圖2所示。

圖2　數(shù)據(jù)進(jìn)程序號(hào)圖

第二步，從開始框出發(fā)，按序號(hào)最小且可連接的操作框經(jīng)過，直到結(jié)束框，將此路徑經(jīng)過的操作框順序記錄，即成為一個(gè)建模通道。第一個(gè)通道為0-1-3-5-Z，每個(gè)通道的標(biāo)記為，從0開始，從Z結(jié)束，如圖3所示。

第三步，去掉原建模圖中獨(dú)立的操作框，本步中為第2、第5框，如圖4所示：

圖3　建模分解圖一

圖4　建模分解圖二

第四步，按第二步的方法，從開始框出發(fā)，沿著序號(hào)最小，且達(dá)連接的操作框前進(jìn)，直到結(jié)束框，將此路徑經(jīng)過的操作框順序記錄，即為下一個(gè)建模通道，第二個(gè)建模通道標(biāo)記為0-1-3-Z，如圖5所示。

圖5　建模分解圖三

第五步：依此類推，如圖6所示。

圖6　建模分解圖四

第六步：按操作框的序號(hào)順序，自上而下排列到不同行道，對(duì)于相同編號(hào)的操作框，從0.1開始順序標(biāo)記子序號(hào)，如圖7所示：

圖7　建模分解圖五

單通道建模鏈的優(yōu)點(diǎn)，是將建模中需要判斷、分支的邏輯去掉，單通鏈建模鏈中任何一個(gè)節(jié)點(diǎn)，要么提交前進(jìn)到下一個(gè)節(jié)點(diǎn)，要么駁回到上一個(gè)節(jié)點(diǎn)，簡化了程序的判斷邏輯，也就簡化了用戶在配置建模時(shí)的邏輯。現(xiàn)有的工作流引擎，都為了滿足建模與判斷的靈活性，給每個(gè)節(jié)點(diǎn)都設(shè)置了條件參數(shù)的組合輸入，但條件參數(shù)的組合，已經(jīng)比較靠近IT程序員的思考邏輯，對(duì)于普遍的建模驅(qū)動(dòng)用戶來說，會(huì)難于理解且容易配置錯(cuò)誤。而現(xiàn)有的工作流引擎在配置這種復(fù)雜的判斷邏輯時(shí)，還沒有一個(gè)真正成熟的子集與算法，導(dǎo)致實(shí)現(xiàn)自定義的同時(shí)，存在較多的程序漏洞與風(fēng)險(xiǎn)。因此，將工作流引擎邏輯簡化為單通道建模鏈，一方面可以提升系統(tǒng)的穩(wěn)定性，另一方面也能讓普通的建模驅(qū)動(dòng)員（沒有IT背景）能直接理解與配置建模。

4　結(jié)語

通過對(duì)數(shù)據(jù)庫設(shè)計(jì)原理的研究和節(jié)點(diǎn)容器的設(shè)計(jì)，提出了一種基于大數(shù)據(jù)的動(dòng)態(tài)建模技術(shù)思路。本文提出了一種基于大數(shù)據(jù)的動(dòng)態(tài)建模技術(shù)，通過采用彈性的存儲(chǔ)結(jié)構(gòu)，將傳統(tǒng)數(shù)據(jù)庫中橫向的字段轉(zhuǎn)換為縱向的彈性增長，解決了數(shù)據(jù)結(jié)構(gòu)的水平擴(kuò)展問題以及不同數(shù)據(jù)庫數(shù)據(jù)在融合過程中出現(xiàn)的結(jié)構(gòu)性差異帶來的障礙性問題，從而實(shí)現(xiàn)了不同數(shù)據(jù)集成結(jié)構(gòu)的數(shù)據(jù)整合和重構(gòu)。

［1］涂炎欽.海南省國土資源業(yè)務(wù)系統(tǒng)統(tǒng)一組織架構(gòu)研究［J］.國土資源信息化，2015，05:15-17+9.

［2］孟浩華，匡堯.電力企業(yè)信息系統(tǒng)數(shù)據(jù)庫優(yōu)化整合研究與實(shí)踐［J］.電力信息化，2013，04:74-77.

［3］郝進(jìn)義.數(shù)據(jù)庫設(shè)計(jì)規(guī)范及設(shè)計(jì)技巧研究［J］.計(jì)算機(jī)光盤軟件與應(yīng)用，2012，12:176-177.

［4］李長海，郭穎，董廣輝.淺析數(shù)據(jù)庫設(shè)計(jì)［J］.數(shù)字技術(shù)與應(yīng)用，2010，08:176.

［5］劉禹鋒，朱云，曾曉勤.圖文法EGG在ER圖設(shè)計(jì)中的應(yīng)用［J］.計(jì)算機(jī)工程與設(shè)計(jì)，2014，03:1071-1075.

［6］郭婧，吳軍華.面向方面的UML建模［J］.計(jì)算機(jī)工程與設(shè)計(jì)，2011，32（12）:4260-4264.

Dynamic Modeling Technology Based on Big Data

HU Hui1，LIU Yu-fang1，CAI Zhao-quan1，SHENG Jie2，LIU Jiang-lin2，LEI Li3

（1.Huizhou University，Huizhou 516007；2.Huizhou Diewei Technology Ltd.，Huizhou 516001；3.Guangdong Institute of Science and Technology，Zhuhai 519090）

Generation and application of the status quo in today era of big data，enterprise from a single small system become more complex system coexist and large-scale data so that enterprises urgently need to address the structural differences between the data source and the data carried by the exponential growth to bottlenecks.Presents a technology based on dynamic modeling of big data，effective solution integration between different data sources and reconstruction of the obstacles and problems facing the expansion of big data.

Big Data；Data Reconstruction；Dynamic Modeling

廣東省教科規(guī)劃項(xiàng)目（No.11JXZ012、No.14JXN065）、廣東省自然科學(xué)基金項(xiàng)目（No.S2013010013432、No.S201301001 5940）、廣東省教育廳項(xiàng)目（No.2013LYM00874）、廣東省高校優(yōu)秀青年創(chuàng)新人才培養(yǎng)計(jì)劃資助項(xiàng)目（No.2013 LYM_0087）、惠州市科技計(jì)劃項(xiàng)目（No.2013B020015008、No.2014B020004026、No.2014B050013016、No.2014B02 0004023）、肇慶市科技計(jì)劃目（No.2015B010902009）

1007-1423（2016）25-0008-04DOI：10.3969/j.issn.1007-1423.2016.25.002

胡輝（1979-），女，江蘇鹽城人，碩士，講師，研究方向?yàn)橛?jì)算機(jī)軟件

2016-06-21

2016-08-26