基于java的分庫數(shù)據專利技術在工業(yè)離散式數(shù)據庫中的應用

張捷

（凱邁〔洛陽〕機電有限公司，河南 洛陽　471000）

基于java的分庫數(shù)據專利技術在工業(yè)離散式數(shù)據庫中的應用

張捷

（凱邁〔洛陽〕機電有限公司，河南 洛陽471000）

分庫數(shù)據專利技術是將集中存放、管理的數(shù)據離散式存放，解決大數(shù)據，減輕數(shù)據庫負載，提高系統(tǒng)響應速度，滿足大型系統(tǒng)需求的技術之一。工業(yè)生產數(shù)據大多是離散式存放于各個工控機當中，目前鮮有在集中管理工業(yè)數(shù)據方面的應用。而分庫數(shù)據技術本著逆向思維，將原本離散的數(shù)據進行邏輯上的集中管理，并通過相關邏輯判斷，進行數(shù)據管理、分析與運算，實現(xiàn)了離散式數(shù)據的統(tǒng)一管理。本論文首先就此工業(yè)數(shù)據與分庫數(shù)據技術的應用現(xiàn)狀進行了詳細論述，并針對性研究實現(xiàn)工業(yè)數(shù)據統(tǒng)一管理的具體方式和算法，還對該技術在工業(yè)領域的應用前景作了分析。

分庫數(shù)據；工業(yè)數(shù)據；離散式；分布式；云存儲

隨著工業(yè)信息化程度的提升，對于網絡、數(shù)據庫等技術的應用也逐漸深入。越來越多的工業(yè)軟件習慣采用Oracle、SQLServer、Mysql等數(shù)據庫進行數(shù)據存儲，認為一方面促使工業(yè)數(shù)據結構化，同時也便于日后數(shù)據的管理。然而，其中也存在一定的問題。比如，多個工業(yè)數(shù)據庫中的數(shù)據如何統(tǒng)一管理。尤其是針對相同設備、數(shù)據格式相同、需要就數(shù)據進行管理、分析與比對等等情況，這些工業(yè)設備往往都離散放置在各處，便給數(shù)據管理造成了極大的困難。

目前，一般的解決方案是利用第三方軟件或利用數(shù)據庫同步數(shù)據功能來實現(xiàn)數(shù)據同步。第三方軟件將離散式的數(shù)據集中存放在統(tǒng)一的數(shù)據庫當中，而后再進行相關數(shù)據處理，如syncnavigator，rsync，HASH Tree……，其所基于的思想是數(shù)據的同步、備份、高可用性等，但這往往也會并存一定的問題。最棘手的是當工業(yè)終端數(shù)據庫的表在不斷增加的情況下，以上兩種方案均無法自動解決，仍需人工手動去變更配置程序。況且，同步后集中存放于同一服務器中的數(shù)據依然是分庫存放，沒有改變其原有架構，只是將離散的數(shù)據從物理形式上同一存放、管理而已。

此外，在大型系統(tǒng)中，數(shù)據庫中的數(shù)據量未必是可控的。在未進行分庫分表［1］的情況下，隨時間和業(yè)務的堆積，庫中的表會愈發(fā)增多，表中的數(shù)據量也會相應增大，難免會悄然增加數(shù)據操作、增刪改查的開銷。此外，由于無法進行分布式部署，而一臺服務器的資源（CPU、磁盤、內存、IO等）也是有限的，最終數(shù)據庫所能承載的數(shù)據量、數(shù)據處理能力都將遭遇瓶頸。因此，在大型數(shù)據庫中，分庫技術應用非常廣泛。而在工業(yè)設備相對離散的情況下，傳統(tǒng)的解決方案可靠性較低，可操作性也不強。

隨著企業(yè)信息化的深入，企業(yè)中相關的應用系統(tǒng)也基本已經上線，可以利用現(xiàn)有系統(tǒng)，增加工業(yè)數(shù)據管理模塊，管理相關工業(yè)級數(shù)據，并進行相關數(shù)據處理。

分庫數(shù)據專利技術基于數(shù)據的分布式管理與云存儲，在離散式數(shù)據庫［2］中的應用屬于一種可從本源上解決離散數(shù)據集中管理的問題，旨在從邏輯上靈活地管理離散的數(shù)據庫數(shù)據，降低用戶的軟件維護成本，切實提高用戶的體驗度。它將分布式存儲的理念逆向思維使用在工業(yè)數(shù)據管理上，一定程度上也促進了互聯(lián)網技術與工業(yè)技術的互相融合，有助于提高工業(yè)設備數(shù)據分析效率。

1　工業(yè)數(shù)據管理現(xiàn)狀及分庫分表的思想

1.1 工業(yè)數(shù)據管理現(xiàn)狀

工業(yè)數(shù)據與其他領域數(shù)據不同，有著數(shù)據量大、結構復雜、離散式分布等特點。然而，由于工業(yè)領域的計算機技術的遲后性，一部分工業(yè)數(shù)據往往仍采用記事本、excel等方式存儲，對數(shù)學的管理辦法無非是將數(shù)據集中存放在一處，很難進行統(tǒng)一管理，這不僅導致數(shù)據沒有結構化，更難對數(shù)據進行系統(tǒng)的統(tǒng)計、分析和處理。隨著信息化的逐步深入，工業(yè)數(shù)據逐步采用數(shù)據庫的存儲方式，漸變式將數(shù)據結構化［3］，但這些數(shù)據仍分散存放于工業(yè)的各個設備中，不便于充分利用已有數(shù)據，發(fā)揮其應有的潛在價值。正所謂沒有統(tǒng)一的數(shù)據管理，更談不上對數(shù)據的統(tǒng)計、分析和挖掘。

部分企業(yè)在信息化的過程中已經意識到這點，逐步推進采用數(shù)據庫同步、主從同步、第三方軟件等模式來解決工業(yè)數(shù)據離散式存放的問題，但使用以上解決方案均存在以下問題：

①終端設備較多，如每個終端都安裝數(shù)據同步軟件，故障點大量增加；

②根據終端設備的一致性，存儲在集中數(shù)據庫中需創(chuàng)建多個與之對應的數(shù)據庫表，在集中數(shù)據庫中也是分表存儲，難以實現(xiàn)集中存儲管理的要求；

③如果終端設備的數(shù)據庫表不斷變化，相應第三方軟件也需不斷配置，增加了管理的復雜度；

④由于終端設備數(shù)據庫較多，采購第三方軟件也是一筆不小的開支。

1.2 分庫分表的思想

分庫分表（sharding）［4］，是指把一個數(shù)據庫切分成多個部分放到不同的數(shù)據庫（server）上，從而緩解單一數(shù)據庫的性能問題。對于海量數(shù)據的數(shù)據庫，如果是因為表多而數(shù)據多，這時候適合使用垂直切分，即把關系緊密（比如同一模塊）的表切分出來放在一個server上。如果表本身并不多，而每張表的數(shù)據又非常多，這時候適合水平切分，即把表的數(shù)據按某種規(guī)則（比如按ID散列）切分到多個數(shù)據庫（server）上。

分庫分表原是為解決大數(shù)據集中存放在一處，致使硬件、網絡、數(shù)據庫負載過高等問題而產生。針對工業(yè)數(shù)據的特點，分庫分表欲將原有已分散的數(shù)據集中管理，通過逆向思維［5］解決工業(yè)數(shù)據現(xiàn)存的問題，利用云存儲的分布式數(shù)據管理思維，從邏輯上將離散式的數(shù)據進行統(tǒng)一管理。

2　基于現(xiàn)有系統(tǒng)引入分庫分表管理模塊

隨著信息化程度的提高，企業(yè)會出現(xiàn)大量的信息系統(tǒng)，在業(yè)務上、設備上、資源上……進行相關管理，而往往與工業(yè)設備、業(yè)務相關的系統(tǒng)又不止一個，如果能基于現(xiàn)有系統(tǒng)，將離散式的工業(yè)設備數(shù)據管理起來，進行設備、設備數(shù)據的整合，即可達成即可切實提高設備使用率，深度挖掘現(xiàn)有數(shù)據的隱含信息，又能實現(xiàn)將多條數(shù)據進行對比，從邏輯上將分布式的離散數(shù)據統(tǒng)一管理起來。

現(xiàn)有管理系統(tǒng)有90%以上都采用java編程語言，針對此現(xiàn)狀，以下將基于java語言的流行框架SpringMVC［5］提出一套工業(yè)數(shù)據集中管理解決方案。根據分庫數(shù)據庫的結構和java語言的程序特點，解決方案過程如圖1所示.

具體步驟如下：

①終端設備并入網絡

圖1 離散數(shù)據庫采用分庫技術過程

終端設備基于TCP/IP技術［6］（安裝了TCP/IP協(xié)議），網線接口需遵循RJ45，RJ45是10BASE-T網絡標準中的接口形式，已被廣泛使用，其內部有8個線槽，線槽含義遵循EIA/TIA 568國際標準［7］，在10BASE-T網絡中1、2線為發(fā)送線，3、6線為接收線。在雙機進行連接的時候，其中的1、3、2、6線需要對調。采用A類或B類雙絞線并入企業(yè)局域網或互聯(lián)網，在網卡中配置相應的網絡IP，以使現(xiàn)有管理系統(tǒng)與終端設備進行通信。

②終端設備數(shù)據庫準備

在數(shù)據庫中，往往會配置多個用戶，每個用戶不同的相應權限來對數(shù)據庫系統(tǒng)進行管理。現(xiàn)有的管理系統(tǒng)若需訪問終端數(shù)據庫，將離散的數(shù)據在邏輯上進行統(tǒng)一管理，終端設備數(shù)據庫則需要做以下準備工作：創(chuàng)建數(shù)據庫用戶，為其設置密碼；開放其用戶對于數(shù)據庫遠程訪問權限，以便于數(shù)據的訪問管理；設置TCP/IP端口與系統(tǒng)遠程訪問系統(tǒng)設置相對應。

③管理系統(tǒng)程序中數(shù)據庫接口配置

由于企業(yè)中當前使用的管理系統(tǒng)，大部分采用java語言的編程方式，而web系統(tǒng)中框架技術［8］有很多，如Struts、Spring、Hibernate、Mybatis……，下面將根據較為流行的框架技術SpringMVC，在管理系統(tǒng)中配置數(shù)據源，設置對應的數(shù)據庫訪問驅動、用戶名、密碼、數(shù)據庫IP地址，及數(shù)據傳遞的編碼方式，而真正的數(shù)據庫訪問的配置參數(shù)寫入相對應的ini文件中，使之能訪問工業(yè)設備中離散的數(shù)據庫。SpringMVC架構配置多數(shù)據源文件如圖2所示。

④根據邏輯判斷自動切換至相應數(shù)據庫

每個設備的數(shù)據庫存放數(shù)據時，根據業(yè)務需求，存儲數(shù)據的表名是根據設備編號而命名或沒有具體區(qū)分的標示，這樣在查詢數(shù)據的時候系統(tǒng)會根據邏輯判斷，自動切換相應的數(shù)據庫中查詢數(shù)據，進行數(shù)據管理。相關思路類似于騰訊、阿里企業(yè)系統(tǒng)中對大數(shù)據“取模”［9］的思維方式：首先需要根據輸入信息進行分類判斷，判斷其應該切換鏈接至相應的數(shù)據庫，然后再去做相應業(yè)務處理，而后需關閉數(shù)據庫鏈接，釋放資源，切換至默認數(shù)據源，以防止干擾原有系統(tǒng)的正常使用。切換數(shù)據源的代碼如圖3所示。

圖2　SpringMVC架構多數(shù)據源配置文件

⑤工業(yè)數(shù)據的管理

根據相關的業(yè)務需求，管理相應設備數(shù)據庫，在系統(tǒng)中以多種形式進行數(shù)據顯示，自動獲取數(shù)據形式，并可根據數(shù)據進行相關數(shù)據分析、挖掘、導出報表等……可以根據查詢命令進行數(shù)據的簡單查詢，例如（以SQL Server數(shù)據庫為例）

查詢數(shù)據庫所有表的表名：

查詢表名查詢表結構：

以上是查詢數(shù)據庫表名和根據表名查詢表結構的sql語句，可根據業(yè)務需求進行數(shù)據的統(tǒng)計分析，深度挖掘等。

圖3 切換數(shù)據源代碼

3　使用后的效果驗證

原有工業(yè)設備的數(shù)據管理為離散式數(shù)據管理，設備數(shù)據之間無法進行比較、統(tǒng)計分析等橫向操作，孤立存放使得數(shù)據很難進行有效的數(shù)據管理，設備數(shù)據不僅僅形成一個個數(shù)據孤島，無法發(fā)揮其潛在作用，還會導致設備額外使用，增加設備損耗，給企業(yè)帶來巨大的成本。本方法利用互聯(lián)網技術，將互聯(lián)網技術與工業(yè)設備相融合，不僅符合國家大力倡導的“中國制造2025”和“工業(yè)4.0”概念，也確實解決了工業(yè)設備中數(shù)據孤立存儲，無法進行統(tǒng)一管理的問題，極大程度上減少了不必要的設備使用，提高設備使用率，減少設備損耗。

使用分庫數(shù)據技術后，離散、孤立的設備數(shù)據通過網絡得到統(tǒng)一管理。而且，可以根據不同的數(shù)據庫，在配置文件中配置不同的數(shù)據庫驅動，以實現(xiàn)不同設備、不同數(shù)據庫之間的數(shù)據統(tǒng)一管理，不僅可以根據查詢條件查詢不同數(shù)據庫中的數(shù)據，導出查詢數(shù)據的報表等一些簡單數(shù)據操作，而且可以對離散數(shù)據進行統(tǒng)計分析以及對數(shù)據的深度挖掘。由于管理系統(tǒng)為web架構，使用人員可以在任意聯(lián)網計算機中對設備中的數(shù)據進行管理，不僅提高工作效率，結束了原始人工導出數(shù)據，移動存儲設備進行數(shù)據遷移的工作模式，也極大降低了設備感染病毒的概率。

下面為統(tǒng)計設備8類使用狀態(tài)分析結果，如圖4所示。

圖4　設備8類使用狀態(tài)的分析結果

4　結語

本系統(tǒng)基于現(xiàn)有管理系統(tǒng)，將獨立的工業(yè)設備通過客制化的方法，利用大型系統(tǒng)中分庫的思想，逆向地對離散的設備數(shù)據進行統(tǒng)一管理，以達到就多次設備數(shù)據進行統(tǒng)計分析、數(shù)據挖掘。將設備數(shù)據管理掛載在現(xiàn)有的系統(tǒng)中，可以利用當前系統(tǒng)的安全機制與管理模式，減小系統(tǒng)開發(fā)周期，提高系統(tǒng)的穩(wěn)定性與可靠性。開發(fā)中利用數(shù)據源自動切換，設置默認數(shù)據源，數(shù)據源切換處理數(shù)據后，自動恢復到默認數(shù)據源，避免影響原有系統(tǒng)。該技術將工業(yè)技術與互聯(lián)網技術巧妙融合在一起，解決了工業(yè)設備數(shù)據離散存放，無法集中管理的問題，使離散的數(shù)據進行統(tǒng)一管理，這不僅提高了工作效率，也大大降低設備的重復使用及損耗。

［1］王英杰，溫沁潤，劉秀海.攝影評審系統(tǒng)中數(shù)據庫的分庫設計［J］.統(tǒng)計與管理，2013（2）：166-167.

［2］孫曉東.基于物聯(lián)網的離散制造車間制造數(shù)據管理關鍵技術的研究［D］.南京：南京航空航天大學，2012.

［3］胡珊珊.面向云存儲的非結構化數(shù)據存儲研究與應用［D］.廣州：廣東工業(yè)大學，2014.

［4］李海磊.垂直劃分分布數(shù)據的多維關聯(lián)規(guī)則挖掘研究［D］.秦皇島：燕山大學，2013.

［5］劉漢民.論逆向思維［J］.重慶工學院學報，2005（9）：96-100.

［6］王曉華.基于TCP/IP和數(shù)據庫技術的遠程監(jiān)控系統(tǒng)的研究［D］.杭州：浙江工業(yè)大學，2007.

［7］馮馳，趙旦峰，張宇，劉昕.綜合布線標準EIA/TIA-568A ［J］.黑龍江電子技術，1996（4）：29-31.

［8］王鳳嶺.基于MVC的主流Web框架技術研究［J］.南寧職業(yè)技術學院學報，2011（3）：94-97.

［9］許鑫，李順東.大整數(shù)取模的快速運算［J］.計算機工程與應用，2014（22）：136-140.

The Application Based on the Java Sharding Technology Patent in Industrial Discrete Data

Zhang Jie
（CAMA〔LuoYang〕Electromechanic Co.LTD，Luoyang Henan 471000）

The data bank technology patent is the centralized storage management， data discrete storage， big data， alleviating database load and improve the response speed of the system， meet the system requirements. One of the large-scale industrial production data are stored in each discrete IPC， the little in the centralized management of industrial data and data bank application. Through the technology of reverse thinking， the original discrete data， central - ized management logic， and through the relevant logic， data management， analysis， operation， to achieve a unified discrete data management.Discusses the application status of the industrial data and the data bank technology， on the way to realize the unified management of the industry the data and algorithm， and the application prospect of the technology in the industrial field.

datasharding；industrial data；discretetype；DDBS；cloudstorage

TP311.13

A

1003-5168（2016）06-0081-04

2016-5-24

張捷（1988-），男，本科，工程師，研究方向：信息技術在工業(yè)領域中的應用。