基于礦山數據集成的數據中心在東部某銅礦的設計與應用

韓海華 李子龍 單延健

摘 要：針對礦山數據發展現狀的特點，以東部某銅礦為背景，闡述了基于礦山數據集成的數據中心的搭建過程。對數據中心需求進行分析，從軟硬件構建基礎到功能服務，重點分析數據中心的核心功能和隱性優勢。從實際結果表明，數據中心是礦山數據發展中一個重要的方向和環節，將復雜、多類型的礦山數據統一歸入數據中心后，不僅有效避免了數據的冗余存儲，解決了新系統數據來源問題，而且提高了數據的利用率，為挖掘數據之間的隱性關系創造了基礎條件，更好的利用數據指導生產。

關鍵詞：礦山數據集成；數據中心；數據挖掘；數據應用

DOI：10.16640/j.cnki.37-1222/t.2018.23.085

東部某銅礦的生產數據處于數據孤島狀態，各系統間數據獨立，數據共通性不足，使得各系統數據源無法共享，多系統共同使用某數據時，需要頻繁多次錄入，造成資源浪費，極大的增加了數據獲取的成本，并且容易出現數據錯誤問題。數據作為銅礦各系統應用的關鍵環節，直接影響各系統是否能正常使用以及各系統功能結果的準確性。2018年7月該公司投資建設礦山數據中心，目前項目還在進行中，但已經實現多個重點系統之間的數據集成和應用，打破了數據孤島的現狀。

結合該礦山應用系統現狀，以數據中心為核心數據庫，通過系統基礎生產數據同步推送的方案，實現各系統數據在數據中心的入庫，然后針對需求，對數據中心存儲的數據進行處理并預留對接接口，實現數據源數據同步至數據中心再推送到應用的數據流向過程。

1 數據中心需求分析

東部某銅礦有多套實時控制系統和管理信息系統急需進行數據集成，解決當前礦山業務管理上存在的瓶頸和痛點，如圖1所示。結合數據特點，數據中心的功能需求有：（1）實現數據管理和多系統數據共享；（2）實現數據錄入及解決多系統間無意義冗余；（3）提高數據利用率，對原有月度類數據追溯數據源；（4）實現礦山外部數據互通，為礦山上級集團及系統提供數據；（5）生產數據直接及間接關系挖掘；（6）數據中心應用界面，對處理后數據展示。

2 數據中心網絡結構和硬件基礎

2.1 數據中心網絡結構設計

整個數據中心網絡結構依附數據流向分類，可以概述為各系統級網絡、數據中心網絡兩部分，兩者通過礦山內網進行互通，采用http協議進行數據通訊。以數據中心為網絡的中心，連通數據中心及下級的各系統級網絡通訊，且各系統級網絡直接立足于各系統數據庫所在服務器，保證服務器網絡通訊的的情況下，各自與數據中心通訊，一個系統數據庫服務器網絡故障不會對其他系統數據庫服務器數據的通訊造成影響。

2.2 數據中心硬件設備

數據中心主服務器為一臺CPU型號E5-2630，64G運行內存的服務器，用于接收各系統數據庫所在服務器提供的數據，而各系統數據庫所在服務器的型號及操作系統各不相同，處理能力及數據傳輸能力也不同，通過在各服務器部署同步軟件，針對各服務器處理能力調試后，進行同步操作。

3 數據中心核心應用

數據中心的核心部分主要包括數據入庫、數據處理、數據應用三方面，數據入庫用于對各系統數據的存儲，數據處理的作用是對數據按照需求進行加工，數據應用包括對基礎數據及加工數據的應用以及數據對外輸出。

3.1 數據入庫

數據入庫即對礦山各系統數據進行歸檔操作的過程，是數據中心數據的來源和基礎，為數據處理和數據應用提供數據保障。為了保證數據的準確性與共享性，數據入庫應該實現以下功能：

（1）各系統獨立的數據入庫過程。各系統數據的集成應該是相互獨立的，某一系統的啟停不能對其他系統的數據入庫造成影響，數據入庫的頻率及時效性應根據各系統特點進行單獨設計。

（2）數據中心存儲結構的設計，要在全礦相關聯的前提下，維持各系統數據的相對獨立。

（3）數據入庫要有一定的自我修復能力。要保證某系統維護、重啟、斷電等正?；蛲话l狀況后，數據不會出現漏傳、錯傳現象，一般以時間標或遞增的id作為續傳的判斷依據。

（4）數據入庫要有一定無效數據檢測功能。要對明顯的無效數據及無效設備的數據進行甄別，并在數據抽取過程中初步過濾這些數據，減少無效數據對數據庫的占用。

（5）數據入庫要有一定重復數據檢測功能。在同步數據過程中，抽取同步數據是由人為選擇抽取的范圍及頻率的，當多個系統對同一類型數據進行存儲，且無差別時，應選擇其中一處進行抽取，減少數據冗余現象。

3.2 數據處理

數據處理即對入庫的數據進行加工處理的過程，是數據中心中最關鍵的部分。要在數據處理的過程中找到全礦數據之間的關聯性，對重復冗余數據進行合并，對有效數據進行加工等，是數據應用的基礎，為對外數據接口及界面展示提供保障。數據處理主要包含數據歸類統計處理、數據質量處理、數據二次加工存儲以及數據挖掘四大類，下面將對四大類單獨解釋。

3.2.1 數據歸類統計處理

數據歸類統計處理主要解決數據歸類問題，對整個礦山的數據統一整理后，綜合考慮所屬區域及類型進行分類，并對數據之間的關聯關系進行確認。

如圖4所示，我們將礦山數據類型大致劃分了六大類，包括采場、選廠、能源、安環、水資源以及資源管理數據，各自主要內容包含如下：

（1）采場數據。即采礦場生產數據，主要包括采礦場所有設備的運行數據（如運行時間、臺效、臺時、可開動率等）以及產量數據（包括采剝量、輔助工作量、維修工作量等）。

（2）選廠數據。即選礦廠生產數據，主要包括選礦廠各類傳感器自動采集數據，以DCS數據為最主要部分，并通過自動采集的數據及質檢相關數據反算出設備運行臺時、產出量及品位等數據。

（3）能源數據。即全礦能源消耗數據，主要是全礦的電力消耗，通過可自動采集的電表，獲取礦山總進線及各支線每小時的耗電量及累計耗電量，在礦山成本預算中占有重要的地位。

（4）安環數據。即全礦安全排查數據，包括邊坡安全監測、粉塵、污染物、水污染等各類安全監測數據。

（5）水資源數據。即生產水消耗數據，主要是水資源在生產過程中的損耗及水平衡情況，回水利用比例和新水比例對生產成本同樣有很大的影響。

（6）資源管理數據。即全礦資源數據，主要包括固有類軟、硬件資產及消耗類資源損耗及進出數據。硬件資產包括各類生產設備、過程設備、動力設備、網絡設備等。軟件資產包括企業的控制軟件、信息化軟件、OA軟件等[1]。

六大類數據之間不存在隔離關系，互相之間有強相關性，主要通過時間關系進行關聯，并對不同需求，在數據二次加工存儲過程中，針對性選擇六大類中的數據進行組合，對整個礦山生產產出情況、成本消耗情況及隱性產出及消耗進行計算。

3.2.2 數據質量處理

數據質量處理主要針對無效數據進行處理，對長期處于特定狀態不發生變化的數據，如啟停狀態、運行信號等，采取數據變化存儲不變不處理的方式進行存儲，保證數據不失真不丟失重要節點的前提下，盡量縮減內存占用；對已知標準范圍外的數據，如負數、大于最大功率、大于一天時長等明顯不符合常規條件的數據，采取保存但不統計的方式進行處理，即數據存儲于數據庫內，在后續排錯過程中可能應用，但在實際計算（如求均值、求極限等）過程中不作為參數計算。

3.2.3 數據二次加工存儲

數據二次加工存儲主要是在數據歸類及數據質量處理的基礎上，對基礎數據進行明確的、有規則的加工計算并存儲的過程，主要包括以下步驟：

（1）單一變量分析。明確單一變量所表述的含義及作用，并針對需求對不同變量進行歸類，主要劃分為狀態量、累計量、實時量、控制變量、操作變量、系統變量等不同類數據。

（2）單一變量直接統計。在第一步明確單一變量類型基礎上，根據業務需求，對需要統計的變量進行甄別統計，如累計量需要求小時累計、班累計、月累計、年累計等，根據不同礦山對報表需求的不同，進行統計。

（3）變量間接統計。在實際生產中需求對某些功能進行統計，如設備運轉率、設備臺效等，這些變量在實際生產中非常重要，但并沒有直接的變量可供讀取，這時需要根據業務，進行統計方法的設計，如運轉率可以通過運行時間和工作時間進行計算，設備臺效可以根據設備運行時間和處理量進行計算，且在沒有單獨的設備處理量時還需要根據其他條件進行處理量推算等，這些數據通過復雜的計算相互關聯，任何一個值的變動都會對生產流程中的其他指標帶來變動，對產品質量和生產效率產生影響[2]。

（4）二次加工數據存儲。進行二次計算之前，對計算的結果要有清晰的認識，依據計算結果之間的關聯方式方法以及時間區分等創建對應的存儲表，進行數據存儲，存儲表應以滿足數據輸出及業務展示為基礎。

3.2.4 數據挖掘

數據挖掘技術（Knowledge Discovery in Datebase， KKD） ， 是一種新興的信息處理技術， 它融匯了人工智能、模糊識別、模糊數學、數據庫、數理統計等多種技術方法， 專門用于海量數據的處理， 從大量的、不完全的、有噪聲的、模糊的、隨機的數據集中， 提取隱含在其中的、人們事先不知道的、但又是潛在的有用的信息和知識， 其目的是發現規律而不是驗證假設[3]。

數據挖掘可以認為是更高層級的二次加工數據，與上述加工處理的區別主要是數據加工過程中沒有明確的、有規則的加工過程和步驟，數據之間往往處于弱關聯性，在實際操作中也處于弱相關，例采礦場給礦硬度變化對最終金屬量的影響。

4 數據應用

數據應用主要分為服務應用和數據推送，包括數據中心平臺本身的頁面展示功能及對其他系統的數據對接接口，與其他系統的數據對接主要通過后臺網絡，頁面展示則直接通過數據中心平臺，對一些基礎數據及關鍵的二次加工數據進行展示。

數據中心頁面展示功能主要包括：

（1）采場、選廠、能源、安環、水資源、資源管理六大類數據關鍵數據的展示；

（2）礦山月度、年度報表；

（3）礦山小時、班組、月度生產數據。

5 總結

數據中心在某銅礦現場實行邊開的邊投入測試的方式，數據中心啟用后，對數據管理和數據利用明顯改善。

（1）生產中的工藝指標優劣可以更及時的查看，更加便捷的查看處理量、資源消耗情況。

（2）通過基礎生產數據的波動，可以更及時的對設備做出診斷，對設備非正常運轉情況可以更快更直觀的進行判斷。

（3）提供了一條信息傳輸的通道，提高了全礦生產情況傳遞的速度。

參考文獻：

[1]周俊武，徐寧.智能選礦廠架構設計[J].自動化儀表，2016（37）：

1-5.

[2]田慶梅，李國清，侯杰等.黃金礦山選礦生產信息管理系統設計與實現[J].有色金屬（選礦部分），2015（04）：75-79.

[3]舒正渝.淺談數據挖掘技術及應用[J].中國西部科技，2010，9（05） ：38-39.