數據標準化在煤礦數據分析系統中的應用

王憲 薛軍

摘 要：神東煤炭分公司早在2015年就制定了《礦山機電設備通信接口和協議》企業標準，規定了礦山機電設備的工業以太網通信EtherNet/IP接口和協議的術語、定義、規約。數據分析系統在數據標準化的基礎上開展綜采工作面主要設備的數據運行監測、數據分析等工作，通過數據標準化的應用，建立綜采工作面設備綜合評價指標對照，為設備管理工作提供參考依據。

關鍵詞：數據標準化；綜采工作面；數據分析

中圖分類號：TD76 文獻標識碼：A 文章編號：1671-2064（2018）20-0170-02

1 數據標準

數據標準化是數據分析的基礎，也是開展數據分析工作的前提，神東煤炭分公司早在2015年就制定了《礦山機電設備通信接口和協議》企業標準，規定了礦山機電設備的工業以太網通信EtherNet/IP接口和協議的術語、定義、規約，標準主要包括以太網EtherNet/IP協議規范總則，擴展對象庫，采煤機、液壓支架、饋電開關等10類主要設備行規，按照GB/T 1.1-2009給出的規則起草。

礦山機電設備通信接口和協議》企業標準EtherNet/IP協議和OSI參考模型（如圖1所示），采用ODVA：CIP網絡圖書館-第1卷：通用工況協議和ODVA，CIP網絡圖書館-第1卷：CIP的以太網/IP適配，構成特定的EtherNet/IP通信規約的一般規則。

OSI參考模型包括物理層、數據鏈路層、網絡層、傳輸層、會話層、表示層、應用層共7個層級，在具體實施過程中遵循以下要求：

1.1 物理層要求

物理層作為設備之間的數據通信提供傳輸媒體及互連設備，為數據傳輸提供可靠的環境。煤礦設備受礦井環境及干擾因素影響較大，設備移動性較強，物理層采用有線接口、無線接口兩種模式互補，提高可靠性，其中有線接口采用快速以太網技術，數據速率可以達到100Mbps，支持使用屏蔽或非屏蔽銅雙絞線（Cat 5）和光纜，滿足下列標準：

（1）100BASE-TX，銅介質雙絞線符合MT 818.14-1999的規定。（2）100BASE-FX，光纖符合MT 818.14-1999的規定。

綜采工作面采煤機、液壓支架多采用無線接口，滿足下列標準：

3G CDMA 2000：滿足國際標準3GPP2 C.S0002-E-v2.0；

物理層的功能是在兩個網絡設備之間提供透明的比特流傳輸，所實現的硬件設備有中繼器和集線器，物理層有線網絡的拓撲包含星形拓撲、線形拓撲、環形拓撲，用于煤礦井下的EtherNet/IP通信應在下列條件下正常工作：（1）環境溫度：0℃～40℃；（2）平均相對濕度：不大于95%（+25℃）；（3）大氣壓力：80 kPa～106 kPa；（4）有爆炸性氣體混合物，無破壞絕緣的腐蝕性氣體。

1.2 數據鏈路層

數據鏈路層位于OSI參考模型的第二層，數據鏈路層通過一些數據鏈路層協議，在不太可靠的物理鏈路上實現可靠的數據傳輸，主要功能是為網絡層提供服務，包括無確認的無連接服務、有確認的無連接服務、有確認的面向連接的服務三種基本服務。其中有線通信的數據鏈路滿足IEEE802.3規范，支持10Mbps、100Mbps及更高速率，無線通信3G CDMA2000的數據鏈路滿足國際標準3GPP2 C.S0003-F-v2.0，3GPP2 C.S0004-E-v2.0，3GPP2 C.S0017-010-0-v3.0。

1.3 網絡層與傳輸層

網絡層位于TCP/IP協議棧數據鏈路層和傳輸層中間，網絡層接收傳輸層的數據報文，分段為合適的大小，用IP報文頭部封裝，交給數據鏈路層。企業網絡層與傳輸層標準滿足ODVA：CIP網絡圖書館-第2卷：CIP的以太網/IP適配中9-3，ODVA：CIP網絡圖書館-第1卷：通用工業協議的要求。具備如下功能：

（1）信源到信宿的傳輸。通過多條物理鏈路連接成的傳輸路徑將一個數據分組從源結點傳輸到目的結點。并為傳輸層提供了完整的服務，傳輸層不必關心兩結點之間傳輸信息的具體細節。（2）邏輯尋址。在數據分組的頭部加入源地址和目的地址。（3）路由。當有多條路徑可選時，選擇從源結點到目的結點傳送數據分組的最佳路徑。在這種情況下，每個數據分組可以經過不同的路由到達目的地，然后在目的地按照原始順序重新組裝。路由所考慮的因素包括傳送速率、費用和在傳輸種改變路徑的能力。（4）地址轉換。將網絡層地址翻譯成對應的物理地址或將物理地址轉換成對應的網絡層地址。（5）復用。使用同一條物理線路同時傳輸多個設備間的數據。（6）流量和擁塞控制。一個路由可能產生巨大的通信量，從而使路由上的某些結點超負荷工作，由此導致的擁塞經常使某些分組信息被丟棄。網絡層協議必須能夠在部分報文丟失時通知發送方，調節發送的流量。（7）網絡互連。發送端和接收端結點可能不在一個網絡內，要成功實現端對端的傳送，必須解決網絡互連的有關問題。

1.4 表示層和應用層

網絡應用通過端系統上運行的應用程序來實現。為了實現每一種網絡應用，通信雙方都必須按照雙方都能夠理解的規范交換或處理數據，也稱為網絡應用協議。應用協議包括通信雙方請求或響應服務的信息格式、控制命令和所傳數據信息的說明等。如超文本傳輸協議HTTP，是Web服務器與客戶瀏覽器之間交換信息的協議；域名系統DNS，定義了客戶端向域名服務器請求域名解析服務的信息交換規范；文件傳輸協議FTP，定義了請求文件的客戶端從提供文件的服務器獲取文件操作規范等，企業表示層和應用層標準滿足ODVA：CIP網絡圖書館-第1卷：通用工業協議和ODVA：CIP網絡圖書館-第2卷：CIP的以太網/IP適配。

2 數據標準的應用

數據分析系統在建設初期存在數據量大、數據關聯性差、如何進行預篩選等問題。

數據量大。區域自動化四礦大柳塔礦、補連塔礦、上灣礦和哈拉溝礦合計監測169600點，而全公司13個礦井總計監測超過450000點，且隨著綜采工作面的推進，測點逐年增加。

數據相關性差。神東有信息化系統40多個，數據分析系統涉及到的主要系統有5個，系統間實現端對端集成，數據共享度不高，整合難度大，需要整體統籌計劃。

數據預篩選難度大。數據分析系統數據源包括三部分：綜合自動化系統（綜采、主運、通風、供排水、供電）、PM、CMES系統，其中PM、CMES系統可通過數據接口實現數據源的同步，綜合自動化系統要獲取數據需按照四步走，第一，從綜合自動化組態軟件中檢索點表；第二，將檢索點表導入到數據分析及健康管理系統數據庫中；第三，配置監測畫面點位；第四，配置數據分析報表點位。導致數據更新和維護環節多、工作量大、易出錯，且對人員專業性要求較高。

通過數據標準的應用可集中解決數據量大、相關性差及數據預篩選難度大等問題，為開展數據分析系統的各項工作提供統一規范，數據分析系統主要對綜采工作面五種主要設備開展綜合分析工作，包括采煤機、液壓支架、刮板機等設備的電壓、電流、功率等數據，首先對該類數據進行標準化轉換，轉換的主要目的是將數據按照比例進行縮放，使之落入一個小的區間范圍之內，使得不同的變量經過標準化處理后可以由平等分析和比較的基礎。

企業數據標準應用采用ODVA：CIP網絡圖書館-第1卷：通用工業協議的AppendixC-2中所述的數據類型，包括基本數據類型和擴展數據類型（主要指傳感器數據類型）。

2.1 數據標準化處理

采用Min-max標準化，也叫離差標準化，是對原始數據進行線性變換，使得結果在[0，1]區間，為數據預篩選做好準備，轉換公式如下：

x*=

其中，max為樣本數據的最大值，min為樣本數據的最小值。

在數據標準化應用過程中，參與聚類的變量絕大多數都是區間型變量，不同區間型變量之間的數量單位不同，如果不加處理直接進行聚類，很容易造成聚類結果的失真。比如電流單位有的是A，有的是KA；變量的單位越小，變量可能的值域就越大，對聚類結果的影響也就越大。為了避免對度量單位的選擇依賴，在聚類之前所要采取的一個重要的技術措施就是進行數據標準化。

2.2 數據預篩選

數據預篩選直接影響數據的清洗、整理、探索等數據處理工作，而篩選有效的輸入變量更能提高數據質量，具體體現在三個需要。一是篩選有效的輸入變量是提高模型穩定性的需要。過多的輸入變量很可能會帶來干擾和過擬合等問題，這會導致模型的穩定性下降，模型的效果變差。所以，優質的模型一定是遵循輸入變量少而精原則的。二是篩選有效的輸入變量是提高模型預測能力的需要。過多地輸入變量會產生共線性問題，所謂共線性是指自變量之間存在較強的，甚至完全的線性相關性。當自變量之間高度相關時，數據的小小變化，比如誤差的發生都會引起模型參數嚴重震蕩，明顯降低模型的預測能力，并且，共線性的發生也增加了對模型結果的解釋困難，因為要更深入地分析和判斷每個自變量對目標變量的影響程度。三是篩選有效的輸入變量也是提高運算速度和運算效率的需要。在采取各種評價指標篩選有價值的輸入變量之前，可以先直接刪除明顯的無價值的變量，這些明顯的無價值變量包括的內容如下：常數變量或者只有一個值的變量。缺失值比例很高的變量，比如缺失值高達95%，或者視具體業務背景而定。取值太泛的類別型變量，最常見的例子就是郵政編碼，除非采取進一步措施將各個地區的編碼整合，減少類別的數量，否則原始的郵政編碼數據無法作為輸入變量來提供起碼的預測功能。

2.3 數據相關性研究

根據2017年64個工作面月報數據，對月產量、采高、工作面儲量、容重、平均夾矸厚度等25個相關量進行多元線性回歸分析，根據分析結果分為兩類：一是月產量、采高、普氏系數、月推進度等直接參與計算的相關量（圖2）；二是工作面儲量、夾矸厚度等弱相關量，基于原始數據得出預測曲線，將預測曲線與實測進行相關性分析（圖3），具體結果如下：

第一類：開機率=（0.003765）*月產量+（0.850363）*容重+（0.007413）*普氏硬度+（0.000363）*大修次數+（-0.000022）*功率+（0.000268）*月累計推進度+（-0.812831）

第二類：開機率=（0.000046）*工作面儲量+（-0.177576）*平均夾矸厚度+（-0.000053）*配套天數+（0.363765）*壽命年限+（0.380474）*新舊度系數+（-3.490963）

結論：第一類回歸分析方法較簡潔，第二類回歸分析方法較理想，兩種曲線相關系數較高，為0.66左右（理想狀態為1），月報中開機率可以采用第一類和第二類回歸分析方法進行開機率預測，并與實際開機率進行校驗。

3 結語

隨著煤礦信息化水平的提高，數字化、智能化礦山是未來煤炭發展的方向，而從電氣化到數字化乃至智能化發展的基礎是煤礦信息化數據標準化，所以數據標準化是一項長期而艱巨的任務，下一步我們將充分利用數據上傳、在線監測、數據分析等信息化手段，加強對各單位檢修時間監控，針對電氣類故障制定企業標準，按照定義故障、收集故障、分析故障原因、建立故障排除計劃、執行故障排除計劃、分析結果的流程形成故障管理體系。

煤礦數據分析勢必通過內網、外網交互運行實現，必然會收到病毒的入侵、黑客的攻擊等不安全因素，這些因素會造成井下自動化系統及監測環境的安全隱患，導致信息泄露或病毒感染，亟需制定相關的企業安全標準，當然隨著煤礦信息化的發展及物聯網技術的發展，與之相關的標準將會進一步優化和完善。