進口鐵礦品質信息數據倉建設及其數據挖掘

王振新余春暉李雪蓮楊東彪應海松

（1.中國檢驗認證集團寧波有限公司，浙江 寧波 315012；2.北侖出入境檢驗檢疫局，浙江 寧波 315800）

進口鐵礦品質信息數據倉建設及其數據挖掘

王振新1余春暉2李雪蓮2楊東彪2應海松2

（1.中國檢驗認證集團寧波有限公司，浙江 寧波 315012；2.北侖出入境檢驗檢疫局，浙江 寧波 315800）

隨著計算機技術的發展，數據積累急劇增長，為利用積累的大數據進行知識再發現創造了條件，數據倉和數據挖掘是近幾年來發展迅速的大數據信息化技術，也是知識再發現的最有效手段。上世紀國內開始大規模進口鐵礦石以來，一些口岸進口鐵礦石檢驗的機構也逐漸積累寶貴品質信息資源，但這些信息資源是凌亂的、甚至是跨越不同數據庫的。進口鐵礦品質的數據倉建設就是利用檢驗檢疫系統的信息優勢，通過相關的數據挖掘技術建立進口鐵礦品質信息收集方式，為進口鐵礦檢驗和國家相關政策法規的出臺提供技術支持，為國內鋼鐵企業了解進口鐵礦的質量特性而有選擇地采購進口鐵礦提供重要提供技術參考，為國外供貨商改進工藝提高鐵礦質量提供對比數據。

鐵礦；信息；數據倉；數據挖掘

1 前言

數據倉是面向主題的、集成的、穩定的、隨時間不斷變化的數據集合，數據挖掘就是從大量的數據中挖掘出新的知識。鐵礦石是一種涉及國計民生的極其重要的戰略性資源，其質量優劣直接關系到我國鋼鐵工業的健康發展，也關系到國家經濟建設和宏觀調控。我國的鐵礦資源多為貧雜礦，需要花大量人力、財力進行精選，而多數進口鐵礦為高品位富礦。自我國于二十世紀七、八十年代開始進口鐵礦始，至近幾年進口量迅速飆升，目前我國鐵礦進口量已為世界第一，進口依賴度超過50%。但在進口鐵礦石價格持續上漲的同時，其質量卻難以得到保障。近幾年多數口岸的進口鐵礦不合格率超過 60%，以廢充好，摻雜使假，有毒有害元素超常的現象屢屢發生。在國務院“關于加強鐵礦石進口協調和管理，整頓和規范鐵礦石經營秩序”的總體要求下，按照質檢總局“質量和安全年”活動要求和全國檢驗監管工作會議的統一部署，進一步完善進口鐵礦質量管理體系，提高監管的針對性和有效性，切實加強質量綜合分析和風險監管，提高決策支持和風險防范水平，嚴防各類欺詐行為發生，有效地維護國內鋼鐵企業的權益。為此需要構建信息平臺。各地檢驗機構現有的進口鐵礦石質量監控手段基本為批批檢驗，大量檢驗數據和檢驗結果在完成出證和年度質量分析后作為檔案庫存，沒有被進一步深度挖掘利用，因此未能形成基礎性的綜合質量數據倉和數據挖掘方式以支撐風險分析和管理，并科學地調整檢驗監管的方式。在進口鐵礦貿易中，我國常處于較為被動的地位，使國家經濟利益得不到應有的保障、國內企業遭受不菲的損失。為此，通過進口鐵礦質量數據倉建設，通過數據挖掘技術為不同類型的用戶提供風險分析和實時預警，以防止貿易欺詐，維護國家經濟安全，從而為國家制定進口鐵礦相關政策提供決策支持，為國內鋼鐵企業選購進口鐵礦石提供質量信息，為進口鐵礦檢驗技術發展的提供必要的基礎。積極營造數據文化，提高數據意識，是質檢系統行政執法技術保障的重要建設方向[1-3]。

2 進口鐵礦石品質信息數據倉基本原理

數據倉是一種環境，是提供用戶用于決策支持的當前及其歷史數據，這些數據在傳統的操作型數據庫中很難或不可能找到，數據倉是應數據分析處理要求而建設的分析型數據庫基礎。由于進口鐵礦石是法檢商品，所有入境的鐵礦都要通過入境口岸的檢驗檢疫機構重量與品質檢驗，因此口岸檢驗檢疫機構能夠收集信息齊全的數據，這為進口鐵礦品質信息數據倉的建設創造了條件。數據倉是數據挖掘的基礎。

2.1進口鐵礦石品質信息數據倉構成

根據進口鐵礦石檢驗的不同工作性質，可以建立不同的數據庫，將不同的數據庫作為元數據庫進行整合建立數據倉，可將靜態的的歷史信息以不同的主題進行再利用。數據倉可支持多維分析，可根據不同需求以多種形式輸出分析情報信息，為不同類型的用戶提供形式豐富、內容真實、功能完備的瀏覽和查詢，滿足不同的需求輸出。

2.2數據倉的數據組織管理

數據倉的數據可從上述分散的數據庫提取，數據在進入數據倉之前，必須要將其進行轉換、統一與綜合。數據倉數據的生成即可從元數據庫提取生成，也可進入數據倉后經過計算、綜合生成，它不是對數據簡單存儲，而是進行再組織。數據倉的組織需要考慮數據的粒度，根據不同的需要，可以選擇按時間段綜合數據的粒度和按采樣率高低劃分的樣本數據庫。為了提高數據處理效率，需要將數據倉數據分割到各自的物理單元。進口鐵礦石信息數據倉的數據組織可以采樣簡單堆積，可以按相應的主題集成為數據倉的記錄。

2.3數據倉的設計

首先在原有數據庫基礎上進行概念模型設計，先要對原有數據庫進行分析理解，要界定系統邊界、確定主題域；然后進行確定數據倉各項性能指標的技術評估和技術環境準備，主要涉及數據存取、重組、收發、裝載等，估算內容包括數據量、程序沖突、數據通訊量，環境準備包括軟硬件配置，如存取設備、網絡、操作系統、軟件界面、數據倉管理軟件；第三進行邏輯模型設計，包括分析主題域、確定當前裝載主題、確定粒度層次、確定數據分割、確定關系與記錄的系統定義；第四是物理模型設計，主要是數據的存儲結構、確定索引策略、數據存放位置、確定存儲分配；第五是數據倉生存，包括接口設計、數據裝入；最后為數據倉的維護，即進一步完善數據倉系統、維護數據、進行決策系統的應用開發。

3 進口鐵礦石品質信息數據挖掘

大數據科技背景下，數據已成為一種重要的資源，數據的應用已不是簡單的數據匯總，而是將其按科學方法進行挖掘。數據挖掘是從大量的數據中抽取出潛在的、有價值的知識、模型、規律等，現代大數據的數據挖掘涉及人工智能、機器學習、統計分析等多種技術，它能自動分析、歸類、推理、建立新的業務模型，最終達到業務和決策支持目的。

3.1數據挖掘的準備

數據挖掘可從大量不完全的、帶噪聲的、模糊的、隨機的數據中，提取隱含其中有價值的信息和知識工程。因此數據準備就相當重要。主要工作首先要確定業務對象，然后進行數據選擇、數據預處理和數據轉換。

3.2數據挖掘功能

功能包括對數據之間的關聯規律進行分析、數據聚類、偏差分析、趨勢預測等，常用方法有：聚類分析、決策樹、人工神經網絡、小波分析、統計分析等。

3.3數據挖掘工具

常用數據挖掘工具有：Intelligent Miner、SQL Sever、SPSS、SAS、MATLAB等，這些工具包括專用數據挖掘工具、數據庫自帶工具、社會統計學軟件包和智能處理軟件。

4 進口鐵礦石數據倉建設及數據挖掘實例

自計算機技術普及人們的日常工作生活以來，質檢系統已經建有數量龐大的各種業務數據庫，就鐵礦石檢驗業務而言，在一個單位就有七八種之多，它們之間有些是完全獨立的信息孤島，有些為僅兩兩關聯的數據庫或信息半島，但這些數據庫都已經經過多年建設，并已積累大量數據，進口鐵礦石品質信息數據倉數據是圍繞品質評價這一主題組織、展開的，因此這些原有的資源為目的實施提供了條件[4]。

4.1可利用的數據庫資源

進口鐵礦信息元數據庫包含進口鐵礦質量信息平臺、進口鐵礦石檢驗綜合業務系統、CIQ2000系統、數字實驗室系統、取制樣管理系統、水尺計重管理系統所含數據庫。

4.1.1CIQ2000系統

CIQ2000系統為全國檢驗檢疫綜合業務系統,系統以檢驗檢疫業務流程為主線，以出入境檢驗檢疫管理為重點，功能包括受理報檢、簽證、統計、計收費、檢驗檢疫及其鑒定、包裝等業務管理。數據庫為ORCALE，主要存儲檢驗檢疫檢務信息、檢驗檢疫業務信息及其證稿證書。

4.1.2數字實驗室系統

該系統是寧波檢驗檢疫局在檢驗檢疫系統推廣的LRP2000基礎上開發的實驗室管理系統，系統以實驗室流程管理為主線，專門為實驗室業務管理設計，功能包括報檢受理、質量體系管理、檢測、方法與標準、計收費、項目管理等，部分信息采用 CIQ2000，與其他多數相關系統互聯互通或互相讀寫，對儀器設備進行物聯。數據庫為SQL Sever 2008，主要存儲實驗室檢測結果、報告、標準、收費標準等。

4.1.3進口鐵礦質量信息平臺

能實時采集全國各口岸進口鐵礦的質量信息以及相關進口鐵礦貿易信息，是一個進口鐵礦全方位信息的數據庫，作為進口鐵礦質量基礎數據信息查詢、統計、分析平臺。能讀取CIQ2000和數字實驗室系統的數據。數據庫為ORCALE，存儲內容包括進口鐵礦石品質信息、重量信息。

4.1.4進口鐵礦石檢驗綜合業務系統

該系統為《檢驗檢疫綜合管理系統》，即CIQ2000在進口鐵礦石檢驗管理的補充，因CIQ2000為追求軟件運行的速度和效率，選取涉及檢驗檢疫各個業務的基本共性，代表性地對檢驗檢疫業務進行記錄和管理。系統以ORCALE為主機數據庫，使用ASP.NET匯編語言，能完成進口鐵礦品質及貿易數據錄入、檢驗出證、計收費、統計分析和系統維護等功能。該系統目前已經被進口鐵礦質量信息平臺替代，但存有多年的數據積累。

4.1.5大宗散貨綜合業務管理信息系統

該系統將寧波檢驗檢疫局原開發的取制樣管理系統、水尺計重和品質管理等業務系統進行有機的整合，并增加衡器計重、報檢錄入、任務維護、工作動態、工作提醒、手機平臺、糧食檢疫結果查詢等模塊，形成標準統一、功能完善、安全可靠的業務管理平臺，該系統提高信息資源共享程度，減少重復工作，提高工作效率，加強過程監控，使檢驗檢疫業務向自動化和即時化方向發展。主要目標達到：節省人力與設備費用；提高業務處理速度；提高過程監控能力；改進管理信息服務；改進決策支持系統；提高人員的工作效率。系統由三個數據庫構成，分別采用 Win2000 Server、SQL Server2000、Office2000，開發工具采用Delphi7.0 和VBA，存儲數據主要為進口鐵礦石取制樣信息、水分粒度檢測信息（含每個份樣）、水尺鑒定及其常用船舶常數，數據能實現遠程傳輸。

4.1.6進口鐵礦石多港分卸網上操作平臺

該系統為配合進口鐵礦石多港分卸檢驗模式研發。由于進口鐵礦多港分卸中的數據多，創建者、時間不確定，使得資料會產生大量重復再現，造成在品質分析或數據統計的諸多不便。因此，為加強文件資源信息共享，開發一套適合于多港分卸的直觀有效的平臺，使系統具有對同批貨的多港分卸的水尺報告分析進行快捷簽發，系統擁有對進口鐵礦石化學成分及物理特性進行加權求值，軟件具有可擴展性、可移植性。技術構架上采用REDHAT LINUX 9作為服務器的操作系統平臺。在應用層服務器和數據庫服務器的選擇上，針對平臺的客戶需求，采用 Tomcat作為應用層服務器，MySQL作為數據庫服務器的平臺組合方案。后臺服務器層架構上采用Spring、Struts、Hibernate作為J2EE應用的MVC框架，對于前臺的表現層則采用Sun公司的JSP技術以及時下流行的成熟技術，如AJAX、Mashup、RIA等。

4.2聯機分析

數據倉從各系統數據庫中提取數據并對其進行預處理，然后通過聯機分析處理(OLAP)將數據倉的數據進行分析操作。聯機分析指的是應用人員能多維度分析從原始數據轉化出來、能為被用戶理解的、能反應用戶決策目的的信息，并對其進行快速交互存儲，從而獲得新的知識信息一類軟件。推薦采用SQL Sever作為聯機分析工具，在SQL Sever高版本軟件中，可以建立數據倉并新建數據源。

4.3系統模型

如圖 1所示，數據從面向應用的相應業務系統數據庫提取，進入數據倉并轉化后，利用數據挖掘技術解決不同問題。

圖1　系統模型圖

4.4應用實例

4.4.1鐵礦檢驗質量風險評估

隨著檢驗檢疫工作職能的轉變，風險管理及預警評估越來越成為對出入境檢驗檢疫管理的重要手段。檢驗檢疫作為國家出入境貨物的法定管理機構，承擔著日益繁重的監管任務，但是目前我國檢驗檢疫的人力、物力、財力投入無法滿足監管業務量不斷增長的需要。通過風險分析，對監管對象進行分類管理，可以突出監管重點，合理配置有限的人力、物力，從而實現有限資源的最佳配置。利用數據庫的信息，可以根據不同用途建立在線和離線兩種評估方式，在線評估指利用大型進口鐵礦石質量信息平臺的數據庫存儲的信息，利用嵌入相關的軟件通過互聯網發布或交互平臺，在線輸出預警評估結果，離線評估同樣利用大型進口鐵礦石質量信息平臺的數據庫存儲的信息，利用先進的技術建立相關固定模型或特殊的臨時模型對數據進行分析評估。步驟為：（1）進口鐵礦石風險影響因子的識別；（2）風險評估的神經網絡建立，樣本數據的來源可從全國進口鐵礦石質量數據庫獲得，訓練目標可從實際發生的不誠信供貨方和國外檢驗機構調查名單所得；（3）風險管理和預警評估網絡設計，口岸檢驗機構通過對國外鐵礦公司和國外裝貨港檢驗公司及供貨方的全面情況進行評估，核定供貨方及檢驗公司的信譽程度，設置A、B、C、D等4個管理類別，以便實施不同的管理措施。網絡采用BP神經網絡。也可以選取相應的樣本集，對所選樣本集的警示閾值進行精確計算，得出對應于不同閾值的警示級別，如不發警報、一級警報、二級警報等。一般采用BP網絡[5]。

4.4.2基于SOM網絡的企業分類管理

對進出口企業進行分類管理也是檢驗檢疫管理新模式的一種，其目的是為引導企業樹立質量主體責任意識，加強企業自律，督促企業建立健全質量和誠信管理體系，加強和規范企業分類管理，提高檢驗檢疫執法把關和監督管理的質量和效率，對于不同的鋼鐵企業和代理企業，可根據它們的資信情況劃分一定的類別，進行不同的監管方式。數據來源為CIQ2000，來源數據需要預處理，目的是采集到的數據可能會存在著大量的冗余，也可能存在著數據不準確、不完整、不一致，甚至有些數據可能根本就不適合，數據預處理主要是通過對這些數據的瀏覽、驗證、選擇、集成、轉換等過程，提高數據質量，降低數據維數，形成適合數據挖掘的數據集合。采用自組織特征映射（SOM）網絡，輸入變量的選擇通常有靜態數據和動態數據。靜態數據指的是通常不會經常改變的數據，包括企業的基本資信。動態數據指的是經常或定期改變的數據，如檢驗費拖欠、提供假單證等等。利用數據準備階段形成的數據集輸入已經建立的 SOM網絡進行網絡訓練，將訓練結果的聚類賦予一定的意義。將聚類的企業根據所賦的定義分別設計不同的監管方式。分類結果可以用來分類管理類別劃分的依據，信用評估是利用SOM模型對企業的一些不誠信行為進行監測，SOM模型可以建立正常信用度模型，當數據輸入時，SOM模型會對異常的企業信息出異常警告。企業的一些行為變化，如提供假單證、檢驗費拖欠等，客戶分類模型可以及時辨別，同時作出類別降格而加大監控力度的決定，有些甚至將它們放入黑名單嚴加監控。

4.4.3品位波動應用

品位波動可由因礦山礦體、采礦方法、選礦方法、堆積和采取的方法、裝／卸的方法、交貨批的質量的變化而改變。因此，任何礦石的品位波動應經常校核以確定上述變化的影響。一般礦產品的取樣標準都必須引用品位波動結果來確定所采取樣品的品位是選擇“大”、“中”或“小”，不同的選擇直接影響采用的代表性樣品的質量，也影響工作人員的實際工作量，以往的方法大都采用人工作業，勞動強度大，時間周期長。用神經網絡方法建立數學模式來判斷鐵礦的品位波動，可以將原本需要大量人工勞力輔助的鐵礦石品質波動評定，成為只需計算機運算的模擬處理，使品位波動評估大大簡單化，也使鐵礦石取制樣人員不再將品位波動評估認為負擔，可以規范鐵礦石取制樣程序，大大降低實驗成本。采用BP網設計一個狀態分類器，利用數字實驗室和進口鐵礦石檢驗綜合業務系統數據庫數據，每交貨批進口鐵礦石的成分分析結果作為狀態樣本數據，分別對應品位波動的大、中、小，最終達到能夠判別品位波動的目的。也可以利用大宗散貨綜合業務管理信息系統和進口鐵礦石多港分卸網上操作平臺數據庫，將在線粒度水分檢測、重量鑒定結果，能在取樣之初能夠發現品位波動情況，并對取樣方案依照實際品位波動情況進行調整。

4.4.4神經網絡在鐵礦品質特性分類

利用上述數據庫，將利用歷年來積累的進口鐵礦檢測數據，用神經網絡技術分析其品質特性情況，并對未知礦種進行特性分類，為確定產品的歸屬提供依據。所有鐵礦石品質特征，就是鐵礦石本身所具有的化學、物理、礦物性質。這些品質特性有些是鐵礦石原礦固有的，有些是經過加工后，原礦的化學、物理及礦物性質發生了變化，形成了新的品質特性。采用自組織競爭網絡，該網絡是各網絡競爭層的各神經元通過競爭來獲得對輸入模式的響應機會，最后一個神經元為競爭勝利者，并將與獲勝神經元有關的各連接權值向有利于其競爭方向調整。競爭型網絡可分為輸入層和競爭層。

5 結論

進口鐵礦品質信息數據倉建設和數據挖掘技術能將看似雜亂無章，但采用相關的方法進行評估、解析，就可得出有規律的信息，可以針對進口鐵礦檢驗，利用原先已有的數據庫數據，采用挖掘技術高效、自動完成鐵礦檢驗業務輔助、質量分析、預警監控、決策支持、操作控制等。它可以將人從繁重的體力、腦力勞動中解放出來，不僅將檢驗操作人員的注意力在微觀的角度起到放大效應，還可使檢驗管理人員的目光從短期轉向長期、從戰術轉向戰略。對促進進口鐵礦石的宏觀監控、指導進口鐵礦石貿易、傳播知識起到關鍵的作用。

[1] 張興會.數據倉庫與數據挖掘技術[M].北京:清華大學出版社,2011.

[2] 趙爾丹,張照楓.基于數據倉庫和數據挖掘的決策支持系統的研究與應用[J].河北軟件技術職業學院學報,2005, 1(7):47-50.

[3] 方富貴.數據倉庫與數據挖掘探析[J].信息系統工程,2012, (9):118-119.

[4] 應海松,朱波.鐵礦石商品的檢驗管理[M].北京:冶金工業出版社,2009.

[5] 應海松.小波神經網絡在鐵礦石檢驗中應用[M].北京:冶金工業出版社,2010.

Construction of data warehouse and data mining for import iron ore quality information

Along with computer technology developing, the datum are accumulating quickly and it is possible for knowledge to be re-created by use of big data. Data warehouse and data mining has been big data IT developing rapidly during these years, and also is important tool for knowledge recreation. Since last century, China began import iron ore with large-scale, the valued quality information resource of iron ore has been pile up in many iron ore inspection institutions. But these information are all disorder and inter-database. It is by use of advantage of information for CIQ to construct import iron ore quality data warehouse, the methods of information collection is set up through technology of data mining, in order to support releasing of national policy and import iron ore inspection. Using these data, he Chinese steel plants could realize quality of import iron ore and purchase selectively, the oversea iron ore companies could improve technology.

Iron ore; information; data warehouse; data mining

F407

A

1008-1151(2015)11-0020-04

2015-10-10

國家質檢總局計劃項目（2012IK045）。

王振新（1965－），男，浙江寧波人，中國檢驗認證集團寧波有限公司總經理，研究方向為大宗資源產品檢驗監管。

楊東彪（1978－），男，浙江諸幾人，北侖出入境檢驗檢疫局副研究員，從事大宗資源礦產品檢驗監管工作。