信息挖掘在航空探測數(shù)據(jù)處理方面的應(yīng)用

陳瑋麗 張文建

華北電力大學(xué) 北京 102206

0 前言

航空物探在地質(zhì)研究、生態(tài)治理、短缺資源的探測，有著廣泛的應(yīng)用。目前主流的航天探測技術(shù)主要有四種：航空磁測技術(shù)、航空電磁測量技術(shù)、航空能譜測量技術(shù)、航空重力測量技術(shù)。

1 數(shù)據(jù)挖掘技術(shù)概況

1.1 數(shù)據(jù)挖掘技術(shù)現(xiàn)狀

重要信息的挖掘方法由以下3個環(huán)節(jié)構(gòu)成：(1)資料內(nèi)容的搜集，(2)數(shù)據(jù)信息的挖掘發(fā)現(xiàn)，(3)數(shù)據(jù)挖掘的結(jié)果展示，數(shù)據(jù)挖掘可以與用戶智能交互，數(shù)據(jù)挖掘主要是根據(jù)分析每個重要信息，從廣泛的數(shù)據(jù)中尋找其中的規(guī)律的技術(shù)，資料的搜集是從與其相關(guān)聯(lián)的數(shù)據(jù)源中篩選有價值的數(shù)據(jù)并處理成用于數(shù)據(jù)挖掘的數(shù)據(jù)集；數(shù)據(jù)信息的挖掘發(fā)現(xiàn)是用某種特定的算法，將數(shù)據(jù)集所含的規(guī)律找出來；數(shù)據(jù)的規(guī)律表示是以用戶可接受的方法將找出的規(guī)律呈現(xiàn)出來，數(shù)據(jù)挖掘是一個多學(xué)科的交叉領(lǐng)域，這些學(xué)科包括數(shù)據(jù)庫技術(shù)、機器學(xué)習(xí)、統(tǒng)計學(xué)、模式識別、信息檢索、神經(jīng)網(wǎng)絡(luò)、基于知識的系統(tǒng)、人工智能、高性能計算和數(shù)據(jù)可視化等，數(shù)據(jù)挖掘的任務(wù)有關(guān)聯(lián)分析、聚類分析、分類分析、異常分析、和演變分析等。

典型的數(shù)據(jù)挖掘如圖1所示。

圖1 典型的數(shù)據(jù)挖掘

1.2 數(shù)據(jù)挖掘分析技術(shù)的應(yīng)用

數(shù)據(jù)挖掘是一門交叉學(xué)科，隨著數(shù)據(jù)庫和互聯(lián)網(wǎng)路的發(fā)展，在金融、通信、等許多領(lǐng)域得到廣泛的應(yīng)用，其應(yīng)用領(lǐng)域在不斷拓展。

幾個典型的應(yīng)用，如(1)預(yù)測功能：通過對大量資料中走向的分析，對將要可能發(fā)生的事件進行預(yù)測對客戶群體進行科學(xué)準確的預(yù)測。(2)客戶群體價值判斷作用：根據(jù)對客戶的價值判斷，發(fā)現(xiàn)單位的優(yōu)質(zhì)客源，提高經(jīng)濟運行效率，降低成本。(3)智能跟蹤：通過對已有的數(shù)據(jù)資料進行研究判斷，找出其中的異常點，對可能發(fā)生的情況進行預(yù)測。(4)復(fù)合型營銷：根據(jù)對資源和服務(wù)結(jié)合的營銷策略的分析，準確定位貨物間的組合銷售方案，設(shè)計復(fù)合銷售策略。例如，在零售業(yè)進行消費者消費情況分析，根據(jù)結(jié)果對貨架重新擺放，從而提高銷售量等。(5)針對性服務(wù)：對個人的消費案例進行分析，發(fā)現(xiàn)其特定的消費習(xí)慣，可有針對性地設(shè)計方案銷售。(6)數(shù)據(jù)庫的直接銷售：一般來說，向客戶隨機發(fā)出大量直銷郵件，可能僅有不到 1%的反饋信息。但是依據(jù)小規(guī)模郵件直銷的結(jié)果內(nèi)容，數(shù)據(jù)挖掘能夠建立一個科學(xué)的方案，找出其中可能做出響應(yīng)的個人，將響應(yīng)率提高到10%，甚至更高從而削減了成本，提高了銷量。(7)提升工作效率：通過對日常工作數(shù)據(jù)判斷，找到優(yōu)化解決方案，提高效率。(8)創(chuàng)新探索：通過對豐富的無規(guī)則的科學(xué)實驗數(shù)據(jù)進行分析，發(fā)現(xiàn)其中規(guī)律，發(fā)現(xiàn)未知現(xiàn)象。(9)對象的劃分例如，銀行業(yè)將客戶分成不同的群體，向其提供不同的個性化投資產(chǎn)品。

綜上所述，數(shù)據(jù)挖掘能夠高效的處理分析復(fù)雜數(shù)據(jù)，并能夠科學(xué)的實現(xiàn)智能交互，能夠很好的解決目前航空航天資料內(nèi)容多、查詢難度大、分析困難、利用率低的難題。

2 數(shù)據(jù)挖掘技術(shù)引入航空物探數(shù)據(jù)庫系統(tǒng)的設(shè)計思路

2.1 航空物探數(shù)據(jù)庫系統(tǒng)概況

航空物探數(shù)據(jù)庫系統(tǒng)使用到的主要工具見表1。

表1 開發(fā)和設(shè)計工具

各個部分的功能模塊見表2。

表2 功能模塊

以上內(nèi)容為系統(tǒng)開發(fā)的工具組成部分。

目前航空物探的系統(tǒng)能夠?qū)崿F(xiàn)航空物探數(shù)據(jù)的數(shù)據(jù)入庫存儲、實時檢查和查詢?nèi)蠊δ堋５瞧洳樵兒痛鎯π氏鄬^低。比如，系統(tǒng)對大字段數(shù)據(jù)的讀寫速度慢。當(dāng)一次處理的數(shù)據(jù)量達到上百兆時，系統(tǒng)處理時間達數(shù)分鐘。

2.2 數(shù)據(jù)挖掘在數(shù)據(jù)庫中的引入

2.2.1 數(shù)據(jù)挖掘算法

數(shù)據(jù)挖掘方法中受到認可的方法包括決策樹算法、傳算法、聚類算法、關(guān)聯(lián)規(guī)則等。

聚類算法是一種功能強大的資料管理算法，這種算法具有可擴展項能、分析有損數(shù)據(jù)、可處理的維度數(shù)更高、對于資料數(shù)據(jù)的記錄順序不敏感、能夠被解釋、兼顧約束條件、高智能交互特點，充分利用數(shù)據(jù)之間的關(guān)聯(lián)度進行分類處理，實現(xiàn)良好的交互功能，聚類算法主要包括基于密度的方法、層次聚類算法、分割聚類算法、基于網(wǎng)格的方法等等。

其他算法如下數(shù)據(jù)挖掘算法匯總表3。

表3 數(shù)據(jù)挖掘算法匯總

2.2.2 數(shù)據(jù)查詢推薦系統(tǒng)的建立

航空物探數(shù)據(jù)查詢推薦系統(tǒng)就是通過分析用戶查詢的資料得出學(xué)習(xí)其中經(jīng)常被查詢和關(guān)注的內(nèi)容并進行記錄，為每個用戶建立一個檔案資料庫，在以后的查詢過程中為其提供智能服務(wù)，向其推薦其可能關(guān)注或感興趣的信息的系統(tǒng)。根據(jù)實驗分析得出次查詢推薦系統(tǒng)能夠很好地向用戶推薦所需信息數(shù)據(jù)，在短時間內(nèi)解決資料查詢問題，幫助用戶方便準確查詢到所要查詢的信息，提高數(shù)據(jù)查詢效率，降低查詢時間。

2.3 數(shù)據(jù)挖掘算法在查詢系統(tǒng)中的應(yīng)用

由數(shù)據(jù)挖掘算法匯總表 3，可清晰看出，各種算法都有其優(yōu)缺點，結(jié)合算法自身特點及資料的查詢的實際需求，本方案數(shù)據(jù)查詢智能交互系統(tǒng)的設(shè)計思路將主要引入數(shù)據(jù)信息挖掘中的數(shù)據(jù)預(yù)處理技術(shù)，關(guān)聯(lián)規(guī)則挖掘，分類分析，聚類分析等關(guān)鍵技術(shù)算法，本方案重點研究數(shù)據(jù)挖掘關(guān)聯(lián)規(guī)則技術(shù)和聚類分析技術(shù)在的應(yīng)用。

2.3.1 數(shù)據(jù)中挖掘關(guān)聯(lián)的規(guī)則

關(guān)聯(lián)規(guī)則在本系統(tǒng)中的應(yīng)用：(1)充分利用挖掘數(shù)據(jù)間的相關(guān)性，同時結(jié)合用戶查詢的歷史記錄，向用戶推薦相內(nèi)容，提高了信息的使用效率，即促進信息數(shù)據(jù)間的關(guān)聯(lián)；(2)組織相關(guān)數(shù)據(jù)進行搭配；(3)根據(jù)用戶的查詢模式及查詢的歷史記錄將用戶進行合理智能劃分。從而動態(tài)調(diào)整數(shù)據(jù)鏈接，給各類用戶提供更為滿意快捷的選擇，實現(xiàn)了數(shù)據(jù)人性化查詢交互。

下面可以根據(jù)一個3個環(huán)節(jié)對此問題進行分析介紹：

第1個環(huán)節(jié)：在進行數(shù)據(jù)查詢上，用戶想查詢航空物探電磁測量技術(shù)。系統(tǒng)可以根據(jù)對關(guān)聯(lián)規(guī)則的挖掘結(jié)果電磁測量技術(shù)和重力測量技術(shù)放到一個列表，向客戶推薦，提高數(shù)據(jù)的利用效率。根據(jù)系統(tǒng)進行數(shù)據(jù)挖掘得到的信息：關(guān)注電磁測量技術(shù)用戶有51%關(guān)注重力測量技術(shù)。

經(jīng)調(diào)查許多用戶都會受到這種導(dǎo)向的影響，這樣就大大提升了資源的使用效率及用戶的搜索難度。

第2個環(huán)節(jié)：更進一步分析，根據(jù)對若干個例1中關(guān)聯(lián)規(guī)則挖掘。這樣可增加用戶對于此類信息的興趣，幫助用戶理解數(shù)據(jù)。

第3個環(huán)節(jié)：為查詢的用戶智能提供N種的數(shù)據(jù)相關(guān)。第一步：當(dāng)用戶使用本系統(tǒng)時進行實名登記注冊，其每次進行數(shù)據(jù)查詢就會產(chǎn)生一系列數(shù)據(jù)記錄，根據(jù)該歷史查詢數(shù)據(jù)記錄，根據(jù)關(guān)聯(lián)規(guī)則算法從Database中找出所有滿足最小支持度threshold和最小置信度threshold的關(guān)聯(lián)規(guī)則，智能劃分出用戶尚未查詢但可能感興趣的數(shù)據(jù)內(nèi)容的信息，根據(jù)概率中置信度算法找出其最可能感興趣的對信息內(nèi)容題目進行整合，向用戶智能提供N種最可能感興趣查詢的。

2.3.2 聚類分析的引入

對用戶的查詢消息記錄進行聚類計算，將具有相似查詢習(xí)慣的用戶劃分為一類，將具有最相關(guān)查詢記錄的用戶劃歸到同一個類中，根據(jù)同一個類中用戶的信息內(nèi)容向其更好更準確到位地推薦要查詢的信息內(nèi)容，也可動態(tài)地進行信息列表的調(diào)整，從而提供更高效的服務(wù)，對于數(shù)據(jù)資料的管理人員，可根據(jù)不同簇中用戶的特征，制作不同的信息查詢列表，比如：消費者M去網(wǎng)上購物淘寶，購買家具，買了床和床墊兩種商品，同時可能還會瀏覽一些家用電器等日常生活用品，當(dāng)消費者 M再次進入此查詢系統(tǒng)時，系統(tǒng)就會通過 M的查詢歷史記錄在頁面下方提示其可能感興趣的信息，這樣便于用戶查詢，縮短了查詢時間。同時系統(tǒng)可以根據(jù)用戶的查詢記錄將其查詢習(xí)慣進行歸類劃分成簇。

3 總結(jié)

目前數(shù)據(jù)挖掘技術(shù)在互聯(lián)網(wǎng)領(lǐng)域應(yīng)用較為廣泛和成熟，如網(wǎng)上購物等等，其良好的使用效果得到業(yè)內(nèi)人士越來越多的重視。

通過將數(shù)據(jù)挖掘算法，對客戶每次查詢進行記錄，根據(jù)記錄可以分析出對其有價值的部分，當(dāng)其登錄時會自動有列表顯示其可能感興趣的信息列表，進一步大大縮短了數(shù)據(jù)查詢的時間，顯著提高了資料的使用效率。實現(xiàn)了數(shù)據(jù)在條件下的資料查詢的簡單化、快捷化、人性化的處理。

隨著信息量的逐年不斷增加，數(shù)據(jù)挖掘技術(shù)和其算法必然會得到不斷的拓展和完善，將數(shù)據(jù)挖掘技術(shù)引入到航空物探資料管理查詢當(dāng)中具有良好的前瞻性和實用性。隨著技術(shù)的不斷完善，定會更好的服務(wù)航空物探事業(yè)。

[1]萬建華,熊盛青,范正國.西方國家航空物探技術(shù)的若干進展[J].物探與化探.2000.

[2]盧俊峰.野外航空物探資料預(yù)處理問題的討論[J].地質(zhì)找礦論叢.2003.

[3].薛典軍.航空物探信息服務(wù)系統(tǒng)需求規(guī)格定義.中國國土資源部航空物探遙感中心.2003.

[4]韓家煒,堪博.范明,孟小峰,譯.數(shù)據(jù)挖掘:概念與技術(shù)[M].(2 版).北京:機械工業(yè)出版社.2007.

[5][美]Charles Petzold.C#Windows程序設(shè)計(M).北京大學(xué)出版社.2002.

[6]鄒志文,朱金偉.數(shù)據(jù)挖掘算法研究與綜述[J].計算機工程與設(shè)計.2005.

[7]薛潔,劉希玉.數(shù)據(jù)挖掘技術(shù)與網(wǎng)上購物推薦系統(tǒng)[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用.2011.