大數據挖掘面臨的挑戰及思考

趙青

摘要：現階段我國的科學技術得到了迅速發展，一些新技術在生產工作當中也得到了廣泛應用，其中的大數據挖掘技術就是重要應用技術。通信企業的發展中，對大數據挖掘技術的應用需求也有著加強，但是大數據挖掘技術也面臨著一些挑戰。本文主要就大數據挖掘的功能和主要技術加以闡述，然后對大數據挖掘面臨的挑戰和發展趨勢詳細探究。

關鍵詞：大數據；挑戰；發展趨勢

中圖分類號：TP311.13 文獻識別碼：A 文章編號：1001-828X（2017）013-0-01

引言

大數據能夠分成科學大數據以及決策大數據等，大數據挖掘技術的應用，呈現的是倒金字塔型，底部是通過IT計算系統以及平臺層，中間算法以及模型層，頂層應用層所構成的完善系統。當前的大數據挖掘技術在通信企業當中的應用發揮著重要作用，注重對技術的理論深化研究對通信企業的良好發展就有著積極意義。

一、大數據挖掘的功能和主要技術分析

1.大數據挖掘的功能體現

大數據挖掘的功能比較多，在自動預測趨勢以及行為的功能上較為突出，數據挖掘自動在大型的數據庫當中尋找預測性信息的作用比較突出，這樣就大大提高了查詢數據的效率。而在大數據挖掘功能中的關聯分析的功能上也比較突出，關聯分析的主要功能就是找到數據庫當中隱藏的關聯網，在關聯分析生成的規則的可信度就比較突出[1]。大數據挖掘功能當中的聚類功能也比較突出，其中就有著傳統模式識別法以及數學分類學。功能中的偏差檢測功能比較突出，在數據庫當中數據常有的異常記錄當中，偏差所包含的潛在知識比較多，有不滿足規則的特例以及觀測結果等偏差。

2.大數據挖掘主要技術

其一，神經元網絡技術。大數據挖掘技術當中的神經元網絡技術是比較重要的應用技術，其中用于分類以及聚類和特征采掘的作用發揮比較突出。神經網絡模仿生物神經網絡，就是分布矩陣結構。神經元網絡技術當中前饋式網絡以及反饋式網絡和自組織網絡是比較重要類型[2]。其中前饋式網絡是以感知機以及反向傳播模型等作為代表的，能用在預測以及模式識別上。在自組織網絡類型方面，主要是以ARI模型等為代表的，在聚類的應用上比較突出，在神經元網絡的技術應用下，就能大大提高實際問題的解決效率。

其二，線性回歸分析技術。大數據挖掘技術中的線性回歸分析技術的作用也比較重要，其包含著預測目標以及預測屬性，兩者關系能繪制二維空間。在具體實施中，沿著軸繪制預測屬性值，在這一回歸模型方面就能視為一條曲線，曲線用于最小化實際預測值以及線上點間錯誤發生率。

其三，決策樹技術。大數據挖掘技術中決策樹技術的應用也比較重要，決策樹是在數據屬性值基礎上實施的歸納分類，其主要的優勢是可理解性和直觀性。其和神經網絡最大卻別就是決策樹能解釋得出結果的決策過程。

二、大數據挖掘面臨的挑戰和發展趨勢

1.大數據挖掘面臨的挑戰

大數據挖掘所面臨的挑戰比較多，在數據挖掘對象方面，更大型的數據可以及更高維數以及屬性間更復雜的關系，諸多的因素就會使得搜索知識的代價比較高。大數據挖掘技術的應用下，在多種形式輸入數據上就面臨著比較大的挑戰，在當前的數據挖掘工具處理數據的形式上是比較有限的，能處理數值型的結構化數據，但是對文本以及數學公式等進行挖掘，還有事數據自身的缺損以及噪聲，在商業數據庫當中的應用也有著很大挑戰。

大數據挖掘技術應用所面臨的挑戰當中，驗證技術的局限性也比較突出，在技術應用中是通過特定分析方法以及邏輯形式發現知識的。在這一過程當中，系統就可能沒有能力交互證實發現的知識，這就會造成發現的知識沒有普遍實用性[3]。還有事待挖掘的數據自身可能是錯誤的，這樣在數據挖掘的有效性方面就受到了相應影響。大數據挖掘所面臨的問題中，在知識的表達以及解釋機制和知識的維護更新方面也比較突出，在支持的局限和其他系統的集成方面也面臨著很大挑戰。

大數據挖掘技術的應用中，所得到的預言模型不會告訴一個人為什么會做一件事和采取某個行動，為保障數據挖掘結構的價值，用戶就要能對自身的數據進行了解。輸入數據庫當中的異常數據以及不相關字段等對數據挖掘輸出結果質量就有著影響。數據挖掘不會在缺少指導下自動發現模型，數據挖掘不會替代有經驗的商業分析師以及管理人員所起的作用。

2.大數據挖掘技術發展趨勢

大數據挖掘技術的進一步升級下，在應用的范圍上也進一步擴大化，其中將大數據挖掘技術在通信企業領域的應用就能發揮積極作用，當前大數據挖掘的技術發展趨勢就是開發針對特定應用的數據挖掘系統。在未來的發展過程中，大數據挖掘技術就會實現可伸縮的數據挖掘方法目標[4]。數據挖掘技術的重要發展方向就是基于結束挖掘的發展方向，增加用戶交互同時來改進挖掘處理的總體效率，能夠有效提供額外控制方法，能允許用戶說明以及使用約束。

大數據挖掘技術的應用發展中，數據挖掘語言標準化的目標將會實現，標準的數據挖掘語言以及其他方面標準化工作對數據挖掘系統化的開發就有著積極作用，能有效優化多數據挖掘系統以及功能間互操作。大數據挖掘技術的應用過程中，可視化數據挖掘的技術將會進一步發展，復雜數據類型挖掘新方法的發展應用目標將會實現。

三、結語

綜上所述，大數據挖掘技術自身的優勢使其在實際工作當中得到了廣泛應用，在將大數據挖掘技術在通信企業當中加以科學化的應用下，就能提高企業的運行管理效率。希望能通過此次的理論研究，對大數據技術在生產工作當中的廣泛應用起到一定促進作用。

參考文獻：

[1]丁華.面向用戶體驗的大數據服務架構研究現狀和存在問題[J].河南科技，2016（12）.

[2]向志軍.數據挖掘技術在高職單片機課程評價分析中的應用[J].河南科技，2016（15）.

[3]邵德偉.大數據量數據庫集群技術在政務云平臺中應用[J].機電工程技術，2016（Z2）.

[4]蔡澤鋒.數據挖掘在高校教學及學習評價中的應用[J].機電工程技術，2016（Z2）.

作者簡介：趙 青（1972-），女，漢族，寧夏中衛人，本科，工作單位：中國電信股份有限公司寧夏分公司，主要從事企業信息化、數據挖掘研究。