數(shù)據(jù)挖掘與軟件工程

摘 要 數(shù)據(jù)挖掘面對海量數(shù)據(jù)信息進行選擇與運用，在軟件工程快速發(fā)展的潮流中具有舉足輕重的作用。數(shù)據(jù)挖掘應(yīng)對數(shù)據(jù)豐富而知識匱乏的挑戰(zhàn)，著眼于數(shù)據(jù)實用性對軟件工程知識庫的數(shù)據(jù)進行深度挖掘。關(guān)鍵詞 數(shù)據(jù)挖掘 軟件工程 技術(shù)中圖分類號：TP311

文獻標識碼：A

計算機領(lǐng)域新技術(shù)應(yīng)用使各行業(yè)生成、收集和存儲了大量數(shù)據(jù)。大量信息數(shù)據(jù)給社會帶來方便也帶來大堆問題：信息過量，難以消化；信息真假難以辨識；信息安全難以保證；信息形式不一致而難以統(tǒng)一處理。一般數(shù)據(jù)庫系統(tǒng)可高效實現(xiàn)數(shù)據(jù)錄入、查詢與統(tǒng)計等功能，卻無法發(fā)現(xiàn)數(shù)據(jù)存在的關(guān)系和規(guī)則。如何辨析信息和如何不被信息淹沒已經(jīng)成為現(xiàn)實問題。一、數(shù)據(jù)挖掘直面數(shù)據(jù)豐富而知識匱乏的挑戰(zhàn)

面對信息社會帶來的“數(shù)據(jù)豐富而知識匱乏”的現(xiàn)實挑戰(zhàn)，數(shù)據(jù)挖掘（Data Mining，DM）和知識發(fā)現(xiàn)（Knowledge Discovery，KD）技術(shù)應(yīng)運而生，伴隨計算機新技術(shù)和新理論的出現(xiàn)而發(fā)展，在電信與銀行，生物及大型超市等領(lǐng)域運用效果顯著。數(shù)據(jù)挖掘有時又稱作數(shù)據(jù)庫知識發(fā)現(xiàn)（KDD），此術(shù)語出現(xiàn)于1989年，從數(shù)據(jù)集識別有效與新穎的，潛在有用的，最終可理解的模式過程。KDD過程常指多階段處理，包括數(shù)據(jù)準備與模式搜索，知識評價及反復(fù)修改求精；該過程要有智能性和自動性。有效性指發(fā)現(xiàn)新數(shù)據(jù)仍保持可信度，新穎性要求模式應(yīng)是新的，潛在有用性指發(fā)現(xiàn)的知識將來有效用，最終可理解性要求發(fā)現(xiàn)模式能被用戶所理解，幾項綜合在一起稱為數(shù)據(jù)的科學(xué)性豍。

數(shù)據(jù)挖掘的界定。數(shù)據(jù)挖掘是從存放在數(shù)據(jù)庫與數(shù)據(jù)倉庫或其它存儲信息庫中的海量數(shù)據(jù)挖掘有趣知識過程。一般的定義是：數(shù)據(jù)挖掘是從大量、不完全、有噪聲、模糊、隨機的數(shù)據(jù)中抽取隱含其中，事先不為人所知、潛在、有效、新穎、有用和最終可理解知識的過程。研究人工智能學(xué)術(shù)人員和計算機技術(shù)專家通常所說數(shù)據(jù)挖掘名稱各異但實質(zhì)一樣。自然世界數(shù)據(jù)以多種多樣形式存放，除最常見數(shù)字與字符等類型，還有許多復(fù)雜數(shù)據(jù)。復(fù)雜類型數(shù)據(jù)挖掘包括：空間數(shù)據(jù)挖掘和多媒體數(shù)據(jù)挖掘，時序數(shù)據(jù)挖掘和文本數(shù)據(jù)挖掘，Web數(shù)據(jù)挖掘與流數(shù)據(jù)挖掘等。數(shù)據(jù)挖掘與傳統(tǒng)數(shù)學(xué)統(tǒng)計分析有區(qū)別，數(shù)據(jù)挖掘在沒有明確假設(shè)前提下自動建立方程，可采用不同類型如文本、聲音、圖片等的數(shù)據(jù)挖掘興趣模式；統(tǒng)計數(shù)據(jù)分析工具側(cè)重被動分析，需建立方程或模型來與假設(shè)吻合，最終面對數(shù)字化數(shù)據(jù)；數(shù)據(jù)挖掘是主動發(fā)現(xiàn)型與預(yù)測型數(shù)據(jù)分析工具，分析重點在于預(yù)測未來未知潛在情況并解釋原因。二、軟件工程的產(chǎn)生與數(shù)據(jù)實用性

軟件工程概念源自軟件危機，20世紀60年代末的“軟件危機”這個詞語頻繁出現(xiàn)計算機軟件領(lǐng)域，泛指計算機軟件開發(fā)和維護所遇到的系列嚴重問題。在軟件開發(fā)和維護過程中的軟件危機表現(xiàn)為軟件需求的增長得不到滿足，軟件開發(fā)成本和進度無法控制，軟件質(zhì)量難保證，軟件維護程度非常低，軟件成本不斷提高，軟件開發(fā)生產(chǎn)率趕不上計算機硬件發(fā)展和各種應(yīng)用需求增長等。軟件危機產(chǎn)生的宏觀原因是軟件日益深入社會生活，軟件需求增長速度超過軟件生產(chǎn)率提高，具體軟件工程任務(wù)的許多困難來源于軟件工程所面臨任務(wù)和其他工程之間各種差異以及軟件和其他工業(yè)產(chǎn)品的差異，即特殊性。軟件開發(fā)和維護過程存在的問題，與計算機軟件本身特點有關(guān)，軟件開發(fā)過程進度很難衡量，軟件質(zhì)量難以評價，管理和控制軟件開發(fā)過程困難等。計算機軟件專家認真研究解決軟件危機方法，逐步形成軟件工程概念，開辟工程學(xué)新領(lǐng)域即軟件工程學(xué)。軟件工程用工程、科學(xué)和數(shù)學(xué)原理與方法研制與維護計算機軟件有關(guān)技術(shù)及管理的方法。

軟件工程針對數(shù)據(jù)的處理具有系統(tǒng)的規(guī)范的系列辦法。1993年IEEE（電氣和電子工程師學(xué)會）給軟件工程綜合定義為：將系統(tǒng)化、規(guī)范和可度量的方法應(yīng)用于軟件開發(fā)、測試、運行和維護全過程，即將工程化應(yīng)用于軟件數(shù)據(jù)等設(shè)計中。軟件工程包括方法、工具和過程三個要素，方法是完成軟件工程項目技術(shù)手段；工具支持軟件開發(fā)、管理與文檔生成；過程支持軟件開發(fā)各個環(huán)節(jié)控制與管理。軟件工程的發(fā)展伴隨計算機與數(shù)據(jù)等相關(guān)技術(shù)的發(fā)展而進步。三、軟件工程的知識庫應(yīng)用數(shù)據(jù)挖掘技術(shù)

蘊含數(shù)據(jù)的特殊軟件的生命周期也是一個極其復(fù)雜演變過程，各個階段都會產(chǎn)生大量軟件數(shù)據(jù)。在設(shè)計文檔與程序源代碼，交流歷史與Bug報告，軟件運行日志等方面產(chǎn)生的大量數(shù)據(jù)，必然存在著對軟件開發(fā)和維護具有重要價值的信息。如能充分利用數(shù)據(jù)挖掘技術(shù)發(fā)現(xiàn)這些數(shù)據(jù)隱藏的知識，可提高開發(fā)效率并避免錯誤，增強軟件系統(tǒng)運行穩(wěn)定性和可信性。利用數(shù)據(jù)挖掘技術(shù)處理軟件產(chǎn)生大量數(shù)據(jù)想法在上世紀70年代就出現(xiàn)，但直到最近軟件數(shù)據(jù)挖掘領(lǐng)域才受到越來越多學(xué)者關(guān)注豏。軟件工程國際會議出現(xiàn)關(guān)于軟件數(shù)據(jù)挖掘研究工作組，許多數(shù)據(jù)挖掘會議與期刊陸續(xù)出現(xiàn)多篇高質(zhì)量與軟件工程相關(guān)學(xué)術(shù)論文，軟件數(shù)據(jù)挖掘已成為越來越關(guān)注熱點的研究領(lǐng)域。

軟件數(shù)據(jù)挖掘針對軟件工程版本控制，設(shè)計文檔及程序源代碼演化歷史等進行挖掘，同時，我們也可設(shè)計軟件工程數(shù)據(jù)倉庫來統(tǒng)一存儲這些可利用的大量軟件的數(shù)據(jù)。應(yīng)用傳統(tǒng)數(shù)據(jù)挖掘的經(jīng)典算法來處理存放在軟件知識庫的各種數(shù)據(jù)，提取有用信息來輔助軟件設(shè)計、開發(fā)與維護。會為開發(fā)人員提供有效的幫助。通過利用關(guān)聯(lián)規(guī)則挖掘算法尋找那些經(jīng)常被一起改變的實體如類、變量、函數(shù)、數(shù)據(jù)類型與控制語句等；或者利用關(guān)聯(lián)規(guī)則挖掘源代碼修改模式，挖掘存放在代碼庫軟件修改歷史模式；或者應(yīng)用關(guān)聯(lián)規(guī)則挖掘?qū)嶓w間依賴性，改進系統(tǒng)架構(gòu)相關(guān)研究；或者通過對用戶操作日志與系統(tǒng)運行狀態(tài)日志研究，建立基于用戶操作模式系統(tǒng)穩(wěn)定性預(yù)測模型等等。

總之，軟件工程數(shù)據(jù)集軟件知識庫包含的關(guān)于軟件工程演化歷史大量有價值的信息數(shù)據(jù)，為研究和利用這兩類優(yōu)質(zhì)數(shù)據(jù)，數(shù)據(jù)挖掘技術(shù)大有可為。□ 注釋：連一峰等.基于模式挖掘的用戶行為異常檢測.計算機學(xué)報，第25卷第3期.2002，3.毛國君等編著.數(shù)據(jù)挖掘原理與算法.清華大學(xué)出版社，2007，1.王磊.基于用戶操作模式的系統(tǒng)穩(wěn)定性研究.廣西師范大學(xué)碩士論文.2009，7.