淺談計算計工程設計中數據的挖掘特征以及相關算法

孫健

摘 要：隨著計算機科學技術快速發展，人們對于信息價值的認識逐漸提高。在此背景下，數據挖掘對于人們從海量數據信息流中提取價值信息有著十分重要的作用。而在KDD處理整個過程中，特征選擇尤為關鍵，通常特征選擇方式包含過濾、包裝兩種。本文就特征選擇算法的搜索方向及策略、評價方法、停止標準對特征選擇兩種模式以及幾種具有代表性的特征選擇算法，對數據挖掘特征以及相關技術進行了一定程度的研究。

關鍵詞：數據挖掘 特征選擇 知識發現 算法 信息處理

中圖分類號：TP3 文獻標識碼：A 文章編號：1672-3791（2018）11（a）-00-02

隨著社會和經濟的快速進步，計算機科學技術發展日新月異，當前，人們已然進入到大數據時代。當前，在海量的數據信息洪流中，如何提取、發現有價值的數據信息顯得尤為關鍵，數據挖掘就是在這種背景下產生的。在數據挖掘中，特征選擇是一個極為重要的研究方向，其能夠從原始特征集合中選擇最優的特征子集，進而提高數據質量以及挖掘效率。因此，對數據挖掘特征選擇及其算法進行研究充滿了必要性。

1 特征選擇概述

所謂特征選擇，其指的是在為特定應用不丟失數據原始價值的前提下選擇最優的屬性子集，去除不相關的或是冗余的過程。由于數據分析過程中數據特征千變萬化，很多特征和數據挖掘任務不相關，通過特征選擇能夠有效提高數據質量，提高數據挖掘效率，并使得挖掘出的規則更容易被人們理解。在知識發現（KDD）過程中，特征選擇極為重要，其為后期數據信息的預處理、挖掘以及后處理有著十分關鍵的意義[1]。

2 特征選擇種類

特征選擇種類主要分為包裝（Wrapper）算法以及過濾（Filter）算法，其中Wrapper算法一般情況下和一種特定分類算法包裝在一起，在初始化中其設定目標特征集和為空集，然后根據選定的特征評價標準在每一步中選擇原始特征評價最優的特征，并把其增加到目標集合里。在后面的每一次迭代中，其把原始特征集余下的特征里的最優特征增加到目標集合里，一直到最終獲取滿意的目標特征集合。而Filter算法在初始化中將目標特征集合設定為整個特殊集，然后根據選定的特征評價標準在每一步中不斷去除評價最壞的特征，一直到最終目標特征集合符合要求后結束。通常來講，Wrapper算法分類精度相對較高，但是相比于Filter算法，其計算過程較長，因此不太適用于大規模的數據信息處理。而Filter算法則忽視了所選特征子集在分類算法上性能表現會造成分類性能降低[2]。

3 特征選擇算法研究

隨著數據信息規模急劇提升，當前，人們在進行數據挖掘時必須通過特征選擇算法約減數據規模或者改變數據結構，進而提高數據挖掘效率或者提高分類能力。當前，特征選擇算法已經廣泛應用于網絡安全信息挖掘、商業金融、生物醫學以及文本識別等領域，并取得顯著成果。一般情況下，特征選擇算法在特征子集空間中進行搜索時，其主要考慮以下幾點：搜索方向、搜索策略、評價方法、停止標準，以下筆者將就這4個方面對特征算法中比較有代表性的ABB算法、Relief算法以及LVW算法進行一定程度研究，并分析每種算法的特征[3]。

3.1 ABB算法

ABB算法在搜索方向上是采用后向搜到，即深度優化；在評價方法上采用一致性方法；搜索策略上其采用完全搜索，即在搜索中采用啟發性信息；在停止標準上，當無法再找到符合一致性要求的更優屬性子集時即停止算法。ABB算法在進行過程中，其不斷推展搜索規模，同時，其又對搜索空間不斷進行裁剪，由于其搜索策略采用完全搜索，一致性搜到單調性能夠大幅度降低搜索屬性子集的搜索范圍。ABB算法雖然沒有對全集當中的所有子集進行搜索，但是其能夠保證沒有評價的子集是不符合搜到要求的，因此，其屬于完全搜索[4]。

3.2 Relief算法

Relief算法主要用來處理屬性關聯的問題，其能夠以統計相關性為基礎選擇屬性，并采樣實例集合，計算所有屬性的權重。Relief算法理念在于其將相關屬性視為相鄰的類型不同的實例間取值不同的屬性。針對數據集中實例M，通過發現與其相近的類別相同的實力L和類別不同的實例N。在理想狀態下，相關屬性應與M里的取值和L里的取值相同，但是不同于N里面的取值。在算法實際運行中，計算單一屬性在M、L、N之間的距離能夠獲取該屬性的相關性。在隨機選取的實例中，每一個屬性的距離值分別累加到和條件屬性維數一樣的權重向量里。當權重值高于門限值的即為相關屬性，其中，門限值的決定采用區間估計統計方法。隨機抽樣的尺寸可以發生變化，而且尺寸越大最后獲取的結果可靠性越高。在處理離散和連續的數據時通常采用Relief算法，但是在解決冗余數據任務時Relief算法很難起到作用，因此Relief算法選擇的特征子集并非為最優特征子集。后來隨著Relief不斷得到擴展，其當前能夠解決多類型、不完整和有噪聲的數據信息挖掘任務[5]。

3.3 LVW算法

LVW算法屬于一種十分典型的包裝特征選擇方法，其沒有固定的搜索方向，也沒有專門的搜索策略；在評價方法上其采用正確性評價，也就是通過單一機器學習算法或者分類器對屬性子集進行評價；在停止標準上，當預先設置的循環次數結束后即停止算法[3]。相比于過濾式特征選擇，包裝式特征選擇會直接將最終采用的學習器的性能作為特征子集的評價標準，也就是說，包裝式特征選擇的最終目標在于為學習器選擇最有利于其性能的特征子集。在具體運行過程中，LVW算法以拉斯維加斯方法框架為基礎，假設數據集為E，特征集為B，那么該算法每次在特征集B里隨機產生一個特征子集B'，之后采用交叉驗證的方式，對學習器在特征子集B'的誤差進行估計，當誤差小于之前獲取的最小誤差時，或者當與之前獲取的最小誤差相當但是B'里所涵蓋的特征數更少，那么將B'進行保留。因為LVW算法每次對子集B'進行評價時，都必須重新訓練學習器，計算開銷相對較大，所以其必須設置參數T對停止條件進行控制。不過如果特征數很多，即∣B∣較大，而且參數T也很大時，算法可能出現運行長時間不能停止的情況[6]。

4 結語

隨著計算機科學技術的快速發展以及經濟的快速進步，各行各業企業存儲數據量急劇上升。在海量的數據背后隱藏著大量有價值的信息，通過發現、挖掘、分析這些數據能夠為企業管理者做出精準決策提供強而有力的支持。而在知識發現中，特征選擇極為關鍵，只有全面進行數據的抽取、轉換、抽樣、離散以及去除噪聲，才能得到較好的特征選擇效果。

參考文獻

[1] 趙宇，黃思明，陳銳.數據分類中的特征選擇算法研究[J].中國管理科學，2013，21（6）：38-46.

[2] 劉海燕.基于信息論的特征選擇算法研究[D].復旦大學，2012.

[3] 李紅.數據挖掘中特征選擇與聚類算法研究[D].大連理工大學，2010.

[4] 毛勇，周曉波，夏錚，等.特征選擇算法研究綜述[J].模式識別與人工智能，2007，20（2）：211-218.

[5] 彭佳紅，沈岳，張林峰.數據挖掘中的特征選擇及其算法研究[J].計算機工程與設計，2005（5）：1176-1178.

[6] 張隆.基于信息論的特征選擇和分類算法研究[D].西南農業大學，2005.