趙斌

摘 要：海量數據的涌現與數據維度的提升，讓數據的噪聲與冗余特征帶來的負面影響呈現出了嚴重化的趨勢。在降低數據維度的基礎上，提升數據的分類精度是機器學習領域需面對的重要問題。本文主要從數據降維方法與機器學習分類方法的內容入手，對基于數據降維的機器學習分類應用問題進行分析。

關鍵詞：數據降維；機器學習分類應用；手寫數字識別

中圖分類號：TP391.41 文獻標識碼：A 文章編號：2096-4706（2018）02-0144-02

Research on the Application of Machine Learning Classification Based on Data Reduction

ZHAO Bin

（Beijing University of Posts and Telecommunications，Beijing 100876，China）

Abstract：The emergence of massive data and the enhancement of data dimension make the negative impact of the data noise and redundancy features a serious trend. On the basis of reducing the data dimension，improving the classification accuracy of data is an important problem to be faced in the field of machine learning. This paper，starting with the content of data reduction and machine learning classification，analyzes the problem of classification and application of machine learning based on data reduction.

Keywords：data reduction；machine learning classification application；handwritten digital recognition

0 引 言

科學技術的發展進步，讓不同類型的大數據成為了科研分析人員要面對的內容，如在生物醫療領域，海量的基因組數據探索，對遺傳類疾病診斷技術的發展進步起到了積極的推動作用。在金融領域，金融大數據的重要性也得到了眾多金融機構的關注。大數據技術的發展，使統計學、應用數學和計算科學等學科之間的科技界限有所弱化，機器學習與深度學習技術的應用，也成為了大數據技術發展的反映。

1 數據降維方法與機器學習分類方法的主要內容

機器學習是根據數據分析中獲得的規律，對位置數據進行預測的算法。降維算法是機器學習算法的重要組成部分。海量數據的涌現與數據維度的提升，讓數據中的噪聲與冗余特征帶來的負面影響呈現出嚴重化的趨勢。在降低數據維度的基礎上，提升數據分類精度，是機器學習領域需面對的重要問題。在提升識別精度的同時，降維算法還可以在獲取數據內部本質結構特征的過程中起到提升后續計算速度的作用。

1.1 數據降維方法

主成分分析法和線性判別分析法是兩種較為常用的數據降維方法。前者可以借助某種現行投影，將一些高維數據映射至低維空間之中，其投影維度的方差是影響這一降維方法應用效果的主要因素。投影維度數據中方差較大時，主成分分析法可以借助較少的數據維度，保留較多的原數據點特征[1]。后者產生于20世紀30年代，它也需要借助一組投影向量，將高維數據投影至低維空間之中，相比于主成分分析法，線性判別分析降維法要求人們在原始數據投影至低維空間以后，將不同類的數據分開處理，因而這種降維方法更有利于區分兩類數據。

1.2 機器學習分類方法

機器學習分類方法包括支持向量機法、K最近鄰方法、隨機森林法等多種。以隨機森林法為例，這種分類方法在實際應用過程中，可以在一定程度上減少過度擬合的可能性，也對數據噪聲有著較好的抗性，但是在數據特征維度相對較低的情況下，與之相關的基決策樹的重復度會有所提高。

2 基于數據降維的機器學習分類應用問題分析

2.1 降維分類的分析架構

從數據降維技術的研究現狀來看，針對數據噪聲的問題，人們需要在提升數據降維算法魯棒性的基礎上，降低噪聲和奇異值對降維結果的影響。降維分類的分析架構與數據降維方法之間有著較為密切的聯系。在維度選取層面，主成分分析法和線性判別分析法均可以借助選取特征向量來選取機制，并構建特征提取以后的低維數據。在機器學習算法的參數調整環節，人們也需要根據算法在同一維度中的最優表現來確定相關算法。K折交叉驗證法是應用于降維分類評價的主要算法，它要求人們將原始數據分為K組，對每一組所包含的數據做一次測試集，其余的小組作為訓練集。K組模型測試集平均分類的準確率是衡量機器學習方法實效性的主要依據。

2.2 手寫數字識別數據分析

手寫數字識別是借助分類技術識別紙張及圖像之中的手寫阿拉伯數字的識別技術。人們現實生活中所使用的阿拉伯數字的屬類低于漢字和英文拉丁字母，同一個數字在不同國家和地區的寫法是影響數字識別的主要因素。由于數字識別技術在銀行、財務、郵政及刑事案件偵查領域有著較為廣泛的應用，因而借助基于數據降維的機器學習分類應用技術來提升手寫數字的識別精度，具有較為重要的現實意義。以手寫數字識別數據集為例，對降維分類分析架構建設問題和機器學習分類方法的應用問題進行分析，可以起到提升分類準確率的作用[2]。

2.3 模型訓練過程分析

主成分分析法和線性判別分析法是線性降維方法和非線性降維方法的代表方法。在機器學習分類法的應用研究階段，人們可以在100維、50維、25維和10維四種維度水平之下，對數據進行特征提取，并對支持向量機法、隨機森林回歸法等機器學習分類方法進行應用。較差驗證法是開展訓練、預測的主要工具。根據模型訓練過程的訓練結果，在維度降低的初始階段，以原始維度下的平均分類準確率為參照物，非線性降維方法的平均分類準確率會呈現出上升趨勢。在維度值為100的情況下，線性降維方法的準確率可以達到95.14%。在維度值為50維或25維的情況下，不同機器學習分類應用法的準確率均表現出了下降趨勢，在維度值為10的數據集中，機器學習分類應用法會達到最低值。線性降維方法應用于機器學習分類算法以后，機器學習分類算法的平均分類準確率會在維度不斷降低的情況下表現出不斷下降的特點，在維度下降至10位以后，機器學習分類算法的平均分類準確率仍然會處于最低點（根據試驗結果，非線性數據降維法應用于機器學習分類算法以后，其在10維度下的準確率約為92.43%；在線性數據降維方法應用以后，機器分類算法在10維度下的準確率為88.86%）。因此，在平均分類準確度方面，非線性數據降維方法的準確性要高于線性降維方法的準確性。

從機器學習方法的應用情況來看，我們以梯度提升決策樹法與隨機森林法的應用情況為例，對機器學習方法的應用情況進行分析，如以梯度提升決策樹法為代表的集成決策樹方法可以對一些建立在殘差減小的梯度方向的決策樹進行分類處理，這種處理方法也可以有效減少噪聲信息的干擾。隨機森林法與前者相比存在一定的相似性，在主成分分析法應用以后，這種分類應用方法在降維下的準確率并不會超過原始的維度準確率。

3 結 論

在平均分類準確度方面，非線性數據降維方法的準確性要高于線性降維方法的準確性。為提升分類的準確率，需要在應用機器學習分類方法的過程中，首先利用降維方法進行一定的降維處理，再進行訓練分類。

參考文獻：

[1] 石志國，楊志勇.深度學習降維過程中的信息損失度量研究 [J].小型微型計算機系統，2017，38（7）：1590-1594.

[2] 畢達天，邱長波，張晗.數據降維技術研究現狀及其進展 [J].情報理論與實踐，2013，36（2）：125-128.