基于PCA-LVQ的專業可持續發展綜合分類研究

謝穎 朱遠勝 姚雪存 馬維聰

摘 要：提出將PCA及LVQ網絡用于專業可持續發展分類應用研究，通過多種調研形式獲取專業發展的21項指標，首先對比使用標準正交歸一化方法和min-max歸一化方法對原始的樣本進行歸一化，再利用PCA算法解除樣本特征的相關性，實現數據的降維。最后利用LVQ神經網絡對已經降維的數據進行學習，并得到學習結果，最后利用學習得到的權值矩陣對新的樣本進行識別，判斷專業發展水平。

關鍵詞：主成分分析;學習矢量量化網絡;專業可持續發展

中圖分類號：G434? ? ? ? ? ? ?文獻標識碼：A? ? ? ? ? ? ?文章編號：1674-2346（2018）04-0084-08

如何評價專業發展水平是專業發展過程中的重要問題，根據相關文獻總結各類院校在進行專業發展過程中提出和實施的各種措施，用指標的形式加以固化，進而通過專家評審、調查問卷、現場調查、參考相關調查結果等形式對專業發展的各項指標進行量化。以浙江省高職類院校省級示范專業和優勢專業作為合格類樣本庫，以其它專業作為不合格類樣本庫，對比使用min-max、標準正交化2種方法完成數據規約，消除數據量綱不同導致的數據差異，接著用PCA對各類樣本的指標進行“解耦”，消除不同數據特征之間的線性相關性，獲取相互不相關的新的指標集，最后利用LVQ網絡對這些新的指標集樣本進行學習，通過學習得到專業發展水平高低的判別模型，從而為指導專業可持續發展提供識別標準和改進依據。

1? ? 建立評價指標體系

專業可持續發展總體上可以分為：專業規劃、專業實施與保障、專業產出與評價3個方面，[1]而從更加細致的角度來看主要分成5個方面：1）師資隊伍建設是學科專業建設的關鍵。[2]構建具有前瞻性眼光、高深造詣的專業帶頭人隊伍，在他們帶領下建設一支知識結構廣博、年齡結構和職稱結構合理、學術水平精深的師資隊伍是專業可持續發展的人才保證。[3]2）教材體系建設是專業可持續發展的載體。構建知識融會貫通，專業和培養方向明確、模塊結構合理的教材體系是專業可持續發展的物質基礎。3）課程改革與實踐是專業可持續發展的保證。課程改革與實踐的對象包括課程改革與實踐的主體對象――老師和學生，同時也包括客體對象如：科研成果、教改成果、社會服務成果、學生技能培訓成果等。4）信息化建設是專業實施過程中的靈魂。圍繞專業發展的信息化建設，包括資源庫建設、精品課程建設、網絡課程建設、視頻教程建設、頂崗實習平臺建設、培養方案建設、培養計劃建設等等。這些信息系統的建設一方面為專業實施提供合理的手段，也是知識、能力傳承的重要載體，合理的教學信息系統的構成能為專業實施提供強大的支撐，也為專業實施指明方向。5）實驗實訓場地與基地建設是專業發展的根據與橋梁。它對改善課程設置、提高人才培養質量、更好的服務當地經濟社會發展，具有重要作用。[4]

綜上所述，將專業可持續發展指標以列表形式總結，如表 1所示：

2? ? 相關理論基礎

2.1? ? PCA算法理論

PCA（Principal Component Analysis）中文名--主成分分析。PCA是投影平方最大化、誤差最小化的一種算法，是模式識別中常見的線性映射方法，由于PCA算法在降維和特征提取方面的高效性，在模式識別領域也得到了廣泛的應用。其核心思想是將高維空間中的向量，通過矩陣轉換為低維空間的向量，在盡量保持原有數據信息的基礎上消除高維空間向量特征的線性相關性，這樣對于后繼的神經網絡來說，可以減少訓練時間，提高訓練效率，增強網絡的泛化能力。[5]PCA在信號處理、圖像分析領域也有廣泛的應用。PCA算法基礎是K-L變換，當樣本中心化以后，K-L變換就變成了PCA。[6]

離散K-L變換：

它是一種基于目標統計特性的最佳正交變換，任意n維隨機向量 （一個樣本可以看成是一個隨機向量的實現），存在n維標準正交變換矩陣，其中 ，使得樣本p是這個標準正交基的線性組合，記為：

兩邊同時乘以? ? ? ?，并考慮正交基特性得到：

現在假設用前k項（1≤k則均方誤差為：

將（1）式代入得到：

令? ? ? ? ? ? ? ? ? ? ? ，則截斷誤差可以簡記為：

在限制條件下? ? ? ? ? =1，最優化上面的e。根據拉格朗日乘子法構造函數：

求偏導令其等于0，即? ? ? ? ? ? ? ? ? ?得到：

即滿足上式時，e取最小值。此時E（xxT）為自相關矩陣， j為自相關矩陣的特征值，uj為特征值 j對應的特征向量。將（3）式代入（2）式，得到：

因此，將自相關矩陣的特征值由大到小排列，特征值對應的特征向量正交，且取前面k個向量構成了轉換矩陣 ，截斷誤差是后面從k+1開始到n的n-k個特征值的和。

當向量x中心化以后，上面的自相關矩陣就是協方差矩陣（忽略系數），此時就是我們所說的PCA算法，理論已經證明，雖然構成向量x的基有無窮多個，但是，標準正交基下的截斷誤差最小。

2.2? ? LVQ神經網絡理論

學習矢量量化網絡（Learning Vector Quantization簡稱LVQ）是一種自適應數據分類混合網絡，是用數學方法對神經系統的橫向抑制功能的模擬，通過將有監督和無監督學習結合起來提高網絡對輸入向量分類的正確性。[7]

LVQ神經網絡由3層神經元構成，即輸入層、隱含層（競爭層）和輸出層（線性層）[8]，其基本結構如圖1所示。LVQ網絡的輸入層和隱藏層之間為全連接，而隱藏層和輸出層之間為部分連接。[9]輸入層和競爭層之間是無導師學習，某個神經元通過競爭及對其它神經元的抑制而獲勝輸出為1，其它神經元輸出為0，隱藏層和輸出層之間為有導師學習，主要完成邏輯“與”的功能，將獲勝神經元指派給某個類別。

2.3? ? LVQ訓練規則

1）有m個輸入向量，? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 與隱含層神經元之間的權值向量為iW? ，上標1表示第1層（隱含層）到競爭層的權值，所以共計為m個權值向量（列向量），記為1W ，2W? ，…，mW? 。初始值取比較小的隨機值。

2）設置? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?子類i是k類的一部分，其它都為0，也就是說如果pi屬于類k，那么? ? ? ? ? ? ? ? 。

3）隨機抽取的樣本pj輸入網絡，按照如下公式求其輸出。

n1直接計算權值向量和輸入向量的距離，并通過競爭，得到a1（只有1個神經元獲勝，結果為1，其它都為0），然后a1與導師向量權值矩陣W2相乘，得到類別結果。根據結果對jW1進行調整，因為輸入的向量是pj，而pj對應的權值為jW ，所以調整的是jW 。

4）更新權值，采用kohonen規則進行更新。如果在a2的輸出中，pj被正確的分類了，那么，要使得jW? 向pj靠攏即：

為學習速度和遺忘速度，這里取二者相等。

如果在a2的輸出中，pj沒有被正確的分類，那么就應該使得jW? 遠離pj，此時調整公式為：

然后依次循環輸入各個樣本向量。

5）判斷是否收斂。常見的判斷收斂方法有2種：第1種判斷迭代次數是否達到預設的最大值，若沒有達到最大迭代次數，則轉到第3步，否則訓練結束;第2種則是在實際項目中，通過判斷MSE均方誤差作為循環終止條件，即前后2次計算輸入層和隱含層之間的權值矩陣的均方誤差，只要不大于某個閾值就可以終止迭代。Matlab則是將這2種方法同時使用，無論哪個先達到條件，就終止迭代。

3? ? 基于PCA-LVQ模型的建立

3.1? ? 數據來源及樣本集

依據如表 1所示21項指標，通過專家評審、調查問卷、現場調查、參考相關調查結果等形式對專業發展的各項指標進行量化，得到如下數據表（表2）。

3.2? ? 構建PCA-LVQ網絡模型新的評價樣本集

在采用PCA算法對原始樣本進行轉換之前，為消除數據量綱不同導致的數據差異，對比使用min-max和標準正交化2種方法完成數據規約，2種方法規約后調用matlab的princomp函數完成PCA轉換后的特征值及貢獻度如表3所示，為了方便顯示最終結果，在源數據中將優勢專業和示范專業的3個樣本分別放在1，2，3位置。PCA執行結果如表3所示。

從表3中可以看出：min-max歸一化后的PCA分析結果表明，前9項特征值貢獻度為93.48%;標準正交化歸一化后的PAC的前9項特征值貢獻度為93.37%。二者基本相同，即前9項可以代表原樣本中的93%左右的信息，后面LVQ的處理就基于前9項數值進行神經網絡學習。

PCA降維后的轉換矩陣及新的樣本集說明如下。

PCA轉換后主要關注3個方面的內容：1）歸一化時計算的均值、方差或min以及max值，對于“行”是樣本，“列”是特征來說，這些值都是針對“列”而言，這些值是后繼規約化識別樣本要用到的數據。2）根據特征值貢獻度選擇相應的特征向量構成的轉換矩陣，因為前面選擇了前面9個特征值，所以，轉換矩陣選擇由前面9個向量構成的矩陣，這樣，原來21維的樣本就降維為9維數據樣本，這些樣本能反應原來樣本的約93%的信息。3）原來樣本在新的基空間中的向量矩陣，這是后繼LVQ的輸入向量。

3.3? ? PCA-LVQ網絡模型的參數設置

LVQ神經網絡的輸入層為17個神經元，因為這里初始訓練樣本個數為17，輸出層2個神經元，代表2個類別，輸入層每個樣本有9個向量，決定了輸入層到隱藏層的權值矩陣是17？，隱藏層到輸出層的權值矩陣為2？7，隱藏層與輸出層的權值矩陣在學習前由導師數據的類型設置如下：

前3列的第1項為1，第2項為0，后面14項的第1項為0，第2項為1，表示前3個樣本是同一種類別（代表優勢專業和示范專業類別），后面14個樣本為第二種類別（非優勢專業和非示范專業）。這個設置過程實際代表了導師樣本的分類學習。訓練的迭代次數設置為1000，最小均方誤差MSE設置為0，訓練過程中先到者為準。

4? ? 網絡模型的訓練與識別

4.1? ? 對比minmax及標準正交化的訓練結果

LVQ神經網絡結構如圖2所示。

訓練結束時的迭代次數與均方誤差如圖3及圖4所示：

在試驗中，盡管每次迭代次數可能都不相同，但是，通過多次試驗可以發現，從總體上，標準正交化后的數據進行LVQ分類學習時的迭代次數大概在20左右，此時的MSE達到了0，也就是說對于學習數據的分類完全符合要求。而min-max的LVQ神經網絡學習次數在10次左右，所以，僅僅就學習的收斂速度而言，min-max的學習速度要快于標準正交方式。min-max的性能是標準正交化方式的2倍左右。并且最終都學到了100%的分類能力，兩者都能正確的對導師數據進行分類，如所示：

圖5說明對17個導師樣本進行了學習，前面已經說過，前3個樣本是合格類樣本，后面14個樣本是非合格類樣本，系統最終能完全將2類數據分開。但是2種方法所獲取的權值矩陣不一樣，最終將會展示完全不同的識別能力。試驗中使用的是matlab2014b軟件，這個軟件版本沒有像以前版本那樣自動對數據進行訓練、校驗和測試的比例分配，直接將所有數據作為訓練數據。

4.2? ? 識別

用23個樣本進行識別，在設計樣本識別過程中，將訓練用的17個源樣本加入，新添6個新樣本，其中倒數第2個樣本為合格類樣本，其它5條為不合格樣本，這里要注意，對識別的原始樣本進行標準正交化和min-max規格化的時候，使用的均值、方差、min值和max值是訓練樣本中的值，不能用識別樣本中的相關值，采用sim方法進行仿真（識別）。得到的結果如表4所示（結果采用了matlab的vec2ind轉換并對結果進行了轉置）。

上述數據表明，在專業可持續發展分類研究項目中，標準正交化歸一法得到的最終識別率為100%，而通過min-max規約后的神經網絡的識別能力只有60.8%，前者遠遠高于后者的識別能力，造成這種識別能力巨大差異的主要原因在于待識別的樣本基本按照正態分布，而標準正交化歸一法的一個隱含的前提就是數據如果基本符合正態分布，那么識別率是非常高的，不過準確率一般來說是達不到100%的，這可能只是一個巧合而已，另外，樣本數目不多，也是一個很重要的原因。反之，如果樣本不符合正態分布，那么標準正交化歸一法后的LVQ識別率也不會非常高，這是實際項目中應該注意的問題。

4.3? ? 總結

LVQ作為一種集監督和無監督學習為一體的神經網絡，理論上對樣本沒有提出歸一化要求，其分類或者說聚類能力是比較強的，但是有相關文獻已經證明當樣本特征存在較強關聯性時，LVQ的功能不能得到有效發揮，因此，PCA作為一種降維和特種提取算法，剛好是對LVQ神經網絡的一種有益補充，二者相得益彰。同時，在處理類似問題時，樣本特征的選取是非常重要的，好的樣本屬性確實能反應樣本的本質特征，通過學習獲得的識別能力就非常強大;反之，則識別能力就很弱。

另外，從以上數據獲取、規約數據、PCA降維、LVQ分類和識別過程的結果可以得出結論：專業可持續發展的21項指標的建立是比較符合實際分類標準的，按照21項標準采集的數據經過標準正交化數據規約后，通過PCA消除特征的相關性，再經過LVQ網絡的識別，能夠學習到用于識別的權值矩陣，依據這些權值矩陣和正交化過程中獲取的均值和方差就能夠以很高的識別率判斷專業的發展水平。權值矩陣、均值和方差、轉換矩陣構成了依據21項指標判斷專業發展水平的模型。

參考文獻

[1]夏淑華.高職院校專業可持續性發展思路及實施措施研究[J].學理論，2015（30）：174-175.

[2]黃海，王竹立.中山醫科大學教學資源庫的構建與實現[J].中國醫學教育技術，2002，16（3）：162-165.

[3]嚴珍珍，蔣志芳.信息與計算機科學專業可持續發展的探索與實踐[J].高師理科學刊，2014，34（2）：82-85.

[4]鐘耀平.地方本科院校商務英語專業課程設置調查和分析[J].寧波工程學院學報，2017，29（1）：122-127.

[5]譚莉，于春梅.基于PCA_LVQ神經網絡的化工過程故障診斷[J].工業控制計算機，2016，29（11）：86-87.

[6]謝建龍，汪亞明.基于PCA算法的運動員動作識別技術研究[J].工業控制計算機，2014，27（4）：138-139.

[7]王民.基于LVQ神經網絡的朱鹮個體辨識技術研究[J].信息通信，2015（9）：7-8.

[8]趙學觀，王秀，李翠玲，等.基于主成分分析及LVQ神經網絡的番茄種子品種識別[J].浙江農業學報，2016（8）：1379-1380.

[9]謝麗蓉，王晉瑞.基于LVQ_GA_BP神經網絡的煤礦瓦斯涌出量預測[J].煤礦安全，2017，48（12）：154-156.

Study on Comprehensive Classification of the Sustainable Development ofProfession

Based on PCA-LVQ

XIE Ying? ?ZHU Yuan-sheng? ?YAO Xue-cun? ?MA Wei-cong

（Teaching Affairs Office，Zhejiang Fashion Institute of Technology， Ningbo，Zhejiang 315211，China）

Abstract： In this paper，PCA-LVQ networks are applied to the classification and application ofthe sustainable development of profession and 21 indexes of professional development are obtained through various investigation forms.First，the standard orthogonal normalization method and the min-max normalization method are compared to normalize the original samples.Then the PCA algorithm is used to remove the correlation of the sample features and to reduce the dimension of thedata.Finally，LVQ neural network is used to study the dimension reduced data and the learning result is obtained.The weight matrix is used to identify the new samples and judge the level of professional development.

Key words： principal component analysis;learning vector quantization network;sustainable development of profession