模擬電路故障特征降維方法*

廖　劍， 周紹磊， 史賢俊， 王　朕

（1.中國人民解放軍第91550部隊 大連，116000）（2.海軍航空工程學院控制工程系 煙臺，264001）

?

模擬電路故障特征降維方法*

廖劍1，2， 周紹磊2， 史賢俊2， 王朕2

（1.中國人民解放軍第91550部隊 大連，116000）（2.海軍航空工程學院控制工程系 煙臺，264001）

為有效進行模擬電路故障特征的降維處理，在線性判別分析（LDA）中通過引入局部化思想提出一種局部線性判別分析（LLDA）降維方法。首先構造單個數據的局部數據塊，計算其類內、類間散度矩陣，通過縮放因子平衡局部鄰域類內緊性和類間散性之差建立單個數據的局部優化準則；然后在整個數據空間中采用對齊算法重構最終目標函數，最后使用標準特征值分解方法求得投影矩陣完成數據降維。算法充分利用數據的局部判別信息使其能夠處理數據的非線性并保持數據的類區分度，而且克服了LDA中的小樣本問題。算法在標準數據集和模擬電路故障特征提取中進行實驗均取得了較好的效果。

降維；模擬電路；特征提?。痪€性判別分析；局部線性判別分析

引 言

故障特征提取是模擬電路故障診斷的關鍵技術之一，如何有效地進行故障特征提取將會對故障診斷結果產生重要的影響［1-3］。目前，基于信號處理的故障特征提取方法是當前研究的重點［3］。該方法通常是對電路響應節點電壓信號進行連續采集，然后直接或利用各種信號處理方法（如傅里葉變換［4］、小波變換等［5］）獲取電路狀態的動態特征信息進行故障診斷，但往往獲得的診斷特征數據都是高維的，如果直接將其作為輸入設計故障分類器不但會增加計算的復雜性，通常得到的診斷結果也不是最優的。因此，在利用獲得的特征數據進行故障診斷之前，通常需要對其進行降維處理。

降維方法可分為線性降維和非線性降維。典型的線性降維方法有主元分析（principal component analysis，簡稱PCA）［6］和線性判別分析（linear discriminant analysis，簡稱LDA）［7］。PCA不借助類別信息，通過最大化原始高維分布數據和投影后低維數據的互信息來完成數據的降維表示。LDA則利用類別信息通過最大化數據類間散度與類內散度的跡之比獲得最優投影方向進行降維。然而PCA和LDA都保持數據在高維空間中的全局結構，使得它們的非線性降維效果不佳［8］。大部分模擬電路都是非線性的，即便是線性模擬電路發生故障時，其信號特征往往也是非線性的，因此利用線性降維方法對電路響應信號進行處理是不合適的［9］。近年來，以局部線性嵌入（locally linear embedding，簡稱LLE）［10］、等距特征映射（isometric feature mapping，簡稱ISOMAP）［11］、拉普拉斯特征映射（laplacian eigenmaps，簡稱LE）［12］和局部切空間排列算法（local tangent space alignment，簡稱LTSA）［13］為代表的非線性降維方法成為研究的熱門。雖然它們在處理特定的人工數據時表現出良好的性能，但在處理實際數據時并沒有明顯的優勢［14］。此外，一些基于流形學習的非線性降維方法不能產生從高維空間到低維空間的映射函數，因而無法處理新出現的樣本，使得此類方法在諸如模式識別、故障診斷等分類任務的應用中受到限制［15］。研究表明，數據間的局部流形結構可能更有助于模式分類。為此，一些研究聚集在如何將局部化思想引入到降維方法中，例如近年提出的局部保持投影（locality preserving projections，簡稱LPP）［16］、局部Fisher判別分析（local fisher discriminant analysis，簡稱LFDA）［17］、邊界Fisher分析（marginal fisher analysis，簡稱MFA）［18］和局部判別投影（local discriminant projection，簡稱LDP）［14］都是局部化思想的應用。但LPP是一種無監督方法，將其用于分類顯然不是最優的。LFDA和MFA都在同類近鄰樣本間的權值定義中引入了局部信息，而對異類樣本近鄰關系的權值定義則予以忽略或簡單的設定為1，都將對降維結果產生不利影響。LDP在LFDA和MFA的基礎上同時考慮了同類樣本和異類樣本間的近鄰關系，但其解的求取無法克服小樣本的奇異值問題。

筆者從分析LDA及LFDA中的不足入手，然后在其基礎上通過強調單個數據的局部關系，提出一種局部線性判別分析（local linear discriminant analysis，簡稱LLDA）降維方法。采用與LFDA不同的局部化方法并使用類內與類間散度矩陣之差作為目標優化函數，有效地克服了LFDA方法的不足和LDA中存在的小樣本問題，在標準數據集和模擬電路故障特征提取試驗中均取得了較好的效果。

1 LDA，LFDA及其不足

設由N個樣本組成的數據集記為X=［x1，…，xN］∈Rm×N，xi（1≤i≤N）∈Rm，m為每個樣本的維數。數據降維就是按照某種優化準則求得一個投影矩陣W∈Rm×d，將樣本集投影到低維空間得到Y= WTX=［y1，…，yN］∈Rd×N，yi（1≤i≤N）∈Rd為樣本xi在低維空間中的投影。

經典線性判別分析降維方法LDA的基本思想是最小化類內散度和最大化類間散度，并以類間散度矩陣的跡和類內散度矩陣的跡之比為優化目標［］：

其中：SW和SB分別稱為類內和類間散度矩陣；W則是需求解的最優投影向量集；C為數據集的類別總數；Ni為第i類樣本總數；xji為第i類的第j個樣本為第i類樣本的平均值；為所有樣本的平均值。LDA的目標函數可以轉化為廣義特征值問題的求解［8］，即

求解LDA的最優投影向量實際上就是獲得矩陣SBS-1W的主導向量，但對于小樣本情況下，類內散度矩陣SW通常是不可逆的。

為后面便于與LFDA比較，把LDA的SW和SB改寫成下面的等價形式［17］：

從式（3）中不難看出，權值pij和體現了判別信息，即權值與xi和xj是否同類有關，然而pij和中沒有體現局部信息，即權值與xi和xj是否相鄰無關［14］。

文獻［17］提出一種LFDA方法，其在LDA權值的定義中融入了局部信息，目標函數與LDA優化目標一致，LFDA中權值定義為其中：Aij表示xi和xj之間的一種相似性度量，通常Aij可取為熱核［12］，可見LFDA體現了局部信息。

但LFDA不考慮異類樣本之間的近鄰關系，只要兩個樣本異類，兩者之間的權值就是1/N，這樣會帶來兩個缺點：一是對野值敏感，二是不考慮異類樣本之間的近鄰關系，會導致相距較遠的異類樣本在目標函數中占據較大比重，以致在處理某些多模問題時出現錯誤［14］。

2 LLDA

為解決LDA與LFDA方法中存在的問題，文中提出一種結合局部化信息的LLDA方法。LLDA通過對單個樣本建立近鄰類內散度矩陣和類間散度矩陣，構造局部優化準則，然后采用對齊算法［13］在整個數據空間中重構目標函數，最后使用特征值分解方法求得投影矩陣完成數據降維。除引入局部信息外，LLDA在構造局部優化目標函數時與LDA算法的不同之處還在于，LDA方法是最大化類間散度矩陣和類內散度矩陣之比，而LLDA方法則是通過最小化引入了縮放因子的類內散度和類間散度矩陣之差，避免了類內散度矩陣求逆造成的LDA中存在的小樣本問題。其具體步驟如下：

如第1節定義，設數據集X中任一樣本xi，選擇其k1個同類近鄰組成同類近鄰數據集同理選擇其k2個異類近鄰組成異類近鄰數據集：［xi1，…，xik2］。這樣把樣本xi及由k1個同類近鄰和k2個異類近鄰組成的數據集稱為xi的局部數據塊。對高維空間中的每一個xi都可以形成如上定義的局部數據塊。對每一個局部數據塊相應的低維空間表示為根據LDA思想，期望數據投影在低維空間中同類樣本之間盡可能緊湊，而異類樣本之間盡可能分散。因此，對每一個局部數據塊，期望數據在投影之后近鄰同類樣本之間盡可能緊湊，于是有

同時，也期望數據在投影之后近鄰異類樣本之間盡可能分散，于是有

數據塊都是局部近鄰構成的，可以認為是近似線性的，于是采用線性化的處理手段將雙目標問題轉化為如下單目標問題：

其中：η∈［0，1］是一個縮放因子，用來在每個局部鄰域中的類內緊性和類間散性之間尋求一個滿意的平衡。

設定義相關系數向量：

ωi中1的個數為k1，-η的個數為k2，于是式（7）可進一步化簡為

Fi=［i，i1，…，ik1，i1，…，ik2］為局部數據塊Xi中數據點的索引向量為（k1+k2）×（k1+k2）的單位矩陣。

根據文獻［13］中的對齊算法，有

其中：Si∈N×K為選擇矩陣，K=k1+k2+1，相應的元素定義為

于是式（9）可重寫為

通過把每個局部數據塊相加，得到整體數據優化目標函數為

最終式（14）的求解可轉化為標準特征值的求解問題，避免了LDA和LFDA中廣義特征值求解可能帶來的奇異值問題。

根據以上推導，可以得到使用LLDA進行數據降維的基本過程如下：

巷道圍巖不同測點位置位移隨加載次數的變化如圖4所示。從圖中可看出，邊界應力加載過程中巷道圍巖應力變化主要表現為兩個階段：(1)外力加載至0.8MPa時，測點2、3、6、7處圍巖開始發生變形破壞，且測點2、7處位移量明顯較大，表明巷道拱部左側與底板右側首先發生變形破壞，且巷道變形量最大的位置達到30mm以上；(2)外力加載至1.6MPa時，其他測點也開始發生變形，且每個測點的變形量持續增加，未出現穩定期，表明超千米深井圍巖發生持續變形破壞，且破壞范圍較大。

（1）對數據集X中的每一個數據樣本xi，選擇合適的k1個近鄰同類樣本和k2個近鄰異類樣本構造樣本xi的局部數據塊X Xi；

（2）通過式（10）計算Li，然后根據式（15）迭代產生對齊矩陣L；

（3）求解標準特征值問題XLXTw=λw得到LLDA投影矩陣為W=［w1，…，wd］，于是有：

3 仿真試驗與分析

為了驗證LLDA算法的性能，在幾個標準數據集上系統地比較了LLDA算法與PCA［6］，LDA［7］，LFDA［17］，LDP［14］等算法。LFDA采用文獻［17］提供的代碼，參數設置使用默認值。LDP中選擇近鄰個數k=8。LLDA中同類近鄰個數k1取6，異類近鄰個數k2取10。為使試驗具有代表性，在同樣的軟硬件平臺下進行試驗。

3.1數據集描述

試驗中的數據集包括來自UCI數據庫［17］的3個數據集（分別為Ionosphere，Sonar和MF），Benchmark數據庫的6個數據集［14］（分別為Breastcancer，German，Heart，Image，Thyroid和Waveform）以及一個基因數據集（Gene）［19］，共10個數據集。其中Benchmark數據庫中有多個數據集數據呈現多模分布，在表1中用“*”進行了標記。所有的數據集被隨機分成3部分：訓練集、驗證集和測試集，每個數據集各部分樣本數見表1所示。訓練集用于學習相應的低維子空間投影矩陣，驗證集用于選擇算法中的最優降維子空間d，測試集用于驗證最終的識別精度。表1給出了各數據集的基本信息。

表1　各數據集的基本信息Tab.1 Basic information of dataset

試驗對每個數據集按照表1中的訓練集、驗證集和測試集重復進行10次，產生10組不同的訓練集、驗證集和測試集以獲得更好的試驗結果，并以10組的平均識別率作為最終的測試結果。在驗證和測試階段使用最近鄰分類器進行分類。

圖1（a）～（c）分別給出了Ionosphere、Breastcancer和Gene數據集在驗證集上的平均識別率隨子空間維數d的變化曲線圖。表2給出了所有數據集在測試集上的最終識別率，同時表中括號內還給出了相應識別率時的最優子空間維數。從表2中看出，LLDA算法在大部分數據集上都取得了最優的結果，在2類多模數據集中也有1類達到最優，表明了文中算法的優勢。但同時應該注意到，LDP算法和LLDA算法在大部分數據集上的識別率并沒有很明顯的差別。特別對于Gene數據集，圖1（c）和表2中并沒有列出LDA、LFDA及LDP算法的試驗結果數據，這是因為上述3種算法都存在小樣本的奇異值問題，導致其投影矩陣無法求解。因此表和圖中相應無值，但文中算法不存在這個問題，并取得了100％的識別率。可見文中算法從整體上要優于對比的其他幾種算法。

圖1　平均識別率隨子空間維數的變化曲線圖Fig.1 Diagram of average recognition rate vs. subspace dimension

表2　各種降維算法在數據集上的識別率Tab.2 Recognition rate of dimension reduction algorithm on different datasets

4 應用實例

將文中算法用于模擬電路故障診斷的特征提取數據降維中，進一步驗證算法的實際使用效果。

4.1模擬電路及其故障模式

文中以兩級四運放低通濾波器電路［3，20］為例進行試驗分析。兩級四運放低通濾波器的電路結構及元件標稱值詳見參考文獻［20］。其中設定電路中電容容差為±10％，電阻容差為±5％。輸入節點為Vin，設定輸入激勵信號是幅值為5 V、寬度為10μs的窄脈沖。故障模式設置與文獻［3，20］完全一致，15種軟故障如表3所示。

表3　電路中軟故障模式Tab.3 Soft fault mode in circuit

4.2特征提取

給兩級四運放低通濾波器電路施加幅值為5 V、寬度為10μs的窄脈沖，用Pspice仿真采樣電路Vout節點電壓值，采樣率為5×105samples/s，采樣時間為1 ms，每種故障模式及正常模式各進行50次Monte-Carlo分析，共采樣800組數據。然后根據文獻［3］的計算方法，對所有采樣數據進行最優分數階傅里葉變換（fractional Fourier transform，簡稱FRFT）得到相應16種故障模式（包括正常狀態）的800組501維特征向量。文中只是利用文獻［3］取得的故障特征數據用于降維對比，并不討論模擬電路最優故障特征的提取問題，所以詳細的故障特征提取步驟和故障特征樣本集獲取請參見文［3］。

4.3數據降維及結果分析

文中以Normal（正常）狀態和R19故障狀態為例，說明文中算法相對于文獻［3］中采用PCA進行數據降維的優勢。利用文獻［3］中的方法采用遺傳算法獲得電路原始響應數據集的最優分數階p是0.093 57，對兩種電路狀態的響應數據集進行FRFT以獲得最佳分離狀態的原始特征數據集，然后采用不同的降維方法對數據進行降維。圖2是兩原始特征數據集經過PCA降維和歸一化處理后投影到低維特征空間的分布圖；圖3是兩原始特征數據集經過LLDA降維和歸一化處理后投影到低維特征空間的分布圖。對比二圖可知，特征數據經過PCA降維在子空間中的分散度大、交叉嚴重、不利于故障分類，而采用LLDA降維投影到低維子空間后，特征數據集明顯聚集，可分性得到較大的增強。同時，采用基于類內類間距離的可分離性準則判定降維后數據集的可分離性，可得到經過PCA降維的數據集的Jd（x）為0.339，而經過LLDA降維方法處理的數據集的Jd（x）為0.528，明顯高于PCA降維方法?？梢娢闹兴惴塬@得更有利于故障區分的低維信號特征，降維后的數據質量更高。

圖2　最優FRFT-PCA降維Fig.2 Dimension of optimized FRFT-PCA

圖3　最優FRFT-LLDA降維Fig.3 Dimension of optimized FRFT-LLDA

為進一步驗證采用文中降維方法獲得的故障特征更有利于故障分類，對兩級四運放低通濾波器電路實施基于BP神經網絡的故障診斷試驗，其過程設計為：

（1）原始最優FRFT特征分別經過PCA降維和LLDA降維處理后作為故障診斷用數據集，試驗過程中分別設定訓練集個數為16×20=360，測試集個數為16×30=480。

（2）采用3層BP神經網絡進行分類診斷，參考文獻［3］，兩次診斷的神經網絡采用相同的結構，網絡結構經反復調整，采用2×5×16的層次結構，傳遞函數和訓練函數都采用“logsig”，得到兩種特征提取降維方法的故障診斷結果如表4所示。

表4　故障診斷結果Tab.4 Diagnosis results

從表4可知，文中采用基于LLDA的故障特征降維方法取得了比基于PCA降維方法更高的故障診斷率，在模擬電路故障診斷特征提取的非線性數據降維中確實有效并且取得了比PCA線性降維方法更好的效果。

5 結束語

針對模擬電路故障診斷特征提取的非線性數據降維問題，文中提出一種局部化LDA算法，得到的降維后特征數據能更有利于模擬電路的故障分類，取得更高的故障診斷率。在分析了現有數據降維方法不足的基礎上，通過在LDA中融入局部化思想提出一種LLDA非線性降維方法，算法通過在局部領域內構建局部數據塊的類內散度矩陣和類間散度矩陣之差，然后在整個數據空間中采用對齊算法重構目標函數，使用標準特征值分解方法求得投影矩陣完成數據降維，避免了現有大部分算法中存在的小樣本問題。通過使用幾個標準數據集進行試驗驗證，與現有算法相比，LLDA算法能更好地提取數據集中所蘊含的非線性特性，且對多模數據同樣有效。最后將LLDA算法用于模擬電路故障特征提取的數據降維過程中，驗證了經過LLDA算法處理后的故障特征能有效提高故障診斷率，證明了文中方法在數據降維方面的優勢。

［1］ Tan Yanghong，He Yigang，Cui Chun，et al.A novel method for analog fault diagnosis based on neural networks and genetic algorithms［J］.IEEE Transactions on Instrumentation and Measurement，2008，57（11）：2631-2639.

［2］ Mohammadik K，Seyyed Mahdayi S J.On improving training time of neural networks in mixed signal circuit fault diagnosis applications［J］.Microelectronics Reliability，2008，48：781-793.

［3］ 羅慧，王友仁，崔江.基于最優分數階傅立葉變換的模擬電路故障特征提取新方法［J］.儀器儀表學報，2009，30（5）：997-1001. Luo Hui，Wang Youren，Cui Jiang.New approach to extract analog circuit fault features based on optimal fractional Fourier transform［J］.Chinese Journal of Scientific Instrument，2009，30（5）：997-1001.（in Chinese）

［4］ Guo Huihe，Zheng Meixie，Rong Chen.Automatic classification of form features based on neural networks and Fourier transform［C］//Proceeding of Inter-national Conference on Machine Learning and Cybernetics.Kunming：Kunming University Press，2008：1162-1166.

［5］ Chen Taowei，Jin Weidong，Chen Zhenxing，Feature extraction using wavelet transform for radar emitter Signal［C］//Proceeding of International Conference on Communications and Mobile Computing.Kunming：Yunnan University Press，2009：414-418.

［6］ 劉永斌，何清波，孔凡讓，等.基于PCA和SVM的內燃機故障診斷［J］.振動、測試與診斷，2012，32（2）：250-256. Liu Yongbin，He Qingbo，Kong Fanrang，et al.Fault diagnosis of internal combustion engine using PCA and SVM［J］.Journal of Vibration，Measurement&Diagnosis，2012，32（2）：250-256.（in Chinese）

［7］ 肖迎群，馮良貴，何怡剛.基于小波分析和核判別分析的模擬電路故障診斷［J］.電工技術學報，2012，27（8）：230-238. Xiao Yingqun，Feng Lianggui，He Yigang.A fault diagnosis approach of analog circuit using wavelet-based fractal analysis and kernel LDA［J］.Transactions of China Electrotechnical Society，2012，27（8）：230-238.（in Chinese）

［8］ Zhang Tianhao，Tao Dacheng，Li Xuelong，et al. Patch alignment for dimensionality reduction［J］. IEEE Transactions on Knowledge and Data Engineering，2009，21（9）：1299-1313.

［9］ 韓海濤，馬紅光，曹建福，等.基于非線性頻譜特征及核主元分析的模擬電路故障診斷方法［J］.電工技術學報，2012，27（8）：249-254. Han Haitao，Ma Hongguang，Cao Jianfu，et al.Fault diagnosis method of analog circuits based on characteristics of the nonlinear frequency spectrum and KPCA［J］.Transactions of China Electrotechnical Society，2012，27（8）：249-254.（in Chinese）

［10］Roweis S T，Saul L K.Nonlinear dimensionality reduction by locally linear embedding［J］.Science，2000，290：2323-2326.

［11］Tenenbaum J，Silva V，Langford J.A global geometric framework for nonlinear dimensionality reduction［J］.Science，2000，290：2319-2323.

［12］Belkin M，Niyogi P.Laplacian eigenmaps and spectral techniques for embedding and clustering［J］.Advances in Neural Information Processing System，2002，14：585-591.

［13］Zhang Zhenyue，Zha Hongyuan.Principal manifolds and nonlinear dimension reduction via local tangent space alignment［J］.SIAM Journal Scientific Computing，2005，26（1）：313-338.

［14］謝鈞，劉劍.一種新的局部判別投影方法［J］.計算機學報，2011，34（11）：2243-2250. Xie Jun，Liu Jian.A new local discriminant projection method［J］.Chinese Journal of Computers，2011，34（11）：2243-2250.（in Chinese）

［15］程起才，王洪元，吳小俊，等.一種基于ISOMAP的分類算法［J］.控制與決策，2011，26（6）：826-831. Cheng Qicai，Wang Hongyuan，Wu Xiaojun，et al. An algorithm for classification based on ISOMAP［J］. Control and Decision，2011，26（6）：826-831.（in Chinese）

［16］He X，Niyogi P.Locality preserving projections［C］// Proc of the 16th Advances in Neural Information Processing System.Vancouver，Canada，2004，16：153-160.

［17］Sugiyama M.Dimensionality reduction of multimodal labeled data by local fisher discriminant analysis［J］. Journal of Machine Learning Research，2007，8：1027-1061.

［18］Yan Shuicheng，Xu Dong，Zhang Benyu，et al.Graph embedding and extensions：a general framework for dimensionality reduction［J］.IEEE Transaction on Pattern Analysis and Machine Intelligence，2007，29（1）：40-51.

［19］Bhattacharjee A.Classification of human lung carcinomas by mRNA expression profiling reveals distinct adenocarcinoma subclasses［C］//Proceeding on National Academic Science.USA：Humana Press，2001：13790-13795.

［20］Aminian M，Aminian F.Neural-network based analog-circuit fault diagnosis using wavelet transform as preprocessor［J］.IEEE Trans Circuits Syst.II，2000，47（2）：151-156.

TP391.4；TP206.1

10.16450/j.cnki.issn.1004-6801.2015.02.012

廖 劍，男，1985年6月生，博士生。研究方向為電子系統設計、測試與故障診斷。曾發表《基于FRFTFD和KPCA的模擬電路故障特征提取新方法》（《振動、測試與診斷》2014年第34卷第2期）等論文。

E-mail：251250544@qq.com

*國家青年科學基金資助項目（61203168）

2013-10-08；

2013-12-02