一種基于深度學習算法的在線空調聲紋識別技術

劉 偉 徐 強 賴澤豐

（珠海格力電器股份有限公司 珠海 519070）

引言

社會、企業、消費者日益關注企業聲譽，各行業競爭日益加劇。傳統空調生產線的質量檢測都是靠檢驗人員耳聽、手摸、眼看等方式進行，這些方式不僅會受檢驗人員主觀因素及經驗差異性的影響，導致產品質量檢測過程難以實現一致性和可靠性，而且會因為人無法識別的原因導致很多產品缺陷難以檢測，從而導致次品流入市場，給企業帶來巨大的損失。

為了解決上述問題，通過前期的技術探索，發現借助目前的人工智能技術手段才能夠徹底解決上述的問題，特提出通過聲紋特征對空調質量進行檢測的技術方案：

規劃檢測生產線：環形和臺站式生產線分內機、外機共計4 條產線；

檢測的空調類型：主要針對家用外機、家用內機和商用風管內機，本次按照1 000種空調類型進行設計。故障分為四大類：風葉碰響、氣流聲（液流聲）、管道碰撞、其它異響，見表1。

表1 故障分類明細表

1 總體實現功能

本文結合實際檢測需求進行了實現功能的總體設計和規劃。

1.1 樣本存儲

在模型建立完成之后，通過在各質量檢測點設置的聲音采集設備采集空調聲紋，并通過網線傳輸到主機上，由主機將聲音格式.wav提取為聲紋特征信息.mat，再通過模型判斷，打上標簽之后，根據資源存儲分類原則，將該信息存放在模型訓練集群存儲資源對應的位置上。

其中按照內機和外機、不同產品類型、不同故障類型進行存儲；存儲聲音特征數據名稱為Product_ID_Fault_name_YY-MM-DD hh:mm:ss。

1.2 樣本可溯源

可溯源修改標簽，在后續檢查中發現，由于某些標簽的原因導致某一故障誤判逐漸增加，則可追溯分析，修改此類別標簽。

1.3 存儲風險保護

音頻發送模塊發送音頻之后，若發送失敗，則認為網絡傳輸故障，此時在界面顯示，并進行聲音提醒。將采集得到的音頻信息，送入系統中，根據Flink架構，將其分配到相應的處理時間和相應的處理模塊中去，模型空調的合格判斷，并輸出最終的判斷結果，得出產品是否合格或者故障類型，指出故障發生的空調器件,協助檢查人員對空調故障迅速定位檢查。

1.4 系統擴展

在軟件設計初期，采用微服務架構，保留需求和空調類型、空調故障類型擴展接口，支持需求和空調類型、空調故障類型的擴充，保證隨著業務的擴展，系統能夠根據新的類型數據，進行訓練，得到新的涵蓋新的類型的訓練模型，提高系統的擴展性能。

1.5 系統總體框架圖設計

前端層基于目前前后端分離開發模式，快速構建應用系統。前端主要依托UI框架、WEB Framework、前端服務化、組件化以及快速腳手架的方式搭建前端應用系統，通過AJAX技術，請求并接收后臺微服務化RESTFUL API的JSON數據，渲染前端功能。由于部署在生產車間，只需要支持應用終端PC即可。

網關層（api-gateway）主要對外釋放微服務架構所提供的相關服務，主要包括預測結果可視化api和業務分析api。來響應和組合用戶不同場景的應用系統。

服務化平臺主要是分布式微服務化架構提供技術支持，實現認證授權、服務注冊，保證系統的安全性。

基礎組件層：該層主要為系統平臺介于數據層之上的基礎組件，主要提供平臺日志記錄、監控、數據訪問方式、配置中心、任務調度中心、消息中心、分布式緩存、全局唯一性標識的底層技術支撐。為平臺提供全面容錯策略。

存儲層：該層主要實現數據存儲方式的搭建，根據限定的存儲方式，容易驗證和追查，并為模型的自適應學習提供了數據的支撐。

DevOps平臺層：該層是平臺的開發和測試平臺，主要為平臺迭代構建出高可用、擴展性強、安全性強的快速開發測試及部署平臺，簡化相關環節流程，保障系統健壯持續發展。

容器網絡層：整個平臺所構建和部署的基礎為DOCKER容器化技術、網絡協議等系統平臺支撐提供運行環境的保障。該系統平臺的設計，主要遵循標準的安全協議、運維協議，打造全生態的高端平臺，提供高效服務。

2 整體方案設計

2.1 核心軟件架構

整體系統架構中，其核心處理模塊是產線上產品缺陷檢測功能，對于該檢測功能的內容，設計出如下的軟件架構如圖2所示。

圖1 系統總體方框圖

圖2 軟件系統總體方框圖

上述的軟件架構主要包括空調音頻采集功能、空調信息處理模塊、音頻轉換功能、空調音頻標定功能、空調缺陷檢測功能、模型自主學習功能、結果展示及交互功能等。

第一步聲音采集：在目前的每一個質檢口放置一臺音頻采集設備，將收集到的音頻直接傳送到預測集群的電腦上，對應的電腦按照設定的區域進行緩存，在判斷出產品質量之后，按照情況判斷是否需要及時清除掉和打上標簽自動上傳到模型訓練集群中對應的存儲資源位置上。

第二步空調信息處理：此處需要與現有系統相連，獲取當前空調產品類型，隨后與系統中的“空調信息處理模型”相結合，分析出當前空調產品的聲音信息與其對應的模型ID；

第三步空調缺陷檢測：在通過“空調信息處理模塊”、“模型調度模塊”以及預處理等一系列操作之后，調用對應的模型對采集到的音頻信息進行判斷，判斷結果傳送到“標簽生產模塊”中去，得到空調質量的檢測結果，將結果呈現到“可視化模塊”進行統計和展示。

第四步樣本存儲：在空調質量判斷之后，將音頻信息傳送到“存儲分配模塊”，結合“空調信息處理模塊”和“標簽生產模塊”，根據既定規則，將其傳送至“存儲/訓練”服務器集群中去，并將其存儲在對應的存儲空間中。

第五步可視化展示：將空調質量檢測判斷結果進行呈現，同時完成“人機交互”功能。

第六步模型自適應訓練：根據設定規則，模型自動驅使進行再訓練，根據“進程管理模塊”和“資源調度模塊”，決定“存儲/訓練”服務器集群中在什么位置獲取訓練樣本和哪些模型進行再訓練。

2.2 硬件架構及配置

由于數據信息小而雜，因此不推薦使用NAS架構，而是將數據存儲在模型訓練服務器集群內部的固態硬盤里，這樣能夠增加模型的訓練速度，減少時間長度。經分析，建議的系統架構如圖3所示。

圖3 服務器系統架構圖

2.3 檢測解決方案

1）空調產品質量檢測系統

保持產線的生產工藝工作流程，與目前內部系統接口內容：當前產線信息、當前產線生產產品信息、各類型空調組成器件說明信息。

檢測系統生成產品檢測報告，并將該分析報告主動上傳到MS系統中去，同時檢測系統會將報告保留一段時間，時間長度為L，暫定30 day；系統主頁面/結果呈現界面如圖4所示。

圖4 系統主頁/結果展示界面圖

通過系統，可得知當前預測空調類型，調取對應的模型，對空調質量進行檢測。模型預測之后，通過網絡將空調質量檢測結果以JSON的形式上傳到應用服務器，將檢測結果進行展示，其展示效果如圖4所示，主要說明如下：

每一條產線上的多個質檢位置點的檢測結果匯總到該產線對應的應用服務器上進行結果展示；故障診斷結果中顯示信息包括產品信息、產品類型、質檢位置（產線和質檢口）以及產品診斷故障類型；待復診信息，在一條生產線上多個質檢口出現故障產品時，此處會記錄各個故障產品信息，方便質檢人員逐一進行質量復檢；

復檢部件展示區域，通過產品類型，三維空間可調整的展示該種產品的輪廓，并使用紅色顯示故障部件；同時，復檢時，可通過反饋，將該空調產品的故障類型進行重新標定，否則維持原本的標簽。在“擴展菜單”里的“復檢接口”中按照產品類型信息分別進行記錄，并按照不同產線分開記錄。

模型管理界面通過主界面中的“模型展示接口”進入，主要包括模型index、模型訓練空調類型種類個數、模型最近一次部署時間、模型部署狀態、模型一定時間段內的準確性統計、記錄、再訓練開關。

可將新添加空調類型放在某一model里，其存儲位置也按照對應規則存儲到其相應位置上；通過模型部署時間及部署狀態，及時對模型再次進行操作；

準確性等因素，主動發起模型再次訓練；否則模型按照既定規則（例如：準確率降低到85 %或相對降低了5 %等）進行訓練；點擊model，則會出現模型訓練過程的記錄，例如準確性圖形和loss圖形等。再訓練“retrain”分為綠色、黃色、藍色，藍色表示部署失敗，綠色為正常工作狀態，黃色表示模型準確性預警狀態。

復檢展示界面，按照產線記錄各產線中不合格空調的信息，包括產品名稱，空調類型以及故障類型。

業務擴展界面從主頁面的“業務擴展接口”點擊進入，主要功能包括新空調類型的添加、空調類型的刪除、模型的刪除等功能。

說明如下：

新空調類型的添加需要選擇模型，系統根據模型將其訓練的空調類型的音頻存儲到固定位置上去。添加新空調類型時，可使用文件夾添加的方式進行添加。新空調類型的添加，通過點擊“文件名”按鈕，進而根據目前所保存路徑去添加所要添加的新空調類型的音頻數據；

在樣本收集階段，將樣本按照空調類型、故障類型分開進行存儲，標簽標定時對應的故障類型；“操作”模塊，可對目前添加的內容進行刪除操作或者添加上傳操作；“立即訓練”模塊，可添加一部分樣本立即對模型進行訓練操作。

樣本/模型刪除；對某一模型刪除操作，則對應的樣本類型都刪除掉；對某一空調類型刪除操作，則對應的空調類型樣本刪除。

針對測試的結果，本文也設計了自動進行產線的質量數據分析，相關的分析功能和結果展示界面，分上下兩部分，其中上半部分為所選擇的當前產品質量的對比分析，可以選擇要查看的產線、產品、批次以及要進行對比的維度，并輸出文字分析內容；下半部分為所有產線、所有產品的結果呈現。可通過分析結果導出接口，可導出整個車間的產品質量分析報告。

2）自主學習功能

由于實際生產線上會產生大量新的產品音頻，舊的模型無法精準的包含這些內容，當然也會出現新的空調類型，所以需要模型具備自主學習的能力，不斷的幫助系統進行“壯大”、“完善”，以維持較高的檢測正確性和有效性。其主要實現的自主學習驅動因素包含：舊模型準確性下降到一定閾值水平以下，新空調類型的產生；

自主學習系統將采取系統自動修復和人為交互操作兩種方式；系統自動修復，模型的準確性降低，系統自動驅動模型再訓練；人為交互操作，新空調類型在“業務交互界面”添加后，會驅動模型再次訓練。

3 主要研究內容

本文研究的主要目標是學會識別所有可能的缺陷或異常，確定每一種已知缺陷的聲紋特點（不同頻率下的振幅與相）；確定一個或多個安裝用于實時跟蹤監測的錄音探頭的有效位置，達到高效地探測出每一種可能的缺陷的目標；（聲紋與型號關聯分析）針對所有不同型號的空調識別同類缺陷的聲紋差異；確定是否能采用相同的安裝位置達到高效地探測出每一種可能的缺陷的目標。

3.1 研究階段規劃

本文的研究主要分三個階段進行；第一階段是特征與算法的探索，采集和整理數據并進行降噪、時域與頻域分析和多種特征提取（FFT、GMM、MFCC、Spectrogram、 CRP、TDHA等等）和分類嘗試（SVM、KNN、PNN、CNN等等）。

第二階段是組合的探索，比較各種特征以及算法之間的組合（Classifier Fusion），找出行之有效的特征與模型的組合，形成完整的工具體系。

第三階段是生產部署考慮，擴大缺陷類別和產品型號的覆蓋，以及對生產系統的設計和部署分析。

3.2 數據采集與處理

本文前期采集了實驗室環境下空調內機273 分鐘各類異常的錄音，比如“軸承安裝不到位”；從四個不同位置錄了40 min的音頻；采集了在生產現場測試廠房內的空調外機330 min各類異常的錄音，比如“管道碰撞”從四個不同位置錄了60 min的音頻。詳細如圖5所示。

圖5 采集數據頻域展示圖

本文將采用直接數據驅動而不是物理模型的方法，利用機器學習直接從采集的數據中學會缺陷分類。嘗試采用多種不同的算法和模型（包括不同的組合），目的是尋找和建立起確實可行的高效的缺陷識別工具。運用了多種手段和算法可以將聲頻數據轉換為特征矩陣或張量。同樣實用多種算法（包括深度學習）對特征進行學習、識別和分類。

3.3 音頻特征選取與訓練

音頻常見特征如圖6中所示，其中第一列的STFT功率能量和恒Q功能能量分別為兩種不同變換得到的能量表現形式；由于梅爾譜與MFCC的計算大致相同，但MFCC進一步進行了離散余弦變換（DCT），其特征更加明顯，并且梅爾譜維度過度影響運算速度，因此梅爾譜不再作為選取特征。

圖6 音頻常見特性表

本文模型驗證共選取了兩種不同的特征組合進行驗證，二分類模型和五分類模型；左側上下兩張圖及右側上下兩張圖分別代表電磁環頂中隔離板場景和正常場景下，并且采用了兩套精度不同的采集設備進行驗證，設備1和設備2在位置3和位置1上采集音頻的梅爾圖如圖7所示；明顯看出設備1能夠在較低頻帶采集到信息；

圖7 典型故障梅爾圖

同時采用設備1和設備2在電磁環頂中隔離板場景下進行了RMS、質心頻率的數據分析如圖8所示。

圖8 典型故障的RMS質心頻率分析圖

本文驗證共選了四類常見的噪聲故障作為典型數據進行模型的訓練，分別是管碰壁、電磁閥電磁噪聲、風葉毛刺、軸承噪音這四類，針對這四類故障數據進行數據的特征文件信息存儲如圖9所示，并進行二分類模型訓練，訓練結果如圖10所示，準確率均高于97 %；誤判率低于1.8 %。

圖9 典型故障的二分類特征數據文件信息圖

圖10 典型故障的二分類模型結果

圖11 典型故障的五分類特征數據文件信息圖

如圖11表示五分類模型訓練集采用第一天采集的音頻數據，評估集使用第二天采集音頻； 訓練結果顯示，上述第一種方案準確性均高于77 %，第二種方案準確性均高于89 %；說明在第一天數據基礎上添加新數據準確性高出12 %左右；從將第一天采集到的音頻作為訓練集，得到模型，使用第二天采集音頻作為評估集，得到準確率如圖12所示均高于77 %，說明模型均有延展性，使用第二天的數據可以辨識第一天的數據。

圖12 典型故障的五分類模型訓練結果圖

4 結束語

本文主要針對空調過程質量控制的在線噪音檢測，選取了生產過程中常見的裝配異常所導致產品故障噪音種類4類進行了研究，通過模型的訓練和改進，二分類模型其某位置下的某一工況的辨識度準確率均很高，均高于94 %；在相同設備，固定位置下，五分類模型的準確率均高于96 %；另外，對于生產現場一些氣動設備的噪聲帶寬比較寬，對于判斷結果會產生較大的干擾，這一問題需要我們繼續進行深入的研究。