家電異音在線自動檢測的技術途徑和系統架構研究

王晶　馮濤　楊偉成　楊曉玲　白柱杰

1.北京工商大學　北京　100037；2.中國家用電器研究院　北京 100037；3.青島海爾洗衣機有限公司　山東青島　266101

1　引言

家電運轉向外輻射的聲信號中包含著家電的運轉狀態信息，從物理機制上看，主要包括空氣動力、機械運轉和電磁激勵等三種產生機理；從來源上看，家電的組成部件、部件間的相互連接和受運轉部件振動激勵的機體結構都會產生聲信號。因此，家電運行時產生的聲信號包含了家電運行的多種狀態信息，聲信號的正常和異常對應家電運轉的正常和異常，這樣就可以通過聆聽聲信號對家電的運行狀態進行評判，進而檢出異常家電，從而保證投入市場家電的質量。

家電產品在線異音檢測已成為空調、冰箱以及洗衣機等多種產品生產線上的關鍵質檢環節，但目前家電生產線上的異音檢測多是通過人工方式來實施，人工異音檢測雖然實施簡單，但也存在學習培訓時間長、檢測標準因人而異、檢測結果受疲勞影響以及熟練有經驗人員難以獲取且容易流失等問題，這些問題隨著勞動力成本的上升和有經驗技術工人日益匱乏等原因變得愈發嚴重。

隨著信息技術、機器學習和人工智能技術的進步以及家電企業無人化智能工廠的建設需求，用智能機器代替人工來實現家電產品的在線異音檢測正在受到越來越多的家電生產企業和研發團隊的關注。

2　家電異音檢測的技術路徑

家電異音檢測可以按照圖1所示的技術途徑來實施。按照機器學習的要求，通過傳聲器和信號采集系統進行聲信號樣本采集，需要注意的是采集得到的聲信號既包含家電的運轉聲，也包括生產線的環境噪聲。采用現有成熟的多種信號處理方法對所測聲信號進行預處理，通過分析比較和嘗試，組成最佳的信號特征向量，該向量應該能夠最大程度反映家電狀態信號，同時抑制環境噪聲。常用的信號特征提取方法一般包括時域、頻域和時頻域三類[1,2]，時域的典型特征有短時能量和過零率；頻域的特征種類繁多，有各種譜分析方法、線性預測系數以及梅爾頻率倒譜系數等；時頻域特征包含短時傅里葉譜和小波譜，時頻特征會帶來較大的計算量，但卻更能完整全面地描述音頻信號。

根據信號特征向量將聲信號樣本轉化為數據集，數據集包括訓練集、驗證集和測試集。選擇合適的機器學習模型，將數據集應用于機器學習模型進行訓練、驗證和測試，通過多次循環，優化分析，在數據集的基礎上，獲取機器學習面向具體工程問題的最優參數[3]，包括最優的特征向量、機器學習算法和異音檢測法則，這幾個環節可能需要多次循環才能得到最優的參數組合。最后，機器學習得到的分類法需要導入異音在線檢測系統，在實際的生產線上進行運行調試，最終在生產線上完成部署。

機器學習技術在異音檢測中發揮了重要的作用，從學習方法上看，機器學習算法可以分為監督學習（如分類問題）、無監督學習（如聚類問題）、半監督學習、集成學習、深度學習和強化學習，家電異音檢測可以單獨或綜合使用上述各種方法。典型的機器學習模型包括線性回歸、邏輯回歸、決策樹、支持向量機、貝葉斯模型、正則化模型、模型集成以及神經網絡。上述機器學習模型的參數均可調整，模型訓練和使用可按照以下步驟：（1）選擇一個機器學習模型；（2）將訓練數據集輸入模型；（3）選擇確定最優機器學習模型。

如果已經積累了大量的聲信號樣本，則可以考慮采用深度學習模型，該模型已經在圖像信息處理和語音處理領域取得了顯著的成就。深度學習是機器學習的一種，在傳統的機器學習中，特征向量對學習效果很重要，但是特征工程非常繁瑣，需要領域專家人工進行選擇設計。而深度學習則能夠從海量數據中自動學習特征，如果具備了聲信號大數據樣本，構建了高性能的計算平臺，可以考慮深度學習模型。

經典的機器學習模型適用于各種使用需求，也不需要海量的樣本數據和高性能的計算資源，但實施過程相對復雜，需要針對家電產品具體情況進行設計開發；深度學習模型實施過程相對簡單，但需要海量的樣本數據和高性能的計算資源。

圖1　家電異音自動檢測技術途徑

圖2　家電異音自動檢測系統架構

圖3　家電異音檢測系統部署方式

3　家電異音在線自動檢測系統的架構

圖2描述了家電異音檢測系統的架構，系統由硬件和軟件兩部分共同組成了一個不可分割的整體，硬件部分包括測量環境、傳感器、采集系統和判別系統，測量環境可以是基本不做改動的原始生產線，也可以是在生產線上設計添加的簡易隔聲或吸聲空間，測量環境的考慮重點是如何減少生產線環境噪聲的影響。傳感器和采集系統一般要求滿足可聽聲頻帶的采樣要求，對系統的量化精度要求至少采用16位采集系統，能達到24位更好。判別系統一般是采集系統和計算機的結合體，計算機上運行的軟件是信號特征提取算法和機器學習模型。軟件部分中的信號測量分析模塊主要完成信號的采集和保存，應用信號處理技術，特征提取模塊抽取聲信號樣本特征，構建特征向量和機器學習數據集。機器學習模塊實現各種機器學習算法，在特征向量數據集的基礎上，完成訓練、驗證和測試等環節，最終獲得異音判別參數，過程中還包括特征向量和機器學習模型參數的選擇與優化。

在家電異音在線檢測系統的部署過程中，可以將訓練、驗證和測試等工作放到高性能服務器上進行，檢測判別系統只完成聲信號樣本的采集和儲存以及異音的在線判別工作，如圖3所示。也可以省去服務器，將訓練、驗證和測試等功能與采集和在線判別功能放在一起，在一個系統上完成異音檢測所涉及的全部工作。

4　家電異音在線自動檢測的難點

隨著信息技術的進步，機器學習和深度學習在圖像處理和語音識別領域已經取得了很大的突破，在語音輸入領域，很多商用系統已經做到超過90%的語音識別準確性，但要將這些技術引入到家電異音檢測的工程應用領域，還要考慮解決自動異音檢測系統的生產線適應性、環境噪聲的干擾和樣本的不均衡等實際應用難題，生產線適應性問題與產品類型、生產線的特點密切相關，需要根據工程實際具體分析，下面主要討論后兩個具有一定共性的問題。

4.1　生產環境噪聲的影響

盡管目前的人工異音檢測工位大多設計建造了簡易的隔聲或吸聲環境，但家電運轉產生的聲信號與環境噪聲相比，往往并不具備足夠的信噪比。人工判別過程中可以利用人本身的聽覺濾波機制，消除環境噪聲的影響；機器系統判別時，必須想辦法排除環境噪聲的影響，但困難的是人們目前還沒有搞清人本身聽覺濾波機制的機理，難以在信噪比不大的情況下，濾除環境噪聲，實現有用聲信號的提取。

4.2　家電聲信號樣本的不均衡問題

人工判別只需少量的樣本就能形成異音判別規則，自動異音判別則需要足夠的聲信號樣本，深度學習更需要海量的聲樣本數據，但隨著家電生產和質量管理技術的進步，相對于正常聲樣本，異常聲樣本所占比例極小，這就導致分類學習所需要的樣本比例嚴重失衡，直接使用在語音識別中獲得成功應用的機器學習分類模型就會導致較大偏差，需要針對家電聲信號樣本不均衡的實際情況，選擇設計相應的機器學習算法。

5　結論

家電異音在線自動檢測正受到家電生產企業的廣泛關注，本文對家電在線異音自動檢測的技術途徑和系統架構進行了初步的闡述。提出了家電在線異音自動檢測的兩種實現途徑，即經典的機器學習模型和近年來迅速發展的深度學習模型。簡要描述了家電在線異音自動檢測的系統架構和架構中各組成部分的相互關系。簡要分析了家電異音在線自動檢測實施過程中的需要解決的生產線環境噪聲干擾和聲信號不均衡難題，并給出了原則性的解決方案。