基于多源域深度遷移學習的液晶面板缺陷檢測算法*

［］

1 概述

液晶面板的缺陷檢測是保證液晶面板質量的重要的一環。液晶面板種類多樣，其缺陷種類繁多，如何高效的進行液晶面板的缺陷檢測已經成為了熱門的研究課題。

目前在液晶面板缺陷檢測方面主要有兩種思路：（1）以機器視覺與機器學習為代表的手動提取特征的方法；（2）利用深度神經網絡自動提取特征的深度卷積神經網絡的方式。兩種方法在液晶面板缺陷的檢測問題中均遇到了瓶頸，一是液晶面板缺陷的不規則性、隨機性及其與背景差異性低等特性導致手工提取特征的方法作用甚微，檢測效果達不到工業生產的要求[1]；二是由于各類缺陷數據集的采集、標記和制作需要耗費大量的人力物力，導致數據集從質量和數量上均出現數據貧瘠現象，從而使得基于深度卷積神經網絡的缺陷檢測系統出現訓練數據匱乏、模型泛化能力不足和模型穩定性差等問題。因此必須解決在缺陷檢測問題中所面臨的數據貧瘠問題。在缺陷檢測領域中，現有的高質量數據集匱乏并且分散在并沒有打通的各個項目當中，大多數缺陷檢測任務所能利用的數據比較單一，標簽標記的水平也參差不齊。

另一方面，在公開的優質數據集中，如在ImageNet的殘差網絡[2]在識別物體時已經超越人類的性能，Google的Smart Reply[3]系統在谷歌海量優質數據的訓練下可以自動處理所有移動手機的10%的回復，其神經網絡翻譯模型系統已經被用在了超過10種以上的語言之中。這些成功的模型都是在精心多年收集的數據集上進行訓練的。然而當我們把這些機器學習的模型應用在自然環境中時，模型會面臨泛化性能下降、模型穩定性差等問題。在此情況下，盡管最先進的模型在它們被訓練的任務和域上展示出了和人類一樣甚至超越人類的性能，然而還是遭遇了明顯的表現下降甚至完全失效的問題。

因此，有必要從遷移學習的角度出發，對不具有海量數據集的缺陷目標檢測領域展開研究。近年來已有較多關于遷移學習的研究進展，清華大學的Tan.C等人[4]跟據遷移學習的方式的差別將目前的遷移學習分為四大類：基于實例的深度遷移學習[5-6]、基于映射的深度遷移學習[7-8]、基于網絡的深度遷移學習[9-11]和基于對抗的深度遷移學習[12-13]。其中基于實例的遷移學習是指使用特定的權重調整策略，通過為那些選中的實例分配適當的權重，從源域種選擇部分實例作為目標訓練集的補充。基于映射的深度遷移學習是指將源域和目標域種的實例映射到新的數據空間，在這個新的數據空間中，來自兩個域的實例都是相似且適用于聯合深度神經網絡。基于網絡的深度遷移學習是指服用在源域中預先訓練好的部分網絡，包括其網絡結構和連結參數，將其遷移到目標中使用的深度神經網絡的一部分。基于對抗的深度遷移學習是利用生成對抗網絡[14]技術，找到適用于源域和目標域的可遷移表征。

在單源域遷移學習方面，目前已有較多相關研究[15-16]，但是如果源域和目標域的相關度比較小，僅僅只是簡單粗暴的進行直接遷移將導致負遷移問題，這不僅不能促進對缺陷目標檢測的性能，而且還會降低整體的檢測精度。同時，僅僅利用一個源域的數據也是對數據集資源的浪費，因此有必要采取多源域深度遷移學習的方式，從多種不同相似任務的數據集上挖掘更多有用的特征信息，使得網絡具有更好的泛化性能和魯棒性。

本文的研究是在基于網絡的深度遷移學習基礎上進行的，以Mask R-CNN網絡[17]為基礎框架，通過混淆域學習的遷移學習方式在多源域數據集上實現了對液晶面板缺陷目標的精準檢測。

2 多源域深度遷移學習定義

2.1 遷移學習問題的定義

定義1：（域）數據（domain）由兩個部分組成，特征空間X和邊緣概率分布P(X)，其中。

定義2：（任務）給定一個域D={X,P(X)}，一個任務T由一個標簽空間Y以及一個條件概率分布P（Y|X）構成，該條件概率分布是從由特征—標簽對組成的訓練數據中學習得到。

如圖1所示，為深度遷移學習概念示意圖。

2.2 多源域深度遷移學習定義

圖1 深度遷移學習示意圖

3 多源域深度遷移學習的液晶面板缺陷檢測

圖2 多源域深度遷移學習示意圖

本文采用Mask R-CNN作為多源域遷移學習的主干網絡，Mask R-CNN是何凱明在2017年提出的目標檢測深度神經網絡框架,是目前領先的目標檢測算法。該網絡使用了一個全卷積層Mask層，并整合了焦點損失[18]、特征金字塔[19]和Faster R-CNN等[20]算法，將檢測和目標分割同時完成，實現了較高的檢測精度。但是直接將該算法應用在液晶面板缺陷檢測的任務時，結果表明檢測性能達不到工業生產的要求，一是因為數據質量參次不齊，二是此類小目標識別問題需要提取更加精細化的特征。本文以此框架為基礎，進行了基于混淆域學習的方式遷移學習訓練，最終得到了對液晶面板缺陷能夠精準檢測的模型。

3.1 基于混淆域的深度遷移學習算法框架

設X為樣本的輸入空間，x∈X為一個輸入樣本；Y為缺陷類型的標簽空間，y∈Y為一個對應的標簽。將源域和目標域上存在的分布分別記作，他們均是未知的分布，且他們有著一定的相似性和差異性。整個目標檢測任務的學習最終的目的是給定目標域中的任一個樣本x，通過其分布能夠預測其準確的標簽y。由于目標域的數據質量和數量都不足以表達該目標檢測任務的真實分布，所以僅僅只在目標域上進行訓練得到的預測的性能并不理想。多源域遷移的作用就在于能夠利用多源域的分布對目標域的分布進行補充，將多種分布的知識整合至目標域中。如圖3所示，整個網絡由四個部分組成，第一部分是由Mask R-CNN的特征提取骨干網絡組成的特征提取模塊（Feature extraction Module，FEM），第二部是由Mask R-CNN的分類回歸和全卷積網絡部分所組成的液晶面板缺陷目標檢測模塊（LCD Defect target detection module，LDTDM），第三部分為全卷積層和交叉熵組成的域分類模塊（Domain classification module，DCM），第四部分則是多源域學習網絡結構中承上啟下的關鍵部分：多源域逆梯度層（Multi-source domain reverse gradient layer，MDRGL）。

圖3 基于域混淆學習的多源域深度遷移學習算法框架

3.2 基于混淆域的深度遷移學習的損失函數及其反向傳播算法

為了保證源域數據集對目標域做出正向影響，本算法在網絡的特征提取模塊進行了混淆域學習，保證該模塊內源域數據和目標域數據均對網絡的參數學習均有貢獻。要保證源域數據對目標域是正遷移（即對目標域分類器性能有促進而非破壞），則必須保證源域學習和目標域學習具有域不變的特性，也即分布函數式子（1）和（2）

他們應具有相似的分布，由于該分布函數均屬于高維空間，且隨著學習不斷迭代的過程會不斷改變，所以直接測量二者的相似度來做出調整是比較困難的。但從域分類損失函數的角度分析是可以解決這個問題的，可以觀察到如若要保證FEM部分對不同域數據具有域不變特性，只需保證該模塊輸出的特征對域的分類效果幾乎沒有即可，也即域分類損失最大。與此同時，域分類損失函數其本身的任務決定了其目標是習得參數 使得損失函數最小，因此對特征提取模塊的域混淆學習變成了二者的對抗學習，將其公式化可以表述如式（3）所示的損失函數。

其中，n為源域數，本文選取了四個源數據域的數據集參與混淆訓練，因此n取值為4。

基于式（3）混淆域損失，多源域深度遷移算法的訓練最終要尋找的最佳參數如式（5）和（6）所示。

在參數學習階段，仍采用SGD的學習算法進行反向傳播，特征提取模塊和缺陷檢測目標檢測模塊所學習的參數和學習方法和Mask R-CNN一致。混淆學習在域分類模塊向后傳播的梯度為，在缺陷目標檢測模塊其向后傳播的梯度為。MDRGL層為多源域逆梯度層，其目的是改變梯度方向流動時的符號，為特定域的梯度附上不同的權值，保證域混淆過程中權值更新的進行。網絡的各個部分參數更新規則如式（7）-（9）所示：

4 仿真實驗

4.1 實驗評價指標

本論文中使用所有缺陷類別的平均準確率（mean Average Precision，mAP）作為最終的評價指標，其定義為所有缺陷類別的準確率-召回率曲線面積之和除以缺陷類別數目，如式（11）所示。

4.2 實驗結果分析

本實驗的環境為Intel Core i7-7700HQ 、CPU2.80 GHz、GPU Nvidia1080、內存8GB的平臺上，利用Tensor flow2.0平臺完成。本實驗使用的數據集為自制的液晶面板缺陷數據集，該數據集主要由6種液晶面板缺陷組成，這六種缺陷類別分別是：Mura、劃痕、暗點、亮點、劃缺和漏光。數據集中包含每種缺陷類別的圖片數量約800張。為進行多源域的遷移學習，本文收集了多種類似液晶面板圖像的四種源域數據集，它們分別是DAGM數據集、GDXay數據集、Crack Forest數據集和Isheet數據集。其中DAGM數據是一個在2007年在“工業光學檢測的弱監督學習”比賽中所發布的數據集；GDXay數據集是論文[21]所發布的工業缺陷的X射線數據集。Crack Forest數據集是論文[22]所發布的針對城市道路缺陷的數據集。最后一個Isheet是本文所收集制作的鐵皮缺陷數據集。

表1 算法性能對比表

表1展示了本文所提出的算法和目前在遷移學習領域表現最好的幾種算法進行對比的結果。表中涉及的算法如下：第一行為Mask R-CNN僅在目標檢測數據集TFTLCD上進行訓練，第二行為Mask R-CNN網絡在對應的源域數據集上進行預訓練之后，在目標數據集上進行Fine-tuning，第三行為論文[23]所提出的基于遷移學習的RTN網絡，其主要算法為將網絡的前大半部分層的預訓練參數遷移至目標任務的網絡，作為其特征提取模塊，并在其后添加自適應分類器（adaptive classifiers，AC）進行預測。第四行為論文[24]在2017年所提出的VDA算法（Visual domain adaptation，VDA），其核心思想是將自適應學習和遷移學習結合，基于自適應的矩陣進行知識的遷移。本文將上述四種算法框架在表1所示的四種源域數據集和液晶面板缺陷數據集上進行了性能對比。

實驗結果表明，來自多源數據的豐富度越明顯時，算法在目標域上表現有顯著提升，但從表的最后一列觀察得到其性能有所下降，其主要原因在于該數據集Isheet為自制的鐵皮缺陷數據集，其與目標域特征相差較大，因此產生了負遷移。從表的縱向結果可以看到，相對于僅在目標域的液晶面板數據集TFT-LCD數據集上訓練所得的檢測效果而言，本文所提的算法有23.8%的提升，達到了79.6%的mAP。同時，本文算法在液晶面板任務檢測中的性能也超過了目前性能最優的VDA和RTN算法。同時，本文針對Mura缺陷對比了上述幾種學習算法框架，得到了他們的precision-recall圖，如圖4所示。

5 結束語

本文提出了基于Mask R-CNN的多源域遷移學習的液晶面板缺陷檢測方法，主要針對缺陷檢測問題中普遍存在的數據不足和模型泛化性能較差等問題，采用來源于四種源域的數據進行混淆域學習。實驗表明，該算法與已有的缺陷檢測算法對比，具有更高的檢測精度和泛化性能，在液晶面板數據集TFT-LCD上達到了79.6%的mAP，相比非遷移學習方法提升了23.8%。該算法還且擁有良好的檢測效率，適用于工業生產的要求。

本文認為針對此類訓練數據不充足的異常檢測類型的問題，在遷移學習方面仍有進一步研究的空間，后續的研究將在針對優化缺陷知識的遷移方式上展開。

圖4 不同算法下Mura缺陷的Precise-Recall圖