基于PCA 圖像融合的皮革缺陷檢測*

張 森 鄭洲洲

（青島科技大學機電工程學院 青島 266061）

1 引言

皮革是人們生活中許多日常用品的必需材料，其質量的好壞決定了日常生活用品的使用壽命，因此皮革質量檢測成為了皮革生產過程中極為重要的一步。現階段很多皮革廠仍使用人工檢測的方法來檢測皮革缺陷，人工檢測存在主觀性強、效率低、誤檢漏檢率高，且人工費用的支付增加了皮革廠的生產成本，不利于皮革的批量生產，嚴重阻礙了皮革行業的發展。因此改進檢測技術，提高檢測效率成為了皮革行業亟需解決的難題。

近年來，相關學者結合機器視覺提出很多檢測方法，應用于皮革缺陷檢測領域。丁彩紅等提出將神經網絡與顯著性檢測相結合的方法用于檢測皮革［1］。該算法相比簡單神經網絡檢測的準確度得到了提升，且縮短了處理時間，但使用神經網絡檢測需要大量樣本訓練網絡，效率低，樣本需求量大。于彩香等提出采用一種基于灰度—游程累加模型的皮革檢測算法，通過計算每個像素的灰度—游程累加值，從而確定前景與背景的分割閾值［2］。該算法需要計算每個像素的灰度—游程累加值計算量大，且對紋理復雜的皮革分割效果差。朱凌云等提出基于視覺顯著模型的皮革瑕疵檢測方法，通過提取皮革圖像的顏色和亮度特征生成顯著圖，最后利用區域生長方法對瑕疵區域進行分割，以實現瑕疵的準確定位［3］。該算法對均勻變化的圖像檢測效果好，當圖像復雜事分割效果差。Malathy Jawahar 等提出使用小波分解將圖像分解為高頻和低頻，再采用小波統計特征，最后通過小波共生矩陣提取特征識別缺陷，并使用支持向量機（SVM）算法對缺陷進行分類［4］。該算法可以自動識別缺陷，但當缺陷與背景對比度較小時，小波分解難以將缺陷從背景中分離出來。D.Du-Ming Tsai 等提出一種將紋理圖像與特定的Gabor 濾波器進行卷積輸出能量響應的方法，通過選擇Gabor 濾波器的最佳參數，使均勻紋理處的能量為零并缺陷處產生很大的能量值，以此來區分均勻區域和缺陷區域［5］。該算法對紋理簡單的皮革檢測效果好，當存在復雜紋理時，無缺陷區域與缺陷區域難以準確區分。上述算法在指定的條件下檢測效果好，當皮革顏色、紋理等特征以及檢測環境發生改變時檢測效果差，且上述算法都是用于檢測皮革單面的缺陷，當皮革雙面同時存在缺陷或存在未穿透孔洞等內部缺陷時無法實現一次性輸出檢測結果。

紅外熱成像檢測作為無損檢測技術之一，憑借適用范圍廣、響應迅速、安全、高效等優勢在疾病診斷、建筑質量檢測、新型材料缺陷檢測、夜間監視等許多領域［6～9］得到廣泛應用，且檢測效果較好。

圖像融合作為信息融合的分支，是當前信息融合的熱點。通過采用融合算法將在不同傳感器采集到的圖像進行融合，得到包含多源圖像突出信息的融合圖像，更有利于圖像信息的分析和處理。圖像融合技術通過將多源圖像信息相融合，使得圖像信息更加豐富、準確因此被應用于各行各業［10～13］。相關學者采用圖像融合技術將多源遙感圖像進行融合，提高了識別目標的能力。醫者通過將MRI圖像和CT 圖像融合，使醫生診斷和治療疾病的能力得到了提升。

基于上述分析，本文提出一種將圖像融合和紅外熱成像技術相結合的皮革缺陷檢測方法。通過采用PCA圖像融合算法，在融合之前對圖像進行分塊處理，將圖像分為四塊，再將皮革熱成像圖和自然光圖像進行對應融合，得到包含多重細節信息的融合圖像，然后采用邊緣檢測算法識別皮革缺陷。

2 實驗設置

2.1 實驗設備

本文實驗設備由鹵素燈、紅外熱成像儀、電腦實驗臺等組成，其中，鹵素燈功率為60kW，紅外熱成像儀為FLIR 公司的FLIR A320，并采用軟件Therma CAM Reseracher Pro 2.9 記錄和處理熱成像圖，電腦采用與軟件Therma CAM Reseracher Pro 2.9適配的XP系統，表1為熱成像儀的相關參數。

表1 熱成像儀相關參數

2.2 實驗樣本

實驗樣本為某皮革廠提供的牛皮革，尺寸為180mm×150mm，厚度為5mm。皮革缺陷類型如圖1 所示，包含：穿透孔洞缺陷、未穿透孔洞缺陷、劃痕缺陷。實驗室數據集共有200張：無缺陷樣本50張、穿透孔洞缺陷50 張、未穿透孔洞缺陷50 張、劃痕缺陷50張。

圖1 缺陷類型

2.3 圖像采集

圖像采集過程如圖2 所示，使用夾具將皮革固定在實驗臺上，同時將加熱裝置（鹵素燈）放置在皮革后面，通過調整角度使皮革整體可以同時受熱，然后將熱成像儀放置在皮革前側，使熱成像儀可以采集到完整的皮革信息。將鹵素燈加熱時間設置為20s，同時使用采集幀頻為2Hz 的熱成像儀采集熱成像圖，全程共采集到40 張熱成像圖，部分熱成像圖如圖3所示。

圖2 圖像采集過程

圖3 不同時間的熱成像圖

從熱成像圖中可以看出，在加熱開始到第5幀，缺陷（穿透孔洞）信息開始出現，隨著加熱時間增加，熱成像中孔洞信息越來越到，到第15 幀穿透孔洞信息全部被采集到，但未穿透孔洞缺陷信息未出現，到第20幀未穿透孔洞信息開始出現，到第25幀可以被清晰采集到，隨著加熱時長的增加，在第30 幀開始熱擴散在皮革內部達到均衡，使得熱量開始聚集，背景與缺陷的溫差越來越小，導致背景與缺陷開始無法區分，影響缺陷檢測。因此本文將加熱時間設置為13s，選取第25 幀熱成像圖作為算法輸入圖像。同時從同一位置采集自然光圖像。

3 基于主成分分析（PCA）的圖像融合方法

圖4 為本文算法的技術路線圖。首先對圖像進行分塊處理，將圖像均勻分為4 塊，然后采用PCA融合算法對分塊圖像分別進行融合，得到分塊融合圖像，再對圖像進行圖像恢復操作得到同時包含熱成像圖和自然光圖像信息的融合圖像。然后對其進行缺陷檢測得到最終檢測結果。

圖4 技術路線圖

通過實驗采集到的圖像，尤其是自然光圖像包含缺陷信息，但同時由于獲取圖像時的光照等問題以及皮革本身存在色差使得獲取到的圖像存在噪聲，使得缺陷的細節信息不清晰，干擾缺陷的識別，嚴重影響檢測結果，因此需要對原圖像進行處理使得缺陷細節信息更加突出，更有利于檢測。

主成分分析（PCA）是一種基于信息量的正交變換，該變換主要是采用線性投影的方法將數據投影到新的坐標空間中，從而使得新的成分按信息量分布，第一主成分包含的信息量最大，變換后各主成分分量彼此不相關，且隨著主成分編號的增加該分量包含的信息量減小。PCA 變換后圖像的信息主要集中在前幾個主成分分量中，在變換域中丟棄信息量小的主成分分量，將原始的海量高光譜數據變換為少量的幾個成分，在降低數據維數的同時，最大限度地保持了原始數據的信息。

主成分分析就是將p個觀測變量綜合成p個新的變量，即

簡寫為

上式滿足：

1）Fi，Fj互不相關（i≠j，i，…，p）。

2）F1的方差大于F2的方差，F2的方差大于F3的方差，以此類推，滿足：

于是，稱F1為第一主成分，F2為第二主成分，以此類推，有p 個主成分。主成分又稱主分量。這里aij稱為主成分系數。上述可表示為

其中，X為待變換圖像的數據矩陣，F為變換后圖像的數據矩陣，A為主成分系數矩陣。

對自然光圖像與熱成像圖像融合時，具體過程如下。首先，計算自然光圖像主成分變換矩陣的特征值與對應的特征向量；將特征值按從大到小的順序排序，相應的特征向量也要跟著變動，將最終的結果記為λ1,λ2,…,λn,φ1,φ2,…,φn；各主分量按如下方式計算：

將熱成像圖像與第一主分量圖像進行直方圖匹配，然后將第一主分量用熱成像圖像替換；對其進行PCA逆變換，得到融合圖像。經過替換法得到融合圖像，其前幾個主分量中包含了自然光圖像和熱成像圖的主要缺陷信息，噪聲相對較小。

在實際過程中經過融合后的圖像雖然達到了去噪的效果，但仍然難以準確識別缺陷的細節信息。這主要是因為在提取主成分時是從整幅圖像中提取，計算出的主成分包含了缺陷信息的同時也包含了大量的背景信息，因此影響了缺陷識別的準確度和精準度。為改善融合效果，提高缺陷顯著度，在融合前嘗試對圖像進行分塊，將自然光圖像和熱成像圖像均勻地分為四張圖像塊，然后分別對其采用PCA融合算法進行融合，然后對融合后的圖像塊進行分塊恢復得到整張融合。經過分塊提取到的主成分突出了主要信息，使缺陷細節信息更加顯著，達到了圖像增強的目的。

圖5 融合結果對比

為客觀描述圖像融合差異，引入相關熵MI、標準差SD、客觀圖像融合性能指標QAB/F和基于視覺保真度圖像融合指標VIF 來評估不同融合方法所對應融合圖像的指標。

從表2 可以看出，采用分塊PCA 融合方法得到的融合圖像在上述評價指標中綜合水平最高，融合性能達到最佳。

表2 圖像融合效果評估

4 缺陷檢測

在經過分塊PCA 圖像融合后得到了同時包含自然光圖像和熱成像圖中缺陷信息的融合圖像，為提高缺陷識別的精度，確保獲取缺陷最佳分割閾值，使檢測效果達到最佳，本文采用迭代閾值分割算法分割皮革中的缺陷。

根據圖像的灰度特性將圖像分為背景和缺陷兩部分，通過閾值將缺陷從背景中分割出來，且隨著迭代的不斷進行閾值逐漸達到最佳分割值，使缺陷和背景的差別越來越大。因此使用迭代閾值分割的方法可以使分割效果達到最佳。

算法步驟：

1）計算圖像的平均灰度，將其作為初始閾值T0；

2）用T0 將圖像分割為A、B 兩部分，A 中所有像素點的灰度值均大于T0，B中所有像素點的灰度值均小于T0。

3）分別計算A和B的平均灰度值mA，mB。

計算出新的閾值：T1=（mA+mB）/2；

4）重復步驟2）到步驟4），直到閾值不再變化，迭代停止。

用最終迭代結束時獲取的閾值分割圖像，得到最終檢測結果圖。

5 實驗結果和分析

為驗證算法的有效性，本文使用同一數據集進行多次實驗，部分實驗結果如圖6 所示。圖6（a）中無缺陷，圖6（b）和圖6（c）中包含孔洞（穿透和未穿透）缺陷和表面劃痕缺陷，圖6（d）中包含未穿透孔洞缺陷和表面劃痕缺陷。從圖中可以看出，邊緣檢測算法（Canny［14］、Prewitt［15］）可以有效地檢測穿透孔洞缺陷，但對未穿透孔洞缺陷和劃痕缺陷檢測的精確度比較低，且存在誤檢，而本文提出的算法可以有效地檢測皮革中的孔洞缺陷和表面劃痕缺陷，且分割效果較好。

圖6 實驗結果

為客觀描述檢測效果，本文引入準確率（Accuracy）對上述實驗進行評估：

其中NTP表示正類樣本被正確分類的數目，NTN表示負類樣本被正確分類的數目，NFP表示負類樣本被分為正類的數目，NFN表示正類樣本被分為負類的數目。

本文使用180張圖像進行實驗，其中30張無缺陷圖像，30 張穿透孔洞缺陷圖像，30 張未穿透孔洞缺陷圖像，30 張表面劃痕缺陷圖像，30 張同時包含表面劃痕和未穿透孔洞缺陷圖像，30 張同時包含表面劃痕和穿透缺陷圖像，檢測準確率如表3 所示，從表中可以看出本文算法檢測效果較好，準確率更高。

表3 檢測準確率

6 結語

本文提出一種將基于分塊的PCA 圖像融合算法法和迭代閾值分割算法相融合的皮革缺陷檢測方法。經過實驗確定第25 幀熱成像作為檢測圖像，同時經過指標評估確定分塊PCA融合算法相比直接使用PCA 算法可以獲取到更多的細節信息。最后，設置了對比實驗，通過與Canny算法［14］和Prewitt算法［15］對比，本文算法檢測效果更好，尤其是對未穿透孔洞缺陷和表面劃痕缺陷的分割效果更好，檢測準確率達到83.9%。