基于多源數據融合的白車身表面缺陷檢測和分級方法

摘 要：本文分析了傳統人工檢查白車身表面缺陷的局限性，揭示了研發表面缺陷視覺檢測系統的必要性，簡介了檢測系統的構成及技術要求，構建了表面缺陷數據采集的方式，創建了基于多源數據融合實現白車身表面缺陷檢測和分級的深度學習方法，運用搭建的白車身表面缺陷視覺檢測實驗平臺進行算法模型訓練和方法驗證，整體人工檢測與機器檢測一致率達到97.1%，達到準確檢測和分級的效果。

關鍵詞：白車身 多源數據融合 缺陷檢測 分級

白車身表面質量是影響整車外觀的重要因素。人工檢查是對白車身表面缺陷進行質量檢測的傳統方式，如目視檢測、觸摸檢查、油石打磨[1-2]等等。人工檢測方式受情緒、疲勞和技能等因素的影響，容易出現表面缺陷流出到涂裝車間才發現的現象，而視覺自動化檢測系統能夠按照預設的運行軌跡檢測，檢測質量穩定、可靠性高。

基于人工的白車身表面缺陷檢測面臨著諸多問題。第一，人工檢測的效率低，想要達到實時的檢測效果，需要花費很大的人力。第二，人工檢測結果受人員技能水平影響大，不同的工人因為經驗差異，檢測結果和檢測標準不統一。第三，人工檢測難以定量檢測缺陷大小，往往憑借經驗判斷是否有缺陷，缺陷的信息無法量化。第四，人工檢測方式記錄的缺陷位置描述不準確，缺陷追溯記錄查詢困難，這種方式對以后缺陷追溯和查詢分析帶來很大困難。第五，對于工人來說，微小缺陷、坑包等容易漏檢，而在后工藝修復比較復雜。為了解決實際生產需要，我們研發自動化視覺檢測設備解決白車身表面檢測難題。

1 白車身表面缺陷視覺檢測系統

白車身表面視覺檢測系統目的是要解決焊裝車間白車身表面缺陷的人工質檢難題，逐步取代人工進行缺陷質量檢查和缺陷分級，提高生產效率，降低生產成本。

1.1 白車身表面視覺檢測系統的構成

白車身表面視覺檢測系統主要包含4部分：（1）3D視覺檢測頭的開發，包括光源模組、光柵模組、工業相機等模組的集成和標定，通過表面條紋投影的方式實現白車身表面的3D成像；（2）機器人攜帶3D視覺檢測頭對整體白車身進行拍攝掃描，覆蓋整個白車身的數據采集，保障實時性和生產節拍的要求；（3）智能分析服務器部分，根據采集到的白車身數據進行缺陷檢測和分級[4]，通過與白車身奧迪特評審員檢測結果的對比，不斷優化檢測算法，實現科學準確的白車身表面缺陷檢測和分級；（4）用戶交互部分，包含缺陷檢測結果展示，檢測數據展示追溯等。

其中，第3部分智能分析服務器部分的研發是檢測系統的關鍵部分，依據采集到的白車身表面數據，進行白車身表明缺陷檢測和分級算法網絡的設計、訓練和部署，實現高效率、高質量和低成本的檢測效果。

1.2 白車身表面缺陷檢測和分級要求

白車身表面視覺檢測系統需要對焊裝車間白車身表面常見的典型缺陷進行準確檢測，包括凹/凸、鈑金不規則、劃傷、飛濺、刨痕等。沖壓件表面缺陷，如縮頸、縮痕、雙線、開裂等可能會出現在沖壓車間，極少會流出焊裝車間，暫不在考慮范圍內。

視覺檢測系統需要對焊裝車間白車身表面常見的典型缺陷進行準確科學分級，通過對白車身奧迪特評審結果經驗的學習，依據紅旗白車身奧迪特評審標準，根據表面缺陷分布位置及缺陷情況，將表面缺陷劃分為A、B、C1、C四個級別。實際在焊裝車間白車身階段，A級別的缺陷出現較少，主要是B/C1/C級別的缺陷[1]，數據集制備和采集以實際車身出現的情況為準。

2 數據采集和缺陷檢測及分級方法

2.1 白車身表面數據采集

白車身表面數據采集裝置是一個條紋結構光3D掃描儀，如圖２所示，包含一個條紋投影模組和一個工業相機。

條紋投影向待掃描物體表面投射條紋結構光，CCD（電荷耦合器件）相機捕獲物體表面反射的條紋結構光圖像，并基于捕獲的結構光圖像恢復物體表面的3D數據信息。根據條紋圖圖像，通過3D重構算法計算可以獲取表面的3D圖像數據。

圖３為3D視覺檢測頭獲取的圖像信息。左上圖為手機拍攝的藍光投影圖像，藍光條紋由3D視覺檢測頭的投影模組發出，投射到白車身表面表面上；右上圖為3D視覺檢測頭工業相機拍攝的原始條紋圖像，根據條紋圖像的變化體現高度和深度的差別；左下圖為增強條紋圖像，該圖像由右上圖進行增強處理后獲得，使得條紋更加清晰、準確；右下為3D圖像，根據增強后的條紋圖像基于3D重構算法生成，包含每個像素點的深度信息。所示圖像為偽彩色渲染后的結果，不同顏色表示不同深度變化，這樣便于直觀的看到相同深度變化下3D信息。

圖4為白車身部件表面凸起缺陷采用3D視覺檢測頭拍攝，可以看到缺陷局部條紋扭曲變形，根據3D重構算法進行3D計算后獲取的點云圖像正視圖（左下）和側視圖（右下）可以看到凸起缺陷。

基于原始條紋圖像、增強條紋圖像和3D圖像，我們研究多源數據融合的表面缺陷檢測和分級算法，用于白車身表面缺陷的精確檢測和科學的表面缺陷奧迪特分級[2]。

2.2 基于多源數據融合的表面缺陷檢測和分級方法

該檢測系統是基于深度視覺檢測技術完成對白車身表面缺陷等級劃分，但是通過對采集的數據觀察分析（圖5），發現單模態深度視覺缺陷檢測方法存在以下不足：單一特征如條紋圖像、增強條紋圖像、3D圖像無法全面體現缺陷特征，如缺陷的類別和等級檢測嚴重依賴于深度信息，在其他特征分布圖中不易察覺；若采用單一特征進行缺陷檢測識別，這極容易會造成誤檢出現。

為了提升檢測系統整體的檢測精度，滿足客戶需求，該檢測系統采用基于多模態融合的深度學習方法（圖6）檢測白車身表面缺陷。

該算法包含3個特征提取網絡，首先分別對原始條紋圖、增強條紋圖和3D圖進行特征提取，其中增強條紋圖和3D圖是基于原始條紋圖進行特征提取和3D重構后獲取的。然后對這3個特征提取網絡輸出的特征進行通道融合，然后將融合的特征送入到特征金字塔進行缺陷位置和類型檢測，這樣算法能夠從多個維度獲取白車身材料表面缺陷信息，保證信息來源的多樣性[3]，這樣可以解決單一特征無法全面描述所有缺陷特征的問題。通過基于多源數據融合的深度學習方法，實現表面缺陷的準確檢測。

最后針對多源數據信息，構造分類網絡算法，對于同一類型不同級別的缺陷進行缺陷分級[4]，參考標準來源于白車身表面缺陷的奧迪特評審員的分級評審結果。該部分基于多源融合的缺陷分級方法，實現表面缺陷的精確分級。通過缺陷檢測網絡和缺陷分級網絡的級聯，實現基于多源數據的缺陷檢測和準確分級。

3 實驗測試結果分析

3.1 缺陷制作策劃和數據集制備

在實驗室的測試樣車上，基于實際生產的需要制作白車身表面的缺陷。缺陷策劃時，邀請生產車間的質檢專家、質量保證部門的奧迪特評審專家和工程技術專家共同進行缺陷策劃，對于缺陷的種類、等級、分布位置、數量等進行了詳細的設計，最終在測試樣車上制作適合的缺陷，包括凹凸缺陷、波浪變形缺陷、飛濺缺陷、劃傷缺陷和刨痕缺陷等。

基于實際的缺陷策劃（表１），我們制備了包含不同類別、不同等級的缺陷數據集，總共包含1552個缺陷點位，其中坑包缺陷1160個點位，波浪變形缺陷308個點位，劃傷缺陷38個點位，刨痕缺陷13個點位，飛濺缺陷33個點位。

3.2 實驗結果及分析

實驗平臺選取了研華工業計算機，標準x64架構，XEON Gold-5318Y處理器，32GB內存以及標準PCIE插槽，NVIDIA A4500顯卡，80英寸顯示器，操作系統是正版WIN 10。

在缺陷策劃和數據集制備的基礎上，使用其中70%的數據進行算法模型的訓練，然后在所有數據集上進行測試和驗證，基于多源數據融合的白車身表面表面缺陷檢測和分級算法整體的準確率達到了97.1%。

從結果上看（表２），整體檢測準確率基本滿足白車身面品檢測在線實施的需求。限于實驗室的條件，數據集制備有限，后續會在生產線實施中進行更多的缺陷數據收集，同時重新訓練和更新整體算法模型，已達到更加穩定的檢測效果。

4 結論

白車身表面質量是影響整車外觀的重要因素。基于實際白車身生產的需要，我們研發了一套白車身表面視覺檢測系統，其中關鍵的缺陷檢測和分級算法部分，使用原始條紋數據、增強條紋數據和3D圖像數據作為輸入數據源，采用了基于多源數據融合的缺陷檢測和分級網絡模型，在實驗室數據集上實現了97.1%的整體檢測準確率，達到了較好的檢測效果。

參考文獻：

[1]上汽大眾汽車有限公司.汽車覆蓋件表面質量評價方法：CN201910115362.8[P].2019-04-12.

[2]吳瓊興.汽車覆蓋件面畸變量化評價方法及應用[J].模具工業，2023，49（3）：53-58.

[3]張克武，劉紅武，李彥波.基于JSTAMP/NV的汽車外覆蓋件表面缺陷仿真[J].計算機輔助工程，2013，22（5）：129-131.

[4]李麗明.車身A級曲面表面畸變的識別和可視化定量評估[J].塑性工程學報，2019，26（3）：262-267.