基于卷積神經網絡的航天復合材料缺陷智能檢測

董學金，邵紅亮，李志學，羅鈞

基于卷積神經網絡的航天復合材料缺陷智能檢測

董學金1，邵紅亮1，李志學2，羅鈞2

（1.上海衛星裝備研究所，上海 200240；2.重慶大學光電技術及系統教育部重點實驗室，重慶 400030）

針對傳統的缺陷圖像識別處理方式存在著準確度與辨識度不足，且處理缺陷種類單一的問題，提出了一種基于Cascade R-CNN和Mask R-CNN的神經網絡模型。首先，為了提高缺陷檢測的可視化效果和檢測準確度，在實例分割卷積網絡Mask R-CNN的基礎上，結合級聯神經網絡Cascade R-CNN結構，組合成了新的級聯實例分割Cascade Mask R-CNN網絡；其次，對組合而成的級聯卷積神經網絡進行了訓練，將訓練好的模型對復合材料缺陷圖像進行了檢測。實驗結果表明：檢測的平均準確度達到了91.5%，平均置信度達到了97.3%，達到了檢測精度的要求。該研究成果可運用于航天復合材料缺陷識別。

深度學習；級聯區域卷積神經網絡；復合材料；缺陷檢測；實例分割

0　引言

隨著我國綜合國力的增強，復合材料的制備手段和應用領域不斷拓展。目前先進復合材料主要以碳纖維增強樹脂基、金屬基等為主，在航天領域被大量應用，例如用來制作火箭發動機殼、航天器外殼及其相關零件等基本材料。復合材料可以有效減輕航天器的重量，增強其抗壓減震等性能，起到保護航天器的作用。先進復合材料使得航天飛行器的質量和水平得到了進一步提高，為航天事業的發展提供了堅實的保障［1］。先進復合材料在制備過程中由于制備環境和設備的影響，導致內部會產生夾雜、氣孔等缺陷；而復合材料內部復雜的結構導致其在運輸過程中會產生損傷、分層等缺陷，一旦將內部含有缺陷的復合材料制備航天產品，其性能將會大打折扣，甚至在運行過程中會對操作人員的生命安全造成威脅，產生不可預估的災難性后果［2］。先進復合材料在制備成航天器等設備前進行內部缺陷檢測的重要性不言而喻，提高復合材料缺陷檢測能力是目前航天制造業的熱點問題。無損檢測的方式主要以X射線、超聲、紅外、渦流、太赫茲等檢測手段為主，通過無損檢測可以采集到內部缺陷信息，主要表現形式為圖像、聲波、振動信號等［3］。而傳統的缺陷識別需要利用這些信息進行后續人為的分析與檢測，這種方式存在著較大的局限性，例如：檢測效率低、誤檢漏檢率較高、人力成本高、主觀因素大、損害檢測人員身體等。利用無損檢測所獲得的信息進行后續智能化處理以提高缺陷檢測的速度和精度是目前航天領域需要解決的重點問題。

隨著先進無損檢測技術和圖像處理算法的發展，大量的智能化處理手段在國內外涌現， MALDAGUE等［4］提出脈沖相位熱成像算法，首先利用傅里葉變換將圖像的時間和空間信息轉化到頻域中，得到相應的相位和幅值信息，之后根據缺陷和非缺陷部分的相位和幅值不同的原理來判斷缺陷。HAJRYA等［5］在復合材料內部結構進行缺陷檢測時結合了獨立成分分析（Independent Component Analysis， ICA），通過分析從混合矩陣中獲得的對稱矩陣定義了損傷指數（Damage Index， DI）來表征。劉慧［6］對超聲紅外鎖相熱像無損檢測技術進行了系統研究，基于Canny算子提出了缺陷特征的識別方法，通過建立檢測系統進行實驗實現了缺陷的形狀識別和尺寸大小計算。張南南等［7］針對火箭發動機隔熱層的缺陷，根據缺陷的組成、位置等建立了仿真模型并進行了仿真計算，提出了一種簡單高效的建模方法。

近些年來，深度學習算法蓬勃發展，卷積神經網絡已經逐漸成為模式識別、目標檢測、圖像處理等領域的主要研究方法［8］。劉濤［9］將BP神經網絡應用至紅外熱波無損檢測中，通過擬合函數關系來對缺陷進行定量識別，并通過實驗證明了BP神經網絡的有效性。嚴治［10］利用超聲探傷儀器對缺陷試塊進行探傷，獲取相應缺陷的信息圖像，并建立合適的卷積神經網絡實現了缺陷智能檢測。這些缺陷檢測方法在缺陷檢測的種類和檢測精度上或多或少存在一定的問題，在此基礎上，本文提出了一種新的復合材料缺陷檢測方法，通過訓練級聯卷積神經網絡，對圖像進行有效的特征提取，在圖像中對復合材料內部缺陷進行識別分類和定位，同時進行圖像分割，獲得了較高的平均置信度和平均準確度。

1　卷積神經網絡研究發展

KRIZHEVSKY于2012年提到AlexNet［11］，AlexNet具有8層網絡結構，在ImageNet數據集上實現了15.3%的錯誤率，錯誤率整體下降了接近一半。之后，越來越多的研究者在卷積神經網絡的結構和深度上進行創新，相應地出現了VGG-16［12］、ResNet［13］等卷積神經網絡結構，目前使用最廣泛的是ResNet網絡結構。ResNet的理論基礎是深度卷積神經網絡，但隨著網絡層數的增加，圖像識別準確率達到飽和后迅速出現了退化現象，這導致識別準確率很難上升反而會下降，ResNet利用恒等映射，構建基本的殘差模塊，很好地解決了該問題，ResNet允許網絡不斷加深，最深的網絡有1 000多層。

繼圖像識別后，卷積神經網絡推出的另一大應用是目標檢測。目標檢測除了要識別目標的類別之外，還要在圖像中定位出它的位置。基于滑動窗口的思想，目標檢測首先在2014年Girshick的區域卷積神經網絡（Region-based Convolutional Neural Network， R-CNN）出現［14］，R-CNN通過選擇性搜索在圖像上生成了約2 000個候選區域，對每個區域利用一個大型卷積神經網絡進行特征提取，之后對每個區域進行圖像分類，用邊框回歸確定目標矩形框的位置。R-CNN將PASCAL-VOC 數據集上目標檢測的平均準確率大大提高了，但是沒有實現端對端的訓練檢測方式。隨后，Faster R-CNN［15］的出現使得目標檢測的精度和速度得到了進一步提升，同時對之前產生的問題進行了較好的解決。在目標檢測功能的基礎上，出現了新的網絡結構Mask R-CNN［16］。Mask R-CNN額外提供了圖像實例分割的功能，是目前應用最為廣泛的技術之一。

2　Cascade Mask R?CNN的目標檢測方法

2.1　Mask R-CNN目標檢測方法

Mask R-CNN是由He Kaiming團隊提出的，其基于Faster R-CNN目標檢測網絡發展而來，最大的特點是多任務的集成實現，除了可以實現傳統的目標檢測功能之外，還可以對圖像進行實例分割，對于目標檢測的邊界框，實例的分割效果可精確到目標物體的邊緣區域，除此之外，相對傳統的圖像語義分割，實例分割會在圖像上對同一類別的不同個體進行不同的灰度值標注，顯示不同的顏色，提高可視化效果。

Mask R-CNN網絡主要分為特征提取網絡、區域預測網絡和功能性網絡。

區域預測網絡（Region Proposal Network， RPN）利用獲取的特征圖來計算可以表示物體在圖像中的位置的預測框。Mask R-CNN通過Anchor技術來實現區域預測功能，Anchor是指預先設定好的一個框選box。根據特征圖中的每個像素點，都會以其坐標為中心，不同的寬高來預生成多個Anchor box，但是這些box并不是表示物體位置的最佳box，RPN網絡根據回歸輸出來對這些Anchor box進行中心、寬和高的修正，修正步驟如下：

功能性網絡的作用主要是對象分類、對象定位和對象分割。通過獲取到的特征，對象分類采用全連接（Fully Connected，FC）層和Softmax層的固定搭配以獲得類別信息；對象框選則是進一步對表示對象在圖像中所處位置的信息進行修正，修正過程與式（2）相同；對象分割利用全卷積分割網絡（Fully Connected Network， FCN）［18］，可以生成用于分割掩碼的掩碼層，進一步尋找到對象的邊緣位置，將待測對象完整進行分割。Mask R-CNN的工作流程如圖1所示。

2.2　Cascade R-CNN 目標檢測方法

Cascade R-CNN［19］是由Cai團隊提出的，基礎網絡是Faster R-CNN，主要解決了目標檢測中的交并比（Intersection Over Union，IOU）閾值選取問題。對于目標檢測，選取高的IOU閾值使得模型輸出的代表物體位置的box更準確，有利于獲取高質量的目標檢測結果，而僅僅提高IOU閾值可能會引發訓練過擬合問題，導致測試精度大幅度下降。Cascade的核心就是利用不斷提高的閾值，在保證樣本數不減少的情況下得到高質量的目標檢測訓練結果：它級聯了多個功能性網絡，各功能性網絡根據各自的特征圖來進行計算，同時將一個功能性網絡輸出的回歸框輸入到另一個功能性網絡，不同的功能性網絡根據連接順序，不斷提升IOU閾值，以達到提升目標檢測精度的目的。IOU閾值通常選擇為0.5，本文采取三階級聯網絡，其中每個級聯網絡的IOU閾值逐步提升，故分別設置為0.6、0.7和0.8。

2.3　Cascade Mask R-CNN目標檢測方法

Cascade Mask R-CNN是Mask R-CNN和Cascade R-CNN綜合而成的，其結合了Mask R-CNN和Cascade R-CNN各自的優勢：在進行了目標檢測的同時進行了實例分割，檢測效果更為突出；利用級聯結構提升了檢測的精度。本文的Cascade Mask R-CNN的工作流程整體如圖2所示。

3　實驗過程和分析

3.1　實驗數據預處理以及實驗過程

航天復合材料內部缺陷圖像數據集是在上海衛星裝備研究所實地采集的，包含常見的高密度夾雜（high_inclusion）、低密度夾雜（low_inclusion）、裂紋（crack）和氣孔（void）共4類缺陷，其中高密度夾雜是白色橢圓狀，低密度夾雜是黑色不規則形狀，裂紋是條紋狀，氣孔是深色圓形或橢圓形狀，如圖3所示。

續圖3各類缺陷顯示

Continued fig. 3Display of various defects

數據集一共有2 800多張圖像，部分圖像存在多種多個缺陷。為了確保實驗能夠順利進行，對 2 800多張圖像進行了實驗數據預處理，主要步驟為：首先，對數據集進行擴充處理，采用的手段主要是直接對部分樣本進行過采樣，改變樣本的亮度、灰度和角度等信息，而改變樣本的亮度和灰度沒有改變缺陷的本質特征，只是缺陷和背景的亮度、灰度同時改變了，這有利于增強模型對獲取的不同對比度X射線缺陷的檢測能力，除此之外還有向其中增加噪聲、高斯模糊等操作；其次，操作后最終形成的數據集有7 200張，之后對圖像進行標準化處理，即將尺寸統一固定為800×1 333像素點，這樣可以更好地適應網絡模型，提高特征提取的效果；再次，利用Labelme軟件對復合材料缺陷圖像進行缺陷標注，生成相應的json格式配置文件；最后，將各圖像的json配置文件匯總，將7 200張圖像隨機生成訓練集和測試集，其中訓練集6 400張圖像，測試集800張圖像，訓練集和測試集中的圖像分布情況相同。數據集具體分配情況見表1。

表1　數據集分配情況

為了突出級聯神經網絡的優勢，實驗在Mask R-CNN網絡、Cascade R-CNN和Cascade Mask R-CNN網絡上分別進行。為保證公平，在3種缺陷檢測卷積神經網絡上使用的特征提取網絡均是預訓練好的ResNet-50模型；在復合材料缺陷數據集上訓練均采用相同的參數，即：由于GPU性能有限，設置batch大小為1，訓練集整體迭代次數epoch為100 000，學習率初始設置為0.002 5，學習率變化初始采用線性增加的策略，之后在第50 000和80 000個epoch降低學習率，網絡參數的優化方式采用基于動量Nesterov momentum的隨機梯度下降算法momentum設置為0.9［13］，權重衰減系數weight_decay設置為0.000 1［13］。實驗在Linux（Ubuntu16.04）系統上進行，使用Pytorch框架，硬件平臺為Intel（R） Core（TM） i7-6800K CPU@3.4 GHz，內存大小為16 GB，GPU為NVIDIA Geforce GTX1080Ti （11 GB顯存）。

本文采用的模型在航天復合材料內部缺陷測試顯示如圖4所示。

續圖4測試顯示結果

Continued fig. 4Results of the test display

實驗的結果為平均準確度mAP、平均置信度［20］和平均耗時，對應Mask R-CNN模型、Cascade R-CNN模型以及Cascade Mask R-CNN模型在復合材料內部缺陷測試集上的實驗對比情況見表2。

表2　Mask R-CNN、Cascade R-CNN和Cascade Mask R-CNN實驗結果

本文在Cascade Mask -RCNN網絡上訓練迭代過程中的檢測精度如圖5（a）所示，而各模型測試的準確度和置信度的分布情況如圖5（b）所示。

3.2　結果分析

表2給出了Mask R-CNN、Cascade R-CNN和Cascade Mask R-CNN的對比結果。從表2中可知，在相同的訓練參數條件下，Mask R-CNN由于整體結構相對簡單，其檢測一張復合材料缺陷圖像的平均耗時最少，但檢測準確度和置信度較低，Cascade R-CNN雖然缺陷檢測整體精度都比Cascade Mask R-CNN更優秀，但它不包含缺陷的實例分割功能；而無論是平均準確度還是平均置信度，Cascade Mask R-CNN與Mask R-CNN相比都較為領先，但它的檢測平均耗時最大。由圖4可知，通過實例分割后的缺陷檢測可視化效果顯著提升，而這對于在實際中利用其進行高效復合材料缺陷檢測具有明顯意義。

4　結束語

本文提出了一種基于深度學習的航天復合材料缺陷檢測方法。經過測試，本文所使用的級聯神經網絡Cascade Mask R-CNN缺陷檢測方法具有普遍性。檢測結果顯示：算法能夠很好地適應復合材料內部的缺陷，在多種不同的缺陷檢測中都取得了較好的效果，適用場景廣泛，魯棒性強。但是，目前的級聯網絡也有一定的局限性，并不能完全達到實時處理復合材料缺陷檢測的要求。在未來的工作中，需進一步將研究重點放在損失最小的準確度、最大化壓縮剪枝模型的問題上，以保證缺陷檢測的模型能達到實時性的要求。

［1］ 竇鳳云.淺談復合材料在航空航天領域中的應用［J］.信息記錄材料，2020，21（5）：18-19.

［2］ 陳積懋，張穎.復合材料無損檢測的新進展［J］.航空工藝技術，1998，22（5）：17-19，27.

［3］ 劉松平，劉菲菲，李樂剛，等.航空復合材料無損檢測與評估技術研究進展回顧［J］.航空制造技術，2019，62（14）：14-27.

［4］ MALDAGUE X， MARINETTI S. Pulse phase infrared thermography［J］. Journal of Applied Physics， 1996， 79（5）： 2694-2698.

［5］ HAIRVA R， MECHBAL N， VERGE M. Damage detection of composite structure using independent component analysis［C］// International Workshop on Structural Health Monitoring. 2011： 241-248.

［6］ 劉慧.超聲紅外鎖相熱像無損檢測技術的研究［D］.哈爾濱：哈爾濱工業大學，2010.

［7］ 張南南，郭興旺.固體火箭發動機絕熱層脫粘的紅外無損檢測建模方法［J］.無損檢測，2016，38（8）：1-5，11.

［8］ 黃燦.圖像識別領域中卷積神經網絡的應用［J］.信息記錄材料，2018，19（5）：39-40.

［9］ 劉濤，李永峰，黃威.BP神經網絡在紅外熱波無損檢測定量識別中的應用［J］.紅外與激光工程，2012，41（9）：2304-2310.

［10］ 嚴治.基于卷積神經網絡的鑄件內部缺陷超聲檢測方法研究［D］.沈陽：沈陽工業大學，2019.

［11］ KRIZHEVSKY A， SUTSKEVER I， HINTON G E. Imagenet classification with deep convolutional neural networks［J］. Communications of the ACM， 2017， 60（6）： 84-90.

［12］ SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition［EB/OL］. Computer Science， 2014.［2020-12-15］. https：//arxiv.org/pdf/1409.1556.pdf.

［13］ HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition［C］// 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Washington D.C.， USA： IEEE Press， 2016： 770-778.

［14］ GIRSHICK R， DONAHUE J， DARRELL T， et al. Rich feature hierarchies for accurate object detection and semantic segmentation［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Washington D.C.， USA： IEEE Press，2014： 580-587.

［15］ REN S， HE K， GIRSHICK R， et al. Faster R-CNN： towards real-time object detection with region proposal networks ［J］. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2017， 39（6）： 1137-1149.

［16］ HE K， GKIOXARI G， DOLLáR P， et al. Mask R-CNN［C］// Proceedings of the IEEE International Conference on Computer Vision. Washington D.C.， USA： IEEE Press， 2017： 2961-2969.

［17］ LIN T Y， DOLLáR P， GIRSHICK R， et al. Feature pyramid networks for object detection［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Washington D.C.， USA： IEEE Press，2017： 2117-2125.

［18］ LONG J， SHELHAMER E， DARRELL T. Fully convolutional networks for semantic segmentation［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Washington D.C.， USA： IEEE Press， 2015： 3431-3440.

［19］ CAI Z， VASCONCELOS N. Cascade R-CNN： delving into high quality object detection［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Washington D.C.， USA： IEEE Press，2018： 6154-6162.

［20］ 孫梓超，譚喜成，洪澤華，等.基于深度卷積神經網絡的遙感影像目標檢測［J］.上海航天，2018，35（5）：18-24.

Intelligent Detection of Defects in Aerospace Composite Materials Based on Convolutional Neural Network

DONGXuejin1， SHAOHongliang1， LIZhixue2， LUOJun2

（1.Shanghai Satellite Equipment Research Institute， Shanghai 200240， China； 2.Key Laboratory of Optoelectronic Technology and Systems of Ministry of Education， Chongqing University， Chongqing 400030， China）

In view of the fact that traditional image recognition processing methods have the problems of insufficient accuracy， insufficient identification， and single type of defect processing， a neural network based on Cascade region-based convolutional neural network （R-CNN） and Mask R-CNN is proposed. First， a new Cascade Mask R-CNN is constructed based on the Mask R-CNN and Cascade R-CNN to improve the visualization and detection accuracy of defect detection. Then， the combined Cascade Mask R-CNN is trained， and the trained model is used to detect the defect images of a composite material. The test results show that the average accuracy of the detection reaches 91.5%， and the average confidence reaches 97.3%， which meet the requirements of the detection accuracy. The research results can be applied to the identification of defects in aerospace composite materials.

deep learning； Cascade R-CNN； composite material； defect detection； instance segmentation

2020?12?31；

2021?01?13

上海航天科技創新SAST基金（JG20180209）

董學金（1985—），男，碩士研究生，高級工程師，主要研究方向為檢測技術和圖像識別。

羅鈞（1963—），男，教授，博士生導師，主要研究方向為圖像識別、嵌入式機器視覺和深度學習。

TP 391

A

10.19328/j.cnki.2096?8655.2022.04.015