基于Faster R-卷積神經(jīng)網(wǎng)絡(luò)的金屬點(diǎn)陣結(jié)構(gòu)缺陷識(shí)別方法

張玉燕， 李永保， 溫銀堂， 張芝威

(1.燕山大學(xué) 電氣工程學(xué)院， 河北 秦皇島 066004； 2.燕山大學(xué) 測(cè)試計(jì)量技術(shù)及儀器河北省重點(diǎn)實(shí)驗(yàn)室, 河北 秦皇島 066004)

0 引言

金屬點(diǎn)陣結(jié)構(gòu)材料由有序微結(jié)構(gòu)呈周期排列而成，是一種結(jié)構(gòu)- 功能一體化新型有序多孔材料，具有超輕、高比強(qiáng)度、高比剛度、減震、耐沖擊等結(jié)構(gòu)特性，以及高效散熱隔熱、耐火、吸聲、電磁波吸收等功能特性，近年來廣泛應(yīng)用于航空航天、武器裝備等行業(yè)，應(yīng)用需求日益迫切，因此對(duì)其性能要求也越來越高。

增材制造技術(shù)在金屬點(diǎn)陣結(jié)構(gòu)材料制備中的優(yōu)勢(shì)逐漸明顯，其設(shè)計(jì)和制造自由度較大，能夠有效解決復(fù)雜多層金屬結(jié)構(gòu)材料的制備問題[1]。國內(nèi)外對(duì)增材制造技術(shù)制備多層金屬點(diǎn)陣結(jié)構(gòu)材料展開了相關(guān)研究[2-8]。Ushijima等[9]用選擇性激光金屬熔融(SLM)技術(shù)制備了一種金屬點(diǎn)陣結(jié)構(gòu)，研究了不同激光功率和掃描速度對(duì)其力學(xué)性能造成的影響。Maskery等[10]研究了由SLM制備Al-Si10-Mg材質(zhì)金屬點(diǎn)陣結(jié)構(gòu)在準(zhǔn)靜態(tài)負(fù)載下的力學(xué)性能，驗(yàn)證了熱處理對(duì)于改善點(diǎn)陣結(jié)構(gòu)的結(jié)構(gòu)功能特性的有效性。Van等[11]對(duì)SLM制備的Ti-6Al-4V材質(zhì)金剛石晶胞結(jié)構(gòu)點(diǎn)陣材料進(jìn)行研究，分析了影響點(diǎn)陣材料疲勞壽命的因素，并提出了改善材料疲勞壽命的方法。

增材制造的本質(zhì)是將材料加熱至熔融狀態(tài)再進(jìn)行逐層堆積冷卻成型，而材料在加熱熔融后又快速凝固、產(chǎn)生急劇的熱變化，從而產(chǎn)生大量殘余應(yīng)力，造成結(jié)構(gòu)翹曲、裂紋、斷層等不良效應(yīng)[12]，這些不良效應(yīng)在很大程度上降低了金屬點(diǎn)陣結(jié)構(gòu)的結(jié)構(gòu)- 功能性能。無損檢測(cè)方法可以作為金屬點(diǎn)陣結(jié)構(gòu)性能可靠性、結(jié)構(gòu)完整性的重要檢測(cè)手段，其檢測(cè)結(jié)果是新型材料設(shè)計(jì)、研制和改進(jìn)的重要技術(shù)依據(jù)，也是結(jié)構(gòu)質(zhì)量控制和安全可靠性的有效技術(shù)支撐。對(duì)于金屬三維多層點(diǎn)陣復(fù)雜結(jié)構(gòu)的內(nèi)部缺陷，常規(guī)無損檢測(cè)方法[13-17]的檢測(cè)精度和適用性較難滿足精準(zhǔn)、直觀的檢測(cè)需求。而工業(yè)CT技術(shù)能夠以二維斷層或三維立體圖像清晰、直觀地呈現(xiàn)被檢測(cè)物體內(nèi)部結(jié)構(gòu)和缺陷，能夠很好地適用于金屬三維多層點(diǎn)陣結(jié)構(gòu)。但是，若要求從大量斷層圖像中快速識(shí)別、評(píng)定、統(tǒng)計(jì)檢出結(jié)果，僅依靠人工篩選和判定則需耗費(fèi)大量時(shí)間，極易漏檢、誤判且效率極低，因此迫切需要研究高效的自動(dòng)缺陷識(shí)別和評(píng)判方法。

深度學(xué)習(xí)由Hinton等[18]在2006年提出，具有多隱層人工神經(jīng)網(wǎng)絡(luò)，且通過逐層初始化對(duì)原始數(shù)據(jù)進(jìn)行訓(xùn)練學(xué)習(xí)。深度學(xué)習(xí)在眾多領(lǐng)域都有應(yīng)用，如語音識(shí)別、人臉識(shí)別、唇語識(shí)別、圖像分類識(shí)別、紋理識(shí)別、實(shí)時(shí)多人動(dòng)作預(yù)測(cè)、醫(yī)療病患識(shí)別、自動(dòng)駕駛、精準(zhǔn)推薦等。最近幾年，屬于前饋深度網(wǎng)絡(luò)的卷積神經(jīng)網(wǎng)絡(luò)(CNN)得到廣泛關(guān)注和研究。從2012年起，CNN在ImageNet大規(guī)模視覺識(shí)別挑戰(zhàn)賽中獲得了優(yōu)越的成績(jī)[19-23]。由于CNN具有優(yōu)異的識(shí)別分類能力，一些相關(guān)的CNN架構(gòu)和算法被應(yīng)用于多個(gè)領(lǐng)域并取得了良好效果。

截至目前，關(guān)于金屬點(diǎn)陣結(jié)構(gòu)的增材制造制備技術(shù)、單元的結(jié)構(gòu)設(shè)計(jì)、力學(xué)性能等研究較多，而關(guān)于金屬點(diǎn)陣結(jié)構(gòu)內(nèi)部缺陷的自動(dòng)識(shí)別研究，國內(nèi)外則鮮有報(bào)道。本文針對(duì)一種金屬三維多層點(diǎn)陣復(fù)雜結(jié)構(gòu)，提出基于Faster R-CNN的內(nèi)部缺陷快速識(shí)別方法，用訓(xùn)練得到的模型實(shí)現(xiàn)了自動(dòng)缺陷檢出和位置分布情況的分析。

1 樣件內(nèi)部灰度圖獲取

本文研究對(duì)象是一種由SLM技術(shù)制備的三維多層點(diǎn)陣結(jié)構(gòu)，其內(nèi)部微結(jié)構(gòu)單元為正四面體結(jié)構(gòu)，每一個(gè)節(jié)點(diǎn)與其周圍4個(gè)節(jié)點(diǎn)之間等距離連接且呈一個(gè)固定角度,如圖1所示。整個(gè)三維多層點(diǎn)陣結(jié)構(gòu)的內(nèi)部結(jié)構(gòu)較復(fù)雜，且其外部由一層板狀結(jié)構(gòu)構(gòu)成，使整個(gè)結(jié)構(gòu)處于封閉狀態(tài)。因此需要一種無損檢測(cè)手段，將其內(nèi)部結(jié)構(gòu)直觀地呈現(xiàn)出來，對(duì)其內(nèi)部缺陷進(jìn)行檢測(cè)識(shí)別。

圖1 金屬點(diǎn)陣結(jié)構(gòu)微單元結(jié)構(gòu)圖Fig.1 Microstructure chart of metal lattice structure

本文采用工業(yè)CT無損檢測(cè)方法對(duì)多層金屬點(diǎn)陣結(jié)構(gòu)材料進(jìn)行掃描，可分別從xy、yz和xz層面分別進(jìn)行切片處理，所用CT系統(tǒng)的切片厚度為0.1 mm. 考慮被測(cè)樣件的結(jié)構(gòu)外形特點(diǎn)，按照平行于微結(jié)構(gòu)橫向排布截面(即xy層面)進(jìn)行切片，獲得斷層圖像，所含有效像素個(gè)數(shù)更多。如圖2所示，其中紅框?yàn)槿毕荨?/p>

圖2 金屬點(diǎn)陣結(jié)構(gòu)二維斷層圖像Fig.2 Two-dimensional tomographic images of metal lattice structure

對(duì)于結(jié)構(gòu)內(nèi)部的某處缺陷，可能在多張相鄰的二維斷層灰度圖像中都有所體現(xiàn)，但其特征的表現(xiàn)形式隨著切片處點(diǎn)陣結(jié)構(gòu)的變化而變化，且缺陷的大小尺寸不同(見圖3)，隨著切片位置的不同，該處缺陷在每張圖片中的呈現(xiàn)形式也不同。

圖3 實(shí)際缺陷在不同斷層圖像中的表現(xiàn)形式Fig.3 Representation of actual defects in different tomographic images

2 基于Faster R-CNN的缺陷識(shí)別方法

2.1 Faster R-CNN網(wǎng)絡(luò)結(jié)構(gòu)

CNN非常適用于圖像的特征提取，由于其神經(jīng)元之間的連接是非全連接的，且部分神經(jīng)元之間能夠共享權(quán)值，降低了模型復(fù)雜度，大大減少了網(wǎng)絡(luò)所需參數(shù)。近年來，在CNN基礎(chǔ)上又相繼出現(xiàn)了R-CNN[24]、Fast R-CNN[25]、Faster R-CNN[26]等算法。其中，F(xiàn)aster R-CNN得到了較廣泛的應(yīng)用[27-28]。

Faster R-CNN網(wǎng)絡(luò)架構(gòu)是在CNN基礎(chǔ)上發(fā)展起來的，將Fast R-CNN與區(qū)域建議網(wǎng)絡(luò)(RPN)相結(jié)合，它用RPN取代Selective Search來進(jìn)行建議區(qū)域的提取。RPN可以直接利用整個(gè)檢測(cè)網(wǎng)絡(luò)的卷積特征提取建議區(qū)域，減少了建議區(qū)域的提取時(shí)間，而且得到的建議區(qū)域更加精確可靠，從而提高了整個(gè)網(wǎng)絡(luò)架構(gòu)的速度和準(zhǔn)確性。RPN與Fast R-CNN通過共享卷積層訓(xùn)練全連接層構(gòu)成一個(gè)統(tǒng)一網(wǎng)絡(luò)。本文采用Faster R-CNN網(wǎng)絡(luò)架構(gòu)，對(duì)用工業(yè)CT采集到的金屬點(diǎn)陣結(jié)構(gòu)內(nèi)部缺陷進(jìn)行訓(xùn)練和識(shí)別。與R-CNN和Fast R-CNN相比，F(xiàn)aster R-CNN對(duì)目標(biāo)的識(shí)別定位具有更高的準(zhǔn)確度和更快的速度。

2.2 區(qū)域建議網(wǎng)絡(luò)

RPN是Faster R-CNN網(wǎng)絡(luò)結(jié)構(gòu)中的一個(gè)重要環(huán)節(jié)，其結(jié)構(gòu)圖如圖4所示。在得到最后一層卷積層的特征圖后，用大小為3×3的滑動(dòng)窗口對(duì)其進(jìn)行掃描，得到新的n-d特征圖，再通過分類層cls和位置回歸層reg得到目標(biāo)的分類和位置。其中，在每個(gè)滑動(dòng)窗口中心處分別按照不同的寬、高比例獲得k個(gè)區(qū)域建議，得到k個(gè)區(qū)域建議框左上角和右下角共4k個(gè)偏移量和以其為前景或背景的共2k個(gè)概率得分。

圖4 區(qū)域建議網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Structure of region proposal network

在對(duì)RPN層進(jìn)行訓(xùn)練時(shí)，遵循整個(gè)訓(xùn)練網(wǎng)絡(luò)的多任務(wù)損失函數(shù)L如下：

(1)

(2)

x、y分別為區(qū)域的中心點(diǎn)坐標(biāo)，w、h分別為區(qū)域的寬度和高度，smoothL1(x)為魯棒的損失函數(shù)，

(3)

2.3 感興趣區(qū)域池化層

當(dāng)RPN層完成感興趣區(qū)域(RoI)生成后，需要對(duì)RoI內(nèi)的目標(biāo)類型進(jìn)行識(shí)別判斷，而RPN生成的RoI尺寸并不一致，其所對(duì)應(yīng)的特征圖尺寸也不同，給目標(biāo)類型的最終識(shí)別帶來不便。因此需要對(duì)RoI尺寸進(jìn)行處理，以使每一個(gè)RoI對(duì)應(yīng)的特征圖尺寸固定，而RoI池化能夠?qū)崿F(xiàn)這一目的。

RoI池化是池化的一種方式，主要是針對(duì)RoI的池化操作，RoI池化層的輸入包含兩部分：一是整個(gè)卷積網(wǎng)絡(luò)的最后一層特征圖；二是RPN層輸出的區(qū)域建議信息，區(qū)域建議信息包括建議區(qū)域左上角和右下角4個(gè)坐標(biāo)值和索引。根據(jù)區(qū)域建議和原始圖像間的位置關(guān)系，將建議區(qū)域映射到特征圖相應(yīng)的位置，將特征圖對(duì)應(yīng)的映射區(qū)域劃分為相同尺寸的部分，再對(duì)每一個(gè)相應(yīng)部位進(jìn)行最大池化，得到與RoI同等數(shù)目的特征圖，進(jìn)而對(duì)這些特征圖進(jìn)行分類和回歸。

2.4 整體網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

由于本文使用的訓(xùn)練樣本集較少且識(shí)別目標(biāo)分類單一，為避免整個(gè)網(wǎng)絡(luò)架構(gòu)出現(xiàn)過擬合現(xiàn)象，通過3個(gè)卷積層和2個(gè)池化層對(duì)目標(biāo)進(jìn)行特征提取，其總體網(wǎng)絡(luò)架構(gòu)如圖5所示。其中：第1層卷積層包含32個(gè)大小為7×7的卷積核，步長為2，填充寬度為0，用大小為3×3、步長為2、填充為0對(duì)卷積層輸出進(jìn)行最大池化；第2層卷積層包含64個(gè)大小為5×5的卷積核，步長為2、填充寬度為1，用大小為3×3、步長為2、填充為1對(duì)卷積層輸出進(jìn)行最大池化；第3層卷積層包含64大小為3×3的卷積核，步長為1、填充寬度為2.

在得到最后一層卷積特征層后，RPN和Fast R-CNN共享其特征參數(shù)。結(jié)合特征圖，經(jīng)過RPN網(wǎng)絡(luò)得到了區(qū)域建議和區(qū)域得分，其中RPN網(wǎng)絡(luò)是由3×3滑動(dòng)窗口在得到的特征圖上進(jìn)行滑動(dòng)，每滑動(dòng)一個(gè)位置采用3個(gè)面積尺寸和3種不同長、寬比例進(jìn)行窗口截取，每個(gè)滑動(dòng)窗口得到9個(gè)不同建議區(qū)域，分別計(jì)算每個(gè)區(qū)域的位置坐標(biāo)(9×4)和區(qū)域?yàn)槟繕?biāo)或背景得分(9×2)，共得到3 969(21×21×9)個(gè)建議窗口。選取得分最高的300個(gè)建議窗口，通過Roi Pooling層得到大小統(tǒng)一的矩形建議框，送入全連接層判定目標(biāo)的類別和最終精確位置。

圖5 Faster R-CNN整體網(wǎng)絡(luò)架構(gòu)Fig.5 Faster R-CNN network structure

3 缺陷識(shí)別結(jié)果分析

通過多功能X射線微聚焦CT系統(tǒng)[30]對(duì)金屬點(diǎn)陣結(jié)構(gòu)樣件的掃描，可得到其內(nèi)部結(jié)構(gòu)重建。由于SLM技術(shù)的特點(diǎn)，點(diǎn)陣結(jié)構(gòu)內(nèi)部缺陷的方向一致性較強(qiáng)。因此，對(duì)于同一種類型缺陷(包含結(jié)點(diǎn)缺陷)，可認(rèn)為具有較強(qiáng)的空間對(duì)稱性。在xy、yz和xz層面的斷層圖像中，同類缺陷的特征基本相同。針對(duì)不同層面的切片，需制作相應(yīng)的訓(xùn)練樣本，因?yàn)閤y層面的圖像有效像素個(gè)數(shù)較多，更易于處理，所以本文只對(duì)xy層面斷層圖像進(jìn)行缺陷識(shí)別。

對(duì)樣件三維重構(gòu)中的xy層面二維圖像進(jìn)行等距離截取，共得到124張包含金屬點(diǎn)陣結(jié)構(gòu)有效區(qū)域的二維斷層圖像，取得的樣件截面圖有效區(qū)域大小為1 474×1 583×3. 從這124張斷層圖像中選取部分含有缺陷區(qū)域作為樣本集(見圖6)，每張訓(xùn)練圖片大小為350×350×3，共得到300個(gè)樣本集。為了增加樣本數(shù)量，在樣本集中隨機(jī)進(jìn)行平移、縮小放大、翻轉(zhuǎn)處理，與原有的樣本構(gòu)成新的樣本集。

圖6 帶有缺陷的樣本集(350×350×3)Fig.6 Sample set with defects(350×350×3)

實(shí)驗(yàn)使用的仿真平臺(tái)為Windows，以開源的Caffe(Convolutional Architecture for Fast Feature)作為訓(xùn)練框架來快速構(gòu)建所需的訓(xùn)練模型，用開源的OpenCV函數(shù)庫進(jìn)行圖像處理、分析，整個(gè)訓(xùn)練用MATLAB在GPU模式下完成。

在缺陷識(shí)別模型訓(xùn)練開始前，將整個(gè)缺陷樣本集隨機(jī)分為兩部分，即用于模型訓(xùn)練的訓(xùn)練集和判斷模型是否有效的測(cè)試集，且兩部分不發(fā)生交錯(cuò)重復(fù)。在構(gòu)建好整個(gè)網(wǎng)絡(luò)后，將制作好的訓(xùn)練集導(dǎo)入整個(gè)Faster R-CNN網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，最終得到訓(xùn)練好的模型。在訓(xùn)練完成后對(duì)測(cè)試集進(jìn)行測(cè)試，得到整個(gè)測(cè)試結(jié)果的平均正確率AP，該網(wǎng)絡(luò)的準(zhǔn)確率與召回率曲線所包含的面積即為AP值，AP值越大表示訓(xùn)練模型越好，測(cè)試集中缺陷識(shí)別的準(zhǔn)確率與召回率曲線圖如圖7所示，其中AP值為0.995，其檢測(cè)效果較好。

圖7 測(cè)試結(jié)果的準(zhǔn)確率與召回率曲線Fig.7 Precision-recall curve of test result

圖9 金屬點(diǎn)陣結(jié)構(gòu)缺陷識(shí)別結(jié)果Fig.9 Recognised results of metal lattice structure defects

由于金屬點(diǎn)陣結(jié)構(gòu)內(nèi)部某一處宏觀實(shí)際缺陷在多張CT掃描斷層圖像都有體現(xiàn)，當(dāng)斷層圖像對(duì)應(yīng)實(shí)際缺陷的端部位置時(shí)，灰度圖中表現(xiàn)出來的缺陷特征較難識(shí)別，如圖8中紅框所示。通過深度學(xué)習(xí)訓(xùn)練得到的缺陷檢測(cè)模型對(duì)其進(jìn)行檢測(cè)識(shí)別時(shí)易造成遺漏，且由于被檢測(cè)對(duì)象本身的不規(guī)則性和工業(yè)CT掃描技術(shù)的限制，在灰度圖中像素點(diǎn)灰度值分布不均勻處也會(huì)形成誤判，因此會(huì)影響缺陷識(shí)別結(jié)果的準(zhǔn)確率。但是這種差異可以根據(jù)多層缺陷識(shí)別結(jié)果剔除一些誤判，保持缺陷識(shí)別定位的準(zhǔn)確性。

圖8 同一端部位置缺陷對(duì)應(yīng)的不同斷層圖像Fig.8 Different slices corresponding to the defect at one end

選取缺陷分布較復(fù)雜的二維灰度圖，導(dǎo)入訓(xùn)練好的模型進(jìn)行缺陷檢測(cè)，含有缺陷斷層圖像的缺陷檢測(cè)識(shí)別結(jié)果如圖9所示。圖9中，藍(lán)色框表示缺陷對(duì)應(yīng)的定位結(jié)果，其上方的數(shù)字部分是對(duì)應(yīng)缺陷區(qū)域的分類得分。由于掃描金屬點(diǎn)陣結(jié)構(gòu)時(shí)斷層之間的距離較小，每一個(gè)缺陷層對(duì)應(yīng)多個(gè)掃描斷層，將所有的掃描斷層灰度圖導(dǎo)入訓(xùn)練好的模型中對(duì)其中的缺陷進(jìn)行識(shí)別定位，可在缺陷層對(duì)應(yīng)的掃描斷層灰度圖中檢測(cè)出缺陷并對(duì)缺陷進(jìn)行定位。如圖10所示，缺陷層對(duì)應(yīng)的所有掃描斷層都能被檢測(cè)出缺陷，并且缺陷的定位框集中在同一區(qū)域。

圖10 實(shí)際缺陷對(duì)應(yīng)的斷層圖像缺陷識(shí)別Fig.10 Recognised results of defects in the tomographic images corresponding to the actual defects

將124張經(jīng)工業(yè)CT掃描得到的斷層灰度圖像導(dǎo)入訓(xùn)練好的模型中進(jìn)行缺陷檢測(cè)，結(jié)合每張灰度圖的缺陷識(shí)別情況，將所有缺陷定位標(biāo)識(shí)框集中在一個(gè)立體圖中，得到金屬點(diǎn)陣結(jié)構(gòu)樣件內(nèi)部缺陷的分布狀況。如圖11所示，整個(gè)金屬點(diǎn)陣結(jié)構(gòu)的內(nèi)部缺陷分為3層，共有21個(gè)缺陷，其中底層有3個(gè)缺陷，中層有7個(gè)缺陷，上層有11個(gè)缺陷。

圖11 金屬點(diǎn)陣結(jié)構(gòu)內(nèi)部缺陷立體位置Fig.11 Three-dimensional positions of internal defects of metal lattice structure

在對(duì)金屬點(diǎn)陣結(jié)構(gòu)斷層灰度圖像中的缺陷進(jìn)行識(shí)別定位后，根據(jù)CT掃描參數(shù)和圖像中的有效區(qū)域?qū)?yīng)的像素點(diǎn)個(gè)數(shù)，可以初步對(duì)二維圖中的缺陷大小進(jìn)行描述。本文從已識(shí)別出的含缺陷圖像中隨機(jī)取一張，對(duì)其中的缺陷部位進(jìn)行了尺寸標(biāo)記，如圖12所示，其中紅框標(biāo)記對(duì)應(yīng)缺陷部位涉及到的點(diǎn)陣單元結(jié)構(gòu)二維平面尺寸范圍，黃框?qū)?yīng)的是缺陷部位的區(qū)域范圍。

圖12 斷層圖像中缺陷的尺寸標(biāo)記Fig.12 Size marking of defect in tomographic image

4 結(jié)論

針對(duì)工業(yè)CT掃描技術(shù)得到的金屬點(diǎn)陣結(jié)構(gòu)內(nèi)部灰度圖中的缺陷識(shí)別和定位問題，本文提出了一種基于Faster R-CNN的缺陷識(shí)別算法。算法分析及實(shí)驗(yàn)結(jié)果表明：

1)算法通過設(shè)計(jì)特征提取網(wǎng)絡(luò)，修改RPN網(wǎng)絡(luò)，實(shí)現(xiàn)對(duì)樣件內(nèi)部的典型缺陷進(jìn)行準(zhǔn)確識(shí)別及定位，識(shí)別效果較好。

2)在訓(xùn)練算法前，使用一些數(shù)據(jù)增強(qiáng)方法，對(duì)提高算法性能有很大幫助。

3)本文算法只考慮一類缺陷的識(shí)別，后續(xù)可以考慮對(duì)多類型缺陷進(jìn)行識(shí)別。

4)本文算法對(duì)于點(diǎn)陣結(jié)構(gòu)中缺陷的量化表征，僅從二維圖像來描述缺陷的大小，還不足以體現(xiàn)結(jié)構(gòu)中某一處宏觀缺陷的三維特征，應(yīng)結(jié)合CT三維重構(gòu)算法進(jìn)行缺陷表征，今后尚需進(jìn)一步研究。