基于風(fēng)格遷移的交互式航空發(fā)動(dòng)機(jī)孔探圖像擴(kuò)展方法

樊 瑋，段博坤，黃 睿*，劉 挺，張 寧

（1.中國(guó)民航大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，天津 300300；2.廈門(mén)航空信息部，福建廈門(mén) 361006）

（?通信作者電子郵箱rhuang@cauc.edu.cn）

0 引言

現(xiàn)代民航飛機(jī)大多使用高涵道比的渦輪風(fēng)扇發(fā)動(dòng)機(jī)，其核心機(jī)部分工作在高溫高壓的惡劣環(huán)境下，為了保證航空器運(yùn)行的安全和效率，必須對(duì)發(fā)動(dòng)機(jī)的工作狀態(tài)進(jìn)行監(jiān)控。業(yè)界普遍采用視情維護(hù)策略［1］，要求“定期對(duì)設(shè)備或部件按標(biāo)準(zhǔn)進(jìn)行檢驗(yàn)，以確定其在下一個(gè)計(jì)劃?rùn)z查周期之前能夠使用”?？滋綑z查是現(xiàn)在最主要的視情維護(hù)技術(shù)，但需要由專(zhuān)業(yè)人員觀察孔探圖像進(jìn)行評(píng)估才能得出最終的檢查結(jié)果，目前還沒(méi)有較為可靠的自動(dòng)化檢測(cè)技術(shù)。

隨著人工智能技術(shù)的不斷發(fā)展，研究人員開(kāi)始探索基于深度學(xué)習(xí)的孔探圖像自動(dòng)檢測(cè)技術(shù)［2］，但該項(xiàng)研究尚處于起步階段，檢測(cè)精度較低，無(wú)法很好地代替人工檢測(cè)，其中制約模型泛化能力一個(gè)重要的因素是數(shù)據(jù)規(guī)模。由于數(shù)據(jù)采集和標(biāo)注的工作量巨大，目前含有檢測(cè)目標(biāo)的孔探圖像數(shù)據(jù)量稀少，待檢測(cè)目標(biāo)的比例低，且樣本空間分布不均；因此在進(jìn)行模型訓(xùn)練時(shí)經(jīng)常需要對(duì)樣本空間進(jìn)行擴(kuò)充。

深度學(xué)習(xí)任務(wù)中進(jìn)行數(shù)據(jù)擴(kuò)充一般采用旋轉(zhuǎn)、裁剪、縮放等傳統(tǒng)擴(kuò)展方法，但這些方法只改變了圖像的表現(xiàn)形式，并未改變圖像中的內(nèi)容。使用生成對(duì)抗網(wǎng)絡(luò)（Generative Against Network，GAN）等深度學(xué)習(xí)技術(shù)進(jìn)行數(shù)據(jù)擴(kuò)展，則無(wú)法在生成圖像的同時(shí)生成相應(yīng)的標(biāo)注信息。因此，在發(fā)動(dòng)機(jī)孔探圖像的缺陷檢測(cè)這種數(shù)據(jù)量少且待檢測(cè)目標(biāo)比例低的任務(wù)中，現(xiàn)有數(shù)據(jù)擴(kuò)展方法不能在已有數(shù)據(jù)的基礎(chǔ)上產(chǎn)生更多的有缺陷圖像，如在無(wú)缺陷的發(fā)動(dòng)機(jī)孔探圖像上產(chǎn)生燒蝕、孔洞、裂縫等缺陷。此外，在一些標(biāo)注難度較大的數(shù)據(jù)上，現(xiàn)有方法也無(wú)法在不改變樣本空間大小的前提下產(chǎn)生更多帶有標(biāo)注的數(shù)據(jù)。

針對(duì)以上問(wèn)題，本文提出了基于風(fēng)格遷移技術(shù)的交互式數(shù)據(jù)擴(kuò)展方法，主要思想是：在航空發(fā)動(dòng)機(jī)孔探圖像數(shù)據(jù)集上，根據(jù)已標(biāo)注好的數(shù)據(jù)構(gòu)建缺陷庫(kù)和背景圖像庫(kù)；針對(duì)不同的發(fā)動(dòng)機(jī)區(qū)域圖像，選擇不同類(lèi)型的缺陷，并通過(guò)縮放、旋轉(zhuǎn)等變形操作調(diào)整缺陷的形狀完成交互；為了保證缺陷樣本和粘貼圖像的對(duì)應(yīng)區(qū)域具有相同的風(fēng)格，采用風(fēng)格遷移技術(shù)改變?nèi)毕輼颖镜娘L(fēng)格；使用泊松融合的方法將風(fēng)格化后的樣本融合到背景圖像中，得到擴(kuò)展樣本。該方法結(jié)合了風(fēng)格遷移和泊松融合兩種方法，解決了擴(kuò)展目標(biāo)和圖像背景區(qū)域風(fēng)格不一致、粘貼邊界明顯的問(wèn)題，使得擴(kuò)展后的數(shù)據(jù)更加接近真實(shí)采集的數(shù)據(jù)，并可以利用現(xiàn)有的已標(biāo)注數(shù)據(jù)，產(chǎn)生更多的帶標(biāo)注的數(shù)據(jù)，有效地解決了視覺(jué)檢測(cè)任務(wù)中獲取數(shù)據(jù)難、標(biāo)注難以及樣本分布不平衡的問(wèn)題。

1 相關(guān)工作

在航空發(fā)動(dòng)機(jī)的缺陷檢測(cè)任務(wù)中，根據(jù)對(duì)圖像改變方式的不同，使用的數(shù)據(jù)擴(kuò)展方法可以分為兩大類(lèi)：傳統(tǒng)數(shù)據(jù)擴(kuò)展方法和基于深度學(xué)習(xí)的數(shù)據(jù)擴(kuò)展方法。

圖1 所示為不同的數(shù)據(jù)擴(kuò)展方法的對(duì)比結(jié)果，傳統(tǒng)數(shù)據(jù)擴(kuò)展方法通過(guò)改變圖像的表現(xiàn)形式來(lái)達(dá)到擴(kuò)展數(shù)據(jù)的目的。Howard［3］指出現(xiàn)有的數(shù)據(jù)擴(kuò)展方法采用旋轉(zhuǎn)、裁剪［4］、縮放、仿射變換［5］、透視變換［6］等針對(duì)圖像全局變換的操作擴(kuò)充圖像的數(shù)量。這些擴(kuò)展方法實(shí)現(xiàn)簡(jiǎn)單，且被證明能夠有效提升模型泛化能力［7］，如：Krizhevsky 等［8］在ImageNet 比賽中使用橫向移動(dòng)、水平翻轉(zhuǎn)的方式將訓(xùn)練數(shù)據(jù)擴(kuò)大至原來(lái)的2 048倍用于圖像分類(lèi)訓(xùn)練，并借此獲得了圖像分類(lèi)的冠軍。而當(dāng)數(shù)據(jù)集中包含無(wú)用的高頻特征時(shí)，對(duì)圖像添加噪聲擾動(dòng)［9］，如高斯噪聲、椒鹽噪聲等，可以扭曲高頻特征，避免模型擬合無(wú)用的高頻特征，達(dá)到增強(qiáng)模型學(xué)習(xí)能力的目的。此外，通過(guò)改變圖像色彩空間［10］包括簡(jiǎn)單地改變圖像的顏色、亮度、對(duì)比度和清晰度；采用像素限制、像素矩陣變換和像素值顛倒等方法可以從色彩空間角度擬合偏置，但過(guò)多的色彩變換易使模型在顏色空間上擬合而不利于網(wǎng)絡(luò)學(xué)習(xí)到預(yù)期特征。這些常用的擴(kuò)展方法可以對(duì)小樣本數(shù)據(jù)集快速擴(kuò)展，但無(wú)法很好地解決樣本空間分布不平衡問(wèn)題。Chawla 等［11］和Zhang 等［12］提出了人工合成新樣本的方法，為解決樣本分布不平衡問(wèn)題提供了可行的思路。

基于深度學(xué)習(xí)的數(shù)據(jù)擴(kuò)展方法利用深度神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力來(lái)改變或生成圖像內(nèi)容以達(dá)到擴(kuò)展數(shù)據(jù)的目的。Bowles等［13］利用生成對(duì)抗網(wǎng)絡(luò)（GAN）技術(shù)對(duì)醫(yī)學(xué)影像進(jìn)行數(shù)據(jù)增強(qiáng)，其擴(kuò)展數(shù)據(jù)集顯著改善了U-net 的檢測(cè)精度。Zhu 等［14］使用循環(huán)生成對(duì)抗網(wǎng)絡(luò)（Cycle-GAN）改變圖像內(nèi)容，如實(shí)現(xiàn)風(fēng)景圖片中季節(jié)的變換以達(dá)到數(shù)據(jù)擴(kuò)展的目的。陳文兵等［15］將高斯混合模型（Gaussian Mixture Model，GMM）和條件GAN（Conditional GAN，CGAN）結(jié)合并提出了GMM-CGAN 方法，通過(guò)該方法進(jìn)行數(shù)據(jù)擴(kuò)展并在卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）模型上訓(xùn)練，分類(lèi)準(zhǔn)確率提升了14.1%。GAN 能夠有效進(jìn)行數(shù)據(jù)擴(kuò)展，但其計(jì)算量巨大且難以訓(xùn)練，不適用于大規(guī)模數(shù)據(jù)擴(kuò)展任務(wù)。

圖1 不同的數(shù)據(jù)擴(kuò)展方法對(duì)比Fig.1 Comparison of different data augmentation methods

上述方法能夠在一定程度上解決訓(xùn)練樣本不足的問(wèn)題，并提高模型的泛化能力；但擴(kuò)充的數(shù)據(jù)僅是對(duì)現(xiàn)有數(shù)據(jù)的線性或者非線性變化，沒(méi)有增加數(shù)據(jù)的樣本空間，限制了模型的學(xué)習(xí)能力。使用GAN 進(jìn)行數(shù)據(jù)擴(kuò)展難以達(dá)到魯棒的效果（如使用帶有缺陷的發(fā)動(dòng)機(jī)孔探圖像訓(xùn)練GAN，難以生成缺陷位置合理、效果真實(shí)的新圖像），并且不能同時(shí)生成新數(shù)據(jù)和相應(yīng)的標(biāo)簽，制約了GAN的廣泛使用。

2 本文方法

本文針對(duì)發(fā)動(dòng)機(jī)孔探圖像的缺陷檢測(cè)任務(wù)提出了交互式的數(shù)據(jù)擴(kuò)展方法。首先，基于原始樣本剔除背景信息，并構(gòu)建僅含有待檢測(cè)目標(biāo)的圖像庫(kù)；其次，將缺陷圖像和背景圖像上的指定區(qū)域進(jìn)行風(fēng)格一致化，使得缺陷圖像和輸入圖像具有相同的風(fēng)格；最后，將缺陷圖像粘貼在輸入圖像上的指定區(qū)域，并通過(guò)泊松融合對(duì)粘貼區(qū)域的邊緣進(jìn)行修正，產(chǎn)生擴(kuò)展后的圖像。本文提出的基于風(fēng)格遷移技術(shù)的交互式數(shù)據(jù)擴(kuò)展方法框架如圖2 所示，其中交互界面選擇缺陷生成位置及類(lèi)型。泊松融合中的兩張圖像分別表示輸入圖像和風(fēng)格化后缺陷圖像的一階梯度圖像，“+”表示將缺陷圖像梯度作為引導(dǎo)矢量場(chǎng)對(duì)輸入圖像待融合區(qū)域進(jìn)行插值。

2.1 缺陷圖像庫(kù)構(gòu)建

在發(fā)動(dòng)機(jī)孔探圖像的缺陷檢測(cè)項(xiàng)目中，原始發(fā)動(dòng)機(jī)孔探圖像數(shù)量較少。而待檢測(cè)目標(biāo)包含不同類(lèi)型的發(fā)動(dòng)機(jī)內(nèi)部缺陷，并且依賴于特定的發(fā)動(dòng)機(jī)部位，如：發(fā)動(dòng)機(jī)燃燒室易產(chǎn)生燒蝕和穿孔等類(lèi)型的缺陷；高壓渦輪機(jī)葉片易產(chǎn)生磨損和裂紋等類(lèi)型的缺陷。但現(xiàn)有數(shù)據(jù)擴(kuò)展方法采用的旋轉(zhuǎn)、裁剪、縮放和仿射變換等針對(duì)圖像全局變換的操作僅擴(kuò)充圖像的數(shù)量，不能改變圖像內(nèi)容?？紤]到以上問(wèn)題，構(gòu)建缺陷圖像庫(kù)，按類(lèi)別收集發(fā)動(dòng)機(jī)孔探圖像中的缺陷。首先，根據(jù)每一張?jiān)及l(fā)動(dòng)機(jī)孔探圖像的標(biāo)簽信息提取出相應(yīng)圖像中的缺陷內(nèi)容。將所有圖像的缺陷內(nèi)容和相應(yīng)的缺陷標(biāo)簽作為缺陷信息進(jìn)行匯總，并將缺陷信息按其標(biāo)簽類(lèi)別保存為磨損、凹坑、卷曲、裂紋、材料丟失、涂層丟失、燒蝕和缺口這8 個(gè)類(lèi)別的缺陷圖像，從而構(gòu)建出缺陷圖像庫(kù)。缺陷圖像庫(kù)中的每一類(lèi)缺陷可以作為缺陷源，用于交互式擴(kuò)展至其他發(fā)動(dòng)機(jī)孔探圖像中。

圖2 基于風(fēng)格遷移技術(shù)的交互式數(shù)據(jù)擴(kuò)展框架Fig.2 Framework of interactive data augmentation based on style transfer technology

2.2 風(fēng)格一致化

從缺陷圖像庫(kù)中按類(lèi)別挑選缺陷圖像，并與背景圖像（輸入圖像）進(jìn)行直接粘貼融合，融合結(jié)果如圖3 所示。由于缺陷圖像與背景圖像的顏色和紋理等特征相差較大，導(dǎo)致融合效果較差。因此，采用Shen 等［16］提出的能夠生成任意風(fēng)格和任意內(nèi)容的風(fēng)格遷移模型對(duì)缺陷圖像和背景圖像進(jìn)行風(fēng)格一致化，以減小缺陷與背景之間的風(fēng)格差異。該模型包含元模型和轉(zhuǎn)換模型兩個(gè)子模型，其中：元模型具有復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)，用于特征學(xué)習(xí)及權(quán)重訓(xùn)練；轉(zhuǎn)換模型則僅保存權(quán)重?cái)?shù)據(jù)用于指定風(fēng)格的遷移。將缺陷圖像和背景圖像進(jìn)行風(fēng)格一致化的過(guò)程詳述如下。

首先，從背景圖像中選擇可能發(fā)生某類(lèi)缺陷的位置區(qū)域作為待粘貼區(qū)域，得到風(fēng)格圖像Isty，缺陷圖像作為目標(biāo)圖像D，使用Isty對(duì)風(fēng)格遷移模型進(jìn)行訓(xùn)練后，對(duì)D進(jìn)行風(fēng)格遷移，得到風(fēng)格化后的缺陷圖像Dsty。形式化表示如式（1）所示：

式中Φsty(?，?)表示風(fēng)格遷移模型的風(fēng)格轉(zhuǎn)換操作。

圖3 直接融合效果Fig.3 Direct fusion effect

將Dsty通過(guò)交互式界面粘貼至指定位置，并進(jìn)行旋轉(zhuǎn)和縮放，得到新生成的樣本I'new。形式化表示如式（2）所示：

式中：Isrc表示背景圖像；Γ(?，?，θ，s，(x，y))表示將圖像粘貼至背景圖像中（x，y）位置，并旋轉(zhuǎn)θ角度或縮放s倍。

圖4 所示為針對(duì)發(fā)動(dòng)機(jī)孔探圖像的風(fēng)格遷移結(jié)果。經(jīng)過(guò)風(fēng)格一致化后，目標(biāo)圖像能夠具有和風(fēng)格圖像一致的風(fēng)格。但新樣本I'new粘貼區(qū)域的邊緣部分存在明顯粘貼痕跡，為解決此問(wèn)題，本文采用泊松融合算法對(duì)粘貼區(qū)域邊緣進(jìn)行修正。

圖4 圖像風(fēng)格遷移結(jié)果Fig.4 Image style transfer results

2.3 泊松融合

泊松圖像編輯是Pérez 等［17］提出的一種利用梯度信息對(duì)待融合區(qū)域進(jìn)行自然插值的方法。該方法利用了心理學(xué)家Land等［18］提出的通過(guò)Laplace算子限制、平滑圖像中漸變梯度的方法，減弱兩張圖像融合的痕跡。

泊松算法使背景圖像Isrc在待融合區(qū)域的邊緣根據(jù)缺陷圖像Dsty的梯度信息生成與背景圖像Isrc相近的像素，以達(dá)到平滑效果。其過(guò)程可形式化為式（3）：

式中，Φpos(?)表示對(duì)圖像中融合區(qū)域執(zhí)行泊松算法以平滑邊緣。

泊松融合算法利用泊松方程對(duì)圖像進(jìn)行插值。泊松方程在圖像融合區(qū)域的內(nèi)部梯度和邊界條件確定后具有唯一解。融合區(qū)域的像素值由給定的邊界條件（背景圖像融合區(qū)域的邊緣位置像素值）和內(nèi)部的梯度場(chǎng)（缺陷圖像梯度）唯一確定。泊松方程的求解目標(biāo)是使得到的像素值變化趨勢(shì)與引導(dǎo)向量場(chǎng)之間差值最小，以達(dá)到融合區(qū)域與其他區(qū)域的自然過(guò)渡。計(jì)算式如式（4）所示：

式中：-v|2保證了生成圖像f在融合區(qū)域Ω處的梯度?f與缺陷圖像在融合區(qū)域Ω處的梯度v相似；=保證了生成圖像f與背景圖像f *在融合區(qū)域邊緣位置?Ω處的像素值相等。

由于圖像像素值為離散值，可將梯度問(wèn)題轉(zhuǎn)換為一階差分問(wèn)題，并進(jìn)行求導(dǎo)得到二階差分方程：

由此可將最小值問(wèn)題離散化為式（7）所示方程，根據(jù)該離散化方法可將泊松融合的過(guò)程轉(zhuǎn)化為多元方程組的求解。

其中：f(x，y)為融合區(qū)域（x，y）位置的插值，Δf(x，y)為融合區(qū)域（x，y）位置的散度。由Δf(x，y)可構(gòu)成融合區(qū)域的散度矩陣B。由已知的邊界條件（背景圖像f *中待融合區(qū)域邊緣的像素值）構(gòu)造系數(shù)矩陣A，由式（8）即可解得融合后區(qū)域的插值矩陣X，將新生成的像素值X插入背景圖像f *的融合區(qū)域Ω處，得到新圖像Inew。

2.4 測(cè)試數(shù)據(jù)集

為了驗(yàn)證本文方法，實(shí)驗(yàn)時(shí)從8 個(gè)類(lèi)別對(duì)應(yīng)的原始缺陷圖像中各隨機(jī)選10 張圖像。然后，使用本文方法對(duì)每張圖像擴(kuò)展1倍，生成80張新的缺陷圖像作為負(fù)例；從原始缺陷圖像中另選80張圖像作為正例。組成具有160張圖像的測(cè)試集。

2.5 評(píng)價(jià)標(biāo)準(zhǔn)

實(shí)驗(yàn)采用分類(lèi)錯(cuò)誤率進(jìn)行評(píng)價(jià)。分類(lèi)正確的圖像數(shù)為T(mén)N（True Number），正樣本中分類(lèi)錯(cuò)誤的圖像數(shù)為FN1（False Number），負(fù)樣本中分類(lèi)錯(cuò)誤的圖像為FN2，則錯(cuò)誤率F的計(jì)算如式（9）所示：

對(duì)于本文實(shí)驗(yàn)來(lái)說(shuō)，錯(cuò)誤率F越接近0.5 則說(shuō)明生成樣本的真實(shí)度越高，即生成圖像和真實(shí)圖像的區(qū)分度越低。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 風(fēng)格遷移模型訓(xùn)練

實(shí)驗(yàn)選取1 000 張帶有缺陷的發(fā)動(dòng)機(jī)原始圖片作為風(fēng)格數(shù)據(jù)集和目標(biāo)數(shù)據(jù)集進(jìn)行學(xué)習(xí)。實(shí)驗(yàn)采用Pytorch 深度學(xué)習(xí)框架，預(yù)訓(xùn)練學(xué)習(xí)率為lE-4，風(fēng)格訓(xùn)練網(wǎng)絡(luò)權(quán)重為25，每一批次輸入8張圖像，網(wǎng)絡(luò)迭代訓(xùn)練5 000個(gè)epoch。

3.2 有效性結(jié)果分析

為驗(yàn)證本文方法的有效性，邀請(qǐng)了兩名非專(zhuān)業(yè)人員和一名專(zhuān)業(yè)孔探人員對(duì)160 張測(cè)試圖像進(jìn)行分類(lèi)。待測(cè)人員不知道測(cè)試圖像中真假圖像的數(shù)量比例，僅通過(guò)觀察圖像后判斷圖像的真假，并同時(shí)指出假的圖像中偽造缺陷的位置。

測(cè)試結(jié)果如表1 所示。非專(zhuān)業(yè)人員1 的測(cè)試結(jié)果中6 張真實(shí)圖像被識(shí)別為生成樣本，72 張生成樣本被識(shí)別為真實(shí)圖像，分類(lèi)錯(cuò)誤率為48.8%；非專(zhuān)業(yè)人員2 的測(cè)試結(jié)果中有3 張真實(shí)圖像被識(shí)別為生成樣本，68 張生成樣本被識(shí)別為真實(shí)圖像，分類(lèi)錯(cuò)誤率為44.4%；專(zhuān)業(yè)人員未將真實(shí)圖像識(shí)別為生成樣本，但有62 張生成樣本被識(shí)別為真實(shí)圖像，分類(lèi)錯(cuò)誤為38.7%。測(cè)試人員的平均分類(lèi)錯(cuò)誤率達(dá)到了44.0%。

表1 不同測(cè)試人員的分類(lèi)結(jié)果Tab.1 Classification results by different testers

可以發(fā)現(xiàn)，專(zhuān)業(yè)人員由于其長(zhǎng)期積累的工作經(jīng)驗(yàn)，分類(lèi)的錯(cuò)誤率明顯低于非專(zhuān)業(yè)人員的分類(lèi)錯(cuò)誤率；但仍有62 張生成的樣本被誤分類(lèi)成真實(shí)圖像，表明了本文方法擴(kuò)展后的缺陷圖像較為真實(shí)。

圖5 所示為使用直接粘貼方法和本文方法在發(fā)動(dòng)機(jī)不同部位圖像上產(chǎn)生擴(kuò)展圖像的對(duì)比結(jié)果?？梢园l(fā)現(xiàn)，使用本文方法生成的擴(kuò)展圖像將來(lái)自不同背景且風(fēng)格各異的缺陷圖像自然地融入到了指定的發(fā)動(dòng)機(jī)背景圖像中，生成了較為真實(shí)的帶有新缺陷的發(fā)動(dòng)機(jī)孔探圖像，實(shí)現(xiàn)了對(duì)發(fā)動(dòng)機(jī)孔探圖像內(nèi)容上的數(shù)據(jù)擴(kuò)展。

3.3 基于Mask R-CNN的缺陷檢測(cè)

為了進(jìn)一步驗(yàn)證本文數(shù)據(jù)擴(kuò)展方法的有效性，使用Mask R-CNN（Mask Region-based Convolutional Neural Network）作為檢測(cè)識(shí)別網(wǎng)絡(luò)，分別用傳統(tǒng)的數(shù)據(jù)擴(kuò)展方法和本文方法擴(kuò)展訓(xùn)練數(shù)據(jù)后，進(jìn)行孔探圖像的缺陷檢測(cè)實(shí)驗(yàn)。實(shí)驗(yàn)選取了90張只含有燒蝕缺陷的發(fā)動(dòng)機(jī)孔探圖，從中隨機(jī)選取58 張作為訓(xùn)練集、18 張作為驗(yàn)證集、14 張作為測(cè)試集。針對(duì)訓(xùn)練集，分別使用傳統(tǒng)擴(kuò)展方法與本文方法擴(kuò)展10 倍，記為D_ext10 和D_Iext10。實(shí)驗(yàn)結(jié)果如表2 所示，其中AP（Average Precision）表示平均精確度，AP（0.5）表示以0.5 為交并比（Intersection over Union，IoU）臨界值估計(jì)出平均精確度，AP（0.75）表示以0.75 為IoU臨界值估計(jì)出平均精確度?？梢园l(fā)現(xiàn)，使用本文方法擴(kuò)展后的數(shù)據(jù)作為訓(xùn)練集，在檢測(cè)和分割任務(wù)的精度上都有所提升。其中，在檢測(cè)任務(wù)上其AP 提高了0.226，在分割任務(wù)AP上提高了0.204。相較于傳統(tǒng)的數(shù)據(jù)擴(kuò)展方法，本文方法可以使得模型的檢測(cè)和分割A(yù)P 在原有基礎(chǔ)上分別提高99.5%和91.9%。

表2 使用不同擴(kuò)展方法的訓(xùn)練結(jié)果Tab.2 Training results of different augmentation methods

3.4 消融實(shí)驗(yàn)

為了分析本文提出的數(shù)據(jù)擴(kuò)展方法，分別對(duì)比了生成過(guò)程中各階段產(chǎn)生的擴(kuò)展圖像，并列舉了幾個(gè)失敗的案例。

3.4.1 消融實(shí)驗(yàn)中間結(jié)果對(duì)比

實(shí)驗(yàn)過(guò)程中使用不同方法生成圖像的對(duì)比結(jié)果如圖6 所示。其中僅泊松結(jié)果、僅風(fēng)格化結(jié)果分別表示只對(duì)缺陷部分使用泊松算法進(jìn)行融合和只對(duì)缺陷部分使用風(fēng)格化進(jìn)行融合的結(jié)果圖像。若僅使用泊松算法進(jìn)行融合，當(dāng)缺陷圖像與背景圖像的風(fēng)格差異較大時(shí)，融合區(qū)域中心部分與背景區(qū)域的風(fēng)格對(duì)比較為明顯；僅使用風(fēng)格化方法進(jìn)行融合，融合區(qū)域邊緣部分像素變化較大，融合效果不好。本文方法結(jié)合了這兩種算法的優(yōu)勢(shì)，使用風(fēng)格化減小缺陷圖像與背景圖像之間的風(fēng)格差異，再利用泊松算法對(duì)風(fēng)格化后的缺陷圖像邊緣區(qū)域進(jìn)行修正，得到較為真實(shí)的生成圖像。

圖5 使用直接粘貼方法和本文方法在發(fā)動(dòng)機(jī)不同部位圖像上產(chǎn)生的擴(kuò)展圖像對(duì)比Fig.5 Comparison of augmented images generated by direct pasting method and proposed method on different parts of engine images

圖6 圖像生成過(guò)程中各階段圖像對(duì)比Fig.6 Comparison of images in different stages of image generation process

3.4.2 失敗案例分析

圖7 為擴(kuò)展的孔洞和裂縫圖像?？梢钥闯觯跀U(kuò)展孔洞和裂縫兩類(lèi)缺陷時(shí)，由于孔洞和裂縫內(nèi)部基本為黑色，使用風(fēng)格遷移模型會(huì)將這些黑色區(qū)域風(fēng)格化成背景圖的顏色，從而失去缺陷的內(nèi)部信息。為了避免風(fēng)格化導(dǎo)致的問(wèn)題，因此對(duì)孔洞和裂縫采用直接粘貼的方式并使用泊松融合修正融合區(qū)域的邊界。

圖7 失敗的擴(kuò)展圖像Fig.7 Failed augmented images

4 結(jié)語(yǔ)

本文提出了基于風(fēng)格遷移的交互式航空發(fā)動(dòng)機(jī)孔探圖像擴(kuò)展方法，解決了發(fā)動(dòng)機(jī)孔探圖像缺陷檢測(cè)中缺陷數(shù)據(jù)不足、缺陷類(lèi)別分布不均的問(wèn)題。在使用本文方法進(jìn)行數(shù)據(jù)擴(kuò)展時(shí)，可以通過(guò)交互界面自由選擇不同類(lèi)型的缺陷，將其融入到指定的背景圖像中。為了減少圖像融合時(shí)帶來(lái)的不真實(shí)的效果，本文采用風(fēng)格遷移技術(shù)降低缺陷與背景圖像之間的風(fēng)格差異，然后使用泊松融合算法對(duì)融合區(qū)域的邊界進(jìn)行修正，得到了可以亂真的擴(kuò)展圖像，實(shí)現(xiàn)了對(duì)發(fā)動(dòng)機(jī)孔探圖像缺陷內(nèi)容上的擴(kuò)充。此外，在進(jìn)行數(shù)據(jù)擴(kuò)展時(shí)可以同時(shí)生成擴(kuò)展缺陷像素級(jí)的標(biāo)簽，解決了數(shù)據(jù)標(biāo)注的問(wèn)題。通過(guò)人工分類(lèi)和Mask R-CNN 的缺陷檢測(cè)實(shí)驗(yàn)，充分驗(yàn)證了本文方法的有效性。本文提出的數(shù)據(jù)擴(kuò)展方法可以應(yīng)用到數(shù)據(jù)量少、標(biāo)注困難、樣本空間分布不平衡的視覺(jué)檢測(cè)任務(wù)中（如壁畫(huà)的病害檢測(cè)），能夠有效提高檢測(cè)的精度。