基于殘差網絡的高溫合金微觀組織圖像分割方法

張利欣， 車世界， 徐正光， 付 超， 袁 立， 邊勝琴

(1.北京科技大學自動化學院,北京 100083;2.北京科技大學新金屬材料國家重點實驗室,北京 100083;3.北京科技大學計算機學院,北京 100083)

高溫合金因具有較高的高溫強度、良好的抗氧化、抗熱腐蝕、抗疲勞性能和斷裂韌性等綜合性能在航空航天和艦船等領域有著重要的應用需求,作為航空發(fā)動機等重大裝備的關鍵材料,其研制和評價能力將對中國相關領域裝備研發(fā)和應用產生重要影響。材料的性能主要取決于材料的微觀組織結構,因此,對高溫合金材料的微觀組織分析成為了材料研究和評價的關鍵環(huán)節(jié)。高溫合金材料微觀組織分析主要針對微觀組織中相的分布、形狀和尺寸等特征開展,傳統的微觀組織分析主要依靠人工方法對微觀組織進行分割并依據相關標準開展組織特征的計算、評價等工作。存在受人工經驗主觀影響大、分析時間長、局部統計受限以及精度不高等問題,因此,通過更為先進的方法獲得準確的微觀組織圖像分割結果,進而對物理特征進行自動計算,將大大加快材料微觀組織的分析速度和精度。

高溫合金微觀組織圖像因在樣品制備過程中受到拋光、腐蝕劑以及光照等方面的影響,不同材料微觀組織本身在不同狀態(tài)下存在的差異性,使得高溫合金組織圖像出現不同程度的不規(guī)則、邊界模糊以及待提取的析出相和基底相灰度差異小等現象,為高溫合金材料圖像分割增加了難度。圖像分割方法被廣泛應用到了材料微觀組織圖像分析中,主要是基于形狀、灰度、紋理等單一特征進行圖像分割,如閾值分割、邊緣檢測、CV模型等[1-4]傳統的圖像分割方法。然而受所選取特征的限制,所有上述方法僅在噪聲較少以及特定環(huán)境下的圖像中獲得了較好的邊緣檢測效果,存在魯棒性差等問題。也有一些使用支持向量機與人工提取特征相結合的方法進行材料微觀組織圖像分割[5]，但其分割的精準性依賴于人工特征的選擇對實驗樣本不能自動提取特征。

近年來,隨著深度學習的不斷發(fā)展和應用,基于卷積神經網絡(convolutional neural networks, CNN)的網絡和架構在各種計算機視覺任務中表現出色[6-8]。基于從原始數據中學習高級特征的強大能力,使用深度學習的方法,用于解決高溫合金微觀組織圖像分割問題。目前,深度學習在相關圖像分割領域取得了一些進展,如吳晨玥等[9]提出了基于改進卷積神經網絡的視網膜血管圖像分割方法,對視網膜血管圖像獲得了更優(yōu)的分割效果；Masci等[10]提出一種帶有最大池化層的卷積神經網絡方法,用于監(jiān)督鋼缺陷分類；Azimi等[11]和Shelhamer等[12]提出一種基于全卷積神經網絡的像素分割方法,該方法將CNN的全連接層,全部用卷積層替代,并結合最大投票的策略對鋼微觀組織進行像素級分類,取得了較好的結果。但是上述方法成功的前提條件都要求基于大量的圖像樣本。由于本文的研究對象高溫合金微觀組織圖像的獲取較為復雜,需要經歷樣品加工、制備、成像等多個環(huán)節(jié),試驗費用和時間方面都需要較大開銷,很難獲得大量的圖像樣本數據。因此,如何在有限樣本的客觀條件下,實現基于深度學習的高溫合金微觀組織圖像分割是必須要面臨和解決的問題。

Ronneberger等[13]提出了一種編碼器-解碼器(encoder-decoder)結構的網絡,該網絡在挖掘深層語義信息的同時融合低層的細節(jié)信息,并通過數據增強的方法擴充有限樣本,實現了從非常少的生物醫(yī)學圖像樣本中獲得較好的實驗結果。Zhao等[14]提出了一種金字塔形式的池化結構,能夠聚合不同區(qū)域的上下文信息,從而提高網絡獲取全局信息的能力。

目前,很多理論和實驗已經表明一個更深層次的網絡會有更好的表現[15-17]。然而,隨著深度的增加,網絡訓練愈加困難。He等[18]提出了一種殘差網絡,利用恒等映射來促進訓練,有效解決了網絡深度帶來的訓練問題。

在此,對于高溫合金微觀組織圖像高效分析問題,提出一種結合U-net網絡及殘差網絡兩者優(yōu)勢的Res_Unet網絡,并輔以強大的數據增強技術及不同的學習策略來對高溫合金的微觀組織圖像進行分割。通過實驗驗證,與現有技術相比,本文所提出的方法不僅有效解決了圖像樣本少的問題,還顯著提高了高溫合金微觀組織圖像的分割精度。

1 Res_Unet網絡提出

1.1 網絡結構

Res_Unet網絡為編碼器-解碼器結構,如圖1所示。該網絡由三部分組成:編碼器、連接器和解碼器。

編碼器對輸入圖像進行編碼壓縮,由一個卷積模塊和4個殘差模塊(residual block)構成。每個殘差模塊組成如圖2(b)所示,每個模塊之間的區(qū)別在于每個殘差模塊中卷積層參數的設置。

連接器主要用于編碼器和解碼器之間信息傳播的路徑,允許信息以更容易的方式在深層與淺層之間傳播,有利于解碼器更好地恢復圖像。解碼器用于恢復圖像并對圖像中每個像素進行分類,該部分由5個解碼模塊(decoder block)組成,每個解碼模塊包括BN層、ReLu激活層和反卷積層。各部分的具體參數和輸出大小如表1所示。

Res_Unet網絡與U_net網絡相比不同的是,首先,對每一層的輸入進行批歸一化處理；其次,用殘差模塊代替U_net中的“卷積層-Relu激活層”模塊；然后,采用步長為2的卷積做下采樣,代替U_net網絡中部分pool池化層；最后,移除U_net網絡中不必要的裁剪操作,使得網絡輸出的圖像大小與輸入圖像大小一致,并加深了網絡的深度。

圖1 Res_Unet網絡結構Fig.1 The architecture of the Res_Unet

InputBlock layerConv layerFilterStrideOutput size512×512×3Enconding 1Conv 1(maxpool)7×7/643×322256×256×64128×128×642Conv 2-5(3×3/64)×41128×128 ×643Conv 6Conv 7-9(3×3/128)(3×3/128)×32164×64×12864×64×1284Conv 10Conv 11-13(3×3/256)(3×3/256)×32132×32×25632×32×2565Conv 14Conv 15-17(3×3/512)(3×3/512)×32116×16×51216×16×512Connection6(maxpool)Deconv 182×23×3/512218×8×51216×16×5127Deconv 193×3/512132×32×5128Deconv 203×3/256164×64×256Decoding9Deconv 213×3/1281128×128 ×12810Deconv 223×3/641256×256×6411Deconv 233×3/641512×512×64outputConv 241×1/21512×512×2

圖2 卷積神經網絡基本模塊Fig.2 Modules of convolution neural networks

1.2 交叉熵損失函數

首先將網絡的輸出值經softmax函數映射,獲得高溫合金微觀組織γ′相的概率。取值范圍從0～1,表示的是該像素點是γ′相的概率大小,即數值越大,該像素點是γ′相的概率就越大。最理想的分割結果是微觀組織圖像中所有γ′相對應的數值都為1,非γ′相則為0。為此,通過構建并最小化損失函數來實現這種約束。采用交叉熵函數來構建損失函數,用Adam最小化該損失函數。

Softmax函數定義為

(1)

式(1)中：x為圖像的像素值；k表示網絡輸出的第k個通道；ak(x)表示第k個通道的網絡輸出值；K表示類別的數量，K=2,pc(x)表示像素屬于c類的概率。

交叉熵損失函數定義為

(2)

式(2)中：yk表示指示變量,如果該類別和樣本的類別相同就是1,否則是0;pk(x)表示像素x屬于類別k的概率。

1.3 數據增強

在無法獲取更多圖像數據的情況下,除了改進網絡結構,通過數據增強方法擴充數據同樣至關重要。現使用多種數據增強方法的組合,從原始圖像中產生更多新的變換圖像。在具體實現中,采用線上數據增強方式,即圖像變換通過CPU完成,而此時的圖形處理器(graphics processing unit,GPU)正在訓練前一批圖像。因此,這些數據增強方式對訓練時間不產生影響。具體采用如下三種方式:第一種數據增強方式包括裁剪、翻轉、平移和鏡像等常用數據擴充手段[19]；第二種數據增強方式包括透射變換和彈性變換[20]。對采用第一種方式后已變換的圖像進行隨機的透射變換或彈性變換。實驗表明,這種數據增強技術對本文實驗結果起到了重要性作用。第三種數據增強方式包括改變圖像的亮度值和對比度,該變換使網絡學習不同光照環(huán)境下的高溫合金微觀組織圖像,擁有更好的魯棒性能。

2 實驗方法

2.1 數據集獲取

本研究以某航空發(fā)動機渦輪葉片材料的微觀組織圖像為對象, 葉片材料為DZ125定向凝固高溫合金。在DZ125的枝晶干、枝晶間、晶界及碳化物等微觀組織中,枝晶干γ′相具有服役前在各部位尺寸形貌均勻一致、對服役溫度和應力敏感以及可反映葉片服役溫度差異的特點。同時,γ′相也是與葉片力學性能最相關的重要強化相[21]。因此,重點對DZ125微觀組織的γ′相開展研究。

研究涉及的高溫合金微觀組織圖像是通過ZEISS SUPRA 55場發(fā)射掃描電子顯微鏡獲取的。數據集共包含48張,圖像大小均為1 024×702像素。根據圖像類別分布的一致性,將圖像進行分層抽樣,其中42張作為訓練集,6張作為測試集。

2.2 訓練過程

實驗基于PyTorch0.4.0開源框架,在型號為Geforce GTX TITAN X的GPU上進行訓練。

使用訓練集對Res_Unet網絡模型進行訓練,其訓練參數如表2所示。

表2 訓練參數

“各階段迭代次數”值分別表示基礎學習率的迭代次數、學習率第一次衰減后的迭代次數、學習率第二次衰減后的迭代次數。

2.3 學習策略

在Res_Unet網絡模型訓練的過程中,為能確定網絡模型參數最優(yōu)，將訓練集進一步劃分為訓練集和驗證集,其中驗證集用于模型最優(yōu)參數的選取。

將訓練集劃分為5個大小相似的互斥子集,為保持各子集數據分布的一致性,其數據通過對訓練集分層采樣的方式獲得。每次訓練選取4個子集的并集作為訓練集,1個子集作為驗證集。這樣就可以獲得5組訓練/驗證集,可進行5次訓練和驗證,獲取這5個訓練好的最優(yōu)模型進行模型融合。雖然,驗證集在其對應的單個訓練模型上未能得到學習,但是從整體上看,是得到充分利用的。實驗表明,這種方法有助于網絡性能的提升。

2.4 性能評估

實驗中采用圖像分割中最為常用的均交并比(mean intersection over union,MIoU)評價指標對網絡準確度進行評估,具體定義為

(3)

(4)

式中：K表示類別的數量；nij表示類別i預測為類別j的像素點個數。

3 實驗結果與分析

為驗證本文提出的Res_Unet網絡的性能優(yōu)劣,在高溫合金微觀組織圖像數據集上對Res_Unet網絡的圖像分割精度和效率等方面進行測試,并與其他方法如FCN、U_net等進行比較。

3.1 訓練過程

不同網絡結構的訓練過程如圖3所示,可以看出,與FCN、U_net相比本文提出的Res_Unet網絡在訓練過程中,收斂速度更快,同時能夠獲得更低的損失值。

圖3 訓練過程曲線對比Fig.3 Comparison of the training process

3.2 γ′相分割結果對比

選取三幅高溫合金的微觀組織圖像進行對比分析,本文方法、傳統方法、FCN、U_net等方法的圖像分割結果如圖4所示。根據圖4(c)的傳統方法和圖4(f)Res_Unet網絡方法的分割結果可以看出,本文的方法在γ′相分割精度上有了較大提高,MIoU從71.64%提高到93.97%。圖4(d)、圖4(e)分別為FCN、U_net網絡分割的結果,通過與Res_Unet網絡分割結果對比,可以看出,Res_Unet網絡對不同光照環(huán)境、不同形態(tài)分布的高溫微觀組織圖像都能獲得非常好的分割結果,甚至對復雜并且噪聲污染較為嚴重的圖像,也能有出色的表現。

圖4 不同方法的圖像分割結果對比Fig.4 Comparison of the segmentation results with different methods

表3是Res_Unet與FCN、U_net網絡對圖像分割結果的數據對比,無論在平均交并比、參數數量、訓練時間還是測試時間上,本文設計的網絡都明顯優(yōu)于其他兩個網絡。

表3 不同方法測試結果對比

3.3 訓練時間/準確度對比

將Res_Unet網絡的解碼器部分進行遷移學習,再訓練網絡,試驗結果顯示雖然在準確度上提升有限,但提高了網絡的訓練效率(見圖3 pretrained訓練曲線)。另外,在此基礎上通過訓練多個模型進行融合,進一步使準確度由94.15%提升到95.14%,具體參數如表4所示。

表4 Res_Unet不同訓練策略下的結果對比

4 結論

高溫合金微觀組織圖像分析是高溫合金材料研究和評價的重要手段,提高高溫合金微觀組織圖像分割精度和速度對于高溫合金材料發(fā)展具有重要意義。通過上述的實驗驗證和對比分析,可以看出本文提出的Res_Unet網絡在高溫合金微觀組織圖像提取γ′相的分割任務中,表現出優(yōu)良的性能,尤其對于受到噪聲污染的微觀組織圖像,也能獲取非常好的分割效果。較已有的方法,基于Res_Unet網絡的深度學習方法在提高微觀組織圖像分割精度的同時,也很大程度上縮短了網絡的訓練時間,為材料微觀組織分析提供了更加快速準確的分析方法。同時,本文的方法解決了材料領域小樣本圖像分割的問題,為深度學習在小樣本圖像的應用提供了有益探索。

下一步,將根據微觀組織圖像分割結果開展組織特征提取、特征選擇等工作,為開展微觀組織與性能的關系研究奠定基礎。