融合多種深度學(xué)習(xí)模型的巖石鑄體薄片孔隙自動(dòng)分割方法

李天平, 李功權(quán)

(長(zhǎng)江大學(xué)地球科學(xué)學(xué)院, 武漢 430100)

鑄體薄片圖像孔隙結(jié)構(gòu)分析是認(rèn)識(shí)地下儲(chǔ)層孔隙結(jié)構(gòu)特征的重要手段之一。在實(shí)際應(yīng)用中,常常采用目測(cè)法、計(jì)數(shù)統(tǒng)計(jì)法和圖像處理算法對(duì)鑄體薄片圖像進(jìn)行分析分割孔隙區(qū)域。但這些方法不僅要求研究人員具備專業(yè)的地質(zhì)知識(shí),分割結(jié)果受主觀因素影響較大,而且分割過(guò)程需要花費(fèi)大量時(shí)間,導(dǎo)致效率不高。如果實(shí)現(xiàn)鑄體薄片圖像孔隙分割過(guò)程的自動(dòng)化,可大幅度減少分析者的工作量,提高結(jié)果的客觀性。鑄體薄片圖像孔隙分割作為孔隙結(jié)構(gòu)分析的首要任務(wù),研究其孔隙自動(dòng)分割方法具有重要的實(shí)際意義。

用于孔隙分割的傳統(tǒng)圖像處理方法有閾值法、邊緣檢測(cè)法、區(qū)域生長(zhǎng)算法、分裂合并法、聚類(lèi)分割法和基于圖論分割算法[1-3]。Liang等[4]提出了一種改進(jìn)的基于混沌的半監(jiān)督支持向量機(jī)-模糊C均值聚類(lèi)(support vector machine-fuzzyC-mean cluster,SVM-FCM)算法分割鑄體薄片中的巖石和孔隙。為了實(shí)現(xiàn)更高的分割準(zhǔn)確率和自動(dòng)化,張建立等[5]將遺傳算法引入了礦石圖像分割領(lǐng)域。朱磊等[6]基于改進(jìn)模糊C均值聚類(lèi)和區(qū)域合并完成礦物顆粒分割方法。但這些算法只利用了鑄體薄片中的顏色特征進(jìn)行分割,需要大量人工交互才能實(shí)現(xiàn)孔隙分割。

在語(yǔ)義分割領(lǐng)域,深度學(xué)習(xí)中主要使用卷積神經(jīng)網(wǎng)絡(luò),是目前構(gòu)建語(yǔ)義分割模型的主要算法[7]。Tang等[8]利用Unet模型對(duì)砂質(zhì)巖薄片中的孔隙、巖屑、長(zhǎng)石顆粒、石英顆粒和致密顆粒進(jìn)行分割,并且與點(diǎn)計(jì)數(shù)法的準(zhǔn)確率進(jìn)行了比較,認(rèn)為深度學(xué)習(xí)算法可以用于鑄體薄片圖像識(shí)別。覃本學(xué)等[9]利用Debseg-Net完成巖屑圖像語(yǔ)義分割。馬隴飛等[10]利用深度學(xué)習(xí)完成了對(duì)巖性分類(lèi)的研究。極大推動(dòng)了深度學(xué)習(xí)在石油開(kāi)發(fā)領(lǐng)域的應(yīng)用具有很高的借鑒意義。鑒于碳酸鹽儲(chǔ)層巖性的識(shí)別有助于減少滲透率和油氣體積預(yù)測(cè)的誤差,Carlos[11]設(shè)計(jì)了4個(gè)深度學(xué)習(xí)分類(lèi)模型對(duì)鑄體薄片中碳酸巖巖性進(jìn)行分類(lèi),最高準(zhǔn)確率達(dá)到81.33%。Karimpouli等[12]在只有20張巖石薄片的情況下利用數(shù)據(jù)增強(qiáng)技術(shù)和SegNet分割模型完成了對(duì)薄片中的孔隙、石英、鉀長(zhǎng)石、鋯石和其他礦物的分割。李明超等[13]結(jié)合礦物知識(shí)對(duì)礦物的顏色和亮度進(jìn)行判別,強(qiáng)化紋理特征,利用Inception-v3模型和遷移學(xué)習(xí)方法建立了礦物深度學(xué)習(xí)模型。王李管等[14]利用深度學(xué)習(xí)中卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行遷移學(xué)習(xí)來(lái)解決模型訓(xùn)練問(wèn)題,完成了對(duì)黑鎢礦圖像識(shí)別網(wǎng)絡(luò)訓(xùn)練,其模型精度為99.6%,該研究證明了遷移學(xué)習(xí)具有快速收斂、所需數(shù)據(jù)集小和分類(lèi)準(zhǔn)確的優(yōu)點(diǎn)。綜上可知,深度學(xué)習(xí)在石油地質(zhì)領(lǐng)域應(yīng)用廣泛,但是針對(duì)鑄體薄片所做工作較少,而且沒(méi)有對(duì)數(shù)據(jù)質(zhì)量進(jìn)行改善。因此針對(duì)這一問(wèn)題,通過(guò)深度學(xué)習(xí)與多種方法融合實(shí)現(xiàn)鑄體薄片孔隙自動(dòng)提取。

為了更好地在孔隙分割領(lǐng)域應(yīng)用深度學(xué)習(xí),現(xiàn)對(duì)Unet模型進(jìn)行改進(jìn),并使用一系列方法來(lái)解決鑄體薄片圖像數(shù)據(jù)問(wèn)題。期望通過(guò)對(duì)模型改進(jìn)和改善數(shù)據(jù)質(zhì)量提高孔隙分割精度并減少對(duì)數(shù)據(jù)量的依賴。

1 實(shí)驗(yàn)原理

儲(chǔ)層孔隙結(jié)構(gòu)形態(tài)各異,空間分布復(fù)雜,難以獲取更高級(jí)的孔隙抽象特征;孔隙標(biāo)注難度大,對(duì)鑄體薄片圖像快速標(biāo)注困難;受采樣的影響,鑄體薄片圖像數(shù)量并不多,其質(zhì)量也有可能不高,制作龐大的鑄體薄片圖像數(shù)據(jù)集以及提高深度學(xué)習(xí)模型的準(zhǔn)確率是亟須解決的問(wèn)題。

針對(duì)上述4個(gè)問(wèn)題,提出了一套多方法融合的鑄體薄片圖像孔隙分割方法(圖1)。針對(duì)獲取更高級(jí)的孔隙抽象特征問(wèn)題,采用圖像超分辨重建技術(shù)提高圖像分辨率,使圖像中孔隙特征更明顯;使用數(shù)據(jù)增強(qiáng)算法提高樣本多樣性,為模型提供更多形態(tài)的孔隙特征;針對(duì)孔隙標(biāo)注難度大,利用傳統(tǒng)的圖像處理方法比如閾值法識(shí)別大部分孔隙,減少標(biāo)注工作量。改進(jìn)Unet模型編碼器部分引入殘差網(wǎng)絡(luò)加深模型,增強(qiáng)模型提取抽象特征的能力。為縮短訓(xùn)練周期,引入ImageNet數(shù)據(jù)集上的ResNet50和ResNet101模型,將其結(jié)構(gòu)作為編碼器主干特征分割網(wǎng)絡(luò),其模型權(quán)重作為預(yù)訓(xùn)練權(quán)重,提高訓(xùn)練速度。

Residual Block表示殘差模塊;Decoder Block表示解碼器模塊;Weight layer表示權(quán)重層;Conv layer表示卷積層;MaxPool表示最大池化;UpConv表示上卷積

1.1 薄片圖像超分辨率重建

高質(zhì)量的數(shù)據(jù)集是訓(xùn)練一個(gè)性能良好的深度學(xué)習(xí)模型必不可少的條件之一。原始鑄體薄片圖像可能存在邊緣模糊、圖像質(zhì)量不佳等問(wèn)題。如果直接采用卷積神經(jīng)網(wǎng)絡(luò)對(duì)原始鑄體薄片圖像進(jìn)行特征抽取并學(xué)習(xí)容易受圖像質(zhì)量影響、特征抽取不充分或者出現(xiàn)抽取錯(cuò)誤等問(wèn)題。通過(guò)圖像超分辨重建提高分辨率,有利于卷積神經(jīng)網(wǎng)絡(luò)更好地提取圖像孔隙的特征。

圖像超分辨率重建是通過(guò)計(jì)算機(jī)數(shù)字圖像處理技術(shù)從低分辨率圖像中構(gòu)建出包括大量細(xì)節(jié)信息的高分辨率圖像。超分辨圖像重建主要分為3類(lèi):基于插值算法、基于重構(gòu)算法和基于學(xué)習(xí)算法。前兩種屬于傳統(tǒng)的圖像重建方法。

由于深度學(xué)習(xí)優(yōu)勢(shì),基于學(xué)習(xí)算法的超分辨率重建已成為主流方法。真實(shí)的增強(qiáng)型超分辨生成對(duì)抗網(wǎng)絡(luò)(real-world enhanced uper-resolution generative adversarial networks, Real-ESRGAN)是一種基于單幅圖像生成帶有真實(shí)感紋理的高分辨圖像算法[15]。其生成網(wǎng)絡(luò)模型刪除了所有批歸一化層,并引入多級(jí)殘差密集連接模塊(residual-in-residual dense blocks,RRDB),該結(jié)構(gòu)具有更深的層次和更加復(fù)雜的結(jié)構(gòu),能夠有效提高模型性能。其判別網(wǎng)絡(luò)是一個(gè)帶有光譜歸一化層(spectral norm)的Unet網(wǎng)絡(luò)模型,光譜歸一化層有利于減輕生成對(duì)抗網(wǎng)絡(luò)訓(xùn)練引入的過(guò)度銳利和偽影,輸出結(jié)果為每個(gè)像素是真實(shí)高分辨圖像的概率,可以為生成模型提供每個(gè)像素的反饋。因此,Real-ESRGAN方法可獲得更逼真、更自然的紋理特征。故選擇Real-ESRGAN對(duì)鑄體薄片圖像進(jìn)行超分處理。

1.2 數(shù)據(jù)增強(qiáng)及標(biāo)注

數(shù)據(jù)增強(qiáng)也稱為數(shù)據(jù)擴(kuò)增,指在不實(shí)質(zhì)性的增加數(shù)據(jù)情況下,讓有限的數(shù)據(jù)產(chǎn)生更多變種,讓有限的數(shù)據(jù)產(chǎn)生等價(jià)于更多數(shù)據(jù)的價(jià)值。對(duì)數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng),保證網(wǎng)絡(luò)學(xué)習(xí)更多的樣本特征,防止網(wǎng)絡(luò)出現(xiàn)過(guò)擬合。主要采用裁剪、縮放、旋轉(zhuǎn)、銳化和隨機(jī)加噪聲等方法來(lái)模擬孔隙結(jié)構(gòu)的復(fù)雜性。

由于圖像中孔隙分布廣泛且形態(tài)不規(guī)則,通過(guò)手動(dòng)標(biāo)注效率非常低。為解決這一問(wèn)題,采用傳統(tǒng)圖像處理算法完成大部分孔隙標(biāo)注。經(jīng)過(guò)測(cè)試,閾值法調(diào)參簡(jiǎn)單能快速識(shí)別大部分孔隙,但存在部分孔隙與巖石顆粒顏色接近無(wú)法識(shí)別。如圖2所示在紅綠藍(lán)(red-green-blue,RGB)顏色空間中部分鑄體薄片圖像中孔隙與巖石顆粒邊界不清楚,而在色度-飽和度-亮度(hue-saturation-value,HSV)顏色空間下孔隙更容易區(qū)分。為解決這一問(wèn)題,采用顏色空間轉(zhuǎn)換將RGB顏色空間轉(zhuǎn)為HSV顏色空間,再利用閾值法完成孔隙分割。

圖2 不同顏色空間下的鑄體薄片圖像

1.3 鑄體薄片深度學(xué)習(xí)模型

Unet網(wǎng)絡(luò)適用于訓(xùn)練邊緣不規(guī)則的小目標(biāo)數(shù)據(jù)集,在醫(yī)學(xué)圖像分割領(lǐng)域表現(xiàn)優(yōu)異[16]。鑄體薄片中孔隙與器官存在一定的相似度,因此選擇Unet作為基本網(wǎng)絡(luò)結(jié)構(gòu)。它由編碼器和解碼器兩部分組成,形成U形結(jié)構(gòu)。編碼器網(wǎng)絡(luò)利用最大池化層進(jìn)行逐級(jí)下采樣獲取更多特征,而解碼器利用反卷積進(jìn)行上采樣獲取像素級(jí)分割結(jié)果圖。為彌補(bǔ)編碼器不斷下采樣過(guò)程中丟失的特征,在編碼器與解碼器對(duì)應(yīng)層間進(jìn)行特征融合,使得解碼器獲得更多的特征,進(jìn)而更完善的恢復(fù)細(xì)節(jié)信息,提高分割精度。但是原始的Unet編碼器只有4層,每一層有兩個(gè)卷積模塊,編碼器無(wú)法為解碼器部分提供更復(fù)雜的圖像特征?？紤]鑄體薄片圖像中孔隙形態(tài)各異,部分孔隙與巖石顆粒顏色接近邊界不易識(shí)別的特點(diǎn),改進(jìn)Unet模型的編碼器抽取更復(fù)雜的鑄體薄片圖像孔隙分割。

殘差網(wǎng)絡(luò)(圖1中Residual Block)的主要功能是為解決網(wǎng)絡(luò)層數(shù)加深導(dǎo)致的梯度消失或爆炸[17]。殘差網(wǎng)絡(luò)中的支路連接相對(duì)應(yīng)同等映射,不會(huì)產(chǎn)生額外的參數(shù),也不會(huì)增加計(jì)算復(fù)雜度。在Unet編碼器中加入殘差網(wǎng)絡(luò)既可通過(guò)加深網(wǎng)絡(luò)深度達(dá)到學(xué)習(xí)鑄體薄片圖像孔隙特征的同時(shí),又避免了梯度消失和網(wǎng)絡(luò)退化(R-T-Unet)。

R-T-Unet模型編碼器網(wǎng)絡(luò)越深,對(duì)孔隙特征的分割就越抽象,更有利于孔隙的分割。但是,隨著深度增加參數(shù)量越多,需要的訓(xùn)練數(shù)據(jù)越多,需要訓(xùn)練的時(shí)間越久,對(duì)算力要求也越高。因此編碼器層數(shù)不是越深越好。制作大量的鑄體圖像集需要耗費(fèi)大量的時(shí)間用于孔隙的標(biāo)注,這種做法顯得不切實(shí)際。為解決數(shù)據(jù)量較少的影響,從而提高模型訓(xùn)練能力以及加快模型收斂速度,引入遷移學(xué)習(xí)思想[18-19]。相對(duì)于從隨機(jī)初始化的權(quán)重開(kāi)始訓(xùn)練網(wǎng)絡(luò),利用遷移學(xué)習(xí)微調(diào)網(wǎng)絡(luò)要快得多也容易得多。在使用少量的帶標(biāo)簽數(shù)據(jù)的訓(xùn)練數(shù)據(jù)情況下,遷移學(xué)習(xí)能快速地將所學(xué)的特征轉(zhuǎn)移到新的任務(wù)中。

為了找到最適合孔隙分割的編碼器層數(shù),借鑒ImageNet數(shù)據(jù)集訓(xùn)練的Resnet50和Resnet101網(wǎng)絡(luò)模型,設(shè)計(jì)了兩種編碼器網(wǎng)絡(luò)分別將編碼器層數(shù)加深至50層和101層,分別命名為R-T-Unet50和 R-T-Unet101。R-T-Unet50和R-T-Unet101的編碼器主要分為4部分,以不同顏色表示(圖3),每一部分都堆疊殘差網(wǎng)絡(luò),第一部分重復(fù)堆疊3次,第二部分重復(fù)堆疊4次,第三部分R-T-Unet101堆疊了23次而R-T-Unet50堆疊6次,第四部分堆疊3次。R-T-Unet101和R-T-Unet50兩個(gè)模型進(jìn)行了4次下采樣和4次上采樣。

Conv表示卷積操作;Concatenate表示連接操作

訓(xùn)練R-T-Unet50和R-T-Unet101模型時(shí),先使用經(jīng)過(guò)ImageNet數(shù)據(jù)集訓(xùn)練的Resnet50和Resnet101分別作為R-T-Unet50和R-T-Unet101編碼器的預(yù)訓(xùn)練權(quán)重,以縮短模型訓(xùn)練時(shí)間。

1.4 模型優(yōu)選方法

為了評(píng)估鑄體薄片圖像孔隙分割效果,需要對(duì)模型分割效果進(jìn)行評(píng)估。由于鑄體薄片中孔隙占比小而巖石顆粒占比大,不適合用準(zhǔn)確率(accuracy)。因?yàn)闇?zhǔn)確率表示正確樣本數(shù)量占全部數(shù)量的百分比,即使孔隙全部預(yù)測(cè)錯(cuò)誤而巖石顆粒預(yù)測(cè)正確,準(zhǔn)確率依然很高。并交比(intersection over union,IoU)只受孔隙分割效果影響,可以排除巖石顆粒對(duì)其影響。除了交并比外,還使用精確率(precision,P)和召回率(recall,R)更全面地評(píng)價(jià)孔隙分割情況。

交并比(IoU)是語(yǔ)義分割中常用的模型評(píng)價(jià)指標(biāo),它是模型對(duì)某一類(lèi)預(yù)測(cè)結(jié)果和真實(shí)值的交集與并集的比值,能直觀展示模型對(duì)每一類(lèi)別的檢測(cè)性能,計(jì)算公式為

IoU=TP/(TP+FN+FP)×100%

(1)

式(1)中:FN為預(yù)測(cè)為巖石顆粒實(shí)際上是孔隙部分;FP為預(yù)測(cè)為孔隙實(shí)際上是巖石顆粒部分;TP為預(yù)測(cè)為孔隙實(shí)際上也是孔隙部分。

精確率P表示鑄體薄片圖像中被模型預(yù)測(cè)正確的個(gè)數(shù)占全部預(yù)測(cè)的比例,衡量了模型對(duì)負(fù)樣本的區(qū)分能力,精確率越高,模型對(duì)負(fù)樣本區(qū)分能力越強(qiáng),計(jì)算公式為

P=TP/(TP+FP)×100%

(2)

召回率R表示鑄體薄片中被模型預(yù)測(cè)正確孔隙的像素個(gè)數(shù)占圖像中孔隙像素總數(shù)的比例。衡量了模型對(duì)正樣本的區(qū)分能力,召回率越高,模型對(duì)正樣本區(qū)分能力越強(qiáng),公式為

R=TP/(TP+FN)×100%

(3)

2 實(shí)驗(yàn)過(guò)程

2.1 圖像預(yù)處理

2.1.1 圖像超分辨率重建

目前DIV2K、Flickr2k和OST這3個(gè)圖像數(shù)據(jù)集中包含了大量的巖石圖像,可以利用這3個(gè)數(shù)據(jù)集對(duì)Real-ESRGAN模型進(jìn)行訓(xùn)練。從重建的結(jié)果來(lái)看(圖4),超分辨率重建圖像的孔隙圖像邊緣更清晰,原圖像中比較模糊的孔隙得到了增強(qiáng),說(shuō)明Real-ESRGAN對(duì)巖石類(lèi)圖像超分辨率重建效果好。

圖4 超分辨率重建圖像與原圖對(duì)比

2.1.2 圖像標(biāo)注與增強(qiáng)

標(biāo)簽數(shù)據(jù)集采取半自動(dòng)結(jié)合人工方法對(duì)鑄體薄片孔隙進(jìn)行分割。對(duì)于鑄體中部分孔隙利用顏色空間轉(zhuǎn)換結(jié)合閾值法完成孔隙標(biāo)注。剩余孔隙則利用ImageJ提供的Paintbrush Tool手動(dòng)進(jìn)行孔隙標(biāo)注。將所有的標(biāo)簽數(shù)據(jù)分割成512×512×3作為模型輸入數(shù)據(jù),分割后一共得到433張圖像。

Albumentations庫(kù)是一個(gè)快速訓(xùn)練數(shù)據(jù)增強(qiáng)庫(kù),擁有非常簡(jiǎn)單且強(qiáng)大的可以用于多種任務(wù)(分割、檢測(cè))的函數(shù)。它可以對(duì)數(shù)據(jù)集進(jìn)行逐像素的轉(zhuǎn)換,如模糊、下采樣、RGB轉(zhuǎn)換、裁剪和翻轉(zhuǎn)等。使用Albumentations對(duì)鑄體薄片圖像進(jìn)行裁剪、縮放、旋轉(zhuǎn)、銳化和隨機(jī)加噪音操作增加圖像數(shù)量(圖5)。

圖5 圖像增強(qiáng)與原圖對(duì)比

2.1.3 確定網(wǎng)絡(luò)訓(xùn)練參數(shù)

在大部分的鑄體薄片圖像中,巖石顆粒占大部分而孔隙只占小部分。針對(duì)鑄體圖像中孔隙與巖石顆粒占比極度不均衡問(wèn)題,模型訓(xùn)練過(guò)程中采用Dice Loss作為損失函數(shù),計(jì)算公式為

Loss=1-2|X∩Y|/(|X|+|Y|)

(4)

式(4)中:X為預(yù)測(cè)孔隙部分;Y為真實(shí)孔隙部分;|X∩Y| 為預(yù)測(cè)孔隙部分與真實(shí)孔隙部分的交集;|X|+|Y|為預(yù)測(cè)孔隙部分加上真實(shí)孔隙部分相加。

Dice Loss損失函數(shù)忽略巖石顆粒預(yù)測(cè)正確部分,可以減少巖石顆粒對(duì)損失函數(shù)值的影響,加深孔隙對(duì)損失函數(shù)值的影響[20]。因此Dice Loss損失函數(shù)能在正負(fù)樣本不均衡情況下更好地完成模型訓(xùn)練。

鑒于Adam泛化性能比其他優(yōu)化器好,模型優(yōu)化函數(shù)采用Adam,計(jì)算高效對(duì)內(nèi)存需求少,是訓(xùn)練神經(jīng)網(wǎng)絡(luò)的首選[21]。其他網(wǎng)絡(luò)訓(xùn)練參數(shù)設(shè)置如表1 所示。

表1 網(wǎng)絡(luò)訓(xùn)練參數(shù)設(shè)置

2.2 實(shí)驗(yàn)結(jié)果

在Pytorch框架下進(jìn)行R-T-Unet50和R-T-Unet101 模型和Unet模型訓(xùn)練,圖6是3個(gè)模型在訓(xùn)練中損失函數(shù)變換曲線圖。從圖6可知,R-T-Unet101 比R-T-Unet50收斂速度慢但比Unet快,但最后的訓(xùn)練結(jié)果是R-T-Unet101的效果最好。綜合收斂速度和訓(xùn)練效果,R-T-Unet101表現(xiàn)最好。

epoch表示完整的數(shù)據(jù)集通過(guò)神經(jīng)網(wǎng)絡(luò)的次數(shù)

3 實(shí)驗(yàn)結(jié)果討論

使用精確率P、召回率R、交并比IoU、訓(xùn)練時(shí)間和模型大小對(duì)模型進(jìn)行評(píng)價(jià),如表2所示。

表2 模型預(yù)測(cè)性能評(píng)估、模型大小及訓(xùn)練時(shí)間

觀察表2中各模型的交并比、召回率、精確率,R-T-Unet50和R-T-Unet101 都要優(yōu)于Unet模型。由此可以證明在Unet編碼器部分引入殘差網(wǎng)絡(luò)能夠提高模型分割性能。在R-T-Unet101和R-T-Unet50 參數(shù)量大于Unet模型參數(shù)量情況下,所需的訓(xùn)練時(shí)間反而少于Unet模型,這說(shuō)明利用遷移學(xué)習(xí)思想訓(xùn)練模型的效果非常明顯。相對(duì)于R-T-Unet50,R-T-Unet101在交并比、召回率和精確率指標(biāo)上表現(xiàn)得更好。層數(shù)更深的R-T-Unet101分割效果要優(yōu)于R-T-Unet50,但是R-T-Unet101的訓(xùn)練時(shí)間比R-T-Unet50更久,模型參數(shù)量也要比R-T-Unet50更多。雖然R-T-Unet101在參數(shù)量最大,訓(xùn)練時(shí)間比R-T-Unet50更久,但是模型的分割性能才是最重要的影響因素,因此認(rèn)為R-T-Unet101為最優(yōu)模型。

圖7展示了Unet、R-T-Unet50、R-T-Unet101模型在鑄體薄片圖像上的分割效果。Unet模型分割錯(cuò)誤率較高,主要表現(xiàn)在孔隙與巖石顆粒邊界識(shí)別存在錯(cuò)誤。R-T-Unet101對(duì)孔隙分割以及孔隙邊緣分割相對(duì)精細(xì),沒(méi)有過(guò)多的錯(cuò)誤。由圖7中原圖中紅圈部分可以看出,R-T-Unet101的識(shí)別效果要好于R-T-Unet50和Unet。由此可知,R-T-Unet101泛化能力要比R-T-Unet50強(qiáng)。

圖7 模型預(yù)測(cè)差異對(duì)比圖

以上結(jié)果證明,R-T-Unet101深度學(xué)習(xí)遷移模型可以更好地利用卷積神經(jīng)網(wǎng)絡(luò)自動(dòng)提取鑄體薄片圖像的孔隙特征,從而更好地進(jìn)行孔隙分割。

4 結(jié)論

(1)針對(duì)鑄體薄片圖像孔隙分割遇到的問(wèn)題,提出的解決方案能夠高效地完成孔隙分割工作。經(jīng)過(guò)綜合評(píng)價(jià)分析,R-T-Unet101模型對(duì)鑄體薄片中孔隙分割效果最優(yōu)。

(2)圖像高分辨重建模型Real-ESRGAN可提高鑄體薄片圖像分辨率,提高了因鑄體薄片圖像質(zhì)量較差的分割效果。

(3)引入殘差網(wǎng)絡(luò)改進(jìn)Unet編碼器部分 (R-T-Unet)可以更好地抽取圖像孔隙特征,能夠提高模型對(duì)圖像孔隙的分割能力。

(4)引入經(jīng)過(guò)ImageNet數(shù)據(jù)集訓(xùn)練的ResNet101模型作為R-T-Unet編碼器主干特征分割網(wǎng)絡(luò),其模型權(quán)重作為預(yù)訓(xùn)練權(quán)重,能夠提高模型訓(xùn)練速度。