基于改進(jìn)U-Net的量子點(diǎn)STM圖像分割

王 陽(yáng), 丁 召, 宋家勇, 趙廣文, 邊歷峰, 楊 晨

(1. 貴州大學(xué) 大數(shù)據(jù)與信息工程學(xué)院 半導(dǎo)體功率器件可靠性教育部工程研究中心, 貴陽(yáng)550025; 2. 中國(guó)科學(xué)院 蘇州納米技術(shù)與納米仿生研究所 納米器件與應(yīng)用重點(diǎn)實(shí)驗(yàn)室, 蘇州 215123)

1 引 言

量子點(diǎn)納米結(jié)構(gòu)具有獨(dú)特的光電特性，是新型光電材料研究的熱點(diǎn)[1]. 在量子點(diǎn)材料研究過(guò)程中，可通過(guò)掃描隧道顯微鏡(Scanning Tunneling Microscope, STM)圖像對(duì)量子點(diǎn)數(shù)量、縱橫比等表面特征進(jìn)行定性定量的分析，進(jìn)而實(shí)現(xiàn)量子點(diǎn)材料量子尺寸效應(yīng)、表面效應(yīng)等特性的評(píng)估[2-4]. 利用STM圖像識(shí)別量子點(diǎn)特征參數(shù)，需要對(duì)圖像進(jìn)行分割. 確定量子點(diǎn)像素坐標(biāo)，將其從復(fù)雜背景中分離[5]. 分割后的圖像由于量子點(diǎn)像素坐標(biāo)確定，有利于定性定量分析. 同時(shí)，沒(méi)有復(fù)雜背景的干擾有利于節(jié)約運(yùn)算成本.

鑒于圖像分割對(duì)量子點(diǎn)定性定量分析的意義，諸多研究者在量子點(diǎn)STM圖像分割方面展開(kāi)了研究. 經(jīng)典的STM圖像分割以閾值算法為主要代表[6, 7]. Tripathi等人利用Otsu分割算法結(jié)合高斯曲線(xiàn)擬合，實(shí)現(xiàn)對(duì)不同貴金屬亞單層修飾襯底表面STM圖像的分割，并將該算法成功用于襯底表面STM圖像中簇層的檢測(cè)[8]. 為了解決Otsu算法自動(dòng)化閾值分割的盲目性，Ilya Valmianski等人在研究中嘗試使用手動(dòng)閾值分割的方法對(duì)STM進(jìn)行分割，該方法采用預(yù)標(biāo)識(shí)手段對(duì)目標(biāo)區(qū)域進(jìn)行約束，以降低無(wú)關(guān)背景對(duì)目標(biāo)的干擾，可有效提升了STM圖像的分割質(zhì)量[9]. 2019年，Tang等人利用自適應(yīng)閾值分割對(duì)量子點(diǎn)及GaAs(001)襯底 STM圖像進(jìn)行分割，并取得了明顯優(yōu)于傳統(tǒng)閾值分割的結(jié)果，進(jìn)一步實(shí)現(xiàn)了STM圖像分割的自動(dòng)化處理[10]. 2020年，Kevin Bui等人使用變分方法和經(jīng)驗(yàn)小波算法對(duì)STM圖像進(jìn)行分割，并在以石墨烯等材料的STM圖像測(cè)試數(shù)據(jù)中，取得了優(yōu)于Otsu方法及K-mean方法的效果[11].

而基于深度學(xué)習(xí)網(wǎng)絡(luò)的圖像分割，具有分割精度高、面對(duì)復(fù)雜背景識(shí)別能力強(qiáng)等優(yōu)勢(shì)，近年來(lái)被大量應(yīng)用于顯微鏡圖像分割等領(lǐng)域. 在STM圖像特征提取方面，不少研究取得了顯著的成果. 2019年，Kamal Choudhary等人通過(guò)CNN網(wǎng)絡(luò)模型在STM圖像中識(shí)別出材料Bravais晶格[12]. 成功將其與背景分割，有效提升了STM圖像的識(shí)別精度. 2020年，Maxim Ziatdinov等人使用深度學(xué)習(xí)技術(shù)，通過(guò)STM圖像分析了H-Si(001)2×1表面原子和缺陷[13]. 克服了傳統(tǒng)閾值分割面對(duì)復(fù)雜背景分割能力弱的困難，對(duì)不同缺陷的識(shí)別率有顯著的提升.

可以看出，神經(jīng)網(wǎng)絡(luò)方法成為STM特征提取的研究熱點(diǎn). 為進(jìn)一步拓展神經(jīng)網(wǎng)絡(luò)在STM圖像分割中的應(yīng)用，文章首先采用色彩通道權(quán)重灰度化方法對(duì)STM圖像進(jìn)行預(yù)處理，在實(shí)現(xiàn)數(shù)據(jù)降維的同時(shí)盡可能保留量子點(diǎn)信息. 其次，結(jié)合U-Net結(jié)構(gòu)特征引入過(guò)渡層對(duì)其進(jìn)行改進(jìn)，使得網(wǎng)絡(luò)更適合量子點(diǎn)圖像的分割. 然后，設(shè)計(jì)實(shí)驗(yàn)對(duì)改進(jìn)網(wǎng)絡(luò)性能進(jìn)行檢測(cè). 最后，將不同算法分割結(jié)果用于量子點(diǎn)STM圖像特征識(shí)別，根據(jù)特征識(shí)別結(jié)果檢驗(yàn)分割精度.

2 算法設(shè)計(jì)

為了實(shí)現(xiàn)量子點(diǎn)的分割，對(duì)其STM圖像進(jìn)行處理，主要流程如圖1所示：

圖1 量子點(diǎn)特性參數(shù)分析主要流程Fig. 1 The main process of quantum dot characteristic parameter analysis

圖1為實(shí)現(xiàn)量子點(diǎn)STM圖像分割的主要流程. 主要包括圖像預(yù)處理、圖像分割及算法測(cè)試三個(gè)部分. 首先對(duì)圖像進(jìn)行灰度化處理，降低數(shù)據(jù)維度. 其次，利用降維后的圖像數(shù)據(jù)制作神經(jīng)網(wǎng)絡(luò)標(biāo)簽. 進(jìn)一步，改進(jìn)U-Net對(duì)其進(jìn)行分割. 最后將連通域統(tǒng)計(jì)、最小外接矩形標(biāo)識(shí)應(yīng)用于量子點(diǎn)數(shù)量、縱橫比的計(jì)算，并用于驗(yàn)證不同算法圖像分割質(zhì)量.

2.1 圖像預(yù)處理

將原始圖像轉(zhuǎn)為PNG (Portable Network Graphics, PNG)格式，并縮放到512*512尺寸. STM圖像為RGB(Red Green Blue, RGB)色彩模式的偽彩色圖像，數(shù)據(jù)冗余度大. 為提升算法效率，在分割之前對(duì)圖像進(jìn)行灰度化處理，以節(jié)約運(yùn)算成本. 為了降低數(shù)據(jù)降維帶來(lái)的信息丟失，采用一種改進(jìn)的灰度化方法對(duì)STM圖像進(jìn)行灰度化處理. 并利用灰度化后的圖像制作網(wǎng)絡(luò)標(biāo)簽數(shù)據(jù)集.

2.1.1灰度化

RBG圖像I(m,n,3)可視為由R(m,n)、G(m,n)、B(m,n)三個(gè)像素通道所組成. 對(duì)于偽彩色圖像，不同對(duì)象的色調(diào)不同，因而R、G、B三個(gè)通道所包含的圖像信息不同. 要保證分割質(zhì)量，灰度圖像中相同屬性像素區(qū)域灰度值應(yīng)當(dāng)盡可能相近，不同對(duì)象間灰度值差異應(yīng)盡可能大[14, 15]. 根據(jù)STM偽彩色圖像特點(diǎn)，采用一種權(quán)重賦值法對(duì)圖像進(jìn)行灰度化.

首先，定義圖片像素值總和為：

(1)

式(1)中T表示整張圖像各個(gè)像素點(diǎn)三個(gè)通道像素值累加和，定義各個(gè)分量相對(duì)整張圖像的占比為Ak(k=1, 2, 3)，則其滿(mǎn)足：

(2)

式(2)中Ak為不同分量相對(duì)整張圖像所占比重，當(dāng)k= 1、2、3時(shí)分別表示R、G、B分量在整張圖像的權(quán)重. 定義灰度圖像為IG(m,n)，對(duì)任意像素點(diǎn)，其灰度值滿(mǎn)足：

(3)

式(3)表示通過(guò)圖像R、G、B分量所占權(quán)重對(duì)像素進(jìn)行降維. 在偽彩色圖像中，權(quán)值較大通道下所包含的圖像信息更豐富，該方法有助于突顯包含圖像信息更多的通道像素值，降低數(shù)據(jù)降維帶來(lái)的信息損失.

2.1.2數(shù)據(jù)集制作

選取120張灰度化后的STM量子點(diǎn)圖像制作標(biāo)簽形成數(shù)據(jù)集. 標(biāo)簽制作中，采用人工方法對(duì)量子點(diǎn)像素區(qū)域進(jìn)行預(yù)標(biāo)記. 為進(jìn)一步提升標(biāo)簽精度，將預(yù)標(biāo)記圖像交由3名專(zhuān)業(yè)量子點(diǎn)材料研究人員進(jìn)行校正，綜合校正結(jié)果，對(duì)像素點(diǎn)歸類(lèi)存在爭(zhēng)議的區(qū)域，選取研究人員標(biāo)記眾數(shù)對(duì)其進(jìn)行歸類(lèi). 標(biāo)簽及測(cè)試樣本如圖2所示：

圖2 數(shù)據(jù)樣本. (a)標(biāo)簽原圖；(b)訓(xùn)練樣本；(c)標(biāo)簽；(d)測(cè)試樣本Fig. 2 Data samples. (a) Original label; (b) Training sample; (c) Label; (d) Test sample

2.2 圖像分割

2.2.1 改進(jìn)U-Net分割算法

對(duì)量子點(diǎn)圖像進(jìn)行分割. 針對(duì)STM圖像中量子點(diǎn)尺寸及形態(tài)多變，邊緣像素與背景差距小的問(wèn)題，本文采用改進(jìn)U-Net結(jié)構(gòu)實(shí)現(xiàn)其分割. 原始U-Net結(jié)構(gòu)由Ronneberger等人在2015年根據(jù)FCN結(jié)構(gòu)發(fā)展而來(lái)[16, 17]. 原始網(wǎng)絡(luò)結(jié)構(gòu)可理解為由編碼器和解碼器兩部分組成，編碼器部分通過(guò)3×3的卷積層和一個(gè)2×2的池化層向下提取特征. 解碼器部分則實(shí)現(xiàn)上采樣功能. 本文在原始網(wǎng)絡(luò)中引入過(guò)渡層，以期提升U-Net在量子點(diǎn)STM圖像分割上的精度，其結(jié)構(gòu)如圖3所示.

圖3 改進(jìn)U-Net結(jié)構(gòu)Fig. 3 Improved U-Net structure

由圖3可知，在經(jīng)典的U-Net結(jié)構(gòu)上做出了如下改動(dòng)：首先，相對(duì)原始網(wǎng)絡(luò)，改進(jìn)網(wǎng)絡(luò)增加了中間過(guò)渡層. 該網(wǎng)絡(luò)對(duì)4.0、3.0、2.0層進(jìn)行上采樣，拼接并融合前層特征得到中間過(guò)渡層；其次，在過(guò)渡層中引入下采樣，將3.1、2.1、1.1等過(guò)渡層特征下采樣并分別與6.0、7.0、8.0層拼接，構(gòu)建出具有過(guò)渡層的U-Net網(wǎng)絡(luò)結(jié)構(gòu). 一方面，不同感受野的深度特征可以依靠過(guò)渡層向上傳遞. 另一方面，淺層特征也可進(jìn)一步向下傳遞，使得量子點(diǎn)邊緣像素特征得到增強(qiáng)，有助于分割. 改進(jìn)后的網(wǎng)絡(luò)各層信息利用更加全面，對(duì)邊緣像素辨識(shí)度更好.

3 實(shí)驗(yàn)結(jié)果與討論

3.1 灰度化算法對(duì)分割精度的影響

對(duì)縮放后的STM圖像進(jìn)行灰度化處理，其效果如圖4所示. 可以看出改進(jìn)的RGB權(quán)值灰度化算法灰度圖像中量子點(diǎn)像素區(qū)域整體灰度值差異較小，灰度值層次明顯. 同時(shí)，細(xì)節(jié)信息更為豐富，量子點(diǎn)邊緣像素保存相對(duì)完整.

圖4 不同灰度化算法對(duì)比：(a)樣本原圖；(b)RGB權(quán)值；(c)rgb2gray；(d)均值；(e)最小值Fig. 4 Comparison of different grayscale algorithms: (a) Original picture of sample; (b) RGB weights; (c) rgb2gray; (d) Mean value; (e) Minimum value

進(jìn)一步，為測(cè)試灰度算法對(duì)分割的影響，利用Keras框架構(gòu)建了圖3所示改進(jìn)U-Net模型，并基于Tesla k40c GPU平臺(tái)進(jìn)行訓(xùn)練與驗(yàn)證. 根據(jù)訓(xùn)練結(jié)果，構(gòu)建混淆矩陣. 統(tǒng)計(jì)模型將正例識(shí)別為正例、正例識(shí)別為負(fù)例、負(fù)例識(shí)別為正例、負(fù)例識(shí)別為負(fù)例等情況，計(jì)算出模型準(zhǔn)確率、召回率及F-meaure值. 從表1實(shí)驗(yàn)結(jié)果可以看出，改進(jìn)灰度化算法下圖像分割評(píng)價(jià)指數(shù)相對(duì)高于rgb2gray、平均值及最小值等方法. 結(jié)合表1及圖4可以看出，由于改進(jìn)灰度化算法保留量子點(diǎn)邊緣區(qū)域像素更加完整，更有利于量子點(diǎn)邊緣像素的分割.

表1 不同灰度算法分割結(jié)果平均值

3.2 分割結(jié)果與分析

利用RGB權(quán)值灰度化后，將圖像送入原始與改進(jìn)U-Net模型進(jìn)行對(duì)比測(cè)試. 每次以3：2的比例隨機(jī)選取標(biāo)簽及測(cè)試數(shù)據(jù)進(jìn)行交叉測(cè)試，結(jié)果如圖5所示.

圖5 分割效果對(duì)比. (a) (d) (g) 樣本；(b) (e) (h) 分別為閾值、原始U-Net分割和改進(jìn)U-Net分割結(jié)果；(c) (f) (i) 疊加對(duì)比Fig. 5 Comparison of segmentation effects. (a) (d) (g) samples; (b) (e) (h) are threshold, original U-Net segmentation and improved U-Net segmentation results; (c) (f) (i) overlay comparison

圖5(a)背景較為復(fù)雜，存在大量深色溝壑，屬于背景較為復(fù)雜的量子點(diǎn)STM圖像. 其中量子點(diǎn)尺寸差異較大，邊緣像素值強(qiáng)度較低. 從圖5(b)、(c)可以觀(guān)察到傳統(tǒng)閾值分割算法分割精度較低，部分像素值較弱的量子點(diǎn)沒(méi)有被識(shí)別，邊緣像素分割粗糙，量子點(diǎn)間存在較為嚴(yán)重的像素重疊. 對(duì)比圖5(e)、(f)可以看出，采用原始U-Net網(wǎng)絡(luò)會(huì)提升分割精度，但仍然存在小尺寸量子點(diǎn)未能識(shí)別及量子點(diǎn)粘連現(xiàn)象. 而改進(jìn)后的U-Net(圖5(h)、(i))使分割質(zhì)量進(jìn)一步改善，其中小尺寸量子點(diǎn)區(qū)域的識(shí)別較為精確，且分割后量子點(diǎn)邊緣像素相對(duì)平滑，量子點(diǎn)間無(wú)明顯像素重疊.

統(tǒng)計(jì)8次交叉測(cè)試的結(jié)果如圖6所示. 可以看出，改進(jìn)網(wǎng)絡(luò)Precision平均值為97.79%，Recall平均值為93.92%，高于原始網(wǎng)絡(luò)的83.96%與91.76%. 表明改進(jìn)網(wǎng)絡(luò)擁有更高的像素分類(lèi)正確率及量子點(diǎn)像素識(shí)別正確率. 此外，改進(jìn)網(wǎng)絡(luò)的兩者調(diào)和平均數(shù)F-measure為95.82%，高于原始網(wǎng)絡(luò)的87.69%. 因此，改進(jìn)U-Net分割方法相對(duì)于傳統(tǒng)分割方法，具有更高的邊緣像素分割精度.

圖6 交叉測(cè)試結(jié)果, “ i ”：改進(jìn)網(wǎng)絡(luò); “ o ”：原始網(wǎng)絡(luò)Fig. 6 Cross test results, " i ": improved network; " o ": original network

3.3 特征參數(shù)識(shí)別結(jié)果

為驗(yàn)證分割結(jié)果對(duì)后續(xù)特征參數(shù)提取的影響，本文進(jìn)一步利用連通域統(tǒng)計(jì)算法與基于頂點(diǎn)鏈碼-離散格林理論的最小外接矩形標(biāo)識(shí)法對(duì)量子點(diǎn)數(shù)量、縱橫比進(jìn)行分析.

3.3.1數(shù)量統(tǒng)計(jì)

將不同分割算法處理后的二值圖像利用連通域算法進(jìn)行量子點(diǎn)數(shù)量統(tǒng)計(jì)[18]. 如前所述，改進(jìn)U-Net降低了量子點(diǎn)邊緣像素重疊，同時(shí)提升了小尺寸量子點(diǎn)識(shí)別精度，因此在表2所示的實(shí)驗(yàn)結(jié)果中，改進(jìn)U-Net提供了更高的量子點(diǎn)數(shù)量識(shí)別精確度.

表2 量子點(diǎn)數(shù)量統(tǒng)計(jì)結(jié)果

3.3.2縱橫比計(jì)算

量子點(diǎn)縱橫比指量子點(diǎn)長(zhǎng)軸與短軸比值. 在測(cè)試集分割結(jié)果中，針對(duì)標(biāo)簽、改進(jìn)U-Net、原始U-Net及閾值算法分割結(jié)果，分別利用頂點(diǎn)鏈碼結(jié)合離散格林理論對(duì)量子點(diǎn)做最小外接矩形標(biāo)記[19]. 標(biāo)記結(jié)果如圖7所示.

圖7 最小外接矩形標(biāo)記Fig. 7 The smallest circumscribed rectangle mark

通過(guò)對(duì)比標(biāo)簽與三種算法分割結(jié)果最小外接矩形標(biāo)識(shí)結(jié)果可以觀(guān)察到，改進(jìn)U-Net邊緣分割更加精確，因而量子點(diǎn)邊緣與標(biāo)簽契合度高，最小外接矩形更為接近. 圖8給出了不同分割方法計(jì)算所得長(zhǎng)寬比相較于標(biāo)簽值的誤差，可以看出，改進(jìn)U-Net平均誤差為2.06%，原始U-Net為4.30%，Otsu算法為10.17%，說(shuō)明改進(jìn)網(wǎng)絡(luò)的分割提升了量子點(diǎn)縱橫比的識(shí)別準(zhǔn)確度.

圖8 縱橫比誤差統(tǒng)計(jì)Fig. 8 Aspect ratio error statistics

4 結(jié) 論

為提升量子點(diǎn)STM圖像分割質(zhì)量，改進(jìn)U-Net算法對(duì)量子點(diǎn)STM圖像進(jìn)行分割. 首先，對(duì)量子點(diǎn)STM圖像進(jìn)行了預(yù)處理. 通過(guò)對(duì)不同灰度化算法降維后的數(shù)據(jù)進(jìn)行分割對(duì)比，改進(jìn)灰度化算法降維下量子點(diǎn)分割Precision、Recall、F-measure指數(shù)相對(duì)優(yōu)于rgb2gray、均值、最小值等算法. 其次，在U-Net網(wǎng)絡(luò)中引入過(guò)渡層，對(duì)量子點(diǎn)圖像進(jìn)行分割. 改進(jìn)后的網(wǎng)絡(luò)訓(xùn)練結(jié)果Precision、Recall、F-measure分別為99.85%、93.54%、94.05%，相對(duì)高于原始網(wǎng)絡(luò)結(jié)構(gòu)13.83%、2.16%、8.13%. 最后，對(duì)閾值算法、原始U-Net、改進(jìn)U-Net分割結(jié)果進(jìn)行量子點(diǎn)數(shù)量及縱橫比統(tǒng)計(jì)，改進(jìn)U-Net分割結(jié)果有效提升了小尺寸量子點(diǎn)識(shí)別能力，并降低了像素重疊現(xiàn)象. 量子點(diǎn)數(shù)量識(shí)別精度達(dá)到99.97%，縱橫比平均誤差為2.06%，對(duì)比原始U-Net及Otsu算法識(shí)別結(jié)果有所提升. 因此，改進(jìn)U-Net的量子點(diǎn)STM圖像分割是一種提高量子點(diǎn)特征識(shí)別精度的潛在手段.