高變質煤HRTEM圖像中芳香晶格條紋的MASK R-CNN識別

王紹清，常方哲，陳 昊，王小令，李雪琦

(中國礦業大學(北京) 地球科學與測繪工程學院，北京 100083)

中國工程院戰略研究表明，我國煤炭資源總量豐富[1]，2050年以前以煤炭為主導的能源結構難以改變[2]。近年來，人工智能作為一門融合多方面知識的交叉學科，在自動駕駛、語音服務、人臉識別、地物分類等方方面面影響和改變著人們的生活[3]。人工智能的興起也給煤炭行業帶來了巨大的影響，在其推動下，煤炭行業向著網絡化、機械化、自動化等方向前進，主要表現為:① 儀器儀表性能改進，網絡化全覆蓋;② 推動自動化的實現，提高操作系統精確度;③ 智能監測、事故預防診斷一步到位[4]。在煤炭領域推廣人工智能技術，有助于推動我國煤炭行業向綠色環保、智能生產等方面發展和進步。

煤是非均質可燃沉積巖[5]，其有機部分化學組成復雜，包含芳香族、脂肪族等多種化合物[6]，其中芳香族化合物構成了煤的基本骨架[7]。深入開展煤化學結構研究，是煤炭高效清潔利用的重要前提[8-9]。利用高分辨率透射電子顯微鏡(HRTEM)可以檢測出煤的芳香層片結構[10]。到目前為止，對煤HRTEM圖片中提取芳香晶格條紋的方法主要有以下2種:① 依靠人眼識別的人工解譯[11](人工)，在識別過程中存在人工解譯慢、周期長和工作量大的問題;② 基于像素級的定量拓撲計算(傳統)，采用先二值化圖像再進行骨骼化處理[12]。如NIEKERK 和MATHEWS[13]通過ImageJ和Adobe Photoshop等軟件調整HRTEM圖像的閾值進行圖像二值化，進而人工提取出芳香晶格條紋;YEHLIU等[14]借助圖像處理函數庫，使用MATLAB語言編寫骨骼化程序，成功提取芳香晶格條紋;康倩楠和張志強[15]利用MATLAB語言開發了名為VirtualFringe的程序，通過閾值與灰度的調整、高斯模糊、傅立葉變換、二值化、骨架提取、分枝剪切與修剪等方法，從煤的HRTEM圖像中抽取出芳香晶格條紋。以上傳統方法具有相同的局限性，主要表現為:① 二值化操作會丟失圖像的部分像素信息，降低了數據的可靠性;② 通過軟件設置閾值進行二值化操作，存在著人為主觀性的問題，降低了結果的可靠性;③ 傳統方法中采用批量提取芳香晶格條紋的核心是骨骼化算法，該算法存在著計算量大、負荷高、提取結果的邊緣混亂和堆疊嚴重等問題。

最近十多年來，人工智能神經網絡的研究已經取得了很大的進展，在資源、生物、醫學、經濟等領域，已成功地解決了許多現代計算機難以解決的實際問題，表現出了良好的智能特性。人工智能神經網絡與傳統的圖像處理方法相比，其特點是跳過了各種復雜的前期預處理過程，實現端到端的輸入和輸出，避免人為主觀性對識別結果的影響，保證原始數據的可靠性。基于此，筆者將人工智能、計算機圖形學和煤化學等學科進行結合，通過多學科、多領域的交叉融合，解決傳統方法識別芳香晶格條紋過程中存在的實際問題。

1 MASK R-CNN神經網絡

1.1 MASK R-CNN

卷積神經網絡的概念，始于HUBEL和WIESEL[16]提出的感受野(數字矩陣中的一個數字所對應的原圖中的區域大小)及FUKUSHIMA[17]提出的神經認知機。隨后LECUN[18]提出的反向傳播算法推動了卷積神經網絡進一步發展。但是受當時環境的影響，卷積神經網絡并未進行更深入的普及和發展。直到2012年，KRIZHEVSKY等[19]提出的AlexNet網絡，在ImageNet競賽上取得冠軍，使得卷積神經網絡再次成為圖像分析的主流。2012年以后，卷積神經網絡開始了家族式的發展，短時間內RCNN[20]，Fast RCNN[21]，Faster RCNN[22]，ResNet[23]到MASK R-CNN[24]相繼被提出。MASK R-CNN是由何凱明等提出的雙步檢測框架，目前在RCNN家族中進化程度最高、性能最優。與其他RCNN相比，MASK R-CNN可以在完成語義分割的同時進行實例分割，即MASK R-CNN可以在對物質進行分類的同時，分割出該類物質的每一個獨立個體。憑借這個優勢，MASK R-CNN正在快速應用到目標識別和檢測分割的各個領域。

1.2 卷積神經網絡提取圖像特征的原理

數字圖像由二維的元素組成，每一個元素具有一個特定的位置(x,y)和幅值f(x,y)(可以是多元組，例如RGB圖像是三元組)，這些元素稱為像素。圖像卷積的過程是計算每一個像素點的鄰域像素和濾波器矩陣的對應元素的乘法再相加，并作為該像素位置的值(圖1)，其中的濾波器矩陣被稱為卷積核，濾波器矩陣的對應數值被稱為權重，卷積核的初始值可以通過人為設定或者函數隨機生成。每個卷積核可以提取一種特定的特征，如圖1(a)中以3×3的卷積核計算圖像卷積，所得結果中矩形對應的卷積特征值較大，因此對比于三角形和圓形，該卷積核的權重更適合提取矩形特征。圖像卷積能夠提取出超越人腦理解的圖像特征，圖1(b)展示了高變質煤HRTEM圖像的像素特征，其中紅藍條紋的區間即為芳香晶格條紋，表現為前景像素值穩定、與背景值差別較大、條狀特征明顯，因此適合進行卷積特征提取。

圖1 圖像卷積提取特征Fig.1 Image convolution to extract features

1.2.1卷積——提取圖像特征

圖像由背景和前景組成，前景分為多個目標，每一個目標包含多個圖像特征。一般認為圖像的空間聯系中局部的像素聯系比較密切，而距離較遠的像素相關性較弱，因此，每個卷積核只能對局部進行感知，然后在更高層通過全連接將局部的特征綜合起來得到全局的分類信息。在圖像特征提取的過程中，計算機依靠反饋神經網絡自動調整卷積核的權值，經過大量的測試和驗證，可以找到最能表現圖像特征的卷積核權值(卷積層輸出值最高)。

1.2.2池化——分離主要特征

卷積層從圖像中提取特征，卷積核越多則權重參數越多。池化層可以減少參數的數量，僅保留最有用的圖像信息，如圖2所示。

圖2 池化示意Fig.2 Schematic diagram of pooling

1.2.3全連接——局部特征全連接構建分類器

將某一目標對應的全部卷積核所計算的卷積特征值連接起來作為該目標的分類器，如圖3所示，分別連接S2:feature maps中所有表示矩形、三角形和圓形的卷積特征值部分(120個卷積核)，形成矩形、三角形和圓形的3個分類器。根據以上3個目標的特征值分類器，可以實現在各種圖像中識別出矩形、三角形和圓形的功能。

1.3 結構和代碼流程

MASK R-CNN是一個2階段的識別框架，包括:① 掃描圖像并生成候選框(Proposals);② 對proposals分類(Classes)和邊框回歸(Bounding boxes)并生成掩膜(mask)。

MASK R-CNN的訓練流程如圖4所示，該網絡在主干結構(Backbone)中實現卷積特征提取(Feature maps)以及特征金字塔(FPN)融合，在區域生成網絡(RPN)中生成Proposals，隨后進入池化層(ROI align)進行池化(Pooling)，池化結果分成2條并行的線路進入頂端(Head)部分:① 分別通過Bounding boxes和Classes，實現邊框回歸和多元分類(softmax算法);② 在掩膜分支(Mask branch)中反卷積出與class結果大小相同的Mask。MASK R-CNN的網絡流如圖5所示，其具體流程為:

圖3 卷積網絡提取特征示意Fig.3 Schematic diagram of feature extraction by convolutional network

圖4 MASK R-CNN訓練流程示意Fig.4 Schematic diagram of the training process of MASK R-CNN

圖5 MASK R-CNN網絡流程Fig.5 Network flow chart of MASK R-CNN

訓練樣本在backbone的ResNet101進行卷積特征提取。ResNet101網絡包括第1卷積層、第2卷積層、第3卷積層、第4卷積層和第5卷積層，樣本在每一層經過卷積(Convolution)、正則化(BN)、激活函數(RELU)3步提取特征，獲得不同尺度的Feature maps:[C1,C2,C3,C4,C5]進入FPN網絡。FPN網絡利用[C2,C3,C4,C5]建立特征圖金字塔，通過卷積、池化、融合等操作獲得各尺度融合后的Feature maps:[P2,P3,P4,P5,P6]，其中P6是將P5按一定步長進行最大池化操作得到的。Feature maps:[P2,P3,P4,P5,P6]進入RPN網絡，為了提取Proposals對Feature maps:[P2,P3,P4,P5,P6]的每一個像素點，按一定的大小和長寬比生成9個的錨點(Anchor)。分別計算每個Anchor為前景的得分或為背景的得分(分類)，以及Anchor與真實框(Ground truth)之間的偏移量(回歸)。根據RPN網絡的損失函數(Softmax分類函數的交叉熵損失函數和Bounding boxes回歸算法的SmoothL1Loss損失函數)計算分類得分和回歸偏移量的損失值(Loss)。根據損失函數求導后的結果，指導下一次分類和回歸的參數更新，即通過更新權重實現反向傳播。經過無數次的反向傳播，逐漸擬合到分類和回歸的最優Proposals，同時得到最優的權重參數模型。在ROI align layer網絡中將Proposals進行Align pooling，映射成固定大小的Feature maps，且每個像素點保持準確的坐標。最后Feature maps并行進入2條路線，一條進行最終檢測的Classes和Bounding boxes，另一條經過FCN網絡中將特征映射到與原始圖片大小相同，輸出Mask結果。

圖5參數的說明:

(1)Backbone:用于提取圖像Feature maps的一系列卷積層。MASK R-CNN包含ResNet50和ResNet101兩種結構，訓練過程中選擇的是ResNet101結構。

(2)ResNet:殘差網絡，是以跳躍連接的方式，將前若干層的輸出結果作為后面數據層的輸入數據的結構，可以加速提取Feature maps。

(3)Feature Pyramid Networks:特征金字塔網絡簡稱FPN，包含縱向路徑和橫向路徑。縱向路徑的其中一條是自下而上的卷積路徑，Feature maps在該路徑上經過卷積核的計算，通常會越變越小;另一條是自上而下的池化路徑，把更抽象、語義更強的高層特征圖進行上采樣;并通過橫向路徑連接至前一層特征，使每一層的Feature map都融合不同分辨率、不同語義強度的特征。

(4)Region Proposal Network:區域生成網絡簡稱RPN，是通過前景、背景分類和邊框回歸，進行候選框提取的網絡。

(5)ROI Align layer:通過雙線性插值的方法，將像素點上的坐標精度，提高到浮點數級別的池化網絡。

(6)Fully Convolution Network:全卷積網絡簡稱FCN。通過反向卷積(Deconvolution)，將最后一層的Feature map進行上采樣，得到與原圖大小一致的熱圖(Heatmap)，即每個位置輸出該點所對應的類別概率。

(7)Head:包括目標檢測最終的Classes,Bounding Boxes和通過FCN生成的與Class結果大小相同的mask。

1.4 精度評價方法

混淆矩陣是一種評價分類型模型最直觀的方法。通過混淆矩陣可以計算準確率(A)、精準率(P)、召回率(R)和交并比(I)等指標。評價指標的數值越大，模型的精度越高。混淆矩陣如圖6所示，混淆矩陣計算原理如圖7所示。

圖6 預測結果與真實結果的混淆矩陣Fig.6 Confusion matrix of predicted results and real results

圖7 混淆矩陣計算原理Fig.7 Calculation principle of confusion matrix

各指標計算公式為

A=(TP+TN)/(FP+TP+FN+TN)

(1)

P=TP/(TP+FP)

(2)

R=TP/(TP+FN)

(3)

I=TP/(TP+FP+FN)

(4)

2 MASK R-CNN識別芳香晶格條紋的過程

MASK R-CNN識別芳香晶格條紋的過程，包含樣本制作、模型訓練、精度評價和結果對比4部分。整個過程的流程如圖8所示。

圖8 芳香晶格條紋識別對比流程Fig.8 Comparison flow chart of aromatic lattice fringe recognition

2.1 樣本制作

圖9展示了骨骼化方法提取芳香晶格條紋的過程中，表現出的邊緣混亂和堆疊嚴重的現象，因此解決傳統提取方法中存在的問題是樣本制作的重要內容。在正式的模型訓練之前，進行了一次預實驗。預實驗制作了一批以二值圖為基礎的樣本集，隨后將該樣本集投入模型進行訓練。預實驗結果顯示，以二值圖為樣本訓練生成的模型，其精確度只有50%。導致該預實驗結果較差的原因，與傳統提取方法存在的問題具有一定的相似性。首先是二值圖丟失了圖像信息導致了精度下降;其次是基于PS等軟件的二值化操作，存在著人為主觀性的問題，降低了數據的可靠性。針對以上問題，新制樣方法改進了預處理過程。具體樣本制作方法如下:

樣本來源于某高變質煤在不同溫度下的HRTEM圖像。HRTEM中芳香晶格條紋表現為形態大小不一的碎小斑塊或條狀斑塊，識別難度較高。為了降低肉眼的識別難度，需要先對樣本進行預處理。首先將HRTEM圖像的像素范圍按照自然斷裂法分為9級(圖10(a))。其次對圖像中的像素進行重分類，提取第一、二、三類為1，其他類為0。最后對重分類后的HRTEM進行邊界清理，獲得肉眼可辯的芳香晶格條紋底圖(圖10(b))。此操作可以避免人為選擇閾值造成可靠性降低的問題，保證標注矢量的準確性和客觀性。

圖9 骨骼化堆疊、混亂示意Fig.9 Schematic diagram of stacking and chaotic skeletonization

圖10 樣本標注示意Fig.10 Schematic diagram of sample labeling

在處理后的HRTEM上進行手工標注，作為樣本集的矢量數據(圖10(c))。將矢量數據與原始HRTEM疊加后作為基本樣本集。使用原始HRTEM作為樣本底圖，保證數據的完整性和可靠性。通過自編寫python工具將基本樣本集裁剪為計算機能夠處理的合適分辨率，如128像素×128像素和192像素×192像素(為保證裁剪邊界的芳香晶格條紋也能被學習到，裁剪為2個不相交的樣本集)。再通過python工具將裁剪樣本集轉換為MASK R-CNN可以識別的標準格式(coco數據集格式):annotations,train2014和val2014三個文件夾。最終訓練樣本為2 786張圖片，驗證樣本為310張圖片，測試樣本為252張圖片。

2.2 模型訓練和測試

進行MASK R-CNN訓練過程中，通過不斷調整config參數和優化網絡結構，最終獲得識別芳香晶格條紋最優的權重參數。訓練的硬件環境包括顯卡NVIDIA Quadro P2000、處理器Intel Xeon Silver 4110等。編譯的軟件環境為python語言，訓練過程中使用的python依賴庫為GPU版本的Tensorflow 1.15,keras 2.2.5,GDAL和arcpy等。

在config參數設置方面，ResNet網絡層數設置為101，GPU個數設置為2，STEPS_PER_EPOCH設置為1 200。為提高訓練速度，先設置高學習率(l=0.002)進行訓練，找到當前最優的權重參數，再使用低學習率(l=0.000 1)進行遷移學習。根據低學習率訓練過程中產生的訓練集Loss和驗證集Val_loss曲線擬合圖(圖11)，選擇最優的權重參數(Val_loss穩定后的最低值)。使用獲得的權重參數對測試集進行識別測試，并根據混淆矩陣計算精確度，以80%為閾值判斷該模型是否需要進行調整和再訓練。

圖11 Loss曲線擬合Fig.11 Loss curve fitting diagram

3 芳香晶格條紋識別結果及對比分析

為了驗證智能提取方法的有效性，以人工解譯結果為標準，進行與傳統提取結果的對比實驗，包括識別效果、評價指標和提取參數3個方面。

3.1 識別效果對比

將原始HRTEM圖像(圖12(a))二值化(圖12(b))后，分別進行人工識別和骨骼化處理，獲得人工解譯(圖12(c))和傳統提取(圖12(d))的結果。通過MASK R-CNN識別原始HRTEM圖像，獲得智能提取結果(圖12(e))。圖13展示了以上提取結果的局部對比情況。從整體視覺效果來看，相對于傳統提取結果，智能提取結果與人工解譯結果更接近。同時可以觀察出，傳統提取結果存在漏檢、斷線、堆疊和混亂的情況。而智能提取結果的線條更平滑，連接性更好。

圖12 人工、傳統和智能識別結果示意Fig.12 Schematic diagram of manual,traditional and intelligent recognition results

圖13 芳香晶格條紋識別對比Fig.13 Aromatic lattice fringe recognition comparison chart

3.2 評價指標對比

以人工解譯作為真實結果，依據混淆矩陣原理，分別將智能提取結果和傳統提取結果記錄到混淆矩陣如圖14，15所示，并根據公式計算評價指標記錄到表1。對比表1中2組數據，智能提取方法在4個指標上均超過了傳統提取方法，特別是在精準率上表現的尤為突出。根據評價指標的性質(數值越大，精度越高)，可以判斷出智能提取方法在提取精度方面是優于傳統提取方法的。

圖14 智能識別混淆矩陣結果Fig.14 Intelligence recognition confusion matrix results

圖15 傳統識別混淆矩陣結果Fig.15 Traditional recognition confusion matrix results

3.3 長度和取向分布對比

對人工、智能和傳統提取的結果，進行芳香晶格條紋取向和長度的統計，其中參考NIEKERK和MATHEWS[13]的分類方法，依據高變質煤HRTEM的圖像特性，增加了噪音和異常的屬性劃分，完成HRTEM芳香晶格條紋歸屬分類表(表2)，得到取向和長度分布如圖16所示。在取向趨勢方面，根據圖16(a)～(d)可以看出智能提取結果與人工解譯結果的取向趨勢更相近，而傳統提取結果在-60°(120°)附近多了一些誤差。另外從長度分布統計(圖16(e))來看，智能提取結果與人工解譯結果相近，而傳統提取結果噪音更多(長度小于0.3 nm)。

表2 HRTEM芳香晶格條紋歸屬分類Table 2 Classification of HRTEM lattice fringes

4 結 論

(1)智能提取方法與人工解譯方法相比，通過計算機算法進行識別芳香晶格條紋，降低工作成本，提高工作效率。

(2)智能提取方法與傳統提取方法相比，提高了準確率。① 智能提取方法跳過了前期預處理，直接從原始HRTEM中提取芳香晶格條紋，既避免了人為選擇閾值的主觀性問題，又保證了數據的完整性;② 在芳香晶格條紋的取向和長度統計方面，智能提取結果與人工解譯結果基本一致;③ 在評價指標方面，智能方法的準確率和精準率分別為91.2%和85.2%，高于傳統方法的89.9%和62.1%，說明了該智能提取方法的可靠性更高;④ 智能提取方法在各種復雜條件下提取的結果更趨向于智能化，表現為提取的線條平滑度更高，連貫性更好，同時也能夠自動去除噪音。