圖像識別在材料研發中的應用與展望

任姿穎，宋寶宇

（鞍鋼集團北京研究院有限公司，北京 102211）

材料科學作為通過物質的性質，研究材料的制備，采用加工工藝對材料微觀結構進行科學合理整合應用的一門跨學科科學，是未來科技發展的基礎。隨著新的工業革命時代的到來，加速材料研發進程已經成為材料研究者乃至全行業共同關注的目標，如何以低成本、高可靠性獲取材料研發過程中的實驗數據也成為亟待解決的課題。數據時代的發展使得機器學習算法和大數據技術已經逐漸結合應用到材料研發的各個方面。例如，Kiyohara［1］研究參雜劑在晶界處的偏析行為，通過運用數據挖掘技術和隨機樹、遺傳等機器學習算法獲得合金元素在晶界偏析的穩定結構。Wen等［2］通過機器學習算法輔助進行高熵合金的Al-Co-Cr-Cu-Fe-Ni系統合金成分設計，并通過迭代循環和機器學習模型相結合，獲得了具有高強度的高熵合金成分，加快了鋼鐵材料的成分實驗進程。Rehaman等［3］在研究高性能鋼及其熱處理過程中通過收集包含2 277個唯一條目的馬氏體與合金組成的數據庫，利用機器學習手段預測出鋼鐵材料中馬氏體初始溫度。V.Stanev等［4］通過材料的超導性與化學和結構性質之間的聯系，利用機器學習算法模型在整個無機晶體結構數據庫（ICSD）中搜索潛在的新超導體，并確定了大于30種非銅酸鹽和非鐵基氧化物作為超導的候選材料。但是，目前關于如何更好解決材料實驗過程中的信息提取和識別的研究較少，是迫在眉睫需要解決的課題。本文從材料科學和計算機算法應用兩個方面對材料微觀圖像識別和大數據處理技術展開討論。

1 圖像識別應用算法的技術發展

材料組織圖像識別是指通過利用計算機對材料相關組織圖像進行處理，理解與分析識別各種不同狀態下的目標和對象的技術，是基于深度學習和機器學習相關算法的實踐應用。

1.1 基于機器學習的圖像識別技術

隨著人工智能的發展，機器算法逐步應用在圖像識別中，常見的算法包括貝葉斯分類法、模式匹配等。貝葉斯分類法基于對不同特征進行分類，并通過相似度判斷是否為同一類，但存在局限性，因貝葉斯分類法的前提條件是假設一個屬性值對判斷是否同類時的影響獨立于其他屬性值，實際情況很難成立，所以分類過程中的準確率會下降。

1.2 基于深度學習的圖像識別技術

Facebook人工智能負責人YannLeCun發明的卷積神經網絡（Cnn）促使整個計算機科學在人工智能領域的應用有了新的方向。神經網絡的前身是由 Mcculloch 和 Pitts［5］建立的 M-P 模型，之后Frank定義了一個感知器模型，實現了一個真正意義上的神經網絡模型。該模型由兩層神經元構成，并對輸入和輸出層的兩層神經元連接，實現了輸入的線性分類。圖1為神經元結構示意圖。圖1中，xn為第 i個神經元的輸入；wi為權重；θi為閾值；f為函數；y為輸出。

圖1 神經元結構示意圖Fig.1 Schematic Diagram for Neuron Structure

隨著多層感知器模型的發展，誤差反向傳播模型（BP網絡）進入機器學習研究者的視野，其包含一個輸入層、一個輸出層、一個或多個隱含層。同層網絡無連接，前后兩層全連接，具有高度并行性和非線性處理能力，并在正向和反向過程中不斷循環直至達到極小誤差。BP網絡一般分為四道程序，首先對數據進行預處理，然后對模型構建、優化，最后對模型進行評價得到較優解。上述過程中可以通過優化權值和閾值找到最優解。

淺層神經網絡包括誤差反向傳播模型（BP網絡）、徑向基神經網絡（Rbf模型）、Crff模型等，存在無法解決特征維度過大，網絡層數過多，神經網絡梯度消失過擬合不足等問題，尤其在圖像處理與識別過程中。所以基于深度學習的大規模數據集自動學習圖像特征的卷積神經網絡出現在研究者的視野中，而圖像識別研究重點也逐漸轉變成優化卷積神經網絡技術，使計算資源占用情況得以改善，訓練參數得到簡化從而提升整個算法的運行效率。因其不需要對圖像進行預處理和特征提取等相關操作，所以成為圖像識別最顯著、最常用的研究方法和手段。在處理二維圖像過程中，通過多層處理特征自動提取圖像顏色、紋理、形狀及圖像的拓撲結構。

卷積神經網絡一般由輸入層、卷積層、激勵層、池化層、全連接層和輸出層構成。因其具有局部感知視野，空間域或時間域上的池化和權重共享功能，在圖像識別領域得到了廣泛的應用。就目前算法發展而言，卷積神經網絡作為圖像識別領域的主流算法正在廣泛應用于不同的領域。圖2為卷積神經網絡示意圖。

圖2 卷積神經網絡示意圖Fig.2 Schematic Diagram for Convolution Neural Network

在材料研究方向中，現階段神經網絡被廣泛應用于材料研究中的成分設計、工藝設計、服役性能預測、加速模擬、輔助表征等方面，極大促進了材料研究的發展。但因材料圖像的組織復雜，可訓練數據集過少等問題，現階段在圖像識別領域的應用亟待突破。

2 材料組織圖像識別技術的應用現狀

2.1 金相組織圖像識別研究方法

在鑄鐵金相組織識別過程中，蘭州理工大學徐健林等［6］建立球墨鑄鐵等級的評價模型并借助應用軟件對鑄鐵金相檢驗標準的球化級別分級圖進行了處理和分析。華中科技大學的吳雪平等［7］利用篩選法開發出鎂鋁合金半固態金相組織分析軟件可以得到固相率，在經過顏色過濾后利用計算像素個數得到晶粒尺寸。甘肅工業大學王智平等［8］通過邊緣檢測提取算法識別圖像并運用二值化處理圖像獲得鑄鐵金相相關組織識別結果。遼寧工程大學馮欣等［9］利用大量金屬樣本組織顯微的圖像分析所取得的特征參數與合作單位的顯微暗室成像參數進行實驗對比，結果顯示金相組織顯微圖像分析算法對金屬晶粒特征參數測量具有較好的準確率。圖像識別也可以通過對焊接接頭金相組織的定量分析實現按已知成分和組織預測接頭的性能，為合理選擇焊接方法、焊接材料和焊接工藝參數提供理論依據。

早期的定量金相分析只是采用人工方法如網格法進行標注，不僅誤差大、準確性差而且勞動強度大，現在計算機和模式識別技術已越來越多地被應用到焊接質量評價上來。西安交通大學焊接研究所的王雅生等［10］利用取得的碳鋼焊縫組織石墨化顯微圖像的自動測量研究成果，針對壓力鍋爐中溫中壓機組主蒸汽管道碳鋼部件焊縫處金相組織石墨化程度的檢測問題，將數字圖像處理和模式識別技術運用于顯微金相組織測量之中，選擇適合的算法，編程建立了一套對石墨進行形狀表征和粒度測量的圖像檢測系統。

一直以來，在圖像處理領域不斷引入一些新理論和新算法，如張紅旗等［11］對12Cr1MoV鋼金相圖像進行圖像識別，運用直方圖均衡化的方法對金相圖像進行了增強處理，使用中值濾波器對圖像進行了降噪處理后，分析小波算法的降噪機理并使用，對空間域濾波和頻域濾波的效果進行了比較，利用數學形態學的方法對圖像效果進行改善，使得珠光體的輪廓變得平滑、清晰，使用Sobel算子、LoG算子進行珠光體的邊緣提取，利用LoG算子對目標物的邊緣檢測取得了比較滿意的效果。

李新城等［12］采用改進的分水嶺方法對晶界進行了有效提取。于洋等［13］將邊界追蹤及Freeman碼的方法應用于金相的定量分析也取得顯著的成效。

隨著圖像識別基于神經網絡的算法革新，陳丹等［14］利用BP神經網絡算法對金相圖片中的粒子進行識別，并在圖像識別的降噪預處理時運用了區別于傳統二值化分割的全局和局部閾值法來進行圖像分割。

楊根濤等［15］基于HALCON機器視覺算法對鉚釘型電觸頭線材進行金相分析，通過提取金相圖像的共生矩陣并分析其特征向量，實現顆粒物形貌、尺寸、分布特征等量化分析。

賴傳濱等［16］提出了基于卷積神經網絡的虛擬邊界模型，通過轉換為二分類任務，將每個圖像的中心像素點作為檢測模型的輸入，并將該圖像的輸出作為檢測模型的輸出類別，同時在基于鈦合金的圖像數據集上進行了訓練，得到了比較好的訓練效果，但也發現了虛擬邊界不連續等問題。

2.2 基于金相組織結構分析的圖像識別技術

由于材料性能和結構之間有一定的相關性，所以人們在材料研究領域逐漸應用圖像識別技術，例如，根據金屬材料金相顯微組織結構（如圖3所示）研究其性能、成分、組織結構、加工工藝之間的關系。而傳統的分析方法一般是經驗性的定性或半定量分析，耗費大量時間才能得到結果。

圖3 鋼鐵金相組織形貌（×500）Fig.3 Appearances of Metallurgical Structures in Iron and Steel

隨著圖像識別技術在材料科學領域應用的發展，在分析晶粒感較明顯、晶粒邊界模糊、內部晶粒塊混亂時有所突破。該技術分析金相圖像的方法有很多，包括分割算法與識別算法，前者主要有基于灰度閾值、基于邊緣檢測和基于深度學習的方法。

（1）基于灰度閾值

基于灰度閾值的分割方法大部分是通過人工經驗值，或者通過圖像的灰度直方圖的特點，自適應選取一個合適的閾值對金相圖像進行分割。現階段，自適應閾值［17］、最大類間方差（Otsu）［18］是常用的最優閾值選擇方法。王桂棠等［19］提出了基于數字圖像處理技術的金相組織定量分析，基于直方圖均衡化和基于區域生長及數學形態學的兩種方法對金相組織進行圖像處理。

（2）基于邊緣檢測

理想情況下，晶粒內部強度是一致的，且晶粒內部和邊界區域之間存在強度變化。因此，基于邊緣檢測的識別技術有望將邊界檢測為邊緣，它假設圖像中的對象有清晰的邊界，其中存在明顯的強度差異。

邊緣檢測方法包括 Canny 算法［20］、Sobel算法［21］、基于拉普拉斯算子［22］的邊緣檢測方法、基于高斯差分算子的DOG方法［23］等。其中DOG方法利用兩個高斯算子構建了一個帶通濾波器，可以在去除噪聲的同時，將圖像中的平滑區也過濾掉，只剩下邊緣部分，從而達到提取邊緣的目的。此外，基于分水嶺［24-26］的方法可以用于金相圖像分割，但在分割出閉合的輪廓時，極易產生“過分割”的現象，導致金相晶粒過分割。

近年來，主動輪廓模型已經廣泛應用于圖像分割領域中，代表性的是傳統的CV模型及其變形模型［27-29］，由于主動輪廓方法是利用圖像拓撲結構的變化對圖像進行邊緣檢測，該方法迭代次數多，運行時間較長。 Heilbronner［30］開發了一種縮短時間自動檢測晶界的方法，該方法能夠捕捉特定視場的多幅圖像，使用梯度濾波器從每個圖像中檢測重要邊界，這些界限最終都結合在一起，但是它可能無法提供閉合輪廓。該方法與不同圖像的配準有關，因此存在復雜性。上述邊緣分割法均是基于圖像全局的邊緣檢測方法，然而對于某些金相圖像，例如由多個不規則顆粒及其邊界構成的晶粒圖像，基于全局的邊緣檢測算法并不適用，這時需要根據每個晶粒的局部特征對其邊緣進行檢測，從而達到分離每個晶粒的目的。在大部分基于局部的分割方法中，基于超像素的圖像分割法適用性最廣。超像素是由一系列位置相鄰且顏色、亮度、紋理等特征像素相近的像素點組成的小像素塊區域，大多保留了進一步圖像分割的有效信息，且一般不會破壞圖像中物體的邊界信息。

（3）基于機器學習

機器學習方法是通過提取出圖像中微觀組織的特征信息（包括紋理、灰度值、空間關系、角點和形態），利用可學習的分類器做出決策。例如，Papa等［31］使用分類器 Optimum Path Forest（OPF）提取紋理和灰度值來獲得鑄鐵中的石墨晶粒；Bulgarevich等［32］利用快速隨機森林自動分割鐵素體、珠光體、貝氏體和馬氏體微觀結構；Azimi等［33］利用全卷積神經網絡（FCNN）和最大投票方案來實現圖像像素級分割；Choudhury等［34］將分水嶺與卷積神經網絡（CNN）相結合，實現了鋼中相的識別；Mingchun Li等［35］提出一種基于多任務學習的更豐富的卷積特征（RCF）體系結構檢測晶界和分割金相圖像。

分布不規則的金相圖像由于標注難，晶粒小，且缺少紋理信息，邊界模糊等，可學習的內容相對較少，無法直接使用基于學習的方法進行分割。

3 存在的問題與展望

由于材料復雜的顯微組織結構甚至原子結構，很難判斷其組織與材料性能、表征特點的關系，要通過大量的實驗和相關經驗來判斷。為了縮短實驗周期，更合理地指導實驗方向并判斷材料的組織結構，將機器學習神經網絡等算法與大數據技術相結合勢在必行。更先進的算法手段對材料微觀組織識別并建立相關組織和功能特性的研究尤為重要，其中金相圖像識別和定量分析在推動和促進材料科學高效化發展具有重要作用。如何更好地響應國家提出的，材料大數據時代建立有效完善的材料圖像性能數據庫，為之后更好的材料產品研發作準備，是未來發展的新方向。未來材料圖像識別軟件也將朝著智能化、自動化、完善化、高清化的方向發展，材料研究也將步入一個嶄新的時代。

4 結語

圖像識別技術主要通過研究照片中的微觀結構和力學性能之間對應的關系，有助于根據已知成分和組織結構對材料的力學性能進行預測。利用計算機圖像識別技術自動分析材料的結構性能關系研究，既能加速材料研發進程，又能推動材料科學發展，而其中一個亟待解決的問題便是材料圖像的準確自動分割，由于材料的金相組織特殊，更好結合機器學習技術與大數據技術，將材料圖像組織與性能相結合，利用圖像識別技術得到更真實精準的結論，突破材料組織圖像圖片少、較難獲得復雜組織等困難的壁壘是現階段亟待解決的問題。