卷積神經網絡在巖石薄片圖像檢索中的應用初探

程國建 岳清清

摘 要： 近幾年來，卷積神經網絡引起了國內外研究者的廣泛關注，并在大規模圖像處理方面有出色的表現，尤其在模式識別領域。將地質勘探與計算機技術相結合，在巖石圖像處理方面已經取得了較好的成績，并且還在不斷的探索中，以求更好地投入到實際中去。對于地質勘探研究者來說，對于大量的巖石薄片圖像，如何進行快速并且有效的檢索是值得研究的領域課題。傳統的基于文本的檢索方式已不能滿足要求，為此，本文試圖將卷積神經網絡引入到巖石薄片圖像的檢索中，分析其在巖石薄片圖像檢索中的可行性。

關鍵詞： 卷積神經網絡；巖石薄片；圖像檢索；特征提取

Abstract：In recent years Convolutional Neural Network has attracted wide attention of researchers at home and abroad and it has excellent performance in large-scale image processing especially in the field of pattern recognition.The combination of geological exploration and computer technology has achieved good results in the process of rock image processing and it is still in constant exploration in order to better put into practice.For geological exploration researchers it is a necessary research area for a large number of images of rock flakes to be retrieved quickly and efficiently.Traditional text-based retrieval methods can't meet the requirements this paper attempts to introduce Convolution Neural Network into the rock slice image retrieval and analyze its feasibility in the rock slice image retrieval.

Key words： Convolutional Neural Network；rock slices；image retrieval；feature extraction

引言

隨著多媒體技術和互聯網的飛速發展，擴大圖像源已滲透到日常生活中，高速大容量的存儲系統提供了對目標圖像的海量存儲的基本保證，而各行業對圖像的使用正日趨廣泛，圖像信息資源的管理和檢索也越發顯得重要[1]。從地質研究方面來看，不斷有新的巖石薄片圖像產生與涌現，因此，對大量的巖石薄片圖像進行優化管理是地質界亟待解決的研究問題。

圖像檢索是查找和返回大規模圖像數據庫中感興趣圖像的一種必要的有效方法。一個完整的圖像檢索系統基本包括2個重要的組成部分，即特征提取和相似性度量。其中，特征提取的重點是為圖像生成準確的特征表示，而相似度度量則側重于特征匹配，以確定查詢圖像與數據庫中其它圖像的相似性。目前，圖像檢索常用的方法主要有：基于內容的圖像檢索（CBIR）、基于語義的圖像檢索、基于反饋的圖像檢索，以及人工智能和基于知識的圖像檢索。現對如上的各類方法將給出如下設計內容闡析。

（1）基于內容的圖像檢索。CBIR采用在圖像系統中獨立存在的特征，即低級的形狀、顏色、大小等特征來進行檢索，并建立索引，檢索的性能主要和提取的特征有關。

（2）基于語義的圖像檢索?；谡Z義的特征檢索和基于物理特征的檢索有很大的不同，這種技術的主要目的是減少圖像的視覺特征和豐富語義間的表達距離，通常由特征變換來消除語義鴻溝。通過對低層特征的轉換，可以實現基于語義的圖像檢索，不需要改變圖像特征數據庫的現有方式和圖像的匹配模式[2-3]。

（3）基于反饋的圖像檢索?；诜答伒幕舅枷敕椒ㄊ窃试S用戶評估結果和標記，將檢索到的圖像和用戶想要得到的查詢圖像進行比對，將比對后的誤差作為信息反饋給系統，使系統可以調整下一次的訓練。基于反饋的圖像檢索系統在需要用戶參與的情況下，可以得到更準確的搜索結果，具有很大的實用價值。

（4）人工智能和基于知識的圖像檢索。該技術主要是將人工智能與圖像處理領域中的知識相結合，在具備先驗知識的基礎上設計展開的智能檢索。

隨著深度學習和圖像處理算法的發展，圖像檢索技術在醫學圖像管理、衛星遙感圖像分析、計算機輔助設計與制造、地理信息系統和刑事犯罪識別系統等領域得到了廣泛的應用[4]。許多學者也對圖像檢索貢獻了大量研究，如：張洪群等[5]用半監督的學習算法對遙感圖像檢索進行了研究；厲智等[6]用深度卷積神經網絡對服裝圖像分類檢索算法發表了研究成果；也有許多學者將智能計算和機器學習算法應用在地質方面，取得了可觀進展[7～8]。雖然圖像處理和深度學習算法也已大范圍應用于圖像處理中，但目前尚未涉及到巖石薄片的檢索。

對此，本文將卷積神經網絡（CNN）應用于巖石薄片圖像的檢索中。CNN是深度神經網絡中應用最為廣泛的神經網絡，主要用于解決識別與分類問題。

1 卷積神經網絡

1.1 卷積神經網絡概述

卷積神經網絡（Convolutional Neural Network，CNN）是目前深度學習算法中至關重要的一種深層網絡，因其可以直接對輸入的圖像進行操作而使得應用范圍日趨廣闊。CNN可以看成是一種含有隱層的多層感知器結構，與其它網絡結構相比較，CNN引入了卷積層和池化層。其中，卷積層用于對輸入圖像進行特征提取，而池化層主要是對卷積層提取的特征進行聚合。

卷積神經網絡具有局部感知的特性，即不同的卷積核對圖像的不同部分進行特征卷積，而不同的局部感受進行參數共享，CNN的另一個特性是參數共享。CNN一般包括輸入層、卷積層、池化層、全連接層、輸出層，并且卷積層后面就接著池化層，CNN的基本結構如圖1所示。

1.2 卷積神經網絡的訓練方法

卷積神經網絡的訓練類似于BP算法，分為前向傳播和反向傳播兩個過程[9]。具體闡述如下：

2 卷積神經網絡應用于巖石薄片圖像檢索

利用卷積神經網絡對圖像進行檢索，究其本質就是基于內容的圖像檢索，即通過圖像的內容搜索到相似的圖像，這就使得圖像的特征表示和相似度的測量已然成為圖像檢索技術中居于首要位置的2個組成部分[10]。對此，可借助卷積神經網絡自動提取圖像特征這一鮮明優勢來進行巖石薄片圖像的檢索，從而顯著提高檢索效率。

2.1 通過卷積神經網絡提取特征

通常，CNN中淺層提取的是一些局部信息諸如邊緣特征和顏色特征等，而深層特征是對淺層特征的抽象和組合，因此可以認為深層特征映射往往表征著圖像總體的、抽象的特征，而淺層特征映射則更多地表示具體的、局部的特征[11]。研究中，可以預先訓練一個CNN模型，并將該模型作為特征提取器，直接從其特定層中提取深度特征。

從一定程度而言，全連接層的特征可以視為全局特征，而前期的工作已經證明了在使用圖像檢索時局部特征比全局特征將具備更好的性能[12-13]。因此，研究CNN是否能夠生成局部特征以及如何將這些局部描述符聚集成一個緊湊的特征向量即已成為重點與關鍵?，F在也有一些工作正在著力探索研究如何通過激活全連接層和卷積層來生成緊湊的特征向量[14]。

當前卷積層的特征映射是通過在固定層的輸出特征圖上滑動濾波器（卷積核）來計算，因此特征映射的每個單元就對應于圖像的局部區域。要計算這個局部區域的特征表示，這些特征映射的單元就需要重新組合。圖2說明了從最后一個卷積層（Conv5）提取特征的過程。設n和m分別是特征映射的數目和大小。局部描述符可以通過如下方式來做出定義：

2.2 利用PCA進行特征降維

常用的圖像數據降維方法包括特征抽取和特征選擇。在特征抽取中，常用的方法就是主成分分析（Principal Component Analysis，PCA）[15]。其目的旨在運用較少的變量去充分表征原有集合中的大部分變量，將研究過程中許多相關性很高的變量轉化為彼此相互獨立或不相關的變量。PCA算法的基本步驟可分述如下：

2.3 圖像檢索過程

巖石薄片圖像的檢索有2個階段，分別是：建庫與檢索，均由采集圖像、預處理圖像、提取特征、特征映射四部分組成，而檢索部分還含有相似度計算和制定決策兩個部分，如圖3所示。進一步地，建庫階段是指巖石薄片經過特征提取、特征映射得到特征向量，并將該特征向量存儲到巖石薄片數據庫，如圖4所示。檢索階段是指巖石薄片作為輸入，與數據庫中巖石薄片圖像進行一對多匹配檢索，具體如圖5所示。

2.4 技術處理

主要的技術處理可分為6個階段，對其內容表述如下：

（1）利用采集設備對巖石薄片圖像進行采集；

（2）對采集到的巖石薄片進行預處理（增強、去噪等）；

（3）建立可提取巖石薄片特征的深度卷積神經網絡，并對該模型進行訓練，使其能較好地表達圖像；

（4）利用深度卷積神經網絡對處理后的巖石薄片進行特征提取；

（5）對提取的特征進行建庫管理，即特征數據庫；

（6）利用相似性特征進行檢索。

基于卷積神經網絡的巖石薄片圖像檢索擬定技術處理過程如圖6所示。

2.5 相似性度量與性能評估

2.5.1 相似性度量方法

圖像檢索需要估算不同樣本數據之間的相似性，一般采用的方法是計算樣本間的距離。而常用度量方法為：歐式距離、漢明距離等。本文擬采用歐式距離和漢明距離對待檢索巖石薄片圖像和數據庫中圖像的相似程度進行計算，選擇最符合巖石薄片圖像的相似度度量公式。

（1）歐式距離。是很容易理解的一種計算距離的方法，二維特征向量的情況下的數學表示可見如下：

2.5.2 性能評估

本文擬采用查準率（Precision）和查全率（Recall）來對巖石薄片圖像檢索的性能進行評估。查準率和查全率可分別如式（7）和式（8）所示：

3 結束語

本文首先總述了目前流行的幾種圖像檢索方法。其次，在深度學習這一熱門研究領域的背景下，重點研究提出了卷積神經網絡的基本結構及訓練方法。將卷積神經網絡應用到巖石薄片的檢索中，擬定了巖石薄片圖像檢索的框架和技術路線。通過分析，可證明本文提出的方法在實際應用中具有可行性。卷積神經網絡可以更好表達圖像特征，減少了手工設計特征的工作量，同時也避免了傳統的巖石薄片圖像鑒定的主觀性。

參考文獻

[1] GONG Yunchao LAZEBNIK S GORDO A，et al. Iterative quantization： A procrustean approach to learning binary codes for large-scale image retrieval[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence 2013，35（12）： 2916-2929.

[2] WANG Xiaoyu YANG Ming COUR T，et al.Contextual weighting for vocabulary tree based image retrieval[C]// 2011 IEEE International Conference on Computer Vision （ICCV）. Barcelona Spain：IEEE 2011：209-216.

[3] EITZ M HILDERBRAND K BOUBEKEUR T et al. Sketch-based image retrieval： Benchmark and bag-of-features descriptors[J]. IEEE Transactions on Visualization and Computer Graphics 2011，17（11）： 1624-1636.

[4] WU Lei RONG Jin JAIN A K. Tag completion for image retrieval[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence 2013，35（3）： 716-727.

[5] 張洪群，劉雪瑩，楊森，等. 深度學習的半監督遙感圖像檢索[J]. 遙感學報，2017 21（3）：406-414.

[6] 厲智，孫玉寶，王楓，等.基于深度卷積神經網絡的服裝圖像分類檢索算法[J]. 計算機工程，2016，42（11）：309-315.

[7] 程國建，馬微，魏新善，等.基于圖像處理與神經網絡的巖石組構識別[J]. 西安石油大學學報（自然科學版），2013，28（5）： 105-110.

[8] MOLLAJAN A GHIASI-FREEZ J MEMARIAN H. Improving pore type identification from thin section images using an integrated fuzzy fusion of multiple classifiers[J]. Journal of Natural Gas Science and Engineering，2016，31（4） ： 396-404.

[9] 程國建，郭文惠，范鵬召. 基于卷積神經網絡的巖石圖像分類[J]. 西安石油大學學報（自然科學版），2017，32（4）：116-122.

[10]鄭瑩雪. 基于深度學習的圖像檢索[D]. 長春：吉林大學，2016.

[11]包青平. 基于深度學習的服裝圖像分類與檢索[D]. 杭州：浙江大學，2017.

[12] [ZK（#]YANG Yi NEWSAM S. Geographic image retrieval using local invariant features[J]. IEEE Transactions on Geoscience and Remote Sensing 2013 51（2）： 818-832.

[13]ZKAN S ATES T TOLA E et al. Performance analysis of state-of-the-art representation methods for geographical image retrieval and categorization[J]. IEEE Geoscience and Remote Sensing Letters 2014 11（11）：1996-2000.

[14]NG J Y YANG FAan DAVIS L S. Exploiting local features from deep networks for image retrieval[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition Workshops（CVPRW）. Boston，MA USA：IEEE，2015：53-61.

[15]JOLLIFFE I. Principal component analysis[M]. 2nd ed. New York：Springer 2002.