改進的卷積神經(jīng)網(wǎng)絡及在地層識別中的應用

肖 紅，張瑤瑤*，張福祿

(1.東北石油大學 計算機與信息技術學院，黑龍江 大慶 163318；2.東北石油大學 電氣信息工程學院，黑龍江 大慶 163318)

0 引 言

深度學習能夠有效地從原始輸入數(shù)據(jù)中提取抽象且具有良好泛化能力的特征表示[1]，卷積神經(jīng)網(wǎng)絡就是其代表算法之一，在計算機視覺中的圖像分類[2]、圖像語義分割[3]、目標檢測[4]等方面取得了突破性的成功。

地層識別是在一個油區(qū)范圍內對全井段地層信息進行處理[5]，結果直接影響后續(xù)測井解釋和儲層評價的準確性[6]。眾多學者利用測井曲線形態(tài)進行地層識別研究[7]。近年來，聚類分析[8]、BP神經(jīng)網(wǎng)絡[9]、貝葉斯判別[10]等人工智能算法也逐漸應用于油氣勘探工作中。

卷積神經(jīng)網(wǎng)絡的原理[11]與人工地層識別中對測井曲線的特征提取與分析有相通之處，利用卷積神經(jīng)網(wǎng)絡開展自動化地層識別具有廣闊的應用前景。因此，文中基于深度卷積Ghost模塊，利用擴張卷積構造雙向級聯(lián)網(wǎng)絡，對不同尺度特征信息進行交換，有效提高地層識別的準確率。

1 預備知識

1.1 Ghost模塊

卷積操作提取的特征圖冗余嚴重且計算成本大。Ghost模塊[12]通過卷積得到部分特征圖，基于已存在的特征映射，運用低成本變換得到其他可以充分揭露內在特征信息的相似特征圖，既可以減少模型參數(shù)量，也可以減少模型運算量，提高網(wǎng)絡性能。Ghost模塊結構如圖1所示。

圖1 Ghost模塊

在搭建網(wǎng)絡時，文中將Ghost模塊組成Ghost瓶頸結構。步長為2時增添深度可分離卷積結構。與使用1*1大小點卷積的MobileNets[13]、Shufflenet[14]等模型相比，Ghost瓶頸結構中可以自定義卷積核大小。以前模型架構[15-16]處理特征圖的操作僅限于深度卷積或移位操作，而Ghost瓶頸結構恒等映射與線性變換并行進行，從而保留固有特征圖。

1.2 擴張卷積

文中欲搭建的網(wǎng)絡需要具有聚合多尺度信息能力，而擴張卷積[17](dilated convolution，Dconv)可以在不丟失分辨率或者重新縮放圖像的前提下，聚合多尺度上下文信息。其原理如下：

設F:Z2→R為離散函數(shù)。令Ωr=[-r,r]2∩Z2并令k:Ωr→R是(2r+1)2的離散濾波器。離散卷積運算*可以定義為：

(1)

設l是擴張因子并定義：

(2)

*l為擴張卷積或者擴張l倍的卷積，常見的卷積操作是擴張1倍的卷積。

設F0,F1,…,Fn-1:Z2→R為離散函數(shù)，令k0,k1,…,kn-2:Ω1→R為離散的3×3濾波器，使用擴張因子濾波器：Fi+1=Fi*2iki(i=0,1,…,n-2)，定義Fi+1中元素p的感受野作為F0的一組修改為Fi+1(p)的元素，設Fi+1中p的感受野的大小為這些元素的數(shù)目。顯而易見，F(xiàn)i+1中每個元素的感受野的大小是(2i+2-1)×(2i+2-1)，有效增加了感受野范圍。

1.3 雙向級聯(lián)網(wǎng)絡結構

雙向級聯(lián)網(wǎng)絡(bi-directional cascade network，BDCN)[18]的雙向損失函數(shù)監(jiān)督學習模式在每一層中負責監(jiān)督訓練，使每一層都集中在一個特定的尺寸上，并對所有層輸出進行融合。

在BDCN中，假設Y是邊緣標簽，標簽可以分為小部位邊緣和大部為邊緣，即邊緣標簽中存在很大的尺度變化，那么Y可以分解成多種尺度的疊加：

(3)

其中，YS是某一個特征的尺度的標簽。

(4)

其中上標s2d表示從淺層到深層的傳播，d2s表示從深層到淺層的傳播。

2 雙向級聯(lián)GhostNet模型

2.1 網(wǎng)絡模型結構

多尺度表示對于地層識別至關重要，文中設計了利用擴張卷積生成多尺度特征，并利用BDCN自動學習不同圖層中的尺度的網(wǎng)絡模型—雙向級聯(lián)GhostNet。雙向級聯(lián)GhostNet網(wǎng)絡的多個ID block通過雙向級聯(lián)結構推斷出不同的監(jiān)督來學習。具體而言，該網(wǎng)絡基于GhostNet，在其第二層添加一個卷積層，然后將GhostNet中的13個卷積層分成6個區(qū)塊，每個區(qū)塊遵循一個匯集層，逐步擴大下一個區(qū)塊中的感受域。其具體結構如圖2所示。

圖2 雙向級聯(lián)GhostNet結構

2.2 運算關系

2.3 計算效率

對于給定數(shù)據(jù)X∈Rc×h×w(c、h和w分別表示輸入數(shù)據(jù)的通道數(shù)、高和寬)，任意卷積層生成n個特征圖的運算可表示為：

Y=X*f+b

(5)

其中，*表示卷積操作，b表示偏量，Y∈Rn×h'×w'表示n通道的輸出特征圖(h'和w'表示輸出數(shù)據(jù)的高和寬)，f∈Rc×k×k×n表示在此卷積層的卷積濾波器(k×k表示卷積濾波器的內核大小)。

卷積操作過程的浮點運算數(shù)為nh'w'ck2，通常多達數(shù)十萬。根據(jù)等式(5)可知，f和b中需要優(yōu)化的是輸入和輸出特征圖的尺寸。假設輸出特征圖是通過廉價操作得到的固有特征映射的相似圖，固有特征圖由普通的卷積濾波器生成。M個固有特征映射Y'∈Rm×h'×w'通過使用一次卷積：

Y'=X*f

(6)

為簡單起見，省略了偏置項。根據(jù)Y'上的固有特征生成相似特征圖：

(7)

(8)

其中，d×d的大小與k×k的大小相似，而s<

(9)

由此可見，使用Ghost模型，能夠減少卷積計算中的冗余，有效提高計算速度。

3 基于雙向級聯(lián)GhostNet的地層識別方法

測井曲線是地質勘探人員對復雜礦場情況進行觀測和分析的有效措施。文中結合專家經(jīng)驗、油藏描述等專業(yè)相關知識，進行測井曲線組合優(yōu)選，并通過數(shù)據(jù)分層、沃爾什濾波以及分段線性插值等方法對數(shù)據(jù)進行預處理，將測井曲線形態(tài)轉換為二值圖像，構建樣本數(shù)據(jù)集，并運用卷積神經(jīng)網(wǎng)絡進行識別。操作流程如圖3所示。

圖3 地層識別方法流程

3.1 曲線組合優(yōu)選

在實際地層對比工作中，收集選定的油田區(qū)域每口井的測井曲線作為原始數(shù)據(jù)，但不同的測井曲線對地層對比的貢獻程度不盡相同。例如，筇竹寺組具有極高自然伽馬和低電阻率的特性，而燈四段伽馬低值，曲線近乎平直，偶夾小齒狀，電阻率高值。此外，不同油田區(qū)域具有不同的地質環(huán)境，因此在進行地層識別研究時，需要根據(jù)地區(qū)特性來進行測井曲線組合優(yōu)選，有利于構造高質量的訓練樣本，從而提升網(wǎng)絡的訓練效率和泛化能力。

3.2 數(shù)據(jù)預處理

實際測井曲線存在尖銳點、每層的數(shù)據(jù)點個數(shù)不同等問題，為解決這些問題，在構建訓練集前，選用沃爾什濾波對數(shù)據(jù)進行異常點清洗，并采用分段線性插值法將每層數(shù)據(jù)點個數(shù)統(tǒng)一化。

3.2.1 沃爾什濾波

為避免數(shù)據(jù)在測井過程中因設備或信號等原因產(chǎn)生異常點，對最后分類準確率產(chǎn)生影響，文中采用沃爾什濾波對所有測井曲線片段進行處理，剔除異常點。

沃爾什濾波變換核為：

(10)

其中，bk(z)為z的二進制第k位值。

設f(x)為離散序列，沃爾什濾波變換表示為：

(11)

其中，u=0,1,…,N-1;N=2n。

沃爾什濾波反變換核為：

(12)

沃爾什濾波反變換公式為：

(13)

3.2.2 分段線性插值

為解決小層厚度不相等問題，統(tǒng)計各小層數(shù)據(jù)點個數(shù)，根據(jù)統(tǒng)計結果統(tǒng)一數(shù)據(jù)點個數(shù)為L，對少于或多于此長度的測井曲線片段分別進行插值和抽稀操作。為避免高次插值在插值區(qū)間邊界產(chǎn)生劇烈動蕩，文中采用分段線性插值法進行插值與抽稀。

原理如下：

設已知節(jié)點a=x0

(14)

滿足φ(xi)=yi，其中i=0,1,…,n，且在每個小區(qū)間[xi,xi+1](i=0,1,…,n)上φ(x)是線性函數(shù)。

3.3 基于雙向GhostNet模型的網(wǎng)絡訓練

3.3.1 樣本圖像構造方法

3.3.2 實施網(wǎng)絡訓練

采用樣本圖像構造方法，將測井曲線形態(tài)轉換為二值圖像，對不同地層的圖片進行類別標注，分別記為1-7，并將樣本圖像隨機劃分為訓練數(shù)據(jù)集和測試數(shù)據(jù)集。網(wǎng)絡參數(shù)包括：訓練迭代次數(shù)、每次輸入網(wǎng)絡的樣本數(shù)量、初始學習率、動量因子、權重衰減因子等。采用Adam優(yōu)化方法對網(wǎng)絡進行多次重復訓練，直到對測試集樣本達到滿意的識別率，訓練結束。經(jīng)過訓練后的網(wǎng)絡可以直接用于未知類型的地層識別，具體方法為：將未知類型地層的特征數(shù)據(jù)預處理為與訓練樣本相同的圖像，直接提交訓練后的網(wǎng)絡，根據(jù)網(wǎng)絡輸出即可判定類別。

4 實驗及結果分析

4.1 資料數(shù)據(jù)

實驗數(shù)據(jù)來自西南盆地，文中主要研究層段為：龍王廟、滄浪鋪、筇竹寺、燈四2、燈四1、燈三段以及燈二段，共計7個地層。

根據(jù)已有地質結構資料來評估測井曲線組合特征和已知地層劃分之間的對應關系，通過分析對比，文中選擇對地層識別影響較大的五種測井曲線：聲波時差(AC)、補償中子(CAL)、自然伽馬(GR)、梯度電阻率(RT)以及自然電位測井曲線(SP)。本次數(shù)據(jù)共包含739口井，每口井優(yōu)選5條測井曲線，每條曲線分為7層，根據(jù)小層起始深度和終止深度對測井曲線進行分層，分層后獲得25 865個曲線片段。

4.2 數(shù)據(jù)處理

為解決測井曲線異常點波動過大問題對礦場數(shù)據(jù)的25 865個曲線片段進行沃爾什濾波，沃爾什濾波變換系數(shù)設置為1。對小層數(shù)據(jù)點個數(shù)進行統(tǒng)計，取平均值1 000為統(tǒng)一數(shù)據(jù)點個數(shù)。對于少于此數(shù)值的小層曲線進行插值，多于此數(shù)值的小層曲線進行抽稀。部分數(shù)據(jù)處理前后如圖4所示，original離散點表示原始數(shù)據(jù)，數(shù)據(jù)點個數(shù)大于統(tǒng)一值，對數(shù)據(jù)采用分段線性插值原理進行數(shù)據(jù)抽稀；interpolation離散點表示對數(shù)據(jù)進行抽稀后得到的結果，數(shù)據(jù)量雖減少但仍可保持曲線形態(tài)；Walsh filtering離散點表示進行沃爾什濾波后的曲線形態(tài)，曲線尖銳部分變得平滑。

圖4 數(shù)據(jù)處理前后對比

4.3 構造樣本圖像

根據(jù)曲線統(tǒng)計結果可得，五種曲線的最大值和最小值分別為Maxi∈{585,44,115,1 106,100}、Mini∈{0,0,0,0,-116}，構造大小為1 000*3 325像素的0值圖像，為保證圖片大小適中，對曲線等比例縮放，最終圖像大小為1 000*1 000像素，依次將5條測井曲線片段映射到對應位置，共獲得5 173張映射圖，七層地層曲線形態(tài)圖如圖5所示。隨機選擇80%測井曲線數(shù)據(jù)作為訓練集，20%作為測試集。

圖5 測井曲線映射圖

4.4 比較分析

網(wǎng)絡采用pytorch框架，Linux操作系統(tǒng)下應用Nvidia RTX 2070 GPU進行編譯、訓練及測試。

GhostNet、擴張卷積GhostNet和雙向級聯(lián)GhostNet初始學習率分別為0.4、0.1和0.1，學習率每迭代30次減少10倍，權重衰減因子為0.000 1，Nesterov動量因子為0.9。GhostNet使用隨機梯度下降優(yōu)化算法，擴張卷積GhostNet和雙向級聯(lián)GhostNet使用Adam優(yōu)化算法。訓練迭代次數(shù)為250，批量大小為64。GhostNet損失函數(shù)結果如圖6(a)所示，擴張卷積GhostNet損失函數(shù)結果如圖6(b)所示，雙向級聯(lián)GhostNet網(wǎng)絡的損失函數(shù)結果如圖6(c)所示，網(wǎng)絡參數(shù)量及測試集上的準確率如表1所示。

(a)GhostNet損失函數(shù)下降曲線 (b)擴張卷積GhostNet損失函數(shù)下降曲線 (c)雙向級聯(lián)GhostNet損失函數(shù)下降曲線

表1 地層識別準確率

為了驗證文中方法相比現(xiàn)有方法的優(yōu)勢，與MobileNetV3、ResNet34進行對比實驗。ResNet34優(yōu)化器為均方根傳播優(yōu)化算法，初始學習率為0.045，每迭代2次后以0.94的指數(shù)速率衰減。MobileNetV3使用相同優(yōu)化算法，動量為0.9，初始的學習率為0.1，每3個迭代學習率因子衰減0.01。

實驗結果如表2所示，改進后的網(wǎng)絡在地層識別上的準確率分別高達96.67%，比同類算法平均提升6.18%，且參數(shù)量較少。

表2 同類方法地層識別準確率

對于文中模型在地層識別問題中所展示出的優(yōu)勢，給出如下理論分析。首先，由損失函數(shù)下降曲線圖可知，GhostNet損失函數(shù)值下降，但曲線震蕩，網(wǎng)絡在學習過程中可能遇到瓶頸。隨后，將普通卷積替換為擴張卷積，有效提高了網(wǎng)絡的學習與泛化能力，損失函數(shù)下降曲線收斂速度較快。最后，雙向級聯(lián)GhostNet每一層的雙向監(jiān)督機制，解決了訓練策略的問題，網(wǎng)絡收斂效果較好，網(wǎng)絡特征提取能力增強，得到穩(wěn)定的性能提升。

5 結束語

文中提出了一種雙向級聯(lián)GhostNet的新方法，并將其應用于實際地層識別中。首先，更改GhostNet模塊中的普通卷積為擴張卷積，從而獲得多尺度表示；其次，構建雙向級聯(lián)網(wǎng)絡，使用雙向損失函數(shù)對學習過程進行監(jiān)督，增強識別準確性；最后，將測井數(shù)據(jù)進行預處理，將測井曲線形態(tài)轉化為二值圖片，構造樣本數(shù)據(jù)集，使用樣本圖像進行網(wǎng)絡訓練及測試。實驗結果表明，該方法不僅具有較高的地層識別準確率而且網(wǎng)絡參數(shù)量較少，優(yōu)于同類的對比方法，從而表明提出的改進措施是有效的、可行的。