基于殘差網絡與遷移學習的斷層自動識別

張 政 嚴 哲 顧漢明

（中國地質大學（武漢）地球物理與空間信息學院，湖北武漢430074）

0 引言

斷層是地下常見的地質構造，它對于油氣勘探、工程施工、天然地震研究等具有重要意義，因此斷層識別在地震資料解釋中十分重要。當前已有很多斷層識別和解釋的方法，如相干體分析技術［1-3］、邊緣增強屬性分析技術［4］、螞蟻追蹤算法［5-6］、相似性傳播聚類與主成分分析法［7］、構造導向濾波法［8］、基于熵的各向異性擴散保邊濾波法［9］等。但是，這些方法都存在一定的局限性，如斷層相關屬性提取中存在噪聲問題，不同工區存在參數優化與適應性問題等。

隨著機器學習技術的快速發展與廣泛應用，機器學習算法已經用于地震資料的斷層識別。董守華等［10］、崔若飛［11］利用淺層全連接神經網絡，通過學習斷層的地震反射特征參數，實現了簡單的斷層識別。

隨著Lecun等［12］提出卷積神經網絡概念，多種基于卷積神經網絡算法開始用于斷層識別。Huang等［13］將卷積神經網絡、傳統機器學習算法與地震屬性相結合實現了斷層識別。Guitton［14］利用三維地震數據訓練卷積神經網絡實現了斷層的三維識別。Wu等［15］利用人工合成的斷層地震圖像訓練卷積神經網絡實現了斷層識別；Liu 等［16］利用Smooth-Grad技術直觀解釋了卷積神經網絡識別斷層的過程；Xiong等［17］、Ma等［18］和Guo等［19］利用 卷積神經網絡實現了斷層識別。Wu 等［20］利用U-Net圖像分割網絡實現了斷層識別。

Liu等［16］認為神經網絡識別結果不如人工解釋準確。Xiong等［17］和Ma等［18］認為神經網絡識別結果優于相干體技術。盡管利用卷積神經網絡可以實現斷層識別，但是目前方法仍存在一定的局限性。地球物理領域沒有大量可靠的實際斷層樣本用于訓練，而人工合成斷層地震圖像雖然解決了訓練樣本問題，但合成的斷層與實際斷層仍存在較大的差異，并且無法包含所有的實際斷層類型，導致斷層識別結果不理想。因此，訓練的斷層識別網絡模型僅在信噪比較高的測試數據上表現良好，應用于發育復雜、多樣斷層的實際地震數據時表現不佳，存在較多斷層漏識別或錯誤識別。

針對上述問題，本文提出一種基于深度殘差網絡與遷移學習的斷層識別改進方法。其中，深度殘差網絡是He等［21］提出的一種深度卷積神經網絡，它解決了深度網絡難以訓練的問題［22］，提升了網絡性能，能更好地學習目標特征；遷移學習是運用已有知識對相關問題進行求解的一種新的機器學習方法［23］，目的是遷移已有的知識以解決目標領域中僅有少量標簽樣本數據的學習問題［24］。本文利用深度殘差網絡增加網絡復雜度，利用遷移學習增強網絡的泛化能力，使網絡能夠學習更多的斷層特征，更好地適應實際地震數據。

1 深度殘差網絡識別斷層

1.1 訓練樣本構建

神經網絡識別斷層本質是構建一個神經網絡分類器，利用大量的斷層樣本訓練網絡，使網絡能夠將輸入的斷層準確分類。本文基于Wu等［15］提出的合成斷層地震圖像的方法，生成25萬個訓練樣本，包括16萬個斷層樣本與9萬個非斷層樣本。樣本共分為17類，其中斷層樣本16類，包括正角度斷層（斷層面向左傾斜）8類、負角度斷層（斷層面向右傾斜）8類，角度范圍為［－85°，－64°］、［64°，85°］，每隔3°分為一類（圖1）；非斷層樣本1類，分為“無斷層”（圖1i、圖1j）和“斷層不經過樣本中心”（圖1k、圖1l）兩種情況。每個樣本大小均為48×32像素，所有樣本的具體特征各不相同。

獲得訓練樣本后，構建一個34層的深度殘差網絡，使用合成斷層樣本訓練網絡，達到目標條件后完成訓練并保存網絡參數。最后利用實際測試樣本與實際地震數據進行測試。

圖1 部分合成樣本

1.2 殘差學習模塊構建

增加神經網絡的深度可以增加網絡的參數種類，以便更好地學習目標特征。但是，簡單地增加網絡層數會出現梯度消失、梯度爆炸、過擬合等問題，造成網絡退化。其具體表現為訓練精度與測試精度的下降。

為了解決深層網絡的退化問題，He等［21］提出了殘差學習模塊，如圖2所示。模塊的輸入為x，期望輸出為H（x），實際輸出為F（x），每個模塊右側都有捷徑將輸入值x直接傳到輸出處，輸出時需要先使用激活函數激活。由于捷徑的存在，殘差學習模塊的輸出變為F（x）＋x，學習目標變為F（x）＝H（x）－x，即網絡學習的內容變為殘差。He等［21］指出，如果網絡層數超過最佳層數，殘差網絡會將多余層訓練為F（x）＝0，即這些層的輸入與輸出相同，變為恒等映射，這樣網絡層數加深就不會造成網絡退化。

圖2 殘差學習模塊結構示意圖

殘差學習模塊不僅解決了網絡層數增加造成的退化問題，還使得網絡的學習目標簡化，難度降低，使深度神經網絡的訓練變得更加容易。

本文使用圖3所示的兩層殘差學習模塊構建殘差網絡。兩層殘差學習模塊中，卷積核的大小均為3×3，通過捷徑輸入的通道數與殘差模塊輸出的通道數相同。每層卷積操作后的特征都需要使用激活函數激活才能輸入到下一層。由于線性整流函數（Rectified Linear Unit，Re LU）相比于Sigmoid 和雙曲正切（Tanh）激活函數收斂速度更快，不容易發生梯度消失，更適合深度神經網絡［25］，因此在每層卷積操作后都使用ReLU［f（x）］＝max（0，x）函數進行激活。

圖3 兩層殘差學習模塊

1.3 網絡構建

將輸入層、卷積層、池化層、16個殘差模塊、池化層、輸出層依次連接，構成34 層深度殘差網絡（圖4）。其中，殘差學習模塊中捷徑有實線和虛線兩種。實線表示輸入與輸出通道數相同，可直接相加；虛線表示通道數不同，需要先使用1×1的卷積提升通道數，再相加。

2.1.1 提取溫度 35～85℃時隨溫度升高山竹果皮花青素提取量呈逐漸增加趨勢。其中，35～65℃時提取量的增幅較小，65～85℃時提取量的增幅較大。原因在于溫度升高，山竹果皮中酶被破壞，從而使溶液中可溶性成分的溶解度和擴散系數增大；但溫度過高，也會使不耐熱的有效成分受到破壞而失活。長時間高溫受熱，花青素易發生聚合，當溫度≤85℃時花青素提取程度遠大于分解程度，但提取的雜質含量增高[15-17]，致使提取液變渾濁；且溫度過高給后續操作帶來困難，因此，正交試驗溫度水平選用65～75℃較合適。

網絡輸入層為48×32像素的斷層圖像，圖像輸入后，經過一次卷積與最大池化，提取斷層圖像的特征進一步學習［26］。殘差模塊的輸入輸出通道數依次為32、64、128、256。圖4中有三層網絡出現“／2”標識，表示其卷積步長為2，卷積后會使圖像大小變為原來的1／4，最終圖像縮小為原來的1／64，壓縮了數據特征圖像與參數數量。輸出前再次進行最大池化，然后對應不同的斷層角度，用Softmax函數將輸出結果分為17類

式中：σ（Zj）表示不同分類的概率分布，j為分類類別；k為分類數；本文K 取17。

損失函數選用交叉熵（CrossEntropy）函數式中：L為網絡損失；yi為網絡期望輸出；^yi為網絡實際輸出。

梯度下降選用自適應矩估計（Adaptive Moment Estimation，Adam）梯度最速下降法［27］。

圖4 34層深度殘差網絡結構示意圖

1.4 網絡訓練與測試

本文使用RTX2080Ti GPU 訓練網絡。學習率設置為1×10－4，訓練批次為256，數據循環訓練5次，訓練完成后保存網絡參數并進行測試。網絡對合成斷層樣本的識別準確率為99.56%；對1000個實際斷層樣本的識別準確率為73.45%。該結果表明合成數據與實際數據之間存在一定差異，由于實際數據含噪及地層產狀復雜等原因，即使圖像特征十分相似，數據特征也無法完全一致。

使用實際的二維地震剖面對該網絡進一步測試。根據實際數據的大小，選擇合適的窗口對數據滑動掃描并逐一識別，識別過程如圖5所示。數據掃描完成后，得到斷層識別結果（圖6）。經過訓練的深度殘差網絡能夠準確識別出大多數斷層，但也存在一定的漏識別與不準確識別，圖6中黑色箭頭指示的位置為錯誤識別，紅色箭頭指示的位置為漏識別。

圖5 斷層識別與標記過程

圖6 a測線34層的殘差網絡斷層識別結果

為了解決上述問題，改進識別結果，本文引入遷移學習。

2 遷移學習

遷移學習是利用數據、任務或網絡模型之間的相似性，將在舊領域學習的網絡模型應用于新領域的一種學習過程。遷移學習解決了大數據與少標注、普適化網絡模型與個性化需求之間的矛盾［28］。

2.1 數據實驗

通過人工合成25萬個斷層樣本訓練斷層識別網絡模型，只需少量實際斷層訓練樣本即可進行遷移學習。手動提取4000個實際斷層訓練樣本，實際樣本中的斷層與非斷層的比例無需嚴格遵照合成樣本的比例。實驗發現：提取實際樣本時，若提高其中斷層樣本的比例，則會提升網絡對斷層的識別能力，減少漏識別；若提高非斷層的比例，則會提升網絡對非斷層的識別能力，減少錯誤識別。本文提取的實際訓練樣本中，斷層與非斷層的比例約為1∶1。實際斷層樣本如圖7所示。

圖7 部分實際樣本

2.2 網絡遷移

在遷移學習時，直接使用實際數據繼續訓練原有網絡。由于實際斷層樣本數量較少，因此適當增大學習率至1×10－4、批次減小為128、數據循環次數增至50次，遷移完成后保存網絡參數。

使用前述相同的1000個實際斷層樣本進行測試，遷移后的網絡在實際斷層樣本上識別準確率由73.45%提高至95.54%。該結果表明網絡成功由源領域遷移至目標領域，遷移學習效果明顯，未發生負遷移［29-30］。

對圖6 所示的二維地震剖面進行測試。結果（圖8）顯示，遷移學習后殘差網絡減少了漏識別與錯誤識別，提高了識別準確率。

圖8 a測線遷移學習后的殘差網絡斷層識別結果

3 應用效果

為了進一步檢驗深度殘差網絡與遷移學習的效果，本文測試了更多的二維、三維實際地震資料。

將改進后的網絡應用于另一條測線（圖9，與圖6地震剖面為同一二維工區），遷移學習后殘差網絡準確地識別出了斷層。相比于遷移前，減少了斷層漏識別與錯誤識別，大斷層識別連續性好，尺度較小的斷層也能準確識別。這表明經過遷移學習后，網絡學習到了實際地震資料中的斷層特征。

作為對比，本文訓練6層卷積神經網絡對圖9所示的二維地震測線數據進行識別，結果如圖10所示。訓練該卷積神經網絡時，訓練數據、學習率、批次大小、數據循環次數都與訓練34層殘差網絡時保持一致。對比圖9、圖10可以看出，殘差網絡與遷移學習結合識別結果明顯優于6層卷積神經網絡識別結果，斷層漏識別明顯減少。使用前述1000個實際斷層樣本進行測試，如表1所示，6層卷積神經網絡的識別準確率僅為57.87%，遠低于殘差網絡與遷移學習結合的方法，與圖9、圖10識別結果相符。

圖9 b測線遷移學習后的殘差網絡斷層識別結果

圖10 b測線6層卷積神經網絡的斷層識別結果

表1 不同結構神經網絡的識別準確率

將遷移學習后殘差網絡應用于不同工區的三維地震資料，識別結果如圖11～圖13所示。

其中，圖11 為工區1 的識別結果，該工區共201條測線，每條測線440 道，采樣間隔為4ms，采樣點數為751；圖12為工區2 的識別結果，該工區共441條測線，每條測線441道，采樣間隔為4ms，采樣點數為501；圖13為Kerry三維工區部分數據的識別結果，測試使用了191條測線，每條測線700道，采樣間隔為4ms，采樣點數為401。

測試結果表明，深度殘差網絡與遷移學習結合能夠有效應用于不同工區的三維地震資料的識別。使用少量實際樣本遷移后的網絡，準確識別出了三維數據中的斷層，并且大尺度斷層在切片上也具有一定的連續性，能夠直觀地顯示出三維地震資料上斷層發育情況（圖11～圖13）。此外，這三組實際資料的斷層傾角都在網絡可識別的范圍內，無需手動設置參數，能自動識別出不同傾角的斷層。

圖11 工區1三維地震資料本文方法斷層識別結果

圖12 工區2三維地震資料本文方法斷層識別結果

圖13 Kerry三維工區部分數據本文方法斷層識別結果

4 結束語

訓練樣本是神經網絡識別斷層的基礎。少量的實際訓練樣本難以訓練深度神經網絡；人工合成的訓練樣本雖然數量龐大，但合成數據與實際數據存在特征差異。將合成數據的數量優勢與實際數據的復雜特征相結合，可以提高神經網絡斷層識別準確率。

本文基于深度殘差網絡首先利用人工合成的大量斷層及非斷層樣本進行訓練，然后加上少量的實際斷層樣本進行遷移學習，提升了網絡性能，增強了網絡結構的泛化能力，從而提高了實際數據中斷層識別的準確率。分析及應用表明，與僅使用合成數據訓練的深度殘差網絡相比，遷移學習后的深度殘差網絡能夠更加準確地識別斷層，并且經過一次遷移學習后的網絡可以適用于不同地區的實際資料。

本文方法依然存在不足之處，主要有：①斷層識別及定位采用的是滑窗方式實現，與目標檢測類的算法相比效率較低，對于本文中使用的實際數據，識別時間在1個小時左右；②由于在獲取的地震數據中，斷層基本都屬于同一類型，因此無法檢驗本文方法對一些更為復雜類型的斷層的識別準確率。