基于機(jī)器學(xué)習(xí)的地層序列模擬*

周翠英 張國豪 杜子純 劉 鎮(zhèn)

(①中山大學(xué)土木工程學(xué)院 廣州 510275)(②中山大學(xué)工學(xué)院 廣州 510275)

0 引 言

地層結(jié)構(gòu)是漫長的地質(zhì)作用的結(jié)果，在時(shí)空分布上表現(xiàn)為不均勻、不規(guī)則性等，但在宏觀上具有統(tǒng)計(jì)上的規(guī)律性。弄清地層結(jié)構(gòu)及其規(guī)律是地質(zhì)信息化的基礎(chǔ)，同時(shí)不良地層的分布也是工程建設(shè)的重點(diǎn)關(guān)注對(duì)象。如何利用有限的鉆孔資料進(jìn)行地層結(jié)構(gòu)及分布規(guī)律的研究，是地質(zhì)學(xué)與工程地質(zhì)領(lǐng)域中的重要課題。

地層結(jié)構(gòu)與分布規(guī)律的研究，鉆孔數(shù)據(jù)是基礎(chǔ)，它可以提供準(zhǔn)確的地層結(jié)構(gòu)信息，但是成本高，耗時(shí)長，同時(shí)具有離散性。如何有效利用有限的鉆孔數(shù)據(jù)進(jìn)行地層分布規(guī)律的研究成為了人們普遍關(guān)注和探索的問題。選擇不同的插值方法連接鉆孔數(shù)據(jù)，繪制二維地質(zhì)剖面或建立三維地質(zhì)模型是模擬特定區(qū)域的地層情況的主要方法。其中，三維地質(zhì)建模在地層構(gòu)建上有多種選擇，主要分為面模型與體模型。面模型有以數(shù)字高程表征地形空間特征的DEM模型(Song et al.，2018)和以不規(guī)則的三角網(wǎng)格表示地層分界面的TIN模型(Watson et al.，2015)。體模型通過體元進(jìn)行三維地層實(shí)體的構(gòu)造，以三棱柱模型(Zhang et al.，2015)和四面體模型為主，還有周翠英等(2006)提出的塊體理論。無論二維剖面圖或三維地質(zhì)模型，鉆孔連接的插值方法有多種選擇，如線性插值、多項(xiàng)式插值、反距離插值與克里金插值等，模擬效果存在差異。模型建模與插值方法的選取受主觀因素影響，具有局限性的同時(shí)缺乏科學(xué)合理性，因而無法推廣應(yīng)用。如何規(guī)避主觀因素，利用智能的方法對(duì)地層分布進(jìn)行模擬是地質(zhì)信息化研究與工程設(shè)計(jì)建設(shè)中值得探索的問題。

機(jī)器學(xué)習(xí)近年來發(fā)展迅速，與傳統(tǒng)的統(tǒng)計(jì)學(xué)觀念相比，雖然兩者的目的都是挖掘數(shù)據(jù)中潛在的信息，但統(tǒng)計(jì)學(xué)手段在探索數(shù)據(jù)規(guī)律的過程中會(huì)基于經(jīng)驗(yàn)引入假設(shè)與建立模型，其結(jié)果具有較高的可解釋性(Breiman， 2001)。機(jī)器學(xué)習(xí)手段則不對(duì)數(shù)據(jù)作假設(shè)，而是檢驗(yàn)輸出與數(shù)據(jù)標(biāo)簽的接近程度，通過BP(Back Propagation，誤差反向傳導(dǎo))算法不斷調(diào)整參數(shù)以獲得更高的準(zhǔn)確率。

當(dāng)前，機(jī)器學(xué)習(xí)被廣泛應(yīng)用于不同研究領(lǐng)域當(dāng)中，在圖像識(shí)別、語言翻譯、無人駕駛等方面取得了優(yōu)秀的表現(xiàn)。在地質(zhì)學(xué)與工程領(lǐng)域，Rodriguez-Galiano et al. (2015)在礦產(chǎn)勘查中應(yīng)用決策樹原理； 段友祥等(2016)和Wang et al. (2017)分別利用卷積神經(jīng)網(wǎng)絡(luò)和極限學(xué)習(xí)機(jī)(ELM)與主成分析(PCA)進(jìn)行了儲(chǔ)層厚度的預(yù)測； 季斌(2017)對(duì)比了多種機(jī)器學(xué)習(xí)算法進(jìn)行了礦產(chǎn)預(yù)測； 黃宏偉等(2017)基于深度學(xué)習(xí)進(jìn)行了隧道滲漏水圖像識(shí)別； Bhattacharya et al. (2006)和Yang et al. (2015)進(jìn)行了土壤分類的研究； 張濤(2016)利用多層感知器與BP神經(jīng)網(wǎng)絡(luò)研究了化學(xué)元素與巖漿巖、沉積巖巖性及沉積巖礦物的關(guān)系； 陳冠宇等(2016)、沙愛民等(2018)和程國建等(2016)分別利用卷積神經(jīng)網(wǎng)絡(luò)判斷不良地質(zhì)體、地表病害與巖石種類。另外，Zhang et al. (2011)基于高斯過程預(yù)測巖溶塌陷； Korup et al. (2014)和闕金聲等(2016)進(jìn)行了山體滑坡的相關(guān)研究。然而，目前國內(nèi)外基于鉆孔數(shù)據(jù)的地層分布機(jī)器學(xué)習(xí)研究正處于起步階段，國內(nèi)外相關(guān)研究少有報(bào)道。

針對(duì)上述問題，本文提出一種基于循環(huán)神經(jīng)網(wǎng)絡(luò)原理的地層序列機(jī)器學(xué)習(xí)模擬方法，它將鉆孔數(shù)據(jù)處理為地層序列數(shù)據(jù)，建立地層類型序列與地層層厚序列模型，實(shí)現(xiàn)基于輸入鉆孔坐標(biāo)，能夠較為準(zhǔn)確地判斷相應(yīng)位置的地層信息。該方法不依賴于數(shù)據(jù)假設(shè)與專家經(jīng)驗(yàn)等主觀因素，通過與實(shí)際鉆孔數(shù)據(jù)對(duì)比表明，上述模型具有較好的可行性，可應(yīng)用于地質(zhì)信息化研究與工程規(guī)劃、設(shè)計(jì)建造等方面。

1 地層序列模擬的機(jī)器學(xué)習(xí)理論基礎(chǔ)

1.1 循環(huán)神經(jīng)網(wǎng)絡(luò)

地質(zhì)體一般呈層狀分布，具有先后關(guān)系，在空間上構(gòu)成地層序列(宋仁波等， 2017)。循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Networks， RNN)是用于處理序列問題的神經(jīng)網(wǎng)絡(luò)。圖 1展示了RNN的結(jié)構(gòu)，在“輸入層-隱藏層-輸出層”前饋神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，其隱藏層具有循環(huán)鏈接，每一時(shí)刻的輸出與該時(shí)刻之前的歷史輸入相關(guān)聯(lián)。

圖 1 循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)結(jié)構(gòu)圖(Goodfellow， 2016)Fig. 1 Unfolding of RNN(Goodfellow et al.， 2016)

其中，xt為第t時(shí)刻輸入的地層信息；st為隱藏層神經(jīng)元狀態(tài)；ot為RNN輸出的地層預(yù)測；W為權(quán)值矩陣；W(ss)為不同時(shí)刻隱藏層之間的連接；W(sx)和W(os)則分別為輸入層與隱藏層、隱藏層與輸出層之間的連接權(quán)值。用φ表示隱藏層的激活函數(shù)，用φ表示輸出層的變換函數(shù)，RNN的前向傳播過程如式(1)、(2)所示。

st=φ(W(sx)xt+W(ss)st-1)

(1)

ot=φ(W(os)st)

(2)

RNN的反向傳導(dǎo)需在時(shí)間維度進(jìn)行疊加，即時(shí)間反向傳導(dǎo)算法(Back Propagation through Time， BPTT)，如式(3)～式(7)所示(Goodfellow et al.， 2016)。

(3)

(4)

(5)

(6)

(7)

其中，L表示損失函數(shù)，用于描述模型對(duì)于訓(xùn)練數(shù)據(jù)的學(xué)習(xí)情況；Lt表示任意時(shí)刻t的損失。RNN使損失最小化的過程即是訓(xùn)練過程。

1.2 地層序列導(dǎo)師驅(qū)動(dòng)學(xué)習(xí)

RNN在每一時(shí)刻接收一個(gè)地層輸入并給出輸出。由于RNN具有“記憶性”，若當(dāng)前時(shí)刻的輸入存在誤差，隨著RNN不斷的學(xué)習(xí)，誤差將會(huì)不斷累積。

導(dǎo)師驅(qū)動(dòng)(Teacher Forcing)是一種任意時(shí)刻都采用正確序列作為輸入的監(jiān)督學(xué)習(xí)方法，如同導(dǎo)師指導(dǎo)學(xué)生進(jìn)行學(xué)習(xí)，故稱作導(dǎo)師驅(qū)動(dòng)。然而頻繁的外界干預(yù)會(huì)影響模型對(duì)于未知數(shù)據(jù)的泛化能力，在模型訓(xùn)練的過程中需要注意不同比例的導(dǎo)師驅(qū)動(dòng)學(xué)習(xí)對(duì)模型的影響(Goodfellow et al.， 2016)。

2 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的地層數(shù)據(jù)重構(gòu)

數(shù)據(jù)是研究的基礎(chǔ)。在進(jìn)行學(xué)習(xí)前，需根據(jù)數(shù)據(jù)特點(diǎn)、問題特征以及數(shù)據(jù)體量等因素將原始數(shù)據(jù)重構(gòu)為計(jì)算機(jī)程序可表示的，方便讀取利用的形式，因此進(jìn)行歸一化處理、地層序列填充與地層編碼等。

2.1 數(shù)據(jù)歸一化

在鉆孔數(shù)據(jù)中，坐標(biāo)與地層層厚之間數(shù)量級(jí)相差較大。為了保證收斂，數(shù)據(jù)需進(jìn)行歸一化處理，將取值范圍壓縮為0～1(王蕊穎等， 2013； 解明禮等， 2016； 黃震等， 2017)。對(duì)于任意數(shù)據(jù)x，其歸一化計(jì)算方法為：

(8)

X為歸一化的結(jié)果，是模型的數(shù)據(jù)輸入。

2.2 地層序列填充

利用RNN進(jìn)行地層序列學(xué)習(xí)時(shí)，批量訓(xùn)練要求所有地層序列長度相同，同時(shí)其輸出結(jié)果也是等長的，而地層層數(shù)具有多種可能。

為此，引入終止標(biāo)記(End of Sequence， EOS)作為虛擬地層，將地層序列填充為等長，同時(shí)作為地層序列結(jié)束的標(biāo)記。在每一次訓(xùn)練中，RNN輸出等長的地層序列，當(dāng)終止標(biāo)記出現(xiàn)時(shí)，采樣過程停止，取終止標(biāo)記出現(xiàn)前的所有序列作為預(yù)測地層序列。終止標(biāo)記被當(dāng)作地層的一種參與學(xué)習(xí)。

此外，RNN在初始時(shí)刻沒有來自上一時(shí)刻的地層信息，因此還需為地層序列添加起始標(biāo)記(Start of Sequence， SOS)，作為RNN預(yù)測開始的信號(hào)。

2.3 地層編碼

地層類別是離散的分類值，難以直接用程序表示。獨(dú)熱(One Hot)編碼任意時(shí)候只有一位被激活。將每一種地層用唯一的數(shù)字標(biāo)記(劉興周， 2010； 溫繼偉等， 2013)，并利用獨(dú)熱編碼表示。

3 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的地層序列模擬

3.1 地層類型序列模型的建立

RNN在初始時(shí)刻沒有來自上一時(shí)刻的隱藏層狀態(tài)。坐標(biāo)信息是一個(gè)地層序列中所有地層的共同屬性。在每一次訓(xùn)練前，利用坐標(biāo)信息對(duì)RNN進(jìn)行初始狀態(tài)s0的賦值，以此使坐標(biāo)指導(dǎo)地層序列模擬，如圖 2所示。

圖 2 地層類型序列模擬過程Fig. 2 Stratigraphic type sequence simulation

在學(xué)習(xí)過程中，采用交叉熵?fù)p失函數(shù)描述模擬結(jié)果與真實(shí)地層之間的接近程度，如式(9)所示。

(9)

其中，y為真實(shí)地層，y′為RNN地層預(yù)測結(jié)果。

在模型進(jìn)行驗(yàn)證時(shí)，除了地層準(zhǔn)確率外，本文采用基于編輯距離的序列相似度作為評(píng)價(jià)標(biāo)準(zhǔn)(Duan et al.， 2001)。

編輯距離表示兩個(gè)序列之間，其中一個(gè)序列經(jīng)過插入、刪除和替換3種操作轉(zhuǎn)化為另一個(gè)序列所需的最少操作數(shù)。編輯距離越小，則表示這兩個(gè)序列越相似。序列相似度的計(jì)算公式如(10)所示。其中，S與T為待比較序列，D(S，T)為編輯距離。

(10)

3.2 地層層厚序列模型的建立

地層層厚序列模型需要以地層類型為基礎(chǔ)，連接坐標(biāo)、地層類型與地層層厚等信息。因此，采取seq2iseq(sequence to sequence，序列-序列)架構(gòu)，利用兩個(gè)串聯(lián)的RNN分別作為編碼器與解碼器建立地層層厚模型(Sutskever et al.， 2014； Cho et al.， 2014)。如圖 3所示，編碼器負(fù)責(zé)處理地層類型信息，以其最后時(shí)刻的隱藏層狀態(tài)作為解碼器的初始狀態(tài)，進(jìn)而預(yù)測每一個(gè)地層類型對(duì)應(yīng)的層厚區(qū)間。

圖 3 地層層厚序列模擬過程Fig. 3 Stratigraphic thickness sequence simulation

3.3 地層序列模型

地層層厚序列模型在訓(xùn)練的過程中采用真實(shí)地層數(shù)據(jù)作為樣本，而在實(shí)際應(yīng)用場景中，地層數(shù)據(jù)是未知的。將地層類型序列模型與地層厚度序列模型相連接，以地層類型序列模型的模擬結(jié)果作為地層厚度序列模型的編碼器輸入，從而完整預(yù)測地層序列。

4 應(yīng)用實(shí)例

4.1 應(yīng)用區(qū)域及其數(shù)據(jù)簡介

本文利用python語言，在Pytorch深度學(xué)習(xí)框架下進(jìn)行地層序列模型的開發(fā)與驗(yàn)證。

研究區(qū)域位于江蘇省某市，面積約為3882平方千米。研究區(qū)域內(nèi)的土體主要為砂土類、黏性土類以及粉土類，局部地層具有淤泥、淤泥質(zhì)土。本文共涉及鉆孔數(shù)據(jù)1386個(gè)，全部終止于基巖面頂部，其位置分布見圖 4。鉆孔共涉及13種地層(表 1)。隨機(jī)選取150個(gè)鉆孔作為測試數(shù)據(jù)，其余用于訓(xùn)練。

圖 4 研究區(qū)鉆孔分布圖Fig. 4 Borehole location

表 1 地層類型與編碼Table 1 Strata numbers and one-hot vectors

4.2 地層模擬實(shí)驗(yàn)

對(duì)地層類型模型與地層層厚模型進(jìn)行500個(gè)回合的訓(xùn)練，并在每次訓(xùn)練結(jié)束后利用測試鉆孔數(shù)據(jù)檢驗(yàn)?zāi)Ｐ偷男阅埽瑴y試結(jié)果如圖 5～圖9所示。

隨著學(xué)習(xí)次數(shù)增多，模型的預(yù)測能力不斷增強(qiáng)，同時(shí)進(jìn)步的速度逐漸減小。最終，地層類型準(zhǔn)確率為65.56%，平均預(yù)測序列相似度為76.14%，地層層厚準(zhǔn)確率為66.58%，基本滿足地層序列的模擬需求。

圖 5 地層類型模型訓(xùn)練損失Fig. 5 Stratigraphic type model training loss

圖 6 地層類型序列相似度Fig. 6 Stratigraphic type sequence similarity

圖 7 地層類型準(zhǔn)確率Fig. 7 Stratigraphic type accuracy

圖 8 地層厚度模型訓(xùn)練損失Fig. 8 Stratigraphic thickness model training loss

圖 9 地層層厚準(zhǔn)確率Fig. 9 Stratigraphic thickness accuracy

在此基礎(chǔ)上，為驗(yàn)證導(dǎo)師驅(qū)動(dòng)學(xué)習(xí)的效果，采用不同的比例進(jìn)行了11組測試。測試結(jié)果見表 2。

觀察模型的學(xué)習(xí)過程，以圖 10與圖 11為例，在采用導(dǎo)師驅(qū)動(dòng)學(xué)習(xí)的訓(xùn)練回合，損失比無正確監(jiān)督信號(hào)的訓(xùn)練回合小，隨訓(xùn)練次數(shù)的變化也因此呈帶狀。同時(shí)，導(dǎo)師驅(qū)動(dòng)學(xué)習(xí)的比例越高，模型做出預(yù)測的歷史依據(jù)越可靠，在正確監(jiān)督信號(hào)的指導(dǎo)下可以更好地?cái)M合訓(xùn)練數(shù)據(jù)。

訓(xùn)練結(jié)束后，比例為70%的模型在地層類型準(zhǔn)確率與序列相似度方面取得了最好的表現(xiàn)，分別為79.41%與68.88%； 比例為20%的模型在地層層厚準(zhǔn)確率方面取得最佳表現(xiàn)，為77.60%。測試結(jié)果表明，導(dǎo)師驅(qū)動(dòng)作為一種監(jiān)督學(xué)習(xí)的手段，有助于進(jìn)一步提高模型的測試表現(xiàn)，但其比例與模型預(yù)測性能之間不呈正相關(guān)。

表 2 地層類型與層厚實(shí)驗(yàn)結(jié)果Table 2 Results of stratigraphic type and thickness test

圖 10 1/2導(dǎo)師驅(qū)動(dòng)學(xué)習(xí)訓(xùn)練損失Fig. 10 Stratigraphic type model training loss under 1/2 teacher forcing training

圖 11 完全導(dǎo)師驅(qū)動(dòng)學(xué)習(xí)訓(xùn)練損失Fig. 11 Stratigraphic type model training loss under full teacher forcing training

表 3 地層序列模型實(shí)驗(yàn)結(jié)果Table 3 Results of stratigraphic sequence test

將地層類型模型的模擬結(jié)果作為地層層厚模型的輸入，構(gòu)建完整地層序列模型，結(jié)果見表 3。由于模型采用地層類型的輸出作為編碼器輸入，因此實(shí)驗(yàn)結(jié)果的地層類型準(zhǔn)確率、平均相似度與地層類型序列模型相同。層厚準(zhǔn)確率稍有下降，為71.43%。

綜上所述，基于循環(huán)神經(jīng)網(wǎng)絡(luò)的地層序列模型可以較準(zhǔn)確地基于輸入坐標(biāo)預(yù)測真實(shí)地層情況，該方法的可行性得以驗(yàn)證。

5 結(jié) 論

(1)根據(jù)機(jī)器學(xué)習(xí)理論，提出一種基于循環(huán)神經(jīng)網(wǎng)絡(luò)的地層序列模擬方法，利用鉆孔數(shù)據(jù)中地層序列信息進(jìn)行學(xué)習(xí)并給出了鉆孔數(shù)據(jù)的重構(gòu)方案。經(jīng)訓(xùn)練，該模型的地層類型相似度可以達(dá)到79.41%，地層層厚度預(yù)測準(zhǔn)確率可以達(dá)到71.43%，能較為準(zhǔn)確地模擬地層情況。與傳統(tǒng)方法相比，機(jī)器學(xué)習(xí)手段對(duì)地層序列的模擬不需要依賴數(shù)據(jù)假設(shè)與專家經(jīng)驗(yàn)等主觀因素，方法上具有通用性，可為地層結(jié)構(gòu)與分布研究提供新的思路與方法。

(2)通過進(jìn)行不同比例的導(dǎo)師驅(qū)動(dòng)學(xué)習(xí)，發(fā)現(xiàn)其有助于提升模型的預(yù)測能力，但不呈正相關(guān)。訓(xùn)練過程中過多地采用導(dǎo)師驅(qū)動(dòng)學(xué)習(xí)會(huì)影響模型的預(yù)測表現(xiàn)。