基于約束Markov決策過程的初至自動(dòng)識(shí)別技術(shù)

羅飛， 王華忠

同濟(jì)大學(xué)海洋與地球科學(xué)學(xué)院， 波現(xiàn)象與智能反演成像研究組， 上海 200092

0 引言

在地震勘探層析成像、靜校正、速度分析、AVO分析和地質(zhì)解釋中地震數(shù)據(jù)走時(shí)信息起著重要的作用，眾多地球物理學(xué)家提出了許多算法，用以進(jìn)行走時(shí)的拾取，這些方法都有各自的優(yōu)缺點(diǎn)以及適用范圍.所以，走時(shí)自動(dòng)拾取算法的研究有其現(xiàn)實(shí)意義，算法的穩(wěn)定性和準(zhǔn)確性在經(jīng)濟(jì)上具有重要價(jià)值.傳統(tǒng)走時(shí)拾取算法大體可分為兩類：滑動(dòng)時(shí)窗法和相干法(Molyneux and Schmitt，1999).在滑動(dòng)時(shí)窗方法中，地震信號(hào)序列其屬性在連續(xù)或重疊的移動(dòng)窗口中計(jì)算(Coppens，1985；Spagnolini，1991；Sabbione and Velis，2010).相干類方法依賴于使用一些相似度測(cè)量技術(shù)比較單個(gè)或多個(gè)波形(López and Aldana，2009).同時(shí)，近幾年來，人工智能技術(shù)迅猛發(fā)展，機(jī)器學(xué)習(xí)算法在地球物理勘探領(lǐng)域的應(yīng)用越來越廣泛(Jia and Ma，2017；Shi et al.，2020).

走時(shí)拾取工作是地震數(shù)據(jù)處理的重要一步，也是人工智能算法應(yīng)用較為廣泛的一個(gè)領(lǐng)域.比如，傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)(Artifical Neural Network，ANN)算法就已廣泛應(yīng)用于地震(微震)事件的自動(dòng)分類識(shí)別中(Turhan et al.，1988；Veezhinathan and Wagner，1990；Murat and Rudman，1992；McCormack et al.，1993；Scarpetta et al.，2005；Esposito et al.，2006，2013；Langer et al.，2006；AitLaasri et al.，2013；Vallejos and McKinnon，2013；Maity et al.，2014；Riggelsen and Ohrnberger，2014；Mousavi and Langston，2016).但早期用于地震(微震)信號(hào)識(shí)別的網(wǎng)絡(luò)結(jié)構(gòu)受限于計(jì)算機(jī)能力一般設(shè)計(jì)比較淺，其泛化能力比較欠缺(Murat and Rudman，1992).此外，Mousavi和Langston(2016)指出傳統(tǒng)ANN算法常以工程特征(Engineered features)作為網(wǎng)絡(luò)的輸入，通過分析不同特征對(duì)自動(dòng)化地震事件識(shí)別精度的影響，認(rèn)為從原始數(shù)據(jù)中提取工程特征包含過多不確定性.卷積神經(jīng)網(wǎng)絡(luò)(CNN)一般包括卷積、池化和全連通層，是一種能力強(qiáng)大的深度學(xué)習(xí)算法(LeCun et al.，1995；于子葉等，2018；李薇薇等，2021).CNN使用其多個(gè)卷積層直接從圖像或信號(hào)中提取不同的特征或?qū)傩裕缓笸ㄟ^完全連接的層對(duì)其進(jìn)行分類，將特征提取與分類放在同一網(wǎng)絡(luò)結(jié)構(gòu)中，這樣很大程度上降低了提取工程特征對(duì)走時(shí)拾取精度的影響.Yuan等(2018)將CNN直接應(yīng)用于地震初至走時(shí)中，將二維原始地震數(shù)據(jù)作為輸入，相比單道輸入，考慮了波形的空間橫向連續(xù)性特征.為了進(jìn)一步證明CNN算法在海量數(shù)據(jù)支持下，具有很強(qiáng)的分類能力，Loginov等(2019)以5000個(gè)訓(xùn)練樣本訓(xùn)練包含4個(gè)隱藏層的CNN網(wǎng)絡(luò)并用其完成了某3D地震數(shù)據(jù)(450萬道)的初至走時(shí)拾取工作，正確率達(dá)到了95%.神經(jīng)網(wǎng)絡(luò)類方法，屬于有監(jiān)督學(xué)習(xí)，大量的標(biāo)簽樣本產(chǎn)生不僅耗時(shí)，同時(shí)也會(huì)引入人的先驗(yàn)認(rèn)識(shí).無監(jiān)督學(xué)習(xí)算法(比如模糊聚類分析、支持向量機(jī)等)直接根據(jù)特征屬性將地(微)震信號(hào)自動(dòng)分為幾類，不但能夠完成走時(shí)拾取工作，還能夠?yàn)橛斜O(jiān)督學(xué)習(xí)提供標(biāo)簽樣本(Chen，2000；蔣一然和寧杰遠(yuǎn)，2019；許鑫等，2020).Ma等(2019)基于強(qiáng)化學(xué)習(xí)理論，在能量比譜上自動(dòng)化全局尋優(yōu)實(shí)現(xiàn)初至走時(shí)拾取，但該方法缺乏對(duì)獎(jiǎng)勵(lì)函數(shù)和初始狀態(tài)選擇的詳細(xì)描述，難以適應(yīng)復(fù)雜波形.還有部分研究人員在傳統(tǒng)走時(shí)拾取算法(Sabbione and Velis，2010)的基礎(chǔ)上，使用人工智能算法實(shí)現(xiàn)窗函數(shù)/拾取策略的自適應(yīng)選取、質(zhì)量監(jiān)控等(Duan et al.，2018；Hollander et al.，2018；Mezyk and Malinowsk，2018).總之，人工智能算法的引入，提高了拾取地震走時(shí)信息的自動(dòng)化程度和精度，為地震數(shù)據(jù)處理提供了很大幫助.

在本文中，我們將初至拾取看作高維特征屬性空間內(nèi)帶約束的Markov決策過程(Constrained Markov Decision Processes，CMDPs)，在一定全局尋優(yōu)準(zhǔn)則的約束下獲得積累獎(jiǎng)勵(lì)值最大的路徑，從而自動(dòng)化的拾取地震數(shù)據(jù)的初至信息.文中首先介紹了約束Markov決策理論，通過引入折扣因子γ、受空間幾何信息約束的動(dòng)作和轉(zhuǎn)移概率，CMDPs算法能夠自動(dòng)獲取地震數(shù)據(jù)的初至信息.接著，基于合成地震數(shù)據(jù)，分析了文中算法的抗噪能力以及常規(guī)MDPs和約束MDPs算法對(duì)參數(shù)的敏感程度，說明CMDPs算法不僅降低了對(duì)起始狀態(tài)和折扣因子選擇的難度，同時(shí)考慮地震數(shù)據(jù)的空間橫向連續(xù)性，自動(dòng)的回避地震數(shù)據(jù)中的壞道信息，具有一定QC功能，保證初至拾取更加準(zhǔn)確和自動(dòng)化.最后，實(shí)際地震數(shù)據(jù)的測(cè)試結(jié)果，證明CMDPs方法能準(zhǔn)確地實(shí)現(xiàn)地震初至事件的自動(dòng)拾取，特別是對(duì)弱初至信號(hào)或淺層相鄰復(fù)雜波形的拾取.

1 約束Markov決策理論

1.1 Markov決策過程

馬爾科夫鏈(Markov chains)，指在隨機(jī)過程中，下一個(gè)狀態(tài)僅取決于當(dāng)前狀態(tài)，和之前(歷史)其他狀態(tài)無關(guān)，即：

P(st+1|st,…,s1)=P(st+1|st)，

(1)

其中，P(st+1|st)為狀態(tài)轉(zhuǎn)移概率，表示從狀態(tài)st到st+1的概率.

馬爾科夫決策過程(Markov Decision Processes，MDPs)即為在滿足馬爾科夫鏈前提下，一個(gè)智能體(Agent)采取行動(dòng)(Action)從而改變自己的狀態(tài)(State)獲得獎(jiǎng)勵(lì)(Reward)與環(huán)境(Environment)發(fā)生交互的循環(huán)學(xué)習(xí)過程.其一般由五元組〈S,A,T,P,r〉描述(Sigaud and Buffet，2013)：

·S：有限狀態(tài)集；

·A：控制狀態(tài)發(fā)生變化的所有可能動(dòng)作的集合；

·T：隨機(jī)演變的時(shí)間(空間)序列；

·P：狀態(tài)轉(zhuǎn)移；

·r：狀態(tài)轉(zhuǎn)移時(shí)的獎(jiǎng)勵(lì)函數(shù)(瞬時(shí)).

圖1 Markov決策過程示意圖(Sigaud and Buffet， 2013)Fig.1 Sketch showing Markov decision processes (Sigaud and Buffet, 2013)

圖1為Markov決策過程的示意圖.在每個(gè)時(shí)間步t和當(dāng)前狀態(tài)s下，執(zhí)行動(dòng)作at后，狀態(tài)s有p(s′|s,a)的概率轉(zhuǎn)移到下一個(gè)狀態(tài)s′.r為實(shí)現(xiàn)該過程應(yīng)獲得的瞬時(shí)獎(jiǎng)勵(lì)值.

(2)

(3)

表1 值函數(shù)迭代法—折扣策略Table 1 Value iteration algorithm-discounted criterion

1.2 初至拾取中的MDPs

如何將初至識(shí)別問題，提煉成一個(gè)包含〈S,A,T,P,r〉五個(gè)元素的Markov決策過程？以圖2中合成2D地震數(shù)據(jù)為例，狀態(tài)空間S和時(shí)間序列T定義為

(4)

其中，i=1,…,nt;j=1,…,nx；sij表示時(shí)空域地震數(shù)據(jù)每一點(diǎn)的位置，ti和xj分別為時(shí)間和偏移距/道索引，i和j分別為時(shí)間和空間采樣點(diǎn).

基于Markov決策理論，在獎(jiǎng)勵(lì)值空間(高維特征屬性集合)中根據(jù)一定的準(zhǔn)則全局尋優(yōu)獲得一條累積獎(jiǎng)勵(lì)值最大的路徑，便對(duì)應(yīng)著初至走時(shí)的子集.為了降低Markov決策過程的非線性程度，一個(gè)合適的獎(jiǎng)勵(lì)函數(shù)的選取是至關(guān)重要的.對(duì)于獎(jiǎng)勵(lì)函數(shù)的設(shè)計(jì)，一般以“生成與初至走時(shí)相關(guān)性高的屬性”為目標(biāo)，需對(duì)相應(yīng)的地震數(shù)據(jù)進(jìn)行分析，構(gòu)造一個(gè)包含多個(gè)屬性的特征空間.因此，我們能夠定義瞬時(shí)獎(jiǎng)勵(lì)函數(shù)為

(5)

由式(5)可知，獎(jiǎng)勵(lì)值函數(shù)可以由多個(gè)屬性組成.fm(sij)表示第m種特征屬性，αm為加權(quán)因子，用于調(diào)節(jié)多個(gè)特征屬性之間的權(quán)重.對(duì)于初至拾取，其能量變化屬性一般可以認(rèn)為是相關(guān)度較高的敏感屬性.如圖2中地震數(shù)據(jù)，采用STA/LTA算法(Trnkoczy，1999)得到對(duì)應(yīng)的歸一化獎(jiǎng)勵(lì)函數(shù)(能量比)譜(圖2b).接著，需選取合適起始狀態(tài)，設(shè)計(jì)合適的全局尋優(yōu)準(zhǔn)則.Ma等(2019)基于強(qiáng)化學(xué)習(xí)理論，將遠(yuǎn)偏移距的初至到達(dá)時(shí)位置作為初始狀態(tài)，由下至上進(jìn)行全局尋優(yōu)，但當(dāng)遇到地震數(shù)據(jù)信噪比較低的情況時(shí)，自動(dòng)化的選取初始狀態(tài)位置則會(huì)出現(xiàn)困難.考慮到地震數(shù)據(jù)近偏移距的淺層信噪比往往高于遠(yuǎn)偏移距，因此，本文采用由上至下的全局尋優(yōu)策略并結(jié)合后續(xù)空間結(jié)構(gòu)信息，以此弱化種子點(diǎn)選擇的困難，相應(yīng)的動(dòng)作集合函數(shù)A和執(zhí)行某種動(dòng)作的概率π(a|s)可以寫為

(6)

=(10%;10%;10%;70%).

(7)

式(7)說明，在狀態(tài)s執(zhí)行不同動(dòng)作a后能夠轉(zhuǎn)移到狀態(tài)s′的概率可能不同，且選取由上往下全局尋優(yōu)策略，故向下移動(dòng)的概率最大，為70%.根據(jù)上述公式，將初至拾取定義為一個(gè)特征屬性空間內(nèi)的Markov決策尋優(yōu)過程后，求解相應(yīng)(3)式，便能夠獲得初至走時(shí)的子集(圖2中綠點(diǎn)所示).

圖2 常規(guī)MDPs方法拾取初至走時(shí)示意圖(a) 合成2D地震數(shù)據(jù)； (b) 自動(dòng)拾取結(jié)果覆蓋于獎(jiǎng)勵(lì)值空間上； (c) 自動(dòng)拾取結(jié)果覆蓋于地震數(shù)據(jù)上.綠點(diǎn)，自動(dòng)拾取結(jié)果.Fig.2 Schematic diagram of picking up first breaks by traditional MDPs method(a) Synthetic seismic data (2D); (b) Auto-picking result overlaid on the reward value function; (c) Auto-picking result overlaid on seismic data. Green dots: auto-picking result.

1.3 約束Markov決策過程

為了進(jìn)一步的提高M(jìn)arkov理論自動(dòng)拾取初至信息的精度，處理更加復(fù)雜的情況，本文在常規(guī)Markov決策理論的基礎(chǔ)上，結(jié)合圖像分割技術(shù)(Luo et al.，2018)，引入地震數(shù)據(jù)的空間結(jié)構(gòu)信息dip(s)，式(6)重新寫為

(8)

(9)

其中，當(dāng)a∈(0,-π)時(shí)，狀態(tài)發(fā)生轉(zhuǎn)移的概率較大，從而能夠保證從上而下的尋優(yōu)準(zhǔn)則.改進(jìn)后的式(8)、(9)，使全局尋優(yōu)過程不僅保留常規(guī)MDPs的特點(diǎn)，還能一定程度上受空間結(jié)構(gòu)先驗(yàn)信息的約束，后續(xù)數(shù)值試驗(yàn)的結(jié)果也表明了約束Markov理論的優(yōu)勢(shì).值得注意的是，空間幾何信息的獲取，除了文中提到的圖像分割技術(shù)(Luo et al.，2018)，也能采用其他方法技術(shù).

2 數(shù)值試驗(yàn)

2.1 抗噪能力測(cè)試

如圖3所示，對(duì)比了不同初至拾取算法的抗噪能力.本試驗(yàn)所采用合成地震數(shù)據(jù)共36道，縱向701個(gè)采樣點(diǎn)，采樣間隔為1 ms.對(duì)其添加不同級(jí)別的高斯白噪聲(White Gaussian Noise，WGN)，生成不同信噪比的模擬地震數(shù)據(jù)，所使用信噪比公式可表示為

圖3 不同信噪比下四種方法初至拾取結(jié)果示意圖(a) SNR=5 dB； (b) SNR=-2 dB； (c) SNR=-6 dB； (d) SNR=-10 dB.青色： STA/LTA；藍(lán)點(diǎn)：MER；紅點(diǎn)：常規(guī)MDPs；綠圈：約束MDPs.Fig.3 First-breaks picked by four methods with different SNR(a) SNR=5 dB； (b) SNR=-2 dB； (c) SNR=-6 dB； (d) SNR=-10 dB. Cyan dots: STA/LTA; Blue dots: MER; Red dots: traditional MDPs; Green circles: constrained MDPs.

(10)

其中，s(t)為原始有效信號(hào)，n(t)為高斯白噪聲.按公式(10)計(jì)算圖3a—d的信噪比依次為5 dB、-2 dB、-6 dB和-10 dB.圖3中，將四種不同的初至拾取算法的結(jié)果覆蓋在地震數(shù)據(jù)上，其中青色圓點(diǎn)為經(jīng)典的STA/LTA方法(Trnkoczy，1999)；藍(lán)色圓點(diǎn)為MER(Modified Energy Ratio)算法(Wong et al.，2009)；紅色圓點(diǎn)為常規(guī)MDPs算法；綠色圓圈為本文改進(jìn)的CMDPs方法.對(duì)比不同信噪比下，四種算法的拾取結(jié)果可知，傳統(tǒng)基于單道處理的算法，忽視了地震數(shù)據(jù)所包含的空間特征(橫向連續(xù)性)，從而導(dǎo)致難以識(shí)別信噪比低的弱初至信號(hào)，而常規(guī)MDPs和CMDPs算法，均基于Markov理論，在高維空間進(jìn)行初至拾取，并考慮與距離相關(guān)的折扣因子γ，很自然的回避掉異常拾取結(jié)果，能夠抓住弱初至信號(hào)，使拾取結(jié)果更加符合物理，故基于Markov決策理論的兩種算法抗噪能力強(qiáng)于傳統(tǒng)單道拾取算法.同時(shí)，對(duì)比常規(guī)MDPs方法和本文改進(jìn)的CMDPs算法，由于CMDPs算法引入了先驗(yàn)結(jié)構(gòu)約束，其結(jié)果比常規(guī)MDPs算法更加穩(wěn)健.圖4定量顯示了不同信噪比下四種算法的性能，根據(jù)定義的拾取誤差函數(shù)：

圖4 不同信噪比下四種方法初至拾取結(jié)果誤差曲線圖Fig.4 Error curves of first break picking using four methods with different SNRs

(11)

式中，Error代表算法的拾取誤差，即所有N道的拾取誤差(測(cè)量值與真實(shí)值之差的絕對(duì)值)之和，單位為ms，第i道的真實(shí)值true(i)通過CMDPs算法在原始有效信號(hào)s(t)上拾取所得.如圖4所示，MER和STA/LTA兩種基于單道拾取的算法其拾取積累誤差明顯高于考慮地震數(shù)據(jù)橫向連續(xù)性的算法(MDPs和CMDPs).CMDPs(綠線)誤差增加最為緩慢，進(jìn)一步說明在考慮空間結(jié)構(gòu)先驗(yàn)信息后，CMDPs算法的性能要好于常規(guī)MDPs算法.

2.2 折扣因子γ敏感性測(cè)試

當(dāng)獎(jiǎng)勵(lì)函數(shù)和起始狀態(tài)確定后，基于Markov決策理論拾取地震數(shù)據(jù)初至信息，需要考慮折扣因子γ，用以回避由壞道引起的錯(cuò)誤初至拾取結(jié)果(異常值或奇異點(diǎn)).但是，常規(guī)MDPs和本文改進(jìn)的約束MDPs算法對(duì)其敏感程度存在差異.如圖5a所示，為理論合成地震數(shù)據(jù)，共26道，其中第23～26道信噪比較低，初至能量弱于相鄰直達(dá)波能量.圖5b—d為考慮不同折扣因子γ情況下常規(guī)MDPs和CMDPs的初至拾取結(jié)果.當(dāng)γ設(shè)置較大為0.6時(shí)，MDPs算法對(duì)淺層相鄰復(fù)雜波形識(shí)別能力較弱，出現(xiàn)拾取錯(cuò)誤(圖5b中紅點(diǎn))，這是因?yàn)棣迷酱?，遠(yuǎn)處的狀態(tài)獎(jiǎng)勵(lì)值影響越大，全局尋優(yōu)時(shí)自然難以忽視強(qiáng)直達(dá)波能量.隨著γ值逐漸減小到0.2，MDPs算法能獲得較準(zhǔn)確的初至信息(圖5c中紅點(diǎn)，遠(yuǎn)偏移距仍存在輕微抖動(dòng))；但是當(dāng)γ值進(jìn)一步減小為0.1時(shí)，根據(jù)公式(2)可知，當(dāng)前狀態(tài)只受相鄰很近的狀態(tài)獎(jiǎng)勵(lì)值影響，從而再次出現(xiàn)拾取偏差(圖5d中紅點(diǎn)).而圖5b—d中綠色圓圈為本文改進(jìn)的約束Markov決策理論初至拾取結(jié)果，可見在不同折扣因子下，CMDPs由于空間趨勢(shì)的約束，拾取結(jié)果基本一致，說明其對(duì)γ的取值并不敏感.總體來說，折扣因子γ越小，常規(guī)MDPs拾取結(jié)果應(yīng)該更加平緩，即相鄰初至走時(shí)變化小.當(dāng)?shù)卣饠?shù)據(jù)的淺層信噪比較高時(shí)，常規(guī)MDPs和CMDPs的折扣因子γ的選取還是比較容易的，兩者的拾取效果也相當(dāng).但是，當(dāng)出現(xiàn)數(shù)值試驗(yàn)中所展示的復(fù)雜波現(xiàn)象后，約束MDPs的優(yōu)勢(shì)就得到了體現(xiàn).

2.3 OBC數(shù)據(jù)測(cè)試

前面理論數(shù)據(jù)試驗(yàn)，分析了約束Markov理論在初至拾取工作中的特點(diǎn).在本節(jié)，選取南海某OBC實(shí)際地震數(shù)據(jù)(圖6)說明CMDPs算法在實(shí)際資料初至拾取中的效果.如圖6a所示，該地震數(shù)據(jù)為氣槍震源激發(fā)，道間距25 m，共計(jì)185道，最大偏移距3.5 km，時(shí)間采樣間隔2 ms，采樣時(shí)間為3 s，圖中黃框處顯示鄰近弱初至波的下方存在強(qiáng)能量的折射波.針對(duì)該數(shù)據(jù)，采用STA/LTA算法生成狀態(tài)獎(jiǎng)勵(lì)值空間(圖6b)，選取折扣因子γ為0.3，分別采用常規(guī)MDPs算法和約束MDPs算法自上而下進(jìn)行初至走時(shí)的拾取.圖6b為拾取結(jié)果覆蓋在獎(jiǎng)勵(lì)值空間上，圖6c則是拾取結(jié)果覆蓋在地震數(shù)據(jù)上.對(duì)比兩種方法的拾取效果，可以發(fā)現(xiàn)如果采用常規(guī)MDPs方法進(jìn)行全局尋優(yōu)自動(dòng)拾取初至走時(shí)，在經(jīng)過黃框處時(shí)容易忽略較弱的初至波，得到錯(cuò)誤的拾取結(jié)果(圖6b、c中紅色圓點(diǎn)).因此，在常規(guī)MDPs的基礎(chǔ)上，本文改進(jìn)的CMDPs算法引入結(jié)構(gòu)信息dip(s)，相當(dāng)于在狀態(tài)s執(zhí)行動(dòng)作a后能夠轉(zhuǎn)移到狀態(tài)s′的概率同時(shí)受到dip(s)的約束.圖6b、c中綠色圓圈即為約束MDPs算法得到的拾取結(jié)果，其在黃框處仍然能拾取準(zhǔn)確的弱初至信號(hào)，說明CMDPs方法包含了常規(guī)MDPs和空間幾何信息的優(yōu)點(diǎn)，能夠更加精確的自動(dòng)化拾取初至信息，特別是在處理相鄰較近復(fù)雜波現(xiàn)象時(shí)，存在明顯優(yōu)勢(shì).

圖5 常規(guī)MDPs與約束MDPs在不同折扣因子γ情況下初至拾取結(jié)果對(duì)比圖(a) 理論合成地震數(shù)據(jù)； (b) γ=0.6時(shí)初至拾取結(jié)果； (c) γ=0.2時(shí)初至拾取結(jié)果； (d) γ=0.1時(shí)初至拾取結(jié)果.綠圈，約束MDPs；紅點(diǎn)，常規(guī)MDPs.Fig.5 Comparison of first-breaks picking results between traditional MDPs and constrained MDPs under different discount factors(a) Noisy synthetic seismic data; (b) γ=0.6; (c) γ=0.2; (d) γ=0.1. Green circles: constrained MDPs; Red dots: traditional MDPs.

圖6 (a) OBC數(shù)據(jù)； (b) 自動(dòng)拾取結(jié)果覆蓋于獎(jiǎng)勵(lì)值空間上； (c) 自動(dòng)拾取結(jié)果覆蓋于地震數(shù)據(jù)上綠圈，約束MDPs；紅點(diǎn)，常規(guī)MDPs.Fig.6 (a) Real data (from the OBC); (b) Auto-picking result overlaid on the reward value function; (c) Auto-picking result overlaid on seismic dataGreen circles: constrained MDPs; Red dots: traditional MDPs.

圖7 (a) 山前帶數(shù)據(jù)； (b) 自動(dòng)拾取結(jié)果覆蓋于獎(jiǎng)勵(lì)值空間上(圖7a黃框區(qū)域放大顯示)； (c) 自動(dòng)拾取結(jié)果覆蓋于地震數(shù)據(jù)上(圖7a黃框區(qū)域放大顯示)綠圈，約束MDPs； 紅點(diǎn)，常規(guī)MDPs.Fig.7 (a) Data from complex foothills; (b) Auto-picking result overlaid on the reward value function enlarged view with the yellow box in Fig.7a; (c) The auto-picking result overlaid on the shot gather enlarged view with the yellow box in Fig.7aGreen circles: the constrained MDPs; Red dots: the traditional MDPs.

2.4 陸上山前帶數(shù)據(jù)測(cè)試

海上地震數(shù)據(jù)信噪比一般會(huì)比陸上復(fù)雜地區(qū)數(shù)據(jù)信噪比高一些，同時(shí)由于地表高程影響，海上數(shù)據(jù)的道間時(shí)差變化也相對(duì)緩慢一點(diǎn).為了進(jìn)一步說明本文算法在實(shí)際應(yīng)用中的普適性，如圖7a所示，為西部某山前帶地區(qū)實(shí)際地震資料.該數(shù)據(jù)主要用于近地表建模，因此使用炸藥震源，小道間距(2 m)采集，共351道，最大偏移距為830 m，時(shí)間采樣點(diǎn)數(shù)為501，采樣間隔4 ms.由于山前帶地區(qū)地表存在起伏，地震數(shù)據(jù)道間時(shí)差相對(duì)平原地區(qū)變化更為劇烈，為了更好地適應(yīng)陸上山前帶復(fù)雜地震數(shù)據(jù)，對(duì)于該實(shí)際資料，基于2.2節(jié)的分析，假如選擇較小的折扣因子，會(huì)導(dǎo)致常規(guī)MDPs算法難以適應(yīng)道間時(shí)差變化大的情況，因此，這里常規(guī)MDPs和CMDPs算法相較于OBC數(shù)據(jù)(圖6)均選取更大的折扣因子γ(取值為0.5)使其拾取結(jié)果允許一定程度的抖動(dòng)，狀態(tài)獎(jiǎng)勵(lì)值空間仍然采用STA/LTA構(gòu)建.通過放大圖7a中黃框區(qū)域，圖7b、c更加清晰的展示了兩種算法自上而下拾取的效果，其中紅色圓點(diǎn)為常規(guī)MDPs的拾取結(jié)果，綠色圓圈為CMDPs的拾取結(jié)果.相比于圖6b的狀態(tài)獎(jiǎng)勵(lì)值空間，圖7b中狀態(tài)獎(jiǎng)勵(lì)值空間能量變化更加劇烈，遠(yuǎn)偏移距上信噪比更低，在采用較大折扣因子后，常規(guī)MDPs算法在信噪比低或壞道處(圖7b、c中紅色圓點(diǎn))出現(xiàn)了少量錯(cuò)誤拾取，而約束MDPs算法由于引入了空間構(gòu)造信息的約束，受折扣因子的影響更小，拾取結(jié)果更加合理穩(wěn)健，說明本文改進(jìn)的CMDPs算法，考慮空間橫向連續(xù)性并受先驗(yàn)空間信息約束，能夠適應(yīng)道間時(shí)差變化大的情形，相比于常規(guī)MDPs，CMDPs對(duì)參數(shù)依賴程度更低，適用范圍更廣，拾取精度也更高.

3 討論

通過第2節(jié)的數(shù)值試驗(yàn)分析，考慮空間橫向連續(xù)性的Markov決策過程比傳統(tǒng)基于單道初至拾取的算法抗噪能力更好，同時(shí)引入先驗(yàn)空間幾何信息約束后，相較于常規(guī)MDPs算法，約束MDPs方法對(duì)折扣因子的依賴程度更低，其拾取結(jié)果更穩(wěn)健.海上和陸上實(shí)際地震資料初至拾取結(jié)果也表明，CMDPs算法比常規(guī)MDPs算法適用性更廣，初至拾取精度更高.

在約束Markov決策理論進(jìn)行初至拾取過程中，折扣因子的選取、狀態(tài)獎(jiǎng)勵(lì)值空間構(gòu)建以及空間幾何信息的獲取這幾個(gè)方面需要注意.折扣因子選取方面，通過第2.2節(jié)的數(shù)值試驗(yàn)，說明CMDPs算法比常規(guī)MDPs算法對(duì)折扣因子的依賴程度低，一般根據(jù)地震數(shù)據(jù)的信噪比以及道間時(shí)差變化情形選擇一個(gè)適中的值即可.關(guān)于狀態(tài)獎(jiǎng)勵(lì)值空間的構(gòu)建，文中只提及了STA/LTA算法，這是因?yàn)槟芰康淖兓瘜?duì)初至比較敏感，文中所涉及的地震數(shù)據(jù)使用STA/LTA方法生成的獎(jiǎng)勵(lì)值空間已經(jīng)能夠滿足CMDPs需求.但是，理論上，構(gòu)建獎(jiǎng)勵(lì)值函數(shù)的方式有很多，并且選取的獎(jiǎng)勵(lì)函數(shù)越合適，CMDPs算法的非線性程度越低，初至拾取的精度也就越高.對(duì)于空間幾何信息的提取，文中使用的是圖像分割技術(shù)，也能夠依靠其他更先進(jìn)的構(gòu)造提取算法.總之，CMDPs算法可以看作一套地震數(shù)據(jù)初至識(shí)別技術(shù)的流程框架，與其相關(guān)的一些重要組成部分，可以根據(jù)處理人員對(duì)數(shù)據(jù)的認(rèn)識(shí)程度進(jìn)行調(diào)整，以期獲得更加精確合理的初至信息.

任何初至拾取算法均有其適用性，CMDPs算法在遇到比文中信噪比更低，道間時(shí)差變化更劇烈的實(shí)際地震資料時(shí)，也需要進(jìn)行必要的地震數(shù)據(jù)預(yù)處理，比如去噪、地表一致性校正以及靜校正等.同時(shí)，本文數(shù)值試驗(yàn)均使用二維數(shù)據(jù)，從第1節(jié)的理論分析可知，CMDPs理論也能直接構(gòu)建3D的狀態(tài)獎(jiǎng)勵(lì)值空間、狀態(tài)轉(zhuǎn)移動(dòng)作、轉(zhuǎn)移概率以及空間結(jié)構(gòu)信息，從而很自然的將約束Markov理論拓展到3D情形，但是，3D情況下的全局尋優(yōu)難度更高效率更低，因此在實(shí)際地震資料處理中，選擇在2D空間還是在3D空間進(jìn)行地震數(shù)據(jù)的初至拾取工作，需要結(jié)合實(shí)際生產(chǎn)需求設(shè)計(jì)合理方案.

4 結(jié)論

致謝感謝中國石油勘探開發(fā)研究院及西北分院、中海油研究院和湛江分公司、中國石化物探技術(shù)研究院和勝利油田分公司對(duì)波現(xiàn)象與智能反演成像研究組(WPI)研究工作的資助與支持.感謝審稿專家提出的修改意見.