基于深度學習的地震剖面圖像超分辨率重建

2020-09-04 04:58:52鄧夢迪賈瑞生劉慶明

計算機工程與設計 2020年8期

關鍵詞：特征

鄧夢迪，賈瑞生+，田煜，劉慶明

(1.山東科技大學計算機科學與工程學院，山東青島 266590；2.山東科技大學山東省智慧礦山信息技術省級重點實驗室，山東青島 266590)

0 引言

地震剖面圖像可以顯示斷層或者是剖面信息，為了提高其分辨率，通常需要增加勘探道數來加密地震數據，大大增加勘探成本。超分辨率重建技術可直接實現低分辨率圖像到高分辨率圖像的映射，具有十分重要的工程應用價值。

目前，圖像超分辨率重建技術[1,2]通常可分為3類：基于插值的方法[3,4]、基于重構的方法[5]和基于學習的方法[6,7]。基于插值的方法[8]最為簡單且運算速度快，但容易造成圖像模糊。基于重構的方法[9]容易產生偽影等工效應。基于學習的方法取得了較為理想的效果，成為超分辨率重建領域中研究的熱點。Yang等提出了基于稀疏表示的超分辨率重建(SCSR)方法[10]，該算法對重建圖像的質量有一定的提升。Dong等提出了應用卷積神經網絡的單幀圖像超分辨率重建(SRCNN)算法[11]，該算法應用3個卷積層重建高分辨率圖像特征，重建效果優于其它傳統算法，但重建速度慢。隨后，Dong等對SRCNN進行改進，提出了一種基于反卷積的快速圖像超分辨率重建(FSRCNN)方法[12]。Shi等提出了基于亞像素卷積層的超分辨率重建(ESPCN)方法[13]。

地震剖面圖像紋理單一且邊界不夠明顯，采用傳統重建方法容易丟失其高頻信息，為此，本文提出一種基于深度學習的地震剖面圖像超分辨率重建方法，在網絡模型中加入雙通道注意力機制塊，充分提取圖像特征并有選擇地進行高頻增強，取得了較好的重建效果。

1 理論基礎

1.1 雙通道卷積

傳統的單通道卷積網絡卷積核尺寸單一，導致特征提取不夠充分，雙通道卷積可以在兩個通道上分別采用不同尺寸的卷積核，提取特征圖在不同尺度下的特征，有利于圖像的后期重建。為了降低算法復雜度，在每個尺度卷積前均采用尺寸為1×1的卷積核進行降維。圖1為單通道卷積和雙通道卷積的結構，其中M×M，N×N為卷積核尺寸，C1，C2為輸出特征圖通道數。

圖1 單/雙通道卷積結構

1.2 注意力機制

階段學習的卷積操作是將通道和空間信息混雜到一起提取圖像的紋理特征，卷積后特征較為混雜，神經網絡不能識別哪些通道所含高頻信息較多。在網絡中添加注意力機制塊可以使神經網絡更加關注具有足夠高頻細節的通道和區域，在一定程度上加快網絡收斂速度。注意力機制塊由兩個卷積層和兩個激活層級聯而成，同時學習不同通道和不同區域相應的描述符，并給不同通道和不同區域分配不同的權重。注意力機制塊結構如圖2所示。

圖2 注意力機制塊

S=f(w2((w1x+b1))+b2),S∈RH*W*C

(1)

其中，w1，w2分別代表注意力機制塊中第一層和第二層卷積的權重，b1,b2分別代表其偏置。第一層卷積完成因子為8的降維，經第一層卷積后得到的特征圖通道數為C/8，第二層卷積完成因子為8的升維，特征圖通道數重新恢復為C。f(·)代表sigmoid激活函數，(·)表示Prelu激活函數。將縮放后的描述符S與原輸入進行逐通道Hadamard相乘，得到通過注意力機制塊的特征表示。

2 本文方法

基于卷積網絡的超分辨率重建算法通常可分為以下4個步驟：①預處理數據集，構造網絡訓練集；②設計超分辨率重建網絡模型；③利用訓練集訓練網絡，優化網絡參數；④利用訓練好的網絡模型重建高分辨率圖像。

2.1 網絡模型

網絡模型的結構直接影響重建圖像的精度，傳統超分辨率重建網絡特征提取不夠充分且易丟失重建圖像的高頻信息，為了解決此問題，本文在網絡模型中引入雙通道注意力機制塊。網絡模型結構如圖3所示，可分為特征提取、非線性映射和重建3個階段。

圖3 本文超分辨率重建網絡結構

(1)特征提取階段。從低分辨率圖像中提取圖像塊，并將其分別表示成一個高維向量，這些向量組成一組特征圖，其數量和向量的維度相等。該階段卷積層的參數設置為3×3×128，即128個尺寸為3×3的卷積核。

(2)非線性映射階段。非線性映射階段的結構是影響超分辨率重建性能最重要的部分，用于實現低分辨率圖像塊到高分辨率圖像塊的特征映射。本文方法的非線性映射由雙通道注意力機制塊和若干層卷積級聯實現。雙通道注意力機制塊結構如圖3(b)所示，首先采用1×1的卷積核降低特征圖維度，然后在兩個通道上分別采用3×3×64和5×5×32的卷積核提取圖像特征，最后連接注意力機制塊，有選擇地進行高頻增強。由于該階段卷積層數較多，容易導致梯度消失現象，為解決此問題，采用殘差網絡結構，一定程度上提高了訓練收斂速度，殘差塊結構如圖3(c)所示，卷積層參數設置為3×3×64。

(3)重建階段。采用亞像素卷積層實現高分辨地震剖面圖的重建。亞像素卷積操作具體可分為兩部分，首先采用尺寸為3×3，數量為r2(r為圖像放大倍數)的卷積核進行卷積操作，然后將r2個大小為H×W的特征圖重新排列成一幅rH×rW大小的高分辨率圖像。亞像素卷積操作可表示為

YSR=Fn(Y)=PS(Wn*Fn-1(Y)+bn)

(2)

其中，Fn-1(Y)為經非線性映射后輸出的特征圖，Wn和bn表示可學習的網絡權重和偏置,PS表示亞像素卷積操作，YSR為重建得到的高分辨率圖像。

網絡中的卷積操作可表示為

Fl(Y)=f(Wl*Y+bl),l∈(1,n-1)

(3)

其中，Y為網絡輸入，Wl，bl分別代表第l層卷積的權重和偏置，f(·)表示激活函數。為了充分利用邊緣信息，卷積前對圖像邊緣進行零填充，使得重建后的圖像大小為輸入圖像的整數倍。本文超分辨率重建算法的具體描述見表1。

2.2 訓練

本文選擇Prelu作為網絡激活函數，使用基于L2范數的損失來指導網絡學習，使用的損失函數[14]的表達式為

表1 本文超分辨率重建算法描述

(4)

其中，n表示每個batch中訓練樣本的數量。H*W為特征圖的尺寸，C為特征圖通道數，Iv,i,j,k為第v幅圖像第k個通道位置為(i,j)的像素值，LMSE越小，說明重建圖像與原始高分辨率圖像的差異越小。訓練采用反向傳播的梯度下降算法進行優化。

3 實驗結果及分析

3.1 實驗環境及評價指標

實驗測試所用計算機配置為Intel Core i7-3770U@3.40 GHz CPU,配置NVIDIA GeForce GTX 1060 GPU，內存為12 GB。實驗平臺搭載的操作系統為64位Windows 7系統，Matlab 2012b、CUDA Tookit 8.0、Cudnn 5.0和caffe[15]深度學習框架。

本文選用峰值信噪比(PSNR)[16]和結構相似度(SSIM)[16]作為重建圖像質量的客觀評價指標。PSNR用于定量計算重建圖像跟原圖之間誤差，其值越高，說明重建圖像失真越小；SSIM說明重建圖像結構與原圖結構的相似程度，SSIM的值越接近1，說明生成的重建圖像與原圖像結構越相似，效果越好。

3.2 數據集

為更好學習地震剖面圖像的紋理特征，本實驗選擇了300幅地震剖面圖像，從中選取270幅地震剖面圖像作為訓練集，30幅作為測試樣本。由于地震剖面圖像沒有官方數據集，本實驗數據集均在網絡數據庫中獲得。訓練樣本由低分辨地震剖面圖像和高分辨率地震剖面圖像(標簽)兩部分組成，為了對原始的270幅原始訓練樣本進行擴充，采用大小為17×17的滑動窗口對降質圖像進行切塊，得到17×17大小的圖像塊作為低分辨率圖像塊，采用大小為17r×17r(r為目標放大倍數)的滑動窗口對高分辨率圖像切塊，得到17r×17r大小的高分辨率圖像塊(標簽)，原始訓練集如圖4所示。

圖4 原始訓練集圖像部分展示

3.3 網絡層數設置

網絡的深度是影響超分辨率重建效果的重要因素之一。適當增加網絡層數，能夠增強網絡的非線性映射能力，提取更多紋理細節特征，便于后期重建，但是隨著網絡的加深，在訓練過程中可能會出現難以收斂的現象。本文算法采用殘差結構，可以加快網絡收斂，避免網絡過擬合的現象。當放大倍數為3時，分別訓練及測試層數為14、16、18的卷積網絡模型，即分別包括3、4、5個殘差塊，實驗將LR圖像塊和對應標簽作為網絡的輸入，訓練過程采用SGD優化器，動量設置為0.9，學習率設置為0.0001，訓練迭代5×105次。圖5為測試集的平均PSNR值隨迭代次數增長的曲線。從圖中可以看出，18層網絡模型重建性能最好。對比不同深度下測試集的PSNR均值和SSIM均值，見表2，結果說明了18層網絡重建圖像的PSNR和SSIM均為最高，所以本實驗網絡模型設計為18層。

圖5 測試集圖像的PSNR平均值在不同層數下隨迭代次數的變化

表2 不同深度下測試集的平均PSNR和SSIM

3.4 實驗結果及分析

在測試集中隨機選取一幅測試圖6(a)，分辨率為297×258，經3倍下采樣處理后得到分辨率為99×86的低分辨率圖6(b)，由于圖像太小導致無法看清圖像中的紋理細節信息。將圖6(b)由人工放大(不改變圖像分辨率)得圖6(c)，可見圖6(c)圖像細節模糊，使得后續的地震解釋工作變得困難。本文采用超分辨率重建的方法重建低分辨率地震剖面圖像，如圖6(d)所示，可較為精確的重構圖像細節紋理信息。

圖6 超分辨率重建實驗效果

為了體現本文算法的有效性，將本文算法同基于插值的Bicubic算法、基于稀疏表示的ScSR算法、基于卷積神經網絡的SRCNN、FSRCNN和ESPCN算法進行對比。在測試集中隨機選取3幅測試圖像，將它們都進行3倍下采樣處理得到LR圖像，采用本文算法和對比算法進行重建并選取感興趣的區域放大，實驗效果對比如圖7所示。從細節放大圖中可以看到，傳統的Bicubic算法重建圖像邊緣模糊，紋理細節不明顯。ScSR算法圖像邊緣偽影現象較為嚴重。SRCNN、FSRCNN、ESPCN整體視覺效果優于Bicubic和ScSR,但是重建圖像邊緣處仍存在不同程度的偽影。對比上述算法，本文算法取得了更好的重建效果，重建圖像的細節信息恢復更加完整，邊緣更加清晰。

在3倍放大因子下，選取8幅測試圖像進行重建并記錄其PSNR值和SSIM值,如表3所示。可以發現本文算法的PSNR值和SSIM值均高于對比算法。為避免偶然性，在2、3、4倍的放大因子下分別訓練神經網絡并進行測試，表4為測試集的平均PSNR值和SSIM值。可以看出本文方法在不同放大倍數下，客觀評測結果均優于其它對比算法，充分說明本文算法重建效果更好。

3.5 速度比較

為了測試本文算法的時間性能，在測試集中隨機選擇5幅圖像，采用本文算法及基于神經網絡的對比算法進行重建，各方法的重建時間見表5，從表5中可以看出，本文算法較SRCNN、FSRCNN、ESPCN方法相比，重建速度略慢。

4 結束語

本文將超分辨率重建技術應用到地震剖面圖像處理領域，在地震數據采集過程中可采用較少傳感器采集地震數據，成像后采用超分辨率重建技術重建高分辨率地震剖面圖像，有效節約勘探成本。本文網絡模型共有18層，在高層網絡中加入雙通道注意力機制塊，提高了重建精度。實驗結果表明，本文算法的PSNR、SSIM均高于現有的幾種典算法，重建圖像細節更豐富，邊緣更加銳利。但該算法由于網絡層數的增加導致重建速度較慢，下一步工作的重點是在保證重建圖像精度的條件下降低算法復雜度。