基于分類思想的高密度數據去噪方法研究

周竹生,楊 俊,黃 平,馬 陽

(1.中南大學 信息物理工程學院,湖南長沙 410083;2.中國石油西南油氣田公司 勘探開發研究院,四川成都 610051)

0 前言

高密度電阻率法是八十年代國際上興起的一種電法勘探的變種,其基本原理與常規的電阻率法完全相同。因此,它仍是以巖礦石的電性差異為基礎的一類勘探方法,研究的是在施加電場的作用下,地層中傳導電流的分布規律。它的電極布設是一次完成的,實現了數據采集收錄自動化,智能化。因此,可以方便地采集到大量的數據,從而可以提供較為豐富的地電結構狀態和地質信息,并且避免了人工操作帶來的誤差。

但是,在實際高密度電阻率法測量中,由于地質地球物理條件是十分復雜,地表電性不均勻,地形起伏及電極接觸不好或存在其它方面的干擾等原因,都將使視電阻率結構變得十分復雜,常常使數據斷面出現一些虛假點或突變點,進而造成電阻率擬斷面圖的虛假異常,難于對其進行準確解釋。尤其是當野外條件不允許,無法改善電極接地條件時,那么只能先將數據記錄下來,然后再剔除掉斷面記錄中的虛假數據。作者在本文中借鑒圖像去噪的方法,并結合現場情況對視電阻率進行分析處理,盡可能的分辨和消除一些干擾因素的影響,最大程度地恢復了原始數據的有效性。

1 噪點分類[7]

參照圖像去噪的方法,將高密度數據中的噪聲點分成二個大類:①受電極接觸不好或儀器供電不良造成的脈沖型噪聲;②受其它地電干擾或隨機干擾造成的高斯型噪聲。其中又將脈沖型噪聲分成絕對脈沖噪聲和相對脈沖噪聲。

1.1 脈沖型噪聲點

對于高密度數據斷面的某個區域來說,脈沖噪聲會造成中心點電阻率值與周圍點電阻率值之間有較大差異。對于一個實際數據資料,理想的脈沖噪聲點是電阻率表現為極大值或者為負值的數據點。但是由于高斯噪聲的疊加,導致脈沖噪聲點的電阻率值有一定范圍的改變,因此又把脈沖噪聲分為二種,并分別進行判別。

(1)準理想脈沖噪點。對于電阻率值小于0,或者大于預設定閥值H的數據點,由于它接近于理想脈沖噪點,故稱準理想脈沖噪點。這個閥值可以通過做數據直方圖,找出數據點開始離散分布的高值點的電阻率值作為閥值,在后面噪點判別中會有說明。

(2)相對脈沖噪聲點。這類噪聲點的特點是電阻率值在0到閥值H之間,但相比于周圍臨近的其它數據點來看,電阻率值偏大或偏小,也可以認為此數據點為孤立數據點,可稱為相對脈沖噪聲點。

1.2 高斯型噪聲點

所謂高斯噪聲,是指它的概率密度函數服從高斯分布(即正態分布)的一類噪聲。作者在本文所要研究的是具有高方差的高斯噪聲,它的存在會使數據跳動嚴重,使反演結果變得不可靠。

2 噪聲檢測與剔除方法

為了準確地剔除噪聲數據點,避免有用的數據被誤剔除,作者在仔細分析了各種噪聲特性的基礎上,對每一種噪聲提出了相應的檢測方法,并給出對應的最適合的去除方法。盡力做到了在剔除噪聲點的同時,保留數據更多有用的信息。

2.1 絕對脈沖噪聲點的檢測與剔除

在高密度電法數據資料中,脈沖噪聲點總是出現在電阻率極大值區域里,或者地球物理允許的邊界條件外,在電法勘探中就是電阻率為負值區域,且與高斯噪聲點相比脈沖噪聲點較為分散,多以孤立點出現,與周圍非噪聲點的電阻率差值較大。這樣就可以設置高阻閥值H,把電阻率值大于H的數據點歸入集合H里面。由于一次測量得到的高密度電法數據大多數分布一定的電阻率范圍內,所以閥值H的確定可以通過對數據做直方圖,選取數據點個數變得稀少且開始出現離散分布的電阻率值作為H;然后再把電阻率值小于零的點歸入集合L,用集合M代表脈沖噪點。

顯然,M?(L∪H)。也就是說,脈沖噪聲點電阻率值一定是大于H或者小于0,但電阻率值大于H或者小于0的點并不一定是脈沖噪聲點。這樣就將脈沖噪聲點的檢測從整個數據集縮小到了集合L∪H。再根據電阻率值不能為負值這一物理限制,可以得出集合L中的點必為噪聲點。這樣首先就應該剔除負值點,避免它的影響通過濾波作用傳遞到其它數據點。

對于集合L中的點,采用傳統的中值濾波方法去除。根據高密度數據點的分布特點,選取該類噪聲點周圍六個方向上距離該點最近的數據點,組成濾波集合(見圖1)。對于選取的數據,首先判斷它的值是否小于零,小于零的點就舍去,不加入濾波集合。對于邊界上的點,還是按這些位置去選取數據,若位置超出數據邊界,就不作選取。最后用選取數據集的中值來代替原來噪聲點的值。

圖1 數據點的選取Fig.1 Data point selection

而對于集合H中的點,就需要判斷它是否為真正的絕對脈沖噪點。對于這類點的檢測,是整個去噪過程的最為關鍵的一步,其成敗決定了是否能成功將虛假異常點剔除,或者將真正的數據異常點誤剔除掉。

標準中值濾波的濾波窗口設計,一直存在著噪聲抑止與細節保護這個矛盾,作者在本文綜合考慮了大的濾波窗口對噪聲抑止好的優勢,以及小的濾波窗口對細節保護好的優勢,設計了一種新的濾波窗口。在總結圖像去噪各種方法的基礎上,作者設計出了帶自適應的改進中值濾波算法來檢測和去除該類噪聲點。

由于集合H中的點都滿足電阻率值大于閥值H,還需要判斷的就是它是否真正“孤立”。這樣,在檢測噪聲時,先從相對“宏觀”的大窗口來觀察集合H中的數據點(數據點選取見圖2)統計在中心點周圍六個方向上,當最內層上和次內層上的數據點電阻率大于H的個數時,計數為n。當n大于等于內層上數據點個數時,就可以排除該中心點為脈沖噪點;反之,就可以認為中心點是“孤立”的。

圖2 改進中值濾波算法數據點選取Fig.2 Improved median filtering data point selection

對于判斷為脈沖噪點的中心點,首先在內層數據點中選取滿足R(i,j)

2.2 相對脈沖噪點的檢測與剔除

對于電阻率值沒有大于閥值H的數據點,但它與周圍數據點的差值都比較大,都大于某個閥值T,這樣的點就可以看成相對孤立點,也就是相對脈沖噪聲點。閥值T的大小,應該根據該數據區域電阻率期望值E(R)來確定。

對于滿足上述條件的點,都可以看成是相對脈沖點,不用再考慮其它條件。而對于這類噪點的濾除,采用傳統的中值濾波,數據點集選取方法同去負值時一樣,由于前面已經消除了絕對脈沖噪聲點的影響,周圍的數據點就可以全部選取到濾波集合里面,然后對這個集合求取中值來取代原來中心點上的數據。

2.3 高斯噪聲點的檢測與剔除

由于作者在本文中要處理的是具有高方差特征的高斯噪聲,因此可以使用方差V來檢驗某塊區域數據是否受高斯噪聲嚴重污染。首先,將每個數據點和它們周圍臨近數據點組成的數據樣本的方差,存在一個矩陣VAR中,這些周圍數據點選取的方法同去負值時一樣。用閥值V來確定方差是否過大,其中V分別取mean(VAR)、2＊mean(VAR)、4＊mean(VAR),再建立一個矩陣F。如果VAR>V,則F(i)=1;反之F(i)=0。實驗證明,V的取值應該介于某個范圍內。

V=(1+r)＊mean(VAR) (0

3 實驗及結果分析

本次試驗數據采用中、緬油氣管道工程緬甸境內南塘河隧道高密度測量數據。數據采集選用的儀器是重慶奔騰數控研究所最新研制的WDJD-3高密度電法測量系統。由于野外施工條件極其惡劣,加上與當地民工語言不通,所以野外采集數據質量沒辦法進一步提高,只有通過室內數據去噪處理,來提高數據質量。

數據處理流程如圖3所示。對每一步處理后的數據都進行了反演處理,以便對比數據,檢查噪聲濾除效果。

(1)在處理過程中,首先去除負值,在負值去除以后,通過作數據直方圖[8](見下頁圖4(a))來確定去噪閥值H。在對數據做一次脈沖噪聲去除后,可以通過直方圖分析發現,高于閥值H的數據點都已剔除(見下頁圖4(b))。但從直方圖還發現,電阻率值高于20 000的數據點數也很少,為驗證其存在的合理性,在取H=20 000做第二次脈沖噪聲去除,結果發現處理后數據變化不大(見下頁圖4(b)、圖4(c)),說明其存在是合理的。

(2)接下來進行相對噪聲去除,從三維視電阻率圖上可以發現,處理后區域1的數據明顯平滑了(見下頁圖5)。然后進行對高斯噪聲點的去除,從處理前、后的視電阻率反演圖上進行對比發現,數據基本上沒有什么變化(見下頁圖6)。

圖3 數據處理流程Fig.3 Data processing flow

圖4 高阻去除前、后電阻率分布直方圖Fig.4 Resistivity distribution histogram before and after high-resistance data point eliminated

(3)最后將各個步驟得到的數據進行反演成圖(見下頁圖7),可以發現在以閥值30 000對數據進行處理后,反演圖像已經沒有什么大的變化了,這里主要的變化就是圖7上最高電阻率值與最低電阻率值的差值在縮小,這是由于對數據平滑導致的,這樣也增加了反演結果的可靠性。

4 結論

圖5 去除相對脈沖噪聲前、后三維視電阻率分布圖Fig.5 Three dimensional apparent resistivity distribution map before and after eliminating relative impulse noise

圖6 去除高斯噪聲后三維視電阻率分布圖Fig.6 Three dimensional apparent resistivity distribution map after eliminating gauss noise

高密度數據去噪的核心部份是脈沖噪聲的去除。從處理數據的實例來看,當閥值H設為30 000時,由于數據點確實比較分散,程序將它們全部剔除,用改進算法的中值代替。但當第二次將閥值設為20 000時,只有很少數點被剔除了,這說明了算法并非盲目的剔除大于閥值的數據,而是對它是否真正為孤立點做出正確判斷后才會進行剔除,從而驗證了算法的有效性。后面相對脈沖噪聲去除和高斯噪聲去除后的數據已經無明顯實質性變化,只是對數據做了修飾性處理。但是,在數據變化劇烈時,它可以使電阻率的變化變得相對平緩,增加反演結果的可靠性。

圖7 各類噪聲數據點去除后的反演圖Fig.7 Inversion results after each kind of noise data points eliminated

[1] 關新平,趙立興,唐英干.圖像去噪混合濾波方法[J].中國圖像圖形學報,2005,10(3):332.

[2] 鄒艷碧,高鷹.自適應濾波算法綜述[J].廣州大學學報(自然科學版),2002,(3):251.

[3] 許衛全,張新樓,徐中佑.保持圖像細節的局部自適應去噪濾波器新方法[J].信號處理,2005,21(2):191.

[4] 王建華,王春平,賈洪濤.自適應中值濾波器在圖像降噪技術中的應用[J].測控技術,2004,(5):54.

[5] 胡浩,王明照,楊杰.自適應模糊加權均值濾波器[J].系統工程與電子技術,2002,24(2):15.

[6] 于曉晶.中值濾波器在圖像去噪中的應用[J].電腦知識與技術,2008,(9):1795.

[7] 康泱,嚴國萍,潘睛.基于象素分類思想的自適應圖像去噪算法[J].計算機與數字工程,2006,10(4):18.

[8] 王保平,范九倫,謝維信,等.基于直方圖的自適應高斯噪聲濾波器[J].系統工程與電子技術,2004,26(1):1.