基于模糊Renyi熵和區域增長的圖像目標分割方法

劉松濤, 劉振興, 姜康輝

(海軍大連艦艇學院信息系統系, 遼寧 大連 116018)

0 引 言

隨著各種偵察衛星和飛機的發展,在實際偵察活動中,尤其是航空偵察,會得到大量的圖像信息,如何從這些圖像信息中快速精確地分割出感興趣目標,顯得至關重要[1-3]。

常見的圖像分割方法包括4類:邊緣檢測法、區域增長和分裂合并法、閾值分割法及統計學分割法[4]。圖像分割通常是把圖像分成各具特性的區域,但并沒有提取出感興趣目標。本文將閾值分割和區域增長方法結合,提出感興趣圖像目標分割方法。基于Renyi熵的圖像分割算法是閾值分割方法中運用比較普遍的一種,經過多年的發展,產生了一維Renyi熵算法[5]、二維Renyi熵算法[6]、基于分解的二維Renyi熵算法[7]等。二維Renyi熵算法與一維Renyi熵算法相比,考慮了空間分布情況,分割效果更好,但是計算復雜度增大。鑒于本文的閾值分割只是得到初步圖像分割結果,實時性更加重要,同時借鑒文獻[8],本文將模糊隸屬度函數(fuzzy membership fuction,FMF)引入到一維Renyi熵分割算法,實現圖像分割。區域增長方法的核心是種子點的選取和增長準則的設計[9]。種子點通常人工選擇。為了實現自動選取,經典方法是首先對圖像進行顯著性檢測,然后用勝者為王(winner-take-all, WTA)機制來提取種子點[10]。與種子點獲取類似,也可在顯著圖上進行目標分割[11-12]。文獻[13]用自適應閾值分割來獲取目標模板。為了得到更加精確的目標分割,文獻[14]將目標分割變為兩步,第1步在顯著圖上進行初始分割,第2步用自適應種子點調整和參數優化的迭代圖割來實現目標分割。然而,由于顯著圖分辨率較低,將其直接作為目標分割結果是不合適的。理想的做法應該是以種子點或目標模板為基礎,在原圖進行區域增長。但是,傳統的區域增長時,容易受到噪聲的影響,增長閾值的設定也是難點。

為了克服上述不足,本文提出了基于雙金字塔和特征融合的顯著性檢測方法,通過形態學重構開運算和區域極大值生成目標核心區域,然后,增長準則設計為將模糊Renyi熵的圖像分割結果進行二值標記,最后選取與目標核心區域重疊最多的區域塊為目標分割結果。新方法將閾值分割和區域增長融為一體,種子點區域的確定更加可靠,增長準則的設計更加合理,目標區域的提取更加精確和完整,計算效率也非常高。

1 基于模糊Renyi熵的圖像分割方法

基于Shannon熵的閾值分割法實現簡單、性能穩定,被廣泛應用,而Renyi熵是Shannon熵的廣義形式,效果更好。針對數字圖像的模糊特性,應用FMF把圖像灰度直方圖映射到模糊域,并在圖像模糊域中定義一種新的Renyi熵(模糊Renyi熵),再根據最大熵原理確定分割閾值[8],具體步驟如下:

步驟1構建圖像直方圖。令圖像大小為m×n,灰度等級l∈{0,1,…,L-1},則歸一化直方圖為

(1)

式中,n1表示圖像中具有l級灰度的像素數。

步驟2設計FMF。應用模糊集理論進行圖像閾值分割時,把數字圖像看作一個模糊集,圖像中目標與背景的灰度級FMF滿足條件

μO(l)+μB(l)=1

(2)

式中,μO、μB分別表示目標和背景的隸屬度函數。將一幅圖像映射到模糊域,有很多函數可供選擇,如三角函數、S函數、Z函數及π函數等。本文選擇三角函數作為FMF,即

(4)

式中,變量a、c是決定模糊區間寬度的參數。當找到一個最佳的模糊區間(aopt,copt)時,最佳分割閾值為

(5)

步驟3模糊Renyi熵

根據FMF,得到圖像目標與背景的分布為

(6)

根據Renyi熵定義,圖像目標O與背景B的模糊Renyi熵為

(7)

式中,α參數對分割結果影響較大。

步驟4最大模糊Renyi熵分割。根據定義的模糊Renyi熵使用最大熵原則進行閾值分割,即

(8)

2 基于顯著性檢測和區域極大值的目標核心區域提取

模糊Renyi熵的圖像分割結果除了目標區域外,還有許多雜波和干擾。為了去除雜波和干擾,本文提出了基于顯著性檢測和區域極大值的目標核心區域提取方法。顯著性檢測時,對傳統的Itti模型進行改進,構建了雙金字塔結構[15],新的尺度空間結構更加合理,既保持了Itti模型的高效,又能更好地凸顯整個目標區域,有利于提取目標核心區域。

2.1 基于雙金字塔和特征融合的圖像顯著性檢測

圖1是改進后顯著圖模型的流程圖。輸入圖像首先轉換為獨立的顏色通道:黑-白亮度通道(I)、紅-綠顏色通道(red-green,RG)和藍-黃顏色通道(blue-yellow,BY),然后對于每一個通道,計算2個圖像金字塔(1個中心金字塔,一個周圍金字塔),從而得到中心-周圍對比金字塔,最后,融合不同尺度和特征的關注圖,生成最終的顯著圖。雙金字塔的優點是生成周圍層時可以靈活調整中心-周圍比率,有利于凸顯目標和周圍鄰域的差異性;特征融合是將不同特征通道和不同尺度空間的關注圖進行算術平均,有利于體現不同大小和顏色的目標顯著性。

圖1 改進后顯著圖模型的流程圖Fig.1 Flow chart of improved saliency detection model

2.1.1 特征通道

新模型主要基于強度和顏色特征進行計算,采用的顏色通道為黑與白(I)、紅與綠(RG)、藍與黃(BY),定義為

(9)

2.1.2 雙金字塔

形成顏色通道后,在空間結構上,新模型的空間結構與傳統的Itti模型有兩方面的不同,如圖2所示。

圖2 雙金字塔Fig.2 Dual pyramids

(1)設計了新的尺度空間。每個金字塔共有5層,每層金字塔包含2個尺度。

(2)構建雙金字塔,包括中心金字塔Cf和周圍金字塔Sf,f代表{I,RG,BY}中的一個顏色通道。

周圍金字塔的各層、各尺度由可調整的中心-周圍比率從與之對應的中心金字塔的各層、各尺度平滑產生。Itti算法的中心-周圍比率只能是2的次冪,不可能為1∶5或1∶12。而新模型中,周圍圖像根據所需的中心-周圍比率直接從中心圖像獲得,這種改變能夠有效地提高顯著圖檢測效果。

2.1.3 對比金字塔

(10)

式中,i代表金字塔層數,i=1,2,3,4,5。

2.1.4 尺度和特征融合

對比金字塔圖像每層的2個尺度首先融合,再將金字塔的5層通過跨越尺度融合獲得特征圖Ff,如圖3所示。

圖3 對比金字塔跨越尺度融合生成關注圖Fig.3 Fusion to generate conspicuity map of contrast pyramid spanning scale

(11)

然后,2個金字塔的特征圖融合成本特征通道的關注圖為

(12)

最終,3個特征通道(I,RG,BY)的關注圖融合生成顯著圖為

S=g(CI,CRG,CBY)

(13)

式中,f和g是融合操作,采用算術平均進行融合,即可獲得良好的結果。

2.2 提取目標核心區域

在顯著圖計算的基礎上,為了獲取種子點,借鑒文獻[16],設計了目標核心區域提取算法,主要步驟如下:

步驟1對顯著圖實施形態學重構開運算。可以去除小面積的區域和噪聲點,比普通形態學開運算能夠更加精確地恢復目標的形狀。

步驟2提取局部極大值并進行二值標記,構成區域塊。

步驟3計算區域塊對應顯著圖部分的平均值,該值表示區域塊的顯著性大小。

步驟4根據目標個數,提取顯著值靠前的區域塊,得到目標核心區域。

3 區域增長準則設計

目標核心區域確定后,需要在原圖像上進行區域增長,才能獲得精確和完整的目標分割結果。本文將模糊Renyi熵圖像分割結果與目標核心區域結合實現目標分割,具體步驟如下:

步驟1對圖像分割結果實施形態學重構開運算,消除雜波、平滑目標邊界;

步驟2對二值圖像進行標記,生成區域塊;

步驟3選取與目標核心區域重疊最多的區域塊為目標分割結果。

將模糊Renyi熵閾值分割、顯著性檢測、目標核心區域提取和區域增長準則設計進行綜合,形成目標分割算法。完整的目標分割算法流程如圖4所示。

圖4 圖像目標分割算法流程圖Fig.4 Flow chart of image target segmentation algorithm

4 實驗結果分析

針對課題組搜集的航空偵察圖像進行目標分割實驗,首先通過目標分割算法的關鍵輸出說明算法的主要步驟,然后通過局部性能分析說明目標分割算法核心模塊設計的效果,最后從整體性能分析角度,比較新方法與經典目標分割方法的優越性。算法參數主要有2個:α和num,α是Renyi熵參數,num是目標個數。實驗時,α=0.5,num=1。如果是多目標分割,可人工調整目標個數。

4.1 目標分割算法的關鍵輸出

與圖像目標分割算法流程圖相對應,目標分割算法的關鍵輸出如圖5所示。圖5(a)為艦船目標原始圖像;圖5(b)為模糊Renyi熵分割結果,艦船目標信息精確且完整,但是存在雜波和浪花干擾;圖5(c)為顯著性檢測結果,艦船目標整體比較顯著;圖5(d)是目標核心區域提取結果,準確無誤;圖5(e)是利用設計的區域增長準則所獲取的目標分割結果,有效去除了雜波和浪花干擾,目標分割精確且完整。

圖5 目標分割算法的關鍵輸出Fig.5 Key output of target segmentation algorithm

4.2 目標分割算法的局部性能分析

(1)將模糊Renyi最大熵分割與Renyi最大熵分割進行比較,結果如圖6所示。圖6(a)是艦船目標原始圖像;圖6(b)是Renyi熵分割結果;圖6(c)是模糊Renyi熵分割結果;很明顯,圖6(c)的艦船目標部分更加精確和完整,但是雜波和干擾也更加明顯,不過,雜波和干擾可以通過后續的區域增長算法有效濾除,因此,針對本文的目標分割,模糊Renyi熵的分割效果更好。

圖6 比較模糊Renyi熵分割和Renyi熵分割Fig.6 Comparison of fuzzy Renyi entropy and Renyi entropy segmentation

(2) 區域塊標記之前用形態學重構開運算去除雜波影響,結果如圖7所示。圖7(a)是艦船目標原始圖像;圖7(b)是模糊Renyi熵分割結果;圖7(c)是形態學重構開運算的雜波濾除結果,實現了消除雜波、平滑目標邊界的目的。

圖7 形態學重構開運算Fig.7 Morphological open operation using reconstruction

(3) 改進算法顯著圖和Itti顯著圖的對比效果,如圖8所示。圖8(c)是Itti顯著圖效果,岸邊建筑物的顯著性更加突出,導致目標核心區域提取失敗和目標分割錯誤,如圖8(d)和8(e)所示;圖8(f)是改進算法的顯著圖效果,整個艦船目標的顯著性都比較明顯,后續的目標核心區域提取和艦船目標分割均正確無誤,如圖8(g)和圖8(h)所示。因此,改進的顯著性檢測算法能更好地實現目標核心區域提取和目標分割。

圖8 改進算法顯著圖和Itti顯著圖的對比Fig.8 Comparison of improved algorithm’s saliency map and Itti’s saliency map

(4) 圖9體現了形態學重構開運算對目標核心區域提取的重要性。如果直接在圖9(a)顯著圖上進行區域極大值檢測,容易受到雜波和干擾的影響,導致目標核心區域過小如圖9(b)所示,正好匹配艦船目標內部的空洞區域如圖10(c)所示,導致無法檢測到目標。圖9(c)為形態學重構開運算后的顯著圖,有效去除了小面積的區域和噪聲點,目標核心區域提取和目標分割結果如圖9(d)和圖10(c)所示。顯然,形態學重構開運算可有效避免小面積區域和噪聲點對目標分割的影響。

圖9 顯著圖實施形態學重構開運算Fig.9 Saliency map on morphological open operation using reconstruction

(5)比較目標核心區域提取方法、文獻[16]方法和WTA種子點提取方法。原始的WTA用于注意焦點選擇,然后用返回抑制功能(inhibition of return, IR)抑制當前區域,使注意焦點轉向下一個區域[10]。本文將注意焦點的選擇與轉移用于種子點選擇。原始的WTA返回單個種子點,可能正好匹配圖10(c)艦船內部的空洞區域,造成目標分割失誤,如圖10(a)所示;本文將單點改進后形成目標模板,如圖10(b)所示;利用此模板進行本文設計的區域增長,結果為圖10(c),目標分割正確。可見,針對單目標核心區域提取,目標核心區域提取方法與改進的WTA方法效果相當。

然而,改進的WTA方法提取多目標種子點時容易陷入大目標區域,IR功能失效,無法實現多目標分割,如圖11(d)和圖11(e)所示。而目標核心區域提取方法采用形態學重構開運算和局部極大值提取,可有效提取出多個目標核心區域,從而分割出多目標。多目標分割時,目標數為6,區域1和區域2對應為同一個目標,第4個區域對應為背景,故沒有輸出。目標核心區域提取方法與文獻[16]方法的主要區別是采用顯著性排序的方法提取目標,避免了顯著性閾值難以確定的不足,但核心區域提取效果是一致的。

圖10 改進的WTA種子點提取效果Fig.10 Seed points extraction effect of improved WTA

圖11 本文方法和改進WTA方法的多目標核心區域提取效果比較Fig.11 Comparison of the multi-target core region extraction effects between the proposed method and improved WTA method

4.3 目標分割算法的整體性能分析

為了考察本文方法的適應性,對多幅航空偵察圖像進行目標分割實驗,并與經典目標分割方法、文獻[13]方法和文獻[17]方法進行對比,結果如圖12所示。經典目標分割方法除采用改進WTA提取種子點外,其他部分和本文方法均保持一致。

圖12 不同目標分割方法比較Fig.12 Comparison of different target segmentation method

圖12的第3行和第6行為經典目標分割方法和本文方法的分割結果,單目標分割時2種算法的分割結果都非常好,但是,針對多目標分割問題,從圖11即可發現,經典目標分割方法容易陷入大目標區域,不能分割出多目標,而本文方法可有效分割出多目標。但是對多目標灰度等級不一致的情況,本文方法也將失效,如圖13所示。

圖13 本文方法多目標分割失效的情況Fig.13 Situation of multi-target segmentation errors of the proposed method

僅分割出一個目標,其他目標均沒能正確分割。后續工作考慮采取自適應多閾值圖像分割代替模糊Renyi熵閾值分割來克服[18-19]。圖12的第4行為文獻[13]方法的分割結果,多目標分割效果較好,但是無論多目標圖像還是單目標圖像,雜波干擾嚴重。圖12的第5行為文獻[17]方法的分割結果,目標分割比較完整,且雜波抑制好,但是多目標分割效果較差。

至于算法的計算量,對文中涉及的9幅圖像進行目標分割,每幅圖像分割10次,統計計算耗時的平均值,如表1所示。新方法計算量比較小。

表1 不同目標分割方法的計算耗時

上述實驗表明,本文方法不僅可以實現復雜場景(沿岸干擾、海雜波干擾和多目標)航空偵察圖像艦船目標的精確分割,同時計算效率也非常高。仿真時,圖像大小為256×256,兼容機配置為3.6 GHz CPU,8 G內存;操作系統為win7 64,開發軟件為matlab 2012,代碼未優化。

5 結束語

為了實現快速精確的航空偵察圖像目標分割,將模糊Renyi熵和區域增長結合,提出了新的目標分割方法。首先應用模糊Renyi熵進行圖像分割,可以保證艦船目標信息的精確和完整,然后提出基于雙金字塔和特征融合的顯著性檢測方法,有利于凸顯艦船目標的整體顯著性,接著設計形態學重構開運算和區域極大值生成目標核心區域,不僅種子點提取更加可靠,而且能適應多目標情況,最后利用設計的增長準則將圖像分割結果和目標核心區域進行融合,實現目標分割。實驗結果表明,新方法是一種非常高效的航空偵察圖像艦船目標精確分割方法。主要不足是針對灰度等級不一致的多目標圖像,難以有效分割出全部目標。下一步工作考慮采用自適應多閾值圖像分割來克服該不足。