摘要:蛇(Snake)模型,也稱活動輪廓模型(Active Contour Model),能利用圖像的高層信息能量泛函最小化來解決圖像分割問題,多數學者因這點認真研究并改進了Snake,參數活動輪廓最先被研究,從改進力場的角度入手,以GVF-Snake最為出色,該類模型非常適合醫學圖像的分割,但其本身基于拉格朗日框架,分割結果依賴于初始輪廓的設置,學者借助幾何活動輪廓模型,解決參數蛇難于處理拓撲變化問題,使分割以自適應方式進行,極大弱化了初始化要求,提高分割魯棒性,能分割遙感、紋理、彩色圖片。
關鍵詞:圖像分割;參數活動輪廓;幾何活動輪廓;能量泛函; 蛇模型
中圖分類號:TP3914 文獻標識碼:A文章編號:2095-2163(2013)02-0082-04
0引言
蛇(Snake)模型,即活動輪廓模型(Active Contour Model),一度曾被國內學者譯成主動輪廓模型,最早由Kass等人提出,能利用圖像高層信息能量泛函來解決圖像分割問題,2000年左右引入國內。國內,較早關注此模型的有哈工大李培華教授,當時將國外最新的蛇模型技術進行了綜述[1]。文中闡述了Snake的數學模型,提到了Snake的算法實現,主要有計算復雜度為O(nm3)的Amimi動態規劃法,和算法復雜度為O (nm) 的Williams的貪婪算法。接著又介紹了Snake的改進模型,如Cohen的氣球模型,Storvik的基于貝葉斯概率統計的Snake模型,及用于運動跟蹤的可變形模板(Deformable Templates)模型。另外一位長期深入研究Snake模型、且造詣深厚的學者是美籍華人徐成陽,首先提出了GVF-Snake模型[2]。該模型在圖像分割或輪廓提取時,能雙向驅動初始曲線的演化,使其進入圖像的深凹輪廓,同時,在更大程度上降低了對初始化曲線位置需有嚴格限制的要求。
早期的Snake模型在圖像分割或輪廓提取時,因驅動外力不夠,要求初始化曲線須設定在圖像真實輪廓的附近,否則較難收斂于圖像真實輪廓,得不到較好分割效果。
在此期間,國內則少有學者開展Snake研究,可見的發表成果為:周彥博結合變分法處理醫學圖像,成功提取紅細胞。賈春光結合遺傳算法研究MR圖像,提取大腦皮層外輪廓和左腦室,但并未取得滿意效果[1]。
國內其他學者,鑒于Snake方法的新穎,于2001年左右對Snake算法進行了系統研究,課題多會涉及國家自然基金項目。研究活動多是集中于對Snake算法的各種改進,并得到改進的GVF-snake模型,再后來,即是采用水平集方法,所得研究成果多為幾何活動輪廓模型。
在Snake模型的研究期間內,因多種原因所致,如學術名詞的翻譯等,Snake模型,曾被冠以多種名稱,如蛇模型[1]、Snake算法[3]、主動輪廓模型[1,4]、活動輪廓模型[5,6]、幾何主動輪廓模型[4,7]、可變形模板Snake模型[1,5] 、基于角點的Snake模型[8],隨著研究的進一步深入,又出現了結合區域信息、邊界信息的改進的新蛇模型,但這些新數學模型已經與當年Kass的原始Snake有較大區別,本文依然將其歸納為蛇模型家族。為了統一起見,將蛇模型分為參數式活動輪廓模型、幾何式活動輪廓模型、融合其他信息的混合蛇模型。
(1)基于參數的經典蛇模型有Snake;Balloon-Snake;距離勢能Snake;GVF-Snake;GGVF-Snake;虛擬電場Snake(Virtual Electric Field),簡稱VEF;改進的虛擬電場Snake(External Force Using Vector Field Convolution)簡稱VFC。
(2)幾何式蛇模型。采用水平集方法,包括了測地線蛇模型(Geodesic Active Contour Model) 簡稱GAC;測地線活動區域模型(Geodesic Active Region),簡稱GAR;分段常數模型(Chan-Vese)簡稱C-V;此外,還有雙向Chan-Vese。第2期王成杰:基于蛇模型圖像分割研究綜述智能計算機與應用第3卷
(3)混合蛇。兩種模型結合的Snake,融合了邊界或區域信息,由此得到了對Snake改進后的新方法,如,2006年,Lie等人提出了基于區域的二值水平集。Tai提出了基于邊界的二值水平集。2007年,尚巖峰提出自適應的Balloon-GVF Snake。此后一些學者,又結合其他方法,研究了參數蛇模型進行多目標分割的算法,此算法打破了參數蛇模型不能解決拓撲結構變化的問題。還另有一批學者,結合邊界信息,通過演化曲線方式,實現了水平集。
1Snake模型的思想
圖像分割(Image Segemention)可將給定的圖像分割成一系列感興趣的區域,因而是圖像分析、圖像理解的基礎。
Marr的傳統視覺將信息處理分為底層視覺、中層視覺和高層視覺三個階段,只是底層視覺是無法利用高層信息。而Kass提出的Snake模型,將圖像的灰度信息、梯度信息等特征當做能量,先驗知識如目標的大致情況也可等同為能量,并以其為基礎,設計一個可供高層視覺選擇的能量函數[2](具體的能量函數可參見朱國普的博士論文),用以處理低層視覺中的圖像分割問題。該模型的實現原理為:
在待分割的圖像中放置一條自由曲線,曲線自身具有內部能量,能約束自身的形狀,能抗拉伸,抗彎曲,圖像的外部能量,能驅動曲線運動,在內外能量形成的內、外力場綜合作用下,曲線達到能量最小化,收斂于圖像的顯著特征或局部極值處,達到圖像分割的目的。
由此可知,Snake模型的突出優點是:
(1)突破了由Marr提出的傳統視覺理論局限,為計算機視覺理論引入了新的思維思路。圖像分割中,有效地利用了圖像高層信息,并對底層視覺信息的加工進行指導和修正,為信息處理提供了更多的方便。其處理方法與人類的視覺系統已存在更多的類似。
(2)可將圖像數據、初始估計、目標輪廓及先驗知識集成于同一個特征提取過程中。一旦啟動初始化,將能自主地收斂于能量極小值狀態,且無需人工干預,就能捕捉到連續、完整的目標輪廓。
當然,該模型也有一些缺點:
(1)分割結果對于初始曲線的選定位置非常敏感。
(2)因外力不足,曲線通常不能被驅動到深凹圖像的內部。
(3)原始的蛇模型無法控制曲線拓撲結構的自適應變化。因而需要對蛇模型進行改進。
改進的模型分為兩組,一組是參數蛇,另一組是幾何蛇。針對模型的缺點,從4個方向實行改進。分別是:
(1)對初始化曲線條件的研究。
(2)對力場改進,如雙向驅動、進入深凹圖像開展輪廓提取的研究。
(3)弱邊界、抗噪處理;
(4)針對拓撲結構變化,自適應控制曲線演化,完成復雜目標圖像的分割。
具體來說,參數蛇研究成果多集中在(1)、(2)、(3)方向,尤其是方向(3)對力場持續改進,雙向驅動的改進;幾何蛇執行處理卻在(1)、(2)、(4)方向,且最好的成果輸出體現于方向(4)中。
另外,以時間為維度參數可得,研究的早期時候,參數蛇因GVF-Snake的提出而廣受眾多研究者的推崇青睞;現今,因幾何蛇快速數值算法的實現,幾何蛇已成為研究的重心。而今后,蛇模型改進除了需要結合邊緣、結合區域、還需與其他的分割方法相結合,才能取得更大的進展和更大的新突破。
2典型改進蛇模型特性分析
因為Snake模型天然的優越性,其應用所及已經相應拓展到圖像分割、目標識別、行為分析、視頻跟蹤、三維醫學重建等領域。同時也因其局限性,眾多學者也在對其進行不斷的改進。
21參數蛇模型
(1)Balloon-Snake。由Cohen提出,修改了Snake外力項,增加了一項氣球力,該力驅動勢頭強勁,有利于深入圖像的深凹部位,且能跨越小的圖像噪聲點,弱邊界或殘損邊界,而不致出現收斂。因此,對于存在邊界空隙、邊界破損的圖像,就需要根據收斂結果,人工設置迭代次數。鑒于氣球力每次只能單向驅動,因此,氣球模型的初始曲線設置,必須設定于圖像的內部或外部,一定不能與圖像有所交叉,否則不能進行正確分割。Cohen還給出了距離勢能力函數,此模型也是用于增加Snake外力,其結果是使得初始曲線可以位于待割圖像周圍、可以位于待割圖像交叉,但其力度并不到位,因而無法收斂到圖像的深凹處。
(2)GVF-Snake。由徐成陽提出,其提出的梯度向量流GVF是一個比較優秀的力場,可以雙向驅動,而對初始曲線放置的要求也不再那么嚴格,既能放置在待割圖像周圍、也可以與待割圖像交叉,還能深入凹形圖像的極低處,而且也能分割弱邊界的情況。但是對于極個別圖像驅動到深凹處能力仍然偏弱,因此,又提出了GGVF模型,使得推進深凹處問題得以滿意解決。
在以上研究基礎上,又經過多次實驗進一步發現,GVF-Snake及其改進模型并非每次設定初始位置都能得到正確分割。而且對于同一幅圖像,放置相同的初始曲線,一種GVF力場解決不了,但是換一種改進的力場就能實現正確分割了,這一原因直到2002年才得以完整揭示。Yu等人指出,向量場,即外力場中存在一些臨界點會對分割產生重要影響[2]。若要進行正確的圖像分割, He等人已經提出了正確分割的充要條件:初始曲線需要包含并且只能包含待割圖像內的所有節點。
隨著研究的不斷推進,后續許多改進Snake模型(如VEF、VFC) 所提取的輪廓已經更加貼近圖像真實邊界,且對弱邊界、抗躁等都具有較高的魯棒性,但卻仍然未能完全解決曲線的初始化問題。參數蛇已經成功應用于醫學圖像的交互式分割,但若要實現自動化分割則需要尋求一種新的方法。
2.2幾何蛇模型
(1)測地線活動輪廓模型 (Geodesic Active Contour Model,簡稱GAC),是最早的幾何蛇。這類模型是以目標邊緣信息作為主要驅動力來引導分割曲線的運動,即可歸結為是基于邊緣的分割。該模型的特點是:邊界強度小或者沒有邊界的地方,變形曲線運動速度很快,而邊界強度較大的地方,變形曲線速度較慢甚至停止。當目標邊緣不明顯或者存在縫隙情況下,此方法將會出現邊緣泄露現象。
(2)測地線活動區域模型(Geodesic Active Region,簡稱GAR)是Paragios結合了基于邊界的測地線模型和朱付平的區域競爭模型的優點而研發提出的基于區域特征幾何蛇模型。該模型解決了初期的測地線幾何蛇初始曲線魯棒性不足的問題。
(3)分段常數C-V模型。假定圖像只有目標和背景兩部分,在分割圖像的同時,還能對圖像實現增強去噪,而對無明顯邊緣的目標分割也能取得良好效果;但也存在缺點,就是計算量大,且不易實現。
總地來說,幾何蛇的輪廓曲線演化只是基于法向量和曲率等,而與曲線的參數表示無關, 并且通過采用水平集方法加以實現,由此突破了拉格朗日系統框架的限定,因而能自適應地處理拓撲結構的變化,對弱邊界、斷裂邊界的處理能力,數值穩定性良好,也就更加利于由二維向三維分割領域的推廣。其改進模型則能簡捷、有效輕松地進行多目標分割,同時亦獲得了更佳的抗噪效果。
在幾何蛇的研究早階階段,因算法復雜度高達O(n3),計算量太過龐大,研究者的關注度也更多地聚焦于參數蛇方面。另外,早期的幾何蛇也與balloon-snake模型相仿,其與目標邊界不能存有交集,否則將無法得到正確分割結果。
在此之后,研究者們因參數蛇的力場雖有改進,卻仍無法解決復雜目標的分割,繼而加強了對水平集方法的探索和研發,對幾何蛇提出了快速數值算法,分別為窄帶法、針對Eikonal方程的快速行進法和快速掃描法。其中,快速行進法的算法時間復雜度為O(NlogN),快速掃描法復雜度為O(N)。此外,Li等人還提出了一種不需要重新初始化符號距離函數的方法,其算法復雜度為O(N)。
2.3其他研究
何寧以聯立偏微分方程為出發點,提到簡單曲線、曲線曲率等數學問題[9-10],并推證得出連續Snake曲線收斂原理,再將連續的曲線借助離散化方法進行了處理,提出了離散化Snake算法,為深入理解貪婪算法提供了數學基礎,同時也有利于學者對Snake原理的清晰解讀。除此之外,更多學者又結合了其他方法進行的算法改進,限于篇幅,這里不再一一列舉。
3應用領域
31Snake算法在圖像分割領域的應用
蛇模型適于對背景灰度不均勻的醫學圖像,纖維圖像進行分割,并提取運動物體的輪廓。其中的參數蛇適宜于交互式醫學圖像分割,而幾何蛇則適用于復雜多目標下醫學圖像自適應分割。
2003年,南理工王洪元博士利用二階段的貪婪算法[11]實現了心臟左心室的分割。2005年,一軍大的楊誼博士,使用改進的DP-Snake,成功提取了血細胞[12]。2006年,復旦大學張俊華結合邊緣檢測GVF模型,進行了低對比度的超聲圖像分割[6]。2007年,哈工大的朱國普博士改進了球模型,提出了GVF-balloon Snake模型[13],能雙向運動,提取復雜目標,完成了人肺CT圖的分割。2007年,南理工王元全提出了改進的GVF模型,完成了左右心室的分割,同時也提高了精準度[14]。2009年,復旦大學利用幾何蛇模型,完成了冠狀動脈的分割、二尖瓣的分割[4]。中科大的博士編制了改進幾何蛇,完成了腹部肝臟CT圖像的分割[7]。2010年,東華大學的韓海海碩士利用融合聚類算法和GVF-Snake模型[15] ,去除了纖維毛刺,并準確提取纖維圖像的輪廓
32Snake模型在其他方面的應用
蛇模型甫經提出,就已經應用于運動跟蹤,比如,體育實況轉播時的運動跟蹤,也可用于人臉面部的活動跟蹤,如嘴或眼的運動。
值得一提的是,參數蛇的算法實現也已成功地引入到教學中。已有很多著名高校的教師,在結合自己科研方向的基礎上,將一些相對成熟、且先進的技術,融入本科教學。已有實踐表明,在北大、北師大中,參數蛇已率先進入了教學,或作為一周編程課的課程設計,或成為大三、大四專業實踐的訓練案例。而由于案例表現的趣味性、綜合性和系統性,將使得學生獨立研究能力得到更進一步的強化。另外,在探索Snake算法時,為學生文獻查閱、算法設計的能力提供了充分訓練機會,而學生的科研素養和參與課題的能力也將達到更高水準,學生在這樣的科研探討氛圍中也必將獲益良多。
4結束語
Snake模型將圖像分割、數學泛函分析、能量問題集于一身,俟其問世,就有數目可觀的學者從多個角度對其特性展開了不同研究,并在不同學科的知識啟發和影響下,對蛇模型進行了改進。其類型分析如下。
(1)參數蛇模型:目標函數簡單,運算迅速而高效,通過添加能量項,多種先驗知識可以靈活嵌入能量函數中,在交互式的圖像分割中應用最廣,而對出現有拓撲變化的目標分割卻不占優勢。但憑借其先驗知識嵌入的靈活性,應用仍在不斷拓展。多目標分割的探索也在進行中。
(2)幾何蛇模型:在高維空間內進行輪廓演化,可以解決大變形,拓撲有變化的問題,計算穩定性高,但計算效率偏低,且表達式復雜,先驗知識在輪廓演化方程中的表達不靈活。當目標變形很小時,一般并不采用幾何蛇模型。即便如此,幾何蛇在復雜背景下分割、多目標分割、抗噪、防邊界泄漏等問題的處理方面保持優勢擅場。目前,研究已從單項水平集向非參多水平集圖像分割方向演變。
近年來,持續的拓展研究使蛇模型在圖像分割領域占得了一席之地,尤其是在醫學圖像領域。利用Snake模型處理遙感圖像、彩色圖像的分割,也只是出于起步階段,需要將Snake算法與其它分割算法結合。而其他算法則包括比如結合分水嶺算法、種子填充算法和向量法等??梢灶A期的是,其發展前景必將十分廣闊。
參考文獻:
[1]李培華,張田文. 主動輪廓線模型(蛇模型)綜述[J]. 軟件學報,2000(6):751-757.
[2]XU C, PRINCE J L. Generalized gradient vector flow external forces for active contours[J]. Signal Processing. 1998, 71(2): 131-139.
[3]呂明忠,羅鵬,高敦岳. 一種具有向心力的新型Snake算法[J]. 微電子學與計算機, 2001(4):39-42,46.
[4]尚巖峰,楊新,朱銘,等. 基于先驗知識和幾何主動輪廓線的三維超聲瓣膜分割[J].生物醫學工程學雜志,2008(1):1-6.
[5]李啟翮. 基于蛇模型的圖像分割與目標輪廓跟蹤研究[D]. 北京: 清華大學,2008:11-26.
[6]張俊華,汪源源,施心陵,等.基于邊緣流和距離圖Snake模型分割淋巴結超聲圖像[J].中國生物醫學工程學報,2006,(5):532-537.
[7]劉軍偉. 基于水平集的圖像分割方法研究及其在醫學圖像中的應用[D]. 合肥:中國科學技術大學,2009:51-63.
[8]向買陽. 結合角點檢測的GVF Snake改進模型[D]. 北京:北京交通大學,2010:1-40.
[9]白小晶. 基于偏微分方程的圖像分割與配準研究[D]. 南京:南京理工大學,2010:5-18.
[10]何寧. 基于活動輪廓模型的圖像分割研究[D]. 北京:首都師范大學,2009:9-18.
[11]王洪元,周則明,王平安,等. 一種改進Snake模型的邊緣檢測算法[J].南京理工大學學報(自然科學版),2003(4):395-399.
[12]楊誼. 基于Snake模型的細胞圖像分割新方法研究[D]. 廣州: 第一軍醫大學,2005:43-114.
[13]朱國普. 基于活動輪廓模型的圖像分割[D]. 哈爾濱:哈爾濱工業大學,2007: 33-45.
[14]王元全,賈云得. 一種新的心臟核磁共振圖像分割方法[J]. 計算機學報,2007(1):129-136.
[15]韓海梅. 基于Snake模型的纖維圖像分割的研究與應用[D]. 上海:東華大學,2011:37-49.