摘 要: 在圖像中精確提取出用戶感興趣的區域,消去無關背景對目標區域的影響,有助于提高后續圖像分析與處理的精度。在此介紹了差影法、交互提取法、自動圖像分割提取法3種方法實現對圖像感興趣區域的提取,并分析了各自的實現過程和提取效果,為圖像感興趣區域提取算法的進一步研究提供參考。
關鍵詞: 感興趣區域; 差影法; 交互式提取; 閾值分割
中圖分類號: TN919?34; TP751 文獻標識碼: A 文章編號: 1004?373X(2013)08?0117?04
隨著信息社會的發展,大量具有攝像功能的電子產品迅速普及,圖像數據呈現幾何級數的增長趨勢,圖像因此成為科研和生活中承載信息的重要載體。一幅圖像包含的數據非常豐富,但由于關注的角度不同,同一幅圖像的不同部分對不同的人來說意義不同。如何在圖像中提取出自己感興趣區域的圖像特征,精確描述感興趣目標區域所蘊含的數據信息,弱化背景對目標圖像的干擾,便于對這一區域做進一步的處理,成為圖像處理中一個重要的研究熱點。
1 感興趣區域
感興趣區域(Regions of Interest,ROI)這一概念,是指圖像中最能引起用戶興趣、最能表現圖像內容的區域。感興趣區域(Regions of Interest,ROI)就是圖像中表現圖像主要內容、人們最感興趣的那一部分區域[1],這些關鍵區域稱為感興趣區域。圖像感興趣區域的提取具有以下特點[2]:
(1)感興趣區域并沒有十分嚴格的定義。對于同一幅圖像而言,在不同的應用背景下,人們的關注角度不同,對圖像的具體需求也相應會有所不同,因此會按各自的需求定義圖像中的感興趣區域。
(2)現有的感興趣區域算法都依賴于圖像的顏色、形狀、紋理等底層特征。由于圖像的語義特征獲取并沒有特別有效的算法,現階段感興趣區域的檢測和提取大多基于感興趣區域所具有的低層特征。
對圖像ROI的提取,一般從兩方面著手解決:一是利用圖像分割技術提取ROI;另外一個就是從人眼的視覺特性出發,通過模擬人眼的視覺特點,尋找特定的視覺敏感區域,并將這些視覺敏感區域排序作為ROI[3]。
下面介紹差影法、交互式提取法、自動圖像分割提取法等3種方法實現對圖像中感興趣區域的提取,實驗采用仿真軟件Matlab R2007b,實驗選擇分別含有蝴蝶和花朵的兩幅圖片,用戶對花朵和蝴蝶的部分感興趣,文中分析了相應的程序實現過程,并對比研究了3種提取方法的提取效果,為圖像感興趣區域提取算法的進一步研究提供了參考。
2 差影法
差影法實際是對圖像進行代數運算的一種不同的叫法。代數運算是指對兩幅輸入圖像進行點對點的加、減、乘、除計算得到輸出圖像的運算。本文中主要用到圖像減法,在進行圖像處理時,對混合背景和前景的圖像,人們往往對前景比較感興趣,將前景作為主要研究對象,即所謂的感興趣區域,為了要突出所研究的對象而需要清除掉圖像的背景。假設背景圖像為[bx,y],前景背景混合圖像為[fx,y],則有:
[ax,y=fx,y-bx,y] (1)
式中[ax,y]為去除了背景的圖像。
通過差影法提取圖像感興趣區域的實現過程如下:
(1)使用strel函數創建指定形狀對應的結構元素,形狀參數選擇disk,根據背景復雜程度選擇合適的圓盤半徑;
(2)對原始圖像和由strel函數創建的結構元素進行開運算,得到背景圖像;
(3)使用imsubtract函數對原始圖像和背景圖像做減法運算,得到消去背景后的感興趣區域圖像。
運行程序處理實驗圖片,由于實驗圖片的背景復雜度不同,圓盤半徑參數選取不同,對蝴蝶圖片取圓盤半徑為6,對花朵圖片取圓盤半徑為30,提取效果如圖1,圖2所示。
使用差影法提取感興趣區域對于背景簡單的圖像處理效果較好,處理速度快,但對于背景復雜的圖像處理效果并不好,背景干擾不易去除,且需要通過不停的實驗選取適合的圓盤半徑,操作比較麻煩,不太適用于大量圖片的感興趣區域提取。
3 交互式提取法
圖像的最終使用者是用戶,在理想的情況下應以用戶的評價為標準衡量提取圖像感興趣區域的效果,不同的用戶有不同的要求,以用戶為中心,實現用戶與提取算法的交互,能得到比較好的提取效果。
使用交互法提取圖像感興趣區域的實現過程如下:
(1)提取原圖的R,G,B分量;
(2)使用ginput函數獲得所選擇點的坐標;
(3)使用line函數在2個相鄰選擇點連線,直到終點與起點重合,連成封閉區域;
(4)使用roipoly函數選擇封閉折線圍成的灰度圖的多邊行區域,背景部分為黑,區域內為白;
(5)將原圖像的R,G,B分量分別與roipoly所得到的多邊形區域圖像做點乘運算,并聯結各分量歸一化,得到去除背景保留感興趣區域的圖像。
運行程序后,選擇要處理的圖像,在圖象感興趣區域邊緣任意一個地方點擊鼠標左鍵,確定折線起點,然后繼續沿著感興趣區域邊緣點擊鼠標左鍵,兩點之間自動以藍色直線相連,隨著鼠標沿著感興趣點擊,折線不斷自動在2個點擊點間連接,直至終點與起點重合,封閉折線將感興趣區域選定,點擊鼠標右鍵或點鍵盤Enter鍵,程序運行,從原圖片中將感興趣區域分割出來,以便于做后續的圖片分析。
以分別含有蝴蝶和花朵的2幅圖片為例,用戶只對圖片中的蝴蝶和花朵感興趣,運行交互式提取感興趣的程序,提取結果如圖3,圖4所示。
從顯示結果可以看出,基于交互的方法通過人機界面讓用戶選擇圖像的若干區域作為感興趣區域,以用戶為中心,讓用戶自己定義圖像的感興趣區域,不管邊界簡單或復雜,都可以人為精確選擇感興趣邊緣,從而很好地提取出用戶感興趣的區域圖像。交互式方法提取精度高,但依賴于用戶的自定義操作,處理速度不高,交互過程復雜,不易做到友好、自然,不適應于大量圖片的感興趣區域提取。
4 自動圖像分割提取法
4.1 基于類間方差法分割圖像
為了將灰度圖像轉換為二值圖像,需要設定一個閾值,使用最大類間方差法獲得的閾值通常比人為設定的閾值能更好地把一張灰度圖像轉換為二值圖像。最大類間方差法[4]是由日本學者大津(Nobuyuki Otsu)于1979年提出的,是一種自適應的閾值確定的方法,是在判決分析或最小二乘法原理的基礎上推導出來的,又叫大津法,簡稱OTSU。
采用基于最大方差自動獲取閾值的方法進行ROI提取,先考慮圖像只存在目標和背景2個區域的情況,設圖像[f(x,y)]的像素按灰度級用閾值T分為[C0]和[C1]兩部分,則:
[C0=f1x,y|fmin≤fx,y≤T] (2)
[C1=f2x,y|fmax≥fx,y>T] (3)
式中:[fmin],[fmax]分別為圖像[f(x,y)]中灰度的最小值和最大值。設[Ni]是灰度值為[ifmin≤f≤fmax]的像素數,則圖像[fx,y]總的像素為[N=iNi],各灰度級出現的概率為[Pi=NiN],[C0]部分出現的總概率為:
[P0=i=fminTPi] (4)
其均值為:
[u0=i=fminTiPiP0] (5)
[C1]部分出現的總概率為:
[P1=i=T+1fmaxPi] (6)
均值為:
[u1=i=T+1fmaxiPiP1] (7)
圖像[fx,y]的均值為:
[u=i=fminfmaxiPi=i=fminTiPi+i=T+1fmaxiPi=P0u0+P1u1] (8)
兩個區域的平均灰度為[u0]和[u1],整幅圖像的平均灰度為[u],區域間的方差為:
[σ2T=P0TuT-u0T2+P1TuT-u1T2] (9)
當被分割的2個區域的方差達到最大時,可以認為是2個區域的最佳分離狀態,由此可以確定最佳閾值[T?]。
基于最大方差獲取閾值的方法是一種全自動的方法,不需要認為的設定其他參數。它是按圖像的灰度特性,將圖像分成背景和目標2部分。背景和目標之間的類間方差越大,說明構成圖像的2部分的差別越大,當部分目標錯分為背景或部分背景錯分為目標都會導致兩部分差別變小。因此,使類間方差最大的分割意味著錯分概率最小。并且經過推廣,只需用同樣的算法繼續迭代,就可以適用于多個區域的情況。
4.2 形態學處理
為了更好地提取圖像的邊界,將圖像邊界包圍的感興趣區域完整提取出來,用到形態學處理中膨脹、腐蝕、填充3種運算[5]。
結構元素是數學形態學運算中一個重要的概念,二維或平面結構元素是一個包含0或1元素的數組,結構元素的原點是結構元素參與形態學運算的參考點。
膨脹是在二值圖像中 “加長”或“變粗”的操作,特殊的方式和變粗的程度由結構元素的集合控制。數學上,膨脹定義為集合運算。[A]被[B]膨脹,記為[A⊕B],是所有結構元素原點位置組成的集合,其中映射并平移后的B至少與A的某些部分重疊。
腐蝕是在二值圖像中“收縮”或“細化”的操作。腐蝕的數學定義與膨脹類似,[A]被[B]腐蝕,記為[AΘB],是所有結構元素原點位置的集合,其中平移的B與A的背景并不重疊。
填充是在二值圖像中填充圖像區域和空洞。已知圖像中邊界的集合[A],對該邊界線包圍的區域的填充過程是從區域內的某一點[P]開始做以下迭代運算:
[Xk=Kk-1⊕B?Ac, k=1,2,3,…] (10)
式中:[B]為結構元素,當[Xk=Xk-1]時停止迭代,這時,集合[Xk]和[Ac]的交集就包含了填充區域的內部及它的邊。在膨脹過程中,與[Ac]交集是為了將其限制在感興趣的區域。
4.3 實現過程與仿真驗證
結合最大類間差閾值分割和形態學處理的自動感興趣區域提取方法程序實現過程如下:獲取圖像的RGB顏色信息,并分別提取圖像的R,G,B分量;將RGB顏色空間轉換到lab彩色空間,通過函數makecform和applycform實現;取出lab空間的a分量,采用最大類間方差法實現圖像的自動閾值分割,按圖像的灰度特性,將圖像分為背景和目標2部分,通過函數graythresh實現;將灰度圖像轉化為二值圖像,采用膨脹運算和腐蝕運算平滑圖像的邊界輪廓曲線,去除狹窄的連接,去掉細小的突出部分,保留邊界曲線圍城的感興趣區域[6],膨脹通過函數imdilate實現,腐蝕通過函數imerode實現;填充邊界曲線包圍的感興趣區域,通過函數imfill實現;將圖像中對應感興趣區域之外的區域顏色信息設為0,去除背景,對應感興趣區域的部分顏色信息保持不變,實現原圖像中感興趣區域的提取。同樣以含有蝴蝶和花朵的兩幅圖片為例,運行程序,提取效果如圖5,圖6所示。
從顯示結果可以看出,這種基于自動閾值分割的圖像感興趣區域提取方法,提取效果比較好,且全部提取過程可以自動實現,不需要用戶的參與,比較適合于大量圖片的處理。
5 結 語
通過仿真實驗可以看出,本文介紹的3種方法各有優劣,差影法提取速度快,但參數依賴于人為設定,在背景復雜時提取效果不佳,交互式提取法提取效果精確,但需人機交互,不適用于大量圖像的處理,自動圖像分割提取法提取效果相對較好,且全程自動提取,不需要人機交互,比較適用于大量背景簡單圖片的處理。通過精確提取圖像的感興趣區域,人們可以專注于對圖像感興趣區域的處理,改善圖像處理的結果,更好地服務于圖像壓縮、圖像檢測和圖像檢索[7]等眾多圖像處理領域。
參考文獻
[1] WANG T, RUI Y, SUN J G. Constraint based region matching for image retrieval [J]. International Journal of Computer Vision, 2004, 56(1): 37?45.
[2] LIN Hui?bao, SI J, ABOUSLEMAN G P. Region?of?interest detection and its application to image segmentation and compression [C]// Proceedings of International Conference on Integration of Knowledge Intensive Multi?Agent System. Waltham, MA: KIMAS, 2007: 306?311.
[3 ] 張菁,沈蘭蓀,高靜靜.基于視覺注意機制的感興趣區檢測[J].光子學報,2009,38(6):1561?1565.
[4] 劉剛.Matlab數字圖像處理[M].北京:機械工業出版社,2010.
[5] 陳超.Matlab應用實例精講:圖像處理與GUI設計篇[M].北京:電子工業出版社,2011.
[6] 井艾斌,柳青,孟祥增,等.基于Matlab的圖形輪廓提取及填充[J].電腦知識與技術,2008(9):1722?1727.
[7] 劉恒,馬濤,高金輝.感興趣區域特征提取的圖像檢索[J].信息化縱橫,2009(10):50?54.