多聚焦宮頸細(xì)胞圖像融合方法?

汪傳忠,史 俊,武海燕

多聚焦圖像融合是按照一定的融合規(guī)則,把同一視野中的不同聚焦點(diǎn)的圖像進(jìn)行相關(guān)的處理,再通過(guò)圖像處理技術(shù)將圖像中清晰部分組成一幅新的、滿足某種需求的圖像.圖像融合作為一種有效的融合技術(shù),已經(jīng)廣泛應(yīng)用于機(jī)器視覺(jué)、醫(yī)療診斷、軍事、遙感等領(lǐng)域[1-3].當(dāng)前,宮頸病變細(xì)胞排查不僅需要獲取更高分辨率的宮頸細(xì)胞圖像,更需要完整精確的宮頸細(xì)胞表面的信息.由于受到顯微鏡光學(xué)成像機(jī)制和現(xiàn)實(shí)物理?xiàng)l件的限制,在顯微圖像的應(yīng)用和處理中,常常遇到這樣的問(wèn)題:在顯微光學(xué)成像系統(tǒng)中,低倍顯微鏡工作距離長(zhǎng),景深比較大,由于顯微鏡物鏡焦深范圍小,隨著放大倍數(shù)的增大,景深會(huì)相應(yīng)減小[4],只有那些在聚焦平面或其附近的物體才是可見(jiàn)的,這使得物體不可能在一幅圖像中完全聚焦清晰.本文所用宮頸細(xì)胞圖像是通過(guò)醫(yī)學(xué)顯微鏡在40倍鏡頭下采集獲取的,從采集到的宮頸細(xì)胞圖像上可以很明顯的看出,聚焦的部分比較清晰,不聚焦的部分比較模糊,從而影響宮頸病變細(xì)胞的排查和診斷.

圖像融合通常分為像素級(jí)融合、特征級(jí)融合和決策級(jí)融合 3個(gè)層次.其中像素級(jí)融合方法主要有:像素灰度值的平均或加權(quán)平均;像素灰度值選大;像素灰度值選小[5].這些方法具有算法簡(jiǎn)單、計(jì)算速度快的優(yōu)點(diǎn),但是融合效果較差,很難應(yīng)用于多聚焦圖像融合中.小波技術(shù)是在20世紀(jì)80年代中期發(fā)展起來(lái)的,具有以下優(yōu)點(diǎn):①具有良好的時(shí)域頻域局部性;②多分辨率的特征;③其他一些塔形分解所不具有的優(yōu)點(diǎn).小波變換將原始圖像分解成具有不同空間分辨率和頻域特性的子圖像,反應(yīng)了原始圖像的局部特征變換,在多個(gè)分階層、多個(gè)頻帶上進(jìn)行融合.通常的融合算法是進(jìn)行簡(jiǎn)單的加權(quán)和直接選取最大小波系數(shù)或選用計(jì)算方差等進(jìn)行融合[6].本文提出了一種基于小波分解的多聚焦宮頸細(xì)胞圖像融合算法,采用‘sym4’分解并做3層小波分解獲取相應(yīng)的高頻和低頻分量;對(duì)于小波分解得到的高頻分量,基于絕對(duì)值最大的原則選擇最佳高頻系數(shù);對(duì)于小波分解得到的低頻分量,基于自適應(yīng)分塊原則,計(jì)算其圖像的單位像素灰度梯度來(lái)選擇最佳低頻系數(shù);然后對(duì)融合結(jié)果進(jìn)行一致性校驗(yàn);最后獲取整幅清晰的宮頸細(xì)胞融合圖像.

1 景深及透鏡成像原理[7-9]

鏡頭的原理就如同透鏡成像[7],景深與透鏡的關(guān)系如圖1所示.

圖1 景深與透鏡的關(guān)系Fig.1 The relation between focus depth and optical lens

利用相似三角形的性質(zhì),得到式(1)

式中:F表示鏡頭拍攝時(shí)的光圈值,即控制光通量的參數(shù),光圈值F=鏡頭焦距/鏡頭口徑的有效直徑.

δ表示彌散圓直徑,通常用作相對(duì)參數(shù)使用.根據(jù)式(1),求出景深距離

從式(2)可以看出,景深可以通過(guò)加機(jī)圈延長(zhǎng)像距等方式來(lái)增大,但是相應(yīng)的會(huì)減小視場(chǎng)[8-9].

2 小波變換及其多分辨率分解

2.1 小波變換

設(shè)ψ(t)∈L2(R)(表示平方可積的實(shí)數(shù)空間,即能量有限的信號(hào)空間),其傅里葉變換為.當(dāng)滿足允許條件

時(shí),稱 ψ(t)為一個(gè)基本小波或母小波.經(jīng)伸縮和平移后,可以得到一個(gè)小波序列

式中:a為伸縮因子;b為平移因子.

對(duì)于任意的函數(shù)f(t)∈L2(R)的連續(xù)小波變換為

其逆變換為

2.2 分辨率分解

多分辨率結(jié)構(gòu)是利用對(duì)圖像進(jìn)行自底向頂?shù)姆纸?每一層圖像都是前一層圖像經(jīng)過(guò)某種模板濾波形成的.由于顯微鏡物鏡焦深范圍小,隨著放大倍數(shù)的增大,景深會(huì)相應(yīng)減小.在高倍鏡成像條件下,景深非常有限,使得顯微圖像中的目標(biāo)不可能在同一聚焦下完全清晰可見(jiàn).為了解決這一問(wèn)題,我們引入了基于多分辨率分析的圖像融合方法,利用多分辨率技術(shù)將圖像進(jìn)行二維小波分解,分別得到圖像的低頻分量、水平高頻分量、垂直高頻分量和對(duì)角分量.圖像經(jīng)過(guò)二層小波分解的示意圖如圖2所示.其中C2為圖像的低頻分量,集中了主要能量;(i=1,2,…,n;λ=h,v,d)分別表示水平高頻分量、垂直高頻分量和對(duì)角分量,高頻分量對(duì)應(yīng)著圖像的細(xì)節(jié)部分.

基于小波分解的多聚焦彩色圖像融合流程圖如圖3所示.

圖2 圖像的二層小波分解示意圖Fig.2 The diagram of the 2-layer wavelet decomposition of a image

圖3 基于小波分解的多聚焦彩色圖像融合流程圖Fig.3 The flowchart of wavelet-based fusion of multi-focus color image

具體的融合過(guò)程為:①將n幅多聚焦彩色圖像的R、G、B3個(gè)波段轉(zhuǎn)換到IHS空間,得到I、H、S3個(gè)分量;②將I分量進(jìn)行3層小波分解,獲取相應(yīng)的高頻分量C3和低頻分量D(i=1,2,3;λ=h,v,d).其中,對(duì)于高頻分量,采用絕對(duì)最大值原則,得到的融合圖像的細(xì)節(jié)比待融合圖像更加豐富、清晰.③對(duì)于低頻分量,先計(jì)算n幅圖像塊的清晰度,本文選擇圖像的單位像素灰度梯度作為清晰測(cè)度,用FOX表示圖像x的第i塊清晰測(cè)度,用MAX_FOX表示清晰測(cè)度最大值,用NUM(x)表示滿足要求的圖像x的個(gè)數(shù),用TH表示自設(shè)定閾值.其中圖像的單位像素灰度梯度函數(shù)

式中:I(x,y)表示圖像(x,y)點(diǎn)處的灰度值;f(I)表示梯度函數(shù)值;N表示像素總和.④按照以下規(guī)則對(duì)圖像進(jìn)行自適應(yīng)分塊:如果MAXFOX-FOX＜TH且NUM(x)≥2,繼續(xù)細(xì)分圖像塊;在其他情況下,直接取清晰度最大所對(duì)應(yīng)的圖像塊作為融合圖像.⑤將細(xì)分后的圖像塊重復(fù)執(zhí)行步驟 ③,④,當(dāng)所分塊小于一定大小時(shí)就停止這種循環(huán),本文的最小塊為4×4.⑥對(duì)融合結(jié)果進(jìn)行一致性校驗(yàn),通常一致性檢測(cè)的領(lǐng)域窗口設(shè)為3×3或3×5,獲取新的I分量.⑦計(jì)算n幅圖像的亮度,取亮度最大對(duì)應(yīng)的H和S分量,將新的IHS模型通過(guò)逆變換為RGB模型,最后得到融合彩色圖像.

3 試驗(yàn)結(jié)果及分析

對(duì)多幅圖像進(jìn)行融合,需要將每幅圖像的優(yōu)點(diǎn)保留下來(lái)并集中到一幅新的圖像中.待融合的多聚焦宮頸細(xì)胞彩色圖像,不同聚焦的8幀圖像,如圖4的(a)至(h)所示,大小為208×208.本文選擇‘sym4’小波基,對(duì)于給定長(zhǎng)度的圖像,它是具有較高的消失矩的非對(duì)稱小波[10,11],有助于增強(qiáng)高頻分辨能力.本文采用‘sym4’分解并做3層小波分解,得到相應(yīng)的試驗(yàn)結(jié)果,如圖4的(i)和(j)所示.

圖4 多聚焦宮頸細(xì)胞彩色圖像融合結(jié)果Fig.4 The fusion outcome of the multi-focus image of cervical cell

4 結(jié) 論

在多聚焦宮頸細(xì)胞圖像融合過(guò)程中,融合規(guī)則、融合算子和圖像清晰度度量方法是 3個(gè)關(guān)鍵的技術(shù).融合規(guī)則能夠直接體現(xiàn)出后續(xù)融合的效果;融合算子是對(duì)圖像融合進(jìn)行算法優(yōu)化的關(guān)鍵技術(shù);圖像清晰度度量方法是辨識(shí)清晰圖像的重要保證.本文提出了一種基于小波分解的多聚焦宮頸細(xì)胞圖像融合算法,同時(shí)利用圖像的單位像素灰度梯度函數(shù)作為圖像清晰度度量方法,通過(guò)對(duì)多聚焦宮頸細(xì)胞圖像融合試驗(yàn)表明該方法是可行的.

[1]Aggarwal J K.Multisensor Fusion for Computer Vision[M].Springer Verlag,Berlin,Germ-any,1993.

[2]Hall D L,Llinas J.An introduction to multisensor data fusion[J].Proc.IEEE,1997,85(1):6-23.

[3]Varshney P K.Multisensor data fusion[J].Electron.Common.Eng.J.,1997,9(12):224-253.

[4]戴宜全,鄭翔,楊福俊,等.基于小波分解的多聚焦圖像融合.江蘇力學(xué)學(xué)術(shù)大會(huì)2008暨第四屆蘇港力學(xué)及其應(yīng)用論壇,2008.

[5]覃征.數(shù)字圖像融合[M].西安:西安交通大學(xué)出版社,2004.

[6]劉振慧,高晶敏,催天橫.一種基于小波變換的圖像融合新算法[J].計(jì)算機(jī)工程與應(yīng)用,2007,43(12):74-76.

Liu Zhenhui,Gao Jingmin,Cui Tianheng.Novel image fusion algorithm based on wavelet transform[J].Computer Engineering and Applications,2007,43(12):74-76.(in Chinese)

[7]呂茂鈺.光學(xué)零件制造[M].北京:機(jī)械工業(yè)出版社,1977.

[8]張登臣,郁道銀.實(shí)用光學(xué)設(shè)計(jì)方法與現(xiàn)代化光學(xué)系統(tǒng)[M].北京:機(jī)械工業(yè)出版社,1995.

[9]包學(xué)誠(chéng).攝像鏡頭的光學(xué)原理及應(yīng)用技巧[M].上海:上海交通大學(xué)出版社,1999.

[10]飛思科技產(chǎn)品研發(fā)中心.小波分析理論與MATLAB7實(shí)現(xiàn)[M].北京:電子工業(yè)出版社,2005.

[11]成禮智,王紅霞,羅永.小波的理論與應(yīng)用[M].北京:科學(xué)出版社,2004.