基于內容分析的細胞圖像快速融合方法

簡芙蓉，高玉棟，丁 博，何勇軍

(哈爾濱理工大學 計算機科學與技術學院，哈爾濱 150080)

0 引 言

傳統的病理診斷是通過采集人體脫落細胞或組織制片染色，然后由病理醫生在鏡下觀察尋找異常細胞后做出診斷。其中，細胞病理診斷是采集脫落細胞進行檢查，取材簡單，應用廣泛，又能做出定性診斷，特別適合篩查，但是目前的方法完全依賴于醫生的人工閱片，準確率普遍較低并且工作量巨大。因此，近年來自動化、智能化閱片技術在細胞診斷和篩查中起著越來越重要的作用。自動化閱片技術的首要任務是采集清晰圖像。其中宮頸癌篩查中液基薄層細胞學(thinprep cytologic test, TCT)檢查的細胞圖像屬于多焦點圖像，傳統的自動化閱片技術無法采集到同一景深中完全清晰的細胞圖像，所以需要在自動化閱片過程中利用快速圖像融合技術。快速圖像融合技術就是將快速采集到不同景深的兩個或多個焦點處的圖像進行融合，生成一幅完整清晰的圖像，也稱為多焦點圖像融合[1]，該方法能夠解決多焦點圖像在自動閱片中出現的問題，所以快速圖像融合在自動閱片技術中具有重要意義。

近年來，人們提出了多種多焦點圖像融合方法。這些方法可以分為兩大類：空間域融合與變換域融合[2]。空間域融合是對單一像素進行操作，是像素級融合方法。其中加權平均法是空間域融合方法中一種常用的方法，該方法是計算源圖像中每個像素的加權和，然后取其平均值，該方法簡單易實現，但是融合之后的圖像對比度低[3]。Yin等[4]提出了一種局部度量方法，該方法針對對比度低時能更好的處理圖像邊緣和區域信息。對圖像分塊、分區域進行操作也屬于空間域融合，該方法首先把圖像劃分成幾個固定大小的區域，然后獲得各個區域清晰的部分再進行融合，這樣能夠更好的包含圖像的細節信息[5]。Farida等[6]提出了一種基于內容自適應模糊(content adaptive blurring, CAB)方法，該方法對源圖像中聚焦區域和模糊區域引入不同數量的模糊，然后與源圖像產生差分圖像，把差分圖像進行初步分割之后再融合形成一個清晰的圖像。但是由于在計算區域時包含清晰信息和不清晰信息，就會導致融合之后的圖像出現偽影或者出現區域邊界模糊情況。近年來深度學習技術發展迅速，卷積神經網絡(convolutional neural networks, CNN)越來越多地應用到圖像融合中。Li等[7]提出了一種基于零相位分量分析(zero-phase component analysis，ZCA)的深度特征融合框架，利用殘差網絡(residual network，ResNet)結合ZCA對提取到的深度特征進行歸一化，得到初始權值映射。再通過softmax操作獲得最終的權重圖。最后根據權重圖，對源圖像采用加權平均策略進行重構，得到融合圖像。為了避免在融合過程中信息丟失，Du等提出了一種基于深度支撐值卷積神經網絡的多焦點圖像融合方法(deep support value convolutional neural network, DSVCNN)，將卷積層代替最大池化層。該方法通過DSVCNN網絡進行聚焦檢測，生成特征圖進行二值化分割，使用形態學濾波優化之后生成決策圖，然后像素加權平均融合成最終的圖像[8]。該方法相比傳統的空間域融合算法有更好的性能，但是通常情況下由于卷積網絡層數過多導致融合時間復雜度高。

變換域融合是對圖像進行不同尺度、不同方向分解，即將圖像分解為低頻部分和高頻部分。低頻部分表現的是圖像的概貌和平均特性，高頻部分反應的是圖像的細節特性。分別對不同的部分進行不同規則的融合，再逆變換，對融合后的系數進行重構，最終得到融合的圖像。變換域融合基本方法有：拉普拉斯金字塔[9]、離散小波變換(discrete wavelet transformation, DWT)[10,11]、非下采樣輪廓波變換(nonsubsampled contourlet, NSCT)[12]、稀疏表示[13]、基于KSVD(K singular value decomposition)的字典學習法[14]等。Wang等在2004年提出一種基于多小波變換的圖像融合算法，該方法解決了拉普拉斯金字塔變換不具有方向性，導致融合之后圖像會出現部分細胞對比度降低的問題。Wang采用的方法經過多小波分解再重構之后得到新的圖像[15]。但是由于傳統的小波變換存在下采樣過程，因此融合后的圖像邊緣存在偽輪廓。徐小軍等提出了基于下采樣分數階小波變換，在小波變換的基礎上增加了分數域概念，對于偽輪廓有很好的抑制作用，對圖像處理更加靈活，但是邊緣問題依舊存在[16]。劉先紅等提出一種基于引導濾波的多尺度分解方法，該方法兼具了邊緣性和還原信息能力，改善了融合效果[17]。Wang等[18]提出了改進的PCNN(pulse coupled neural networks)和引導濾波相結合的圖像融合方法，相較于大多數空間域融合方法，有效的降低了計算復雜度，并保留了圖像邊緣的細節信息。2019年，Huang等提出了一種基于非下采樣輪廓波變換(NSCT)的圖像融合分解方法，為了得到信息量更大的融合高頻分量，對高頻分量的不同子帶，應用了最大絕對值融合規則和 PCNN融合規則。該方法得到的融合圖像在信息熵方面有更好的效果[19]。同年，Wang等將變換域與空間域相結合，提出了離散小波變換域的卷積神經網絡，將DWT分解的多個子帶作為CNN的輸入，生成決策圖。根據決策圖，對多個子帶進行融合，最后利用逆DWT得到融合后的圖像[20]。

快速采集到的多焦點細胞圖像存在大量背景，而背景并不包含細胞信息，所以不需要參與融合運算，上述方法把背景信息加入運算導致時間復雜度較高，針對此問題，本文提出基于內容分析的細胞圖像快速融合方法。該方法首先快速采集多焦點圖像，通過清晰度變化篩選圖像，然后對篩選出來的圖像進行分割，將分割出來的細胞分為單細胞、成團細胞和雜質三類，再對這三類使用不同的方法獲得清晰的細胞圖像，最后將各個清晰部分拼接組成完整的清晰圖像。本文通過5種客觀評價方法對所提出的方法進行了驗證，實驗表明該方法在保證融合效果的基礎上，降低了運算的時間復雜度。

1 快速圖像融合方法

基于內容分析的細胞圖像快速融合方法首先在顯微鏡自動閱片的過程中，快速采集到不同視野下，位于焦曲面附近的多張圖像。其次是從采集到的多張圖像中篩選出用于融合的多焦點圖像，也就是存在細胞分層現象的圖像。再次將篩選出來的多焦點圖像進行自適應閾值分割，將分割出來的、去掉背景信息的圖像通過基于VGG-16模型的分類器進行分類，將細胞分為單細胞、成團細胞和雜質三類。其中單細胞圖像通過對比清晰度選擇最清晰圖像，成團細胞采用基于引導濾波融合的方法得到最清晰圖像，雜質不處理，最后將各類別的清晰圖像拼接成完整圖像。完整的流程如圖1所示。

1.1 異步采圖

通過單一的聚焦算法無法得到完整的清晰的像，需要制定快速的圖像采集方法，從而得到多張比較清晰的圖像。傳統的采圖方法是平臺先移動、停止，然后在平臺靜止狀態下用相機采圖。本方法中異步采圖是平臺在焦點范圍上下移動過程中，通過相機采集圖像，該方法與傳統方法相比，提高了采集速度。具體過程是，首先需要確定焦點位置，由于一個載玻片被劃分為400個視野，每個視野中的圖像屬于多焦點圖像，并且各個視野之間圖像的焦點位置不同，如果所有視野用固定的范圍去采集圖像，會導致得到的圖像都不清晰。本文利用五點聚焦解決以上問題。首先通過五點聚焦得到擬合的焦曲面，進而得到每一個視野下的焦點位置，然后確定Z軸移動范圍，控制Z軸在當前視野焦點范圍內上下移動，并且采集圖像。Z軸移動范圍如圖2所示。

圖1 細胞圖像融合方法示意圖Fig.1 Schematic diagram of cell image fusion method

圖2 平臺移動過程Fig.2 Platform movement process

經過實驗確定，a=150時采集到的圖像能夠更準確的包含多張多焦點圖像。實驗表明，在平臺變換視野的過程中，Z軸采用蛇形的移動路線，能夠提高平臺變換時移動速度，減少整體采圖時間，圖2所示的①②③為蛇形路線規劃。本文通過焦曲面確定采集范圍，同時采用異步采圖方法，與傳統的焦平面采圖方法相比，本文所提出的方法可以采集到多張較清晰圖像，并采集速度更快。

但是在此方法采集到的、同一視野下的圖像包含模糊圖像和多焦點圖像，如圖3所示。(a)，(e)是模糊圖像，(b)，(c)，(d)中成團細胞存在分層現象是多焦點圖像，為了提高融合時圖像處理的速度，需要在采集到的圖像中篩選出多焦點圖像作為最終的融合樣本。

圖3 同一視野模糊圖像和多焦點圖像Fig.3 Same field of vision fuzzy image and multi focus image

1.2 圖像篩選

異步采圖的結果中包含多張模糊和較清晰的圖像，所以需要從采集到的圖像中進行篩選，選擇出能夠用來融合的多焦點圖像。由于制片過程中使用滴管將液體滴到玻片上，所以一般制作成功的玻片上細胞呈圓形[21]。而在圖像采集過程中，由于平臺變換視野時移動路線總體形狀是圓的外接矩形，所采集到的圖像中細胞含量不同，分為多細胞和少細胞，即需要對兩種細胞含量的圖像采用不同的篩選方法。

1.2.1 多細胞圖像篩選

利用Brenner梯度函數，計算相鄰兩個像素灰度差的平方，判斷圖像的清晰度，值越大圖像越清晰。該函數定義如下：

(1)

其中：D(I)為圖像清晰度計算結果，I(x,y)表示圖像I對應像素點(x,y)的灰度值。

通過計算多個樣本，從每個樣本中400個視野的清晰度值得出，峰值最高的地方圖像最清晰，如圖4所示。圖中直線變化趨勢遞增并由緩變陡的部分，圖像清晰度值由小變大，(a)中3號圖像到4號圖像清晰度值有明顯的變化，(b)中1號圖像到2號圖像清晰度值也有明顯的變化，圖像由模糊變得比較清晰，說明圖像中細胞開始出現分層現象。清晰度值達到峰頂之后開始遞減，(b)中4號圖像到5號圖像清晰度值遞減的速度變慢，圖像逐漸變得模糊。

圖4 采集到視野下圖像清晰度變化Fig.4 The change of image definition in the field of vision

清晰度值處于峰頂的圖像與它前后的兩張圖像是多焦點圖像，細胞圖像有分層情況，選擇此三張圖作為最終的融合樣本。經實驗發現，模糊圖像與比較清晰圖像之間的清晰度增加范圍大于T時，圖像開始變得清晰。如式(2)所示。

D(Im+1)-D(Im)>T(0≤m

(2)

其中：cn為采集到的圖像數量；Im為第m個圖像；Im+1為第m+1個圖像。選擇第m+1，m+2，m+3個圖像作為最終篩選結果。此篩選方式減少了清晰度計算次數，只需計算視野中前幾張圖像的清晰度值，降低了圖像篩選的時間復雜度。

1.2.2 少細胞圖像篩選

采集到的圖片中少細胞圖像占10%，雖然細胞含量少，但卻存在多焦點的情況，如圖5所示。(a)～(e)是通過異步采圖得到的少細胞圖像，(b)中紅框內細胞清晰，(c)中紅框內細胞模糊；(b)中綠框內細胞模糊，(c)中綠框內細胞清晰，(b)與(c)屬于多焦點圖像。通過計算清晰度發現，(a)～(e)每張圖像清晰度值變化不大，所以這類圖像直接對比清晰度值，計算(a)～(e)每張圖像的清晰度，選擇清晰度值最大的圖像和它前后各一張圖像，一共三張圖像作為最終的篩選結果。

圖5 少細胞圖像Fig.5 Images with less cell content

1.3 圖像內容識別

卷積神經網絡中的VGG-16(Visual Geometry Group-16)網絡模型，如圖6所示。該網絡模型包括13個卷積層和3個全連接層。輸入圖像大小為224×244×3，卷積層中卷積核大小為3×3，經過2個或3個連續的卷積核堆疊，能夠得到更細小的圖像特征。池化層窗口大小為2×2，壓縮輸入的特征圖像，提取圖像主要特征。全連接層中包括3個連續的全連接，連接所有的圖像特征，連接個數分別為4096、4096、3。最后通過softmax分類層輸出。

圖6 VGG-16模型結構圖Fig.6 VGG-16 model structure diagram

由于VGG-16模型利用多個3×3卷積核串聯，該方式與單獨使用一個大的5×5或7×7卷積核相比，能夠利用較少的參數達到更好地提取特征的效果，從而在圖像分類中有很好的性能。

由于篩選出來的圖像In(0

1.4 成團細胞融合

成團細胞存在分層現象，屬于多焦點圖像，如圖7所示。為了得到各個層次都清晰的圖像，利用基于引導濾波的融合技術[22]。

圖7 成團細胞融合Fig.7 The clumps of cells fuse

首先分別將成團細胞通過均值濾波器，得到它的基礎圖像Bt。其中Rt為第t個成團細胞的源圖像，Z為均值濾波器，濾波器大小為31*31。

Bt=Rt*Z

(3)

然后從源圖像中減去它的基礎圖像得到細節圖像。

Dt=Rt-Bt

(4)

再將源圖像通過拉普拉斯濾波器，利用圖像的局部平均值構造顯著圖像St。接下來比較顯著圖像St確定權重圖。

(5)

在每個權重圖Pt上執行引導濾波，其中相應的源圖像Rt作為引導圖像。

(6)

(7)

最后將不同源圖像的基礎圖和細節圖通過加權平均法融合在一起，再將融合之后的基礎圖像和細節圖像相加即得最后的融合圖像F。

(8)

(9)

(10)

1.5 單細胞融合

單細胞圖像不存在分層現象，如圖8所示，所以比較源圖像In中單細胞圖像Ci的清晰度，得到一個最清晰的單細胞圖像C。

D(C)=max{D(C1),D(C2),D(C3),…,D(Ci)}

(11)

圖8 單細胞比較清晰度Fig.8 Single cells compare clarity

通過成團細胞融合和單細胞比較清晰度的方法，可以得到完全清晰的成團細胞和單細胞，最后，需要把清晰的細胞圖像融入背景中，所以從In中找一張最清晰的圖像I作為背景模板，將所有經過圖像清晰化的單細胞C、成團細胞R和雜質O，按照分割輪廓的位置拼接成一張完整的清晰圖像。

2 實驗結果

2.1 模型訓練

本模型訓練環境是基于ubuntu 16.04系統，配備NVIDIA GeForce RTX 2080顯卡，算法基于TensorFlow框架實現。首先將分割出來的圖像單細胞、成團細胞和雜質三類，作為模型訓練的樣本，其中樣本大小為224*224*3，單細胞、成團細胞和雜質訓練樣本數量分別為3029、2938和2651個，測試樣本數量為訓練樣本數量的1/10。然后將訓練樣本，放入訓練好的基于VGG-16的深度遷移學習模型。該模型的優化方法采用隨機梯度下降法(Stochastic Gradient Descent，SGD)，每次選擇一個樣本迭代更新一次，并不針對所有樣本，因此該方法降低了計算量。模型訓練過程中采用交叉熵損失函數計算損失值，當損失值最小時，獲得最優分類模型。損失函數如式(12)所示。

(12)

其中：x為訓練樣本；p為期望的類別概率；q為模型預測的類別概率。

最后，經過多次訓練，調整模型中Batch_Size、學習率和迭代次數，訓練出適合單細胞、成圖細胞和雜質樣本的分類器，表1是不同參數的訓練結果，當迭代次數為1500，學習率為0.001，Batch_Size為32時，最后準確率可以達到99.22%。

表1 分類器不同參數結果Tab.1 Different parameter junctions

2.2 閾值設置

篩選圖片過程中，根據對4個樣本400個視野中圖像清晰度的計算，發現模糊圖像與相鄰的多焦點圖像之間清晰度值有明顯變化，模糊圖像與模糊圖像之間清晰度變化不大。經計算得到結果如圖9所示，橫坐標表示視野編號，縱坐標表示模糊圖像與相鄰的多焦點圖像的清晰度差值，發現400個視野中此值均大于0.5，而模糊圖像與模糊圖像之間此值均小于0.5，即設置式(2)中閾值T為0.5。最后使用此閾值進行圖像篩選。

圖9 閾值T的選擇Fig.9 Selection of threshold T

2.3 實驗結果及分析

為了便于與其他方法對比，從50組不同視野篩選出2張細胞圖像進行對比實驗的樣本，對比的融合算法有基于多尺度焦點測度與廣義隨機游動(multi-scale focus measures and generalized random Walk, MFM-GRW)融合方法[23]，Curvelet變換(CVT)的融合方法[24]，非下采樣輪廓波變換(NSCT)的融合方法[25]，基于四叉樹(quadtree)的融合方法[26]，多尺度奇異值分解(multiscale singular value decomposition, MSVD)的融合方法[27]，雙樹復小波變換(the dual-tree complex wavelet transform, DTCWT)的融合方法[28]和FusionGAN融合方法[29]和DenseFuse融合方法[30]。其中基于變換域融合的方法中分解層數是4層。由于本方法與MFM-GRW均是RGB圖像的融合，為了與其他5種方法進行對比，將本方法融合之后的RGB圖像進行灰度圖像轉換，最后對融合結果通過主觀效果方面和客觀標準方面進行了評價。客觀評價標準為，信息熵(information entropy, IE)，平均梯度(avg gradient, AG)，邊緣保持度(edge intensity, EI)，空間頻率(space frequency, SF)，融合時間(time)。IE、AG、EI、SF這四個評價標準的值越大，代表圖像中信息含量更加完整，融合效果更好；Time代表融合所用的時間，時間值越小代表融合的速度越快，對與RGB圖像融合，最后得到的Time是實際時間的1/3。

本文從50組中找出1組作為示例，如圖10所示。源圖像是兩張2048×2048×3的多焦點圖像，其中包含單細胞、成團細胞和雜質。紅框內為單細胞圖像，綠框內為成團細胞圖像，橘色框內為雜質。本方法為本實驗方法融合的結果圖像。首先通過觀察可以發現Quadtree、FusionGAN方法中單細胞和成團細胞并沒有融合成功，MSVD、DenseFuse方法得到的單細胞圖像模糊，MFM-GRW方法中單細胞圖像輪廓模糊，并且輪廓有偽影。NSCT方法中單細胞和成團細胞相較于源圖像對比度降低。

圖10 圖像融合對比實驗Fig.10 Image fusion contrast experiment

表2為50組圖像融合之后通過5種評價標準得到的具體數據的平均值分析。本方法由于運用了基于引導濾波的融合方法，所以能夠更好的保持邊緣信息。單細胞圖像直接對比清晰度，對于圖像細節有更好的還原能力。在得到清晰的細胞圖像之后，對分割區域進行還原，解決了清晰圖像與不清晰圖像邊緣之間出現偽影的情況。所以在AG、EI、SF的值高于其他方法。在IE方面，本方法的主要目的是獲得清晰的細胞圖像，所以針對無關的背景信息并沒有做處理，在計算圖像IE含量的過程中，背景信息也參與了計算，導致本方法的融合圖像IE值小，而其他方法是整張圖像融合，所以圖像IE值大。本方法相較與DenseFuse方法，信息含量IE值略少，但相差不大。在Time方面，本方法只對細胞信息進行融合運算，與其他方法的整張圖像運算相比，運算快耗時少。MSVD在其他方法中速度最快，本文提出的方法相較于MSVD方法提高了219%。所以本方法有更快的融合速度和較好的融合效果。

3 結 論

本文提出了一種基于內容分析的細胞圖像快速融合方法，方法通過異步抓圖、圖像篩選、圖像內容識別，圖像融合最終得到清晰的細胞圖像。在圖像內容識別過程中，利用VGG-16分類器將細胞圖像分為單細胞、成團細胞和雜質三類，然后根據細胞類型不同選擇不同方法獲取清晰圖像。其中單細胞通過Brenner清晰度評價函數選擇最清晰的部分；成團細胞通過引導濾波的融合方法得到最后清晰的圖像；雜質不做任何處理。最后把各個類別都清晰圖像拼接形成最后完整的清晰圖像。實驗表明，與傳統算法相比，本文所提出的方法保證了最后融合圖像的對比度，并且得到完整的清晰圖像。通過5種評價方法的客觀評價，本方法在保證良好融合效果的基礎上，有效解決了圖像融合時間復雜度高的問題，縮短了融合時間，并且抗雜質干擾。