圖像灰度投影的聚焦窗口選擇方法

高瑋寧 馬善濤 何勇軍 謝怡寧

摘要：近年來，顯微鏡自動成像技術被廣泛運用到自動閱片領域。聚焦窗口選擇方法是顯微鏡自動聚焦算法中的關鍵技術，直接影響自動聚焦算法的性能。傳統聚焦窗口選擇方法選擇固定位置和固定大小區域計算清晰度評價函數，聚焦效率低且容易造成聚焦失敗。針對這一問題，提出了一種基于圖像灰度投影的聚焦窗口選擇方法。該方法采用灰度投影法和自適應均值區間查找算法確定聚焦窗口。首先沿坐標軸方向計算圖像的灰度投影，然后依據自適應均值區間查找算法在灰度投影序列中合適的子區間，根據子區間在坐標軸的位置構建出位置和尺寸準確聚焦窗口。實驗表明灰度投影取窗法可以跟蹤偏離中心的主體區域，是一種具有自適應性的聚焦窗口選擇方法，能顯著提高自動聚焦精確率和速度。

關鍵詞：自動聚焦;區域選擇算法;灰度投影;自適應性;醫學圖像

DOI：10.15938/j.jhust.2021.05.008

中圖分類號：TP182 文獻標志碼：A 文章編號：1007-2683（2021）05-0060-08

0 引言

近年來自動閱片技術發展迅速，并且逐漸取代傳統的人工閱片。該技術主要由計算機控制電機平臺[1]，利用工業相機采集清晰的細胞圖像，結合深度學習的方法對細胞圖像進行分析，識別病變細胞。與傳統的人工閱片相比，該技術可有效地減輕醫生工作強度。

自動閱片采用自動聚焦的方式確保拍攝到清晰的圖像。目前自動聚焦可分為主動聚焦和被動聚焦兩大類[2]。主動聚焦通過測量待拍攝物體與鏡頭之間距離，將鏡頭移動到物體焦點位置達到聚焦目的。這種方法依賴高精度測距儀器，成本高、實現復雜。被動聚焦則通過顯微鏡下圖像的清晰度為反饋，自動控制鏡頭和載物臺相對移動，搜索焦點位置以拍攝到清晰圖片。相比主動聚焦，被動聚焦成本低，易于實現，目前被廣泛運用于自動閱片領域[3]。其中關鍵技術在于清晰度評價函數和焦點搜索算法。

圖像清晰度評價函數分成3大類：頻域分析函數，灰度梯度函數，信息熵函數[4]。其中常見的清晰度評價函數有灰度差分絕對值之和算子（SMD）[5]，Tenengrad梯度函數[6]，Laplace梯度函數[7]，Roberts梯度函數和低灰度值統計函數[8]等。

SMD對每一個像素領域兩個灰度差相乘后再逐個像素累加。Tenengrad梯度函數使用Sobel算子提取水平和垂直方向的梯度值，求其平方和作為圖像的清晰度評價標準[9]。Laplace梯度函數使用La-place算子對圖像進行模板卷積得到圖像的高頻分量，然后對圖像的高頻分量求和，用高頻分量和作為圖像的清晰度評價標準[10]。Roberts梯度函數計算方式類似SMD，區別是像素領域中對角線方向點差值再逐個像素累加。低灰度值統計函數通過設置閾值統計灰度值低于閾值的像素點個數作為圖像的清晰度評價標準[11]。

目前廣泛使用爬山搜索法。爬山法從初始位置移動，比較移動前后位置上圖像的清晰度并始終朝著清晰度增加的方向移動，即“爬山”，直到清晰度開始降低停止。清晰度最高的點被視為焦點位置即“山頂”。爬山搜索算法主要分為定步爬山法和變步爬山法[12]。

對于大多數實用場景，清晰度評價函數可以滿足聚焦要求。但在圖像內容較少、噪聲影響較大的情況下，清晰度評價函數得到的清晰度曲線較為平坦并且存在較多的局部極值，最大值也不顯著，這往往會導致自動聚焦失敗[13]。針對此問題，有學者提出通過選取圖像中某一特定的區域作為聚焦窗口以提高自動聚焦成功率[14]。

聚焦窗口選擇算法可以減少數據計算量，消除背景像素與雜質像素對清晰度評價函數的影響，進而提高聚焦準確率。聚焦窗口選擇方法分為靜態取窗法和動態取窗法。靜態取窗法包括中心取窗法[15]，多區域取窗法[16]等。動態取窗法包括一階矩取窗法[17]，差影取窗法[18]等。前者通常是選取圖像中某個固定區域作為固定窗口，后者對圖像內容進行統計分析，選取一個最優的區域作為聚焦窗口。

中心取窗法選取圖像中心區域作為聚焦窗口。中心取窗法認為在拍攝時關注的主體部分通常在視場中央，只要圖像的中央區域處于聚焦狀態，則認為整張圖像達到了聚焦狀態。多區域取窗法選取圖像中具有代表性的幾個區域作為聚焦窗口。中心取窗法和多區域取窗法構建的聚焦窗口的位置和尺寸都缺乏自適應性[19]。

一階矩取窗法通過計算圖像的灰度一階矩確定圖像的“質心”，在“質心”的周圍構建聚焦窗口。差影取窗法的具體做法是原圖像與經模糊化處理后的圖片對應像素點的灰度值做減法得到前景圖像，做減法可以削弱圖像的相似部分，得到圖片之間的差異，凸顯圖像的主體部分。在實際應用中，一階矩取窗法與差影取窗法計算得到聚焦窗口位置選取不準確。而且一階矩取窗法與差影取窗法仍然未解決聚焦窗口尺寸固定的問題。

綜上所述，靜態取窗法假定主體景物是可以提前預知的，導致在聚焦窗口位置選取和聚焦窗口尺寸確定兩個方面都缺乏自適應性，往往會造成聚焦失敗。動態取窗法雖然在聚焦窗口位置選取方面有所改善，但是仍然有聚焦位置選取不準確，聚焦窗口尺寸固定等問題，尤其在小景深系統聚焦中（例如顯微鏡系統）效果欠佳。

為解決以上問題，提出一種基于細胞圖像灰度投影的聚焦窗口選擇方法。首先，對目標細胞圖像進行灰度值取反操作。然后沿坐標軸方向計算圖像灰度投影，在得到的灰度投影序列中尋找灰度投影平均值最大的子區間。在尋找灰度投影平均值最大子區間時，又提出一種自適應均值區間查找算法：在得到的灰度投影序列中尋找灰度投影平均值最大且長度合適的子區間，通過子區間在坐標軸上的位置便可構建出聚焦窗口。灰度投影取窗法解決了聚焦窗口位置和尺寸固定的問題，經實驗驗證在細胞圖像聚焦方面有著良好的效果。

1 灰度投影聚焦窗口選擇方法

1.1 灰度投影聚焦窗口方法原理介紹

對于細胞圖像來說，細胞密集區域邊緣信息豐富，細胞密集區域的像素點往往灰度梯度呈現顯著變化，這些特征有利于清晰度函數計算。從圖像信息嫡的角度來說，細胞圖像密集區域所包含的信息量更大，在聚焦中有更好的聚焦效果。細胞密集區域通常是灰度投影平均值高并且面積較大的區域。以灰度投影平均值高并且面積較大的區域作為聚焦窗口可以追蹤的密集區域。

灰度值投影聚焦窗口選擇法基于細胞圖像的分布特點，以圖像灰度投影在坐標軸方向上分布的密集程度作為基準確定圖像的主體部分。聚焦窗口選擇示意圖如圖1所示，其中陰影區域為聚焦窗口。灰度投影聚焦窗口選擇方法流程圖如圖2所示。

1.2 灰度值取反

在進行灰度投影和自適應均值區間查找之前，要對目標圖像進行灰度值取反處理。

在細胞圖像中，細胞密集區域的灰度值比細胞稀疏區域的灰度值低。采取灰度值取反的目的是要在灰度投影序列中找灰度平均值最大的子區間。灰度值取反計算方法如下。

f（x，y）=255-f（x，y）（1）其中f（x，y）是圖像第x行，第y列的像素灰度值。

1.3 灰度投影算法

灰度投影算法是一種圖像映射，把輸入的圖像二維灰度信息映射成兩個獨立的一維投影序列。采取灰度投影的目的是獲得坐標軸方向上的灰度投影序列。

首先將目標圖像進行灰度值取反操作。計算水平灰度值投影和垂直灰度投影。灰度值投影計算方式如下：其中：G（x）是圖像第x行的灰度投影值;G（y）是圖像第y列的灰度投影值;f（x，y）是圖像第x行，第y列的像素灰度值。

1.4 自適應均值區間查找算法

聚焦窗口選擇方法不僅要選取邊緣信息豐富的區域，而且要選取尺寸合適的區域。聚焦區域過小會造成圖像細節的缺失，聚焦區域過大會導致聚焦效果不顯著。所以對于不同密集程度的細胞圖像，算法應該創建出不同尺寸的聚焦區域。越稀疏的細胞圖像聚焦窗口越大，越密集的細胞圖像聚焦窗口越小。為解決聚焦窗口尺寸難以確定的問題，提出一種自適應均值區間查找算法。

首先計算圖像的平均灰度值（圖像已經進行灰度值取反），統計細胞圖像中像素值高于平均灰度值的像素點個數為m。平均灰度值的計算方法如下。其中f（x，y）是圖像第x行，第y列的像素灰度值;θ代表平均灰度值;M，N分別代表圖像的長度和寬度。

隨后在一個長度為n的灰度投影序列a中，尋找長度為m且區間平均值最大的子區間。我們采用二分法的思想設計算法。

設置二分查找的左右邊界為left和right。其中left等于灰度投影序列中的最小值，right等于灰度投影序列中的最大值。令mid為左右邊界平均值，即mid等于（left+right）/2。然后判斷是否存在一個長度為m并且區間平均值大于等于mid的子區間。

若直接進行判斷算法時間復雜度會很高，所以引入前綴和。設前綴和為sum，前i項的前綴和為sum[i]。

所以，若存在某個子區間[x，x+m]滿足sum[x+m]-sum[x]≥0，表明這個子區間均值大于此時的mid，則記錄本次查找到的子區間的左右邊界為[x，x+m]，將二分查找的左邊界left更新為mid，繼續進行二分查找;若不存在這樣一個子區間，則將二分查找的右邊界right更新為mid，繼續進行二分查找。直到二分查找結束，此時便找到平均值最大的子區間。

對兩個灰度投影序列使用自適應均值查找算法確定兩個子區間，通過這兩個子區間在坐標軸上的位置構建出聚焦窗口。

2 實驗內容

2.1 實驗環境介紹

實驗基于實驗室自主研發的DNA倍體自動分析系統，系統如圖3所示。

DNA倍體自動聚焦分析系統的工作原理：首先，工業攝像機通過物鏡采集濾光片照射下玻片上的樣本圖像，采集信息傳輸到計算機。然后通過編程計算圖像的清晰度，并使用焦點搜索算法將下一個焦點指令發送給控制盒。控制盒向控制垂直運動的電機發送下步的指令，直至最終聚焦成功。

2.2 實驗方法

2.2.1 取窗方法

1）中心取窗法

中心取窗法假定主體目標在圖像中心，是早期自動聚焦中經常使用的方法。中心取窗法選取的聚焦區域尺寸通常為圖像的1/16，計算量減少了93.8%。構建窗口方法如下。其中f（x，y）代表圖像中第x行，第y列的像素點;M，N分別代表圖像的長度和寬度。

2）一階矩取窗法

一階矩取窗法以數學中質心的概念為基礎，該方法不再假定主體目標在圖像中心。利用圖像的灰度一階矩計算得到圖像的“質心”，以此為中心構建聚焦窗口。該方法可以使聚焦窗口靠近主體部分。具體方法如下。其中f（x，y）代表圖像中第x行，第Y列的像素點的灰度值;（xc，yc）代表質心位置;M，N分別代表圖像的長度和寬度。

3）差影取窗法

差影取窗法首先對原圖進行高斯模糊處理，然后用原圖與模糊后的圖像進行做差，突出圖像主體部分，然后用一階矩取窗的方法構建窗口。流程圖如圖4所示。

圖4 差影取窗法流程圖

計算圖像質心的方法是式（11）。差影圖像的計算方法如下，其中：f（x，y）代表原圖像中第x行，第y列的像素點的灰度值;g（x，y）代表模糊圖像中第x行，第y列的像素點的灰度值;F（x，y）代表差影圖像中第x行，第y列的像素點的灰度值。

F（x，y）=f（x，y）-g（x，y）（12）

2.2.2 清晰度評價函數

Laplace梯度函數采用Laplace算子與圖像各像素點的灰度值進行卷積得到一個梯度矩陣記為G（x，y），取各點像素點梯度的平方和作為清晰度評價函數的輸出是F。具體公式如下。其中f（x，y）代表圖像中第x行，第y列的像素點的灰度值;*為卷積運算符號;L為Laplace算子。

2.3 實驗內容

實驗數據為細胞圖像，使用實驗系統采集20張離焦-聚焦-再離焦的圖像序列作為實驗數據，圖像分辨率為2048×2048，其中第10張為清晰聚焦圖像。實驗數據如圖5所示。

選取細胞圖像序列中一張較為清晰的細胞圖像。圖6是3種取窗方法與灰度投影取窗法的取窗效果比較。

4種方法取窗效果由圖6所示，目標細胞圖像中邊緣信息較豐富的區域并未處于圖像中心。其中灰度投影取窗法較為準確地在細胞密集的區域構建出了聚焦窗口。可見灰度投影取窗法可以追蹤偏離細胞圖像中心的主體部分。而中心取窗法，一階矩取窗法和圖像差影取窗法的取窗效果接近，均未定位到圖像主體部分。

首先，為了比較4種取窗方法選取細胞密集區域的能力，實驗選取20張離焦-聚焦-再離焦的細胞圖像序列，計算四種取窗方法構建的聚焦窗口中細胞前景像素面積占比曲線。其結果如圖7所展示的細胞前景像素面積占比曲線。可以看出灰度投影取窗法構建的聚焦窗口中細胞前景像素的面積占比高于另外3種取窗法的面積占比。實驗表明灰度投影取窗法選取的聚焦區域有較高的細胞密集度。

根據細胞圖像像素分類理論，細胞圖像中的像素分為背景像素，內容像素與雜質像素[17，20]。因為內容像素的灰度梯度變化率較高，所以在聚焦窗口中的平均灰度梯度變化率越高意味著內容像素比例越高，越有利于清晰度評價函數的計算。

接下來，實驗選取20張離焦-聚焦-再離焦的細胞圖像序列，通過比較4種取窗方法取得的聚焦窗口中像素的灰度梯度變化率，評估四種取窗方法對內容像素的選取能力。其結果如圖8所展示的灰度梯度變化率曲線。從圖中可以看出，灰度投影取窗法的灰度梯度變化率高于另外3種方法。實驗表明灰度投影取窗法可以精確地構建出包含較多內容像素的聚焦窗口。

為了確定4種取窗方法對清晰度曲線的影響，實驗選取20張離焦-聚焦-再離焦的細胞圖像序列，其中第10張為清晰聚焦圖像。對比4種取窗法方法得到的清晰度評價曲線（統一使用Laplace清晰度評價函數）。其結果如圖9所展示的清晰度評價曲線。理想的清晰度評價函數應具有單峰性和靈敏性的特點。本實驗分別從這兩個方面驗證灰度投影聚焦窗口選擇方法。從圖中可以看出，4種取窗方法得到的清晰度曲線均有單峰性，但是灰度投影取窗法的單峰位置最接近準確聚焦位置，在實際的聚焦任務中可以準確地找到焦點位置。中心取窗法，一階矩取窗法和差影取窗法得到的清晰評價曲線的敏銳性比灰度投影方法得到的清晰度評價曲線的敏銳性差，并且有更多的局部極值。實驗表明灰度投影取窗方法可以使清晰度評價曲線具有高靈敏性和良好的單峰性。

為了比較4種取窗方法的計算效率，統計各取窗方法計算20張圖片的平均清晰度和平均聚焦時間。其結果如表1所展示。在清晰度方面，灰度投影取窗法的平均清晰度高于其它3種取窗方法。在聚焦時間方面，由于中心取窗方法是靜態取窗的，所以在計算時間上有絕對的優勢。而灰度投影取窗法比一階矩取窗法和差影取窗法計算量小，所以聚焦所用時間少。實驗表明灰度投影取窗法有良好的計算效率。

圖10是灰度投影取窗法針對不同細胞圖像的取窗效果。灰度投影取窗法針對不同的細胞圖像，構建了不同尺寸的聚焦窗口，有良好的自適應性。

最后，為了測試自適應性窗口尺寸對灰度投影取窗法的影響。實驗選取20張離焦-聚焦-再離焦的細胞圖像序列，其中第10張為清晰聚焦圖像。比較自適應性窗口尺寸灰度投影取窗法和非自適應性窗口尺寸灰度投影取窗法得到的清晰度評價曲線（統一使用Laplace清晰度評價函數）。其結果如圖11所展示的兩種取窗方法的清晰度評價曲線。由于自適應性窗口尺寸灰度投影取窗法可以選擇合適尺寸的聚焦窗口，避免聚焦窗口尺寸過大或過小帶來的誤差，清晰度評價曲線的靈敏性更好。

3 結論

中心取窗法等靜態區域選擇方法利用單點或多點固定區域，選擇圖像中央區域少量像素集合，顯然很難保證目標圖像位于所選擇的區域中。一階矩取窗法不再簡單地認為圖像主體部分位于圖像中央，采用以圖像灰度分布和邊緣為基準，對圖像的主體部分進行追蹤，比中心取窗法效果略好，但仍有選取主體部分不準確和計算量大等缺點。差影取窗法因計算量大并且取窗位置不準確，在聚焦表現中效果較差。灰度投影取窗法因受圖像灰度梯度變化率和細胞形態分布的影響，以灰度投影的分布作為構建聚焦窗口的基準，對圖像主體內容部分和內容像素體現出良好的跟蹤效果，又因其聚焦窗口的尺寸對于不同的細胞圖像有著較強的自適應性，在聚焦中顯示出良好的效果。

參考文獻：

[1]梁隆愷，趙晶，何勇軍.一種顯微鏡自動聚焦算法[J].哈爾濱理工大學學報，2018，23（2）：46

[2]李錚，戴明，李嘉全.步進電機驅動的直線變倍成像系統研究[J].中國光學，2018，11（5）：779.

[3]劉孟晨，龐長濤，郝雪.Sobel算子在氣膜孔圖像清晰度評價過程中的研究[VOL].機械科學與技術，2020，39（7）：1071.

[4]盧祎，張雪媛，何勇軍.基于焦平面估計的快速掃片方法[J].哈爾濱理工大學學報，2020，25（1）：51.

[5]李惠光，李敏，邵暖，等.顯微視覺系統中自動聚焦算法的研究[J].計算機工程與應用，2016，52（14）：197.

[6]林忠，黃陳蓉，盧阿麗.基于離焦量差異定性分析的自動對焦方法[J].計算機應用，2015，35（10）：2969.

[7]項魁，高健.自動對焦過程中圖像清晰度評價算法研究[J].組合機床與自動化加工技術，2019（1）：52.

[8]孟立凡，高文學，一種應用FPGA的灰度投影法斷紗檢測平臺設計LJ]，現代電子技術，2020，43（4），4.

[9]梁隆愷.基于環境感知的顯微鏡自動聚焦方法[D].哈爾濱理工大學，2018，23（2）：58.

[10]TIAN Y，HU H，CUI H，et al.Three-dimensional Surface Micro-topography Recovery from a Multifocus Image Sequence Using anOmnidirectional Modified Laplacian Operator with Adaptive Win-dow Size.[J].Applied Optics，2017，56（22）：6300.

[11]KRUEGER R，BAUER T.Microscope Having an AutofocusingDevice and Autofocusing Method for Microscopes：U.S.Patent 9，671，601[P].2017-6-6.

[12]SHA X，LI W，LV X，et al.Research on Auto-focusing Technolo-gy for Micro Vision System[J].Optik，2017，142：226.

[13]TIAN X，SUN X.Computer Controlled Microscope Autofocus andImage Real-Time Fusion Technology[J].Acta Microscopica，2019，28（5）：102.

[14]BEN Z，XU Z，LAM E Y.Learning-based Nonparametric Autofo-cusing for Digital Holography[J].Optica，2018，5（4）：337.

[15]GUO Y，YI D，LI D.R

apid Autofocus Method for Optical Micro-scopes Using Dual Photodetectors[C]//2nd International Confer-ence on Electrical and Electronic Engineering（EEE 2019）.At-lantis Press，2019：209.

[16]張騰騰，雷靜思.抗噪高清圖像清晰度評價算法的研究[J].數字技術與應用，2019，37（7）：117.

[17]畢天華，杜文華.一種改進的Brenner清晰度評價函數[J].電子測量技術，2019（9）;80.

[18]潘雪娟，朱尤攀，浦恩昌，等.基于熵的自動聚焦圖像清晰度評價函數仿真分析[J].紅外技術，2016（10）：838.

[19]李雪，江曼珊.光學顯微成像系統圖像清晰度評價函數的對比[J].光學儀器，2018，40（1）：28.

[20]嚴錦雯，賈星偉，隋國榮，等.圖像清晰度評價函數的研究[J].光學儀器，2019，41（4）：54.

（編輯：溫澤宇）

收稿日期：2020-04-29

基金項目：國家自然科學基金面上項目（61673142）;黑龍江省自然科學基金面上項目（F2017013）;黑龍江省自然科學基金杰出青年項目（JJ2019JQ0013）;哈爾濱市杰出青年人才基金（2017RAYXJ013）;黑龍江省普通本科高等學校青年創新人才項目（UNPYSCT-2016034）;黑龍江省教育廳科學技術研究項目（12511096）;哈爾濱理工大學青年拔尖創新人才（20152）;中國博士后基金（20132303120003）.

作者簡介：高瑋寧（1997-），男，碩士研究生;

馬善濤（1996-），男，碩士研究生.

通信作者：謝怡寧（1979-），女，博士，碩士研究生導師，E-mail：xieyining@hrbust.edu.cn.