基于焦平面估計的快速掃片方法

盧祎 張雪媛 何勇軍

摘 要：隨著儀器自動化的發展，基于顯微鏡的自動閱片系統被廣泛應用于醫學領域。該系統需要在顯微鏡視野下移動多個位置并拍攝標本圖像，以完成整個掃描任務。但是由于載物臺平面與物鏡中軸線不能保證絕對的垂直，或者觀測樣本表面的起伏，使得各個視野的焦點不在一個平面內，有必要通過聚焦移動以獲得清晰圖像。傳統方法在每個位置都進行聚焦，導致聚焦移動次數過多，掃片的效率較低。為了減少掃片的時間，提出了一種基于焦平面估計的快速掃片方法。通過采集有代表性位置的焦點，估計其附近位置的焦點，在掃描載玻片時可以直接移動到估計的焦點位置完成聚焦。實驗表明此方法能有效減少焦點搜索的次數，提高掃片效率。

關鍵詞：自動聚焦;自動顯微鏡;焦平面估計;多點平面分割方法;平面判斷方法

DOI：10.15938/j.jhust.2020.01.008

中圖分類號： TH742

文獻標志碼： A

文章編號： 1007-2683（2020）01-0051-08

Abstract：With the development of instrument automation， the microscope-based automatic reading system is used widely in the medical fieldThis system needs moving many positions under the microscope and capturing the images to complete the scanning taskHowever， because it is difficult to ensure the plane of the platform and the axis of the object lens are vertical， and the surface of the observed samples may be not even， the focuses in different locations are not in a planeTherefore， it is necessary to run auto focusing to obtain clear imagesConventional methods perform focusing at each location， causing excessive movements and inefficient scanningIn order to reduce the scanning time， this paper presents a fast scanning method based on focal plane estimationBy acquiring the focuses at several representative positions， the focuses of the position near them are estimated， and the platform（or the lens） can be moved directly to the estimated positionExperiments show that this method can reduce the number of focus searching effectively and improve the scanning efficiency-

Keywords：automatic focusing; automatic microscope; focal plane estimation; multi-point plane segmentation method; method of determining the plane

0 引 言

隨著電子顯微鏡的出現和圖像處理技術的發展，基于人工智能的病理分析已經成為當下最主流的研究方向。這種技術首先在顯微鏡下采集脫落細胞或者組織切片的圖片，然后分析圖像病變情況，為病理診斷提供輔助。由于相機視野寬度有限，分析一個樣本需要采集多幅圖像。一個載玻片樣本的掃描一般需要采集300張以上的圖片。

全自動顯微鏡是通過自動移動載物平臺使電子顯微鏡采集不同位置視野的圖像。由于無法確保載物臺平面與顯微鏡觀察方向完全垂直，或者觀測樣本表面的起伏使焦點不在同一個平面內，導致顯微鏡下的圖像不清晰。全自動顯微鏡采用自動聚焦的方式，確保拍攝到清晰的圖像。自動聚焦包含兩個關鍵環節，一是清晰度評價函數，用于評價圖像的清晰程度;二是聚焦搜索策略，是尋找焦點的方法。典型的清晰度評價函數有低灰度值統計法[1]、基于邊緣檢測[2-4]、灰度值差分絕對值之和算子[5-6]、拉普拉斯算子[7]、Roberts梯度算子[8-9]等。焦點搜索方法有遍歷搜索法[10]和變步爬山法[1]。目前掃片效果較好的聚焦策略是使用有三種步長的變步爬山。先計算當前視野的清晰度評價函數值，根據所得函數值判斷離焦狀態，離焦嚴重、輕度和微小分別對應變步爬山的大步長、中步長和小步長。使用離焦狀態對應的步長在垂直載玻片的方向上移動物鏡，每移動一個步長計算一次評價函數值，更新離焦狀態，多次探測，取清晰度最大的位置既是當前視野的焦點，采集圖像。由于變步爬山法在掃片過程中會多次移動，甚至會出現探測焦點的死循環，掃描效率低下。

顯微鏡的載物平臺具有一定精度，相鄰視野的焦點位置存在一定的依賴關系，比如處于同一個平面但與鏡頭中軸線不垂直。因此，當樣本玻片放在顯微鏡下時，只要可以確定這個平面和顯微鏡觀察角度的關系就可以確定相鄰視野的焦平面。掃描某一個視野時，首先通過估計出的焦平面計算出該視野的焦點位置，然后直接移動到焦點位置實現聚焦操作，無需多次移動去試探性地搜索焦點，就可以在最大程度的提升自動閱片的效率。基于此，本文利用三點確定一個平面的方式粗略估計焦平面，判斷研究方向的正確性。首先采集3個不在一條直線上的點自動聚焦，再取這3個點的坐標，這3個點可以確定的三維平面作為估計的焦點平面。但在應用中，除了平臺誤差外，還有樣本的被觀察表面可能存在起伏，單個平面對焦平面的刻畫不夠精細。因此，本文進一步提出了一種基于多點聚焦的快速采集方法。該方法是將樣本掃描區域細分為多個區域，認為每個三角區域范圍內的焦點落在對應的三角區域所在的平面上。實驗中使用低灰度值統計法、灰度值差分絕對值之和算子和拉普拉斯算子清晰度評價函數對采集圖片進行清晰度評價。實驗結果表明，三點聚焦可以在保持清晰度情況下有效提高掃描效率，而多點聚焦方法比三點聚焦在清晰度提升方面具有更好的性能，實現犧牲較小清晰度的前提下，提高掃片效率。

1 三點聚焦快速掃片方法

標準的三維平面重建，都是采用3個點建立平面。在顯微鏡下找到3個不在同一直線上的3個點，利用自動聚焦技術，獲取到每個位置的焦點坐標。已知3個已知點的坐標P（x0，y0，z0）、Q（x1，y1，z1）、U（x2，y2，z2），如圖1所示，可得兩個相交的空間向量PQ、PU，利用這兩個向量可以求得垂直于這三個點所確定平面的法線向量，如式（1），求得n=（A，B，C），利用點法式計算得到平面方程（2）。

三點聚焦的快速掃片流程如圖2所示，將組織樣本玻片放置在顯微鏡下，首先在樣本上找到3個不在一條線上的3個點，分別聚焦獲得每個點的X軸、Y軸和Z軸坐標，然后通過這3個點計算其所在平面。接下來開始掃片，將平臺移動到下一個采集圖像的位置，通過該位置的X軸和Y軸坐標計算對應的Z軸坐標，移動Z軸到指定位置，最后采集圖像，直到采集的數量滿足要求，結束掃片。

2 多點聚焦快速掃片方法

三點聚焦的方法，能有效解決整個平臺的傾斜問題，但缺無法解決平臺加工的誤差問題和被觀察樣本表面起伏問題。因為三點聚焦的方法對聚焦曲面的刻畫不夠精細，而且對3個點的精度要求非常高，當任意一個點的焦點位置聚焦精度不夠時，所建立的平面與真實平面會出現差異，且在三角形外部距離3個點越遠的位置，其偏差距離越大，導致圖像模糊。

多點聚焦快速掃片方法，是在3個點建立平面的基礎上，增加了多個三角形平面，并減小了每個三角形的面積，這樣做更加精細劃分被觀測平面，可以應對較復雜的觀測表面。多點聚焦快速掃片流程如圖3所示，將組織樣本玻片放置在顯微鏡下，首先在樣本上按照一定方式找到多個位置，分別聚焦獲得每個位置的X軸、Y軸和Z軸坐標，通過指定的分割方法將樣本分割成多個三角區域，并確定每個三角區域的平面公式。將平臺移動到下一個采集圖像的位置，通過該位置的X軸和Y軸坐標，判斷該位置所在的三角形區域，根據該區域對應的平面公式，計算對應的Z軸坐標，移動Z軸到指定位置，最后采集圖像，直到采集的數量滿足要求，結束掃片。

2-1 多點平面分割方法

由于樣本涂層的形狀一般都是一個近似圓，所以建立坐標系的原點采用組織樣本的中心點，取樣點如圖4所示，圖中圓圈對應組織涂層的位置，在圓內均勻的選擇14個點，這14個點要盡可能覆蓋載玻片的各個角落，目的是在建模時顧及到載玻片全局。本方法選點個數是14個，這是一個較優的方案，原因是選點過少導致焦平面建模粗糙，導致聚焦效果不理想，而選點過多導致建模復雜影響掃片效率。這些點將整個樣本分割成多個相鄰三角形，共計建立了14個平面，這些平面幾乎覆蓋整個樣本。

如圖5是在圖4的點的分布下對每個點聚焦后建立出若干個估計的焦平面。多點聚焦與三點聚焦（建立單個焦平面）相比的特點在于對平面進行了細分，從而多點聚焦還原出平面更多細節，使得每一個小的焦平面更加精確，更符合實際被觀測物體表面的情況。

2-2 判斷視野所在三角區域

由于分割后的形狀是多個相鄰的三角形組合而成。對于給定的視野，首先要確定其所屬的三角形區域，然后確定視野所在焦平面上點的垂直距離。根據三角形的性質，可利用外心判斷點的所屬平面。外心是三角形外接圓的圓心。計算方法如圖6所示，對3條邊分別作垂直平分線，它們的交點就是外心。計算點到每個外心的距離，與其距離最近外心對應的三角形，就是該點所在的平面。距離計算為

圖中數字部分覆蓋著載玻片上被觀測表面，每一個數字代表著物鏡下每一個視野，數字0是掃片的起始位置，數字遞增的順序為掃描路徑。掃描時，電動載物臺按照掃描路徑依次將每個視野送到物鏡下觀察，在每個視野下計算圖像的清晰度評價函數值，判定當前離焦狀態，選擇移動步長，移動物鏡后再次計算清晰度評價函數值，更新離焦狀態，直到找到焦點，再使用①高清數碼相機拍攝清晰圖像，載物臺將下一個視野送到物鏡下，直至掃描完所有的視野。掃描一張載玻片可以拍攝332張圖片。

3-2 實驗中用到的清晰度評價函數

清晰度評價函數用于評價圖像的清晰度，不同的評價函數使用不同的數學方法將圖像上有關清晰度的信息通過數值表現出來，通過數值間的大小比較判斷圖像的清晰程度。下面介紹本實驗所使用的清晰度評價函數。

3.3 實驗內容

實驗數據是宮頸細胞樣本，樣本圖片如圖9所示。分別用傳統聚焦掃片方法[1]、三點聚焦掃片方法和多點聚焦掃片方法，對細胞樣本進行圖像采集。將采集后的圖像用3種清晰度評價函數（SMD、SML、LGV）計算每次掃片的平均清晰度，然后計算清晰度損失如下：

第一次實驗結果，清晰度如圖10所示。表1數據可以看到3種掃片方法在不同清晰度評價函數下的函數值。全部聚焦是每個位置計算多次清晰度評價函數值并配合著變步爬山的方法，是目前效果最好的聚焦和掃片方法。所以將全部聚焦的清晰度作為標準，對比另外兩種掃片方法的清晰度。圖中清楚顯示三點聚焦得到圖像的清晰度比全部聚焦得到圖像的清晰度小;多點聚焦得到圖像清晰度介于二者之間，說明多點聚焦的效果要好于三點聚焦方法。

表1是清晰度損失。使用上述式（10）計算出三點聚焦和多點聚焦相對于全部聚焦在LGV、SML、SMD 3種不同清晰度評價函數下的損失。可以明顯看到3種清晰度評價函數中三點聚焦的清晰度損失均大于多點聚焦的清晰度損失。將每種掃片方法的清晰度損失的平均值作為其最終的考量。計算三點聚焦的清晰度損失平均值是24-80%，表明這種方法采集的圖像與全部聚焦采集的圖像清晰度差異達到24-80%。3種清晰度函數計算多點聚焦的清晰度損失平均值是10-21%，表明多點聚焦清晰度損失比三點聚焦清晰度損失低。

四組實驗中，兩次使用細胞分布正常的樣本，一次使用細胞分布密集的樣本，一次使用細胞分布稀疏的樣本，模擬了實際使用的全部情況，細胞密集的樣本對于焦平面估計方法最理想;其次是細胞分布正常的樣本;而細胞分布稀疏的樣本使得三點聚焦方法產生較大誤差，但是多點聚焦算法表現優于三點聚焦，體現了其良好的魯棒性。實際的使用樣本多為細胞分布均勻的情況，細胞分布極多和極少的情況很少發生。實驗證明，無論是細胞密集，細胞分布正常還是細胞分布稀疏，從實驗結果中可以發現，多點聚焦的清晰度損失小于三點聚焦的清晰度損失，且多點聚焦的清晰度與全部聚焦的清晰度相差極小。這表明了多點聚焦快速掃片方法比三點聚焦掃片方法采集的圖像更加清晰，證明了多點聚焦方法更加準確還原了被觀測物體的表面。可以認為與全部聚焦的圖像清晰度基本一致，而且通過對焦點平面建模的方式估計焦點位置，減少了傳統方法探測焦點次數，約節省40%的掃片時間，與預期結果一致。

4 結 論

本文提出并講解了三點聚焦快速掃片方法的技術原理，并針對其存在的問題提出了多點聚焦快速掃片方法。實驗采用三種清晰度評價函數分別對全部聚焦、三點聚焦和多點聚焦掃片方法采集的圖像進行評價。實驗數據表明，多點聚焦快速掃片方法比三點聚焦掃片方法的清晰度更高，與全部聚焦掃片方法所采集圖像的清晰度相差較小，表明了多點聚焦快速掃片方法能更加精確還原被觀測物體表面，實現精準的焦平面估計，并且具有一定魯棒性。而且掃片用時要比全部聚焦掃片方法節省40%，表明了所提出方法的有效性。下一步的研究是使用機器學習技術通過計算圖像的模糊程度預測細胞焦點的位置。

參 考 文 獻：

[1] 梁隆愷，趙晶，何勇軍. 一種顯微鏡自動聚焦算法[J]. 哈爾濱理工大學學報，2018，23（2）：46.???LIANG Longkai， ZHAO Jing， HE Yongjun. A Focusing Algorithm in Automatic Microscope[J]. Journal of Harbin University of Science & Technology， 2018， 23（2）：46.

[2] 吳興蛟， 吳晟. 基于邊緣檢測的位圖矢量化的實現[J]. 計算機與數字工程， 2016（2）：331.WU Xingjiao， WU Sheng. Bitmap Vector Quantization Based on Edge Detection[J]. Computer & Digital Engineering， 2016（2）：331.

[3] 陳云彪，張麗琴，李漢明，等. 基于邊緣檢測的車牌識別算法的實現[J]. 電子測試，2017（21）：41.CHEN Yunbiao， ZHANG Liqin， LI Hanming， et al. The Algorithm of License Plate Recognition Based on Edge Detection[J]. Electronic Test， 2017（21）：41.

[4] 楊陶， 田懷文， 劉曉敏，等. 基于邊緣檢測與Otsu的圖像分割算法研究[J]. 計算機工程， 2016， 42（11）：255.YANG Tao， TIAN Huaiwen， LIU Xiaomin， et al. Research on Image Segmentation Algorithm Based on Edge Detection and Otsu[J]. Computer Engineering， 2016， 42（11）：255.

[5] QIU Y， CHEN X， LI Y， et al. Evaluations of Auto-focusing Methods Under a Microscopic Imaging Modality for Metaphase Chromosome Image Analysis[J]. Analytical Cellular Pathology， 2013， 36（1/2）：37.

[6] ZHANG Xiangfen， WU Hongfeng， MA Yan. A New Auto-focus Measure Based on Medium Frequency Discrete Cosine Transform Filtering and Discrete Cosine Transform[J].Applied and Computational Harmonic Analysis， 2016（3）：430.

[7] TIAN Y， HU H， CUI H， et al. Three-dimensional Surface Microtopography Recovery from a Multifocus Image Sequence using an Omnidirectional Modified Laplacian Operator with Adaptive Window Size.[J]. Applied Optics， 2017， 56（22）：6300.

[8] 王方超， 張旻， 宮麗美. 改進的Roberts圖像邊緣檢測算法[J]. 探測與控制學報， 2016， 38（2）：88.WANG Fangcao， ZHANG Min， GONG Limie. Image Edge Detecion Algorithm of Roberts Operator[J]. Journal of Detection & Control， 2016， 38（2）：88.

[9] 付萬程， 達飛鵬， 黃源. 基于分數階梯度算子的圖像匹配算法[J]. 圖學學報， 2017， 38（3）：352.FU Wancheng， DA Feipeng， HUANG Yuan. Image Matching Algorithm Based on Fractional-Order Gradient Operator[J]. Journal of Graphics， 2017， 38（3）：352.

[10]李惠光， 李敏， 邵暖， 等. 顯微視覺系統中自動聚焦算法的研究[J]. 計算機工程與應用， 2016， 52（14）： 197.LI Huiguang， LI Min， SHAO Nuan， et al. Study on Auto-focusing Algorithm of Micro-vision System[J]. Computer Engineering and Applications， 2016， 52（14）： 197.

[11]趙晶， 梁隆愷， 何勇軍， 等. 復雜背景下的宮頸細胞核分割方法[J]. 哈爾濱理工大學學報， 2019， 24（3）.ZHAO Jing， LIANG Longkai， HE Yongjun. The Method of Segmentation of Cervical Nuclei in Complex Background[J]. Journal of Harbin University of Science & Technology， 2019， 24（3）.

（編輯：王 萍）