觸控自動化顯微成像系統(tǒng)*

劉 暢，甘 奇，馬 馳，孟倩芳，汪潔麗，劉 威

(武漢大學(xué) 物理科學(xué)與技術(shù)學(xué)院，湖北 武漢430072)

0 引 言

傳統(tǒng)顯微鏡的操作方式主要基于操作者的手動操作，載物臺移動、鏡頭聚焦、照明光源調(diào)控和色溫調(diào)整等一系列操作均由人工操作完成。這種自動化程度低的操作模式對操作者的經(jīng)驗要求較高，使得獲取圖像的過程極為緩慢。傳統(tǒng)顯微鏡的觀測方式基本是直接通過目鏡進(jìn)行觀察，而現(xiàn)代計算機(jī)技術(shù)和圖像處理技術(shù)［1］的發(fā)展使得通過計算機(jī)進(jìn)行觀察和處理顯微圖像成為可能，現(xiàn)代儀器的發(fā)展方向即是自動化和智能化［2］。

本文設(shè)計開發(fā)了一種可自動獲取圖像、自動對焦的自動化顯微成像系統(tǒng)，使用過程的所有操作都通過觸控手勢完成。本系統(tǒng)使得應(yīng)用廣泛的顯微鏡使用起來更簡便、更智能化，使得專家能夠?qū)ξ⒂^世界進(jìn)行更深入、更全面、更細(xì)微的探索。

1 系統(tǒng)結(jié)構(gòu)

1.1 系統(tǒng)結(jié)構(gòu)劃分

系統(tǒng)硬件結(jié)構(gòu)劃分如圖1 所示，由五部分組成，包括支持觸控功能的PC(上位機(jī)控制系統(tǒng))，單片機(jī)和相應(yīng)的電機(jī)驅(qū)動裝置(下位機(jī)控制系統(tǒng))，帶可控制載玻片移動的電機(jī)的載物臺，可換鏡頭的光學(xué)顯微鏡和攝像頭。

圖1 系統(tǒng)硬件結(jié)構(gòu)圖Fig 1 Hardware structure diagram of system

軟件主要包括PC 上的系統(tǒng)觸控軟件和寫入單片機(jī)的電機(jī)控制軟件兩部分，兩者通過串口進(jìn)行通信實現(xiàn)系統(tǒng)的自動化控制。系統(tǒng)觸控軟件的功能主要包括觸控改變觀察區(qū)域、自動對焦、拍照、目標(biāo)尋回定位等。電機(jī)控制軟件的主要功能即為控制載物臺電機(jī)和鏡頭電機(jī)的移動。

1.2 系統(tǒng)精度

儀器的自動控制主要是由下位機(jī)控制系統(tǒng)完成的，該系統(tǒng)主要完成對系統(tǒng)三個電機(jī)的控制。經(jīng)測試，在水平方向，電機(jī)2 的精度可以達(dá)到0.04 mm，垂直方向，電機(jī)1 的精度可達(dá)0.02 mm，上下方向，電機(jī)3 的精度可以達(dá)到0.01 mm。

2 系統(tǒng)工作流程

開啟系統(tǒng)的上位機(jī)控制系統(tǒng)和下位機(jī)控制系統(tǒng)，打開照明光源，調(diào)節(jié)使之達(dá)到適宜的亮度，將待觀察的樣片放在載玻片放置處，在上位機(jī)運行系統(tǒng)觸控軟件。

通過系統(tǒng)觸控軟件的預(yù)覽窗口可觀察由圖像采集系統(tǒng)采集到的圖像，同時可在觸屏上用平移手勢發(fā)出指令與下位機(jī)控制系統(tǒng)進(jìn)行通信，從而控制電機(jī)實現(xiàn)載玻片移動來實現(xiàn)視野的變換，以便對樣品不同部分進(jìn)行觀察。

若預(yù)覽圖像對焦不夠清晰，可選用自動方式和手動方式進(jìn)行對焦;若選用自動方式，在屏幕使用長按手勢發(fā)出指令與下位機(jī)控制系統(tǒng)進(jìn)行通信，可控制電機(jī)實現(xiàn)鏡頭的上下移動以實現(xiàn)自動對焦，自動對焦指令完成后，還可通過軟件進(jìn)行微調(diào)。若選用手動方式，可直接轉(zhuǎn)動轉(zhuǎn)輪改變鏡頭的位置實現(xiàn)手動對焦。

在觀測過程中，若發(fā)現(xiàn)感興趣的目標(biāo)，可控制圖像采集系統(tǒng)進(jìn)行拍照保存，再通過系統(tǒng)觸控軟件進(jìn)行圖像處理與分析，還可截取感興趣目標(biāo)圖像，顯示在截圖顯示區(qū)中。之后可再通過點擊截圖來控制電機(jī)移動自動定位以便再次觀察該目標(biāo)。系統(tǒng)操作流程可用圖2 表示。

3 觸控操作設(shè)計與實現(xiàn)

多點觸控技術(shù)和儀器操作的結(jié)合成為現(xiàn)代儀器發(fā)展的一個新趨勢［3］。要實現(xiàn)通過軟件觸控操作儀器，首先就需要設(shè)計觸控手勢，并和相對應(yīng)的功能連接起來。

本系統(tǒng)的觸控輸入手勢如圖3 所示，主要有平移手勢、長按手勢、短按手勢和截圖手勢，分別對應(yīng)于控制電機(jī)移動載物臺(預(yù)覽功能)、移動鏡頭(自動對焦)、移動載物臺(定位功能)和 保存截圖(截圖功能)。

系統(tǒng)各項功能所基于的觸控操作分為對硬件和軟件兩方面的控制，即控制電機(jī)移動和調(diào)用圖像處理函數(shù)。

3.1 觸控移動電機(jī)

觸控移動電機(jī)的過程是:先由使用者輸入觸控手勢，上位機(jī)識別手勢并向下位機(jī)發(fā)送指令，下位機(jī)接收指令并控制電機(jī)移動。

上位機(jī)控制系統(tǒng)通過觸控軟件識別觸控手勢，轉(zhuǎn)換為相應(yīng)命令，采用全雙工的串行通信方式與單片機(jī)通信。上位機(jī)工作流程如圖4 所示。

圖2 系統(tǒng)操作流程圖Fig 2 Operation flowchart of system

圖3 觸控輸入手勢分類圖Fig 3 Classification map of touch control input gesture

圖4 上位機(jī)流程圖Fig 4 Flowchart of upper computer

下位機(jī)控制系統(tǒng)通過單片機(jī)接收命令后，結(jié)合載物臺位置傳感器狀態(tài)和鏡頭位置編碼器信息對電機(jī)發(fā)出移動指令。下位機(jī)工作流程如圖5 所示。

圖5 下位機(jī)流程圖Fig 5 Flowchart of lower computer

3.2 觸控處理圖像

觸控處理圖像僅由上位機(jī)觸控軟件來實現(xiàn)。首先，上位機(jī)觸控軟件識別輸入手勢，然后，調(diào)用相應(yīng)函數(shù)來實現(xiàn)對圖像的處理，整個過程如圖6 所示。

圖6 圖像處理流程圖Fig 6 Flowchart of image processing

4 系統(tǒng)功能測試

4.1 自動對焦測試

在軟件預(yù)覽區(qū)域使用長按手勢，上位機(jī)控制系統(tǒng)發(fā)出指令與下位機(jī)控制系統(tǒng)進(jìn)行通信，通過算法控制電機(jī)使鏡頭自動到達(dá)可以觀測到最清晰圖像的位置。

本系統(tǒng)是采用一種改進(jìn)的對焦深度法來實現(xiàn)自動對焦的。對焦深度法是一種建立在搜尋過程上的對焦方式，它通過選取一種適當(dāng)?shù)脑u價函數(shù)來評價不同對焦位置所獲得圖像的清晰度［4］。清晰度評價函數(shù)主要有圖片的灰度熵、灰度方差、灰度梯度、能量譜、拉普拉斯算子等［4～6］。經(jīng)過實驗，最終本系統(tǒng)采用的清晰度評價函數(shù)是圖像的灰度方差函數(shù)。

圖7 為兩種不同樣片進(jìn)行自動對焦測試時的部分圖像，表現(xiàn)了由離焦到聚焦再離焦的過程。圖7(a)為洋蔥鱗片葉表皮細(xì)胞圖像，圖7(b)為蠶豆葉下表皮細(xì)胞圖像。兩列圖像中的第三幅是在對焦最清晰位置拍攝的圖像。

4.2 手勢截圖與目標(biāo)尋回定位測試

觀測者在軟件預(yù)覽窗口觀察到感興趣區(qū)域時，可以通過手指移動將感興趣區(qū)域圈出，系統(tǒng)會自動將其顯示在截圖顯示窗口。圖8(a)為預(yù)覽窗口所顯示的圖像，圖像中白色曲線為觀測者手指移動的軌跡，該軌跡包含的區(qū)域即為觀測者欲截取的區(qū)域，截圖將顯示在截圖顯示窗口中。圖8(b)所示即為截圖顯示窗口顯示的效果，此次截圖對應(yīng)其中的第四幅圖像。

目標(biāo)尋回定位功能主要是為了讓觀測者可以方便地再次回到感興趣的區(qū)域進(jìn)行觀察。如當(dāng)前觀測區(qū)域遠(yuǎn)離圖8(a)顯示的區(qū)域后，通過點擊顯示在圖8(b)中的截圖可以再次觀察此區(qū)域。

具體實現(xiàn)過程如下:觀測者第一次在軟件預(yù)覽窗口觀察到感興趣區(qū)域R(如圖9(a)所示，圖9(a)與圖8(a)相同但沒有顯示手勢軌跡)時，將感興趣區(qū)域截取出來顯示在截圖顯示窗口，此時軟件會記錄電機(jī)當(dāng)前的位置坐標(biāo)。在之后觀察過程中，當(dāng)觀察區(qū)域移動到遠(yuǎn)離圖9(a)的地方(如9(b)所示區(qū)域)時，若觀測者想要再次觀察區(qū)域R，只需點擊截圖顯示窗口中對應(yīng)的截圖，軟件就會自動計算出當(dāng)前位置與目標(biāo)位置間的距離和偏移方向，并發(fā)送指令給單片機(jī)，再由單片機(jī)控制電機(jī)將載玻片移動到指定位置以實現(xiàn)目標(biāo)尋回定位，定位后的區(qū)域拍攝的圖像如圖9(c)所示。

圖9(a)為第一次觀測區(qū)域R 時拍攝的圖像，與第二次拍攝的圖像圖9(c)比較，可看到兩次所拍攝的圖像顯示的區(qū)域有少許位移，即是電機(jī)在運動過程中所產(chǎn)生的誤差。

5 結(jié)束語

本系統(tǒng)在需要使用顯微鏡的各個領(lǐng)域，包括生物、醫(yī)學(xué)等方面將有廣闊的應(yīng)用前景。傳統(tǒng)顯微鏡都是基于操作者繁復(fù)的手動操作控制，并直接通過目鏡觀察，而本系統(tǒng)則可以通過簡單觸控手勢進(jìn)行精確操作和圖像處理。本系統(tǒng)可添加更專業(yè)功能，如通過圖像處理實現(xiàn)識別腫瘤細(xì)胞［7］，同時進(jìn)行細(xì)胞計數(shù)，計算出腫瘤細(xì)胞的比例等功能，另一方面，通過建立網(wǎng)絡(luò)交流平臺實現(xiàn)不同地區(qū)系統(tǒng)資源的共享［8，9］。

［1］ 姜志國，韓冬兵，謝鳳英，等.基于全自動顯微鏡的圖像新技術(shù)研究［J］.中國體視學(xué)與圖像分析，2004，9(1):31-36.

圖7 自動對焦測試圖Fig 7 Test pictures of automatic focusing

圖8 手勢截圖示意圖Fig 8 Diagram of gesture screenshot

圖9 目標(biāo)定位示意圖Fig 9 Diagram of target localization

［2］ 余啟剛.儀器儀表的虛擬化、網(wǎng)絡(luò)化和智能化［J］.自動化博覽，2003，20(1):32-34.

［3］ 王麗霞，王志剛，王照平.基于多點觸控技術(shù)的智能儀器面板設(shè)計［J］.測控技術(shù)，2012，31(8):120-122.

［4］ 尤玉虎，劉 通，劉佳文.基于圖像處理的自動對焦技術(shù)綜述［J］.激光與紅外，2013，43(2):132-136.

［5］ 姜志國，韓冬兵，袁天云，等.基于全自動控制顯微鏡的自動聚焦算法研究［J］.中國圖象圖形學(xué)報，2004，9(4):396-401.

［6］ 方 以，鄭崇勛，閆相國.顯微鏡自動聚焦算法的研究［J］.儀器儀表學(xué)報，2005，26(12):1275-1277.

［7］ 萬 劍，程憲平.腫瘤細(xì)胞計算機(jī)輔助診斷系統(tǒng)的研究［J］.電腦開發(fā)與應(yīng)用，2004，17(5):37-38.

［8］ 李學(xué)靜，劉 飛，楊 育，等.儀器資源網(wǎng)絡(luò)化產(chǎn)學(xué)研共享系統(tǒng)研究［J］.現(xiàn)代科學(xué)儀器，2005(4):37-40.

［9］ 傅雅靜，郭麗潔，高 建，等.虛擬顯微鏡技術(shù)及其在醫(yī)學(xué)領(lǐng)域的應(yīng)用［J］.解剖科學(xué)進(jìn)展，2007，13(3):283-285.