流動顆粒顯微圖像測量技術研究

張艷彬， 李偉林

（1. 南京郵電大學圖像處理與圖像通信實驗室，江蘇 南京 210003；2. 揚州職業(yè)技術大學信息工程學院，江蘇 揚州 225000）

顆粒是物質經(jīng)破碎或分裂加工過程（自然或人為因素）所得到的一組或一批在形狀、體積線度等物化特性方面具有某種共同特征的粒狀物群體。隨著現(xiàn)代科學技術的發(fā)展，顆粒技術作為一門新興的邊緣學科，已深入到兵器、航空、航天、航海、化工、冶金、石油、煤炭、電力、輕工、環(huán)保、地質、水利、醫(yī)藥、食品、氣象、材料以及交通運輸?shù)仍S多領域中。顆粒的基本物理特性包括孔隙、形狀、粒徑以及顆粒分布等參數(shù)。目前發(fā)展起來的顆粒顯微圖像檢測技術，可從顆粒的顯微圖像中提取出的顆粒的相關信息，如粒徑、形狀等參數(shù)及微觀結構等，此技術在顆粒測量方面有著極大的發(fā)展?jié)摿1]。

在自然界中和工業(yè)生產(chǎn)中，顆粒往往分散于流體系統(tǒng)中，傳統(tǒng)的顆粒顯微圖像測量技術需要把顆粒采集到載玻片進行觀測，這樣會造成分析過程繁瑣、周期長、不能實時檢測的缺點。為此人們對顯微環(huán)境下流動顆粒的圖像測量問題進行專門研究，取得了一些成果，目前普遍采用的檢測原理主要有電磁法，X射線、靜電法、光電法等，其中檢測精度最高的還是基于圖像的檢測技術。這方面比較成熟的成果有超譜公司推出的LNF-C型自動磨損顆粒檢測系統(tǒng)[2]，能對油液中顆粒的形貌進行檢測。但其檢測的功能主要還是顆粒的輪廓信息，輪廓計算尺寸的下限是 20μm。此外文獻[3]對沙子的顆粒外形計算進行了研究；文獻[4]對水中的污染顆粒的檢測進行了研究，能對顆粒進行計數(shù)和尺寸計算；文獻[5]對顆粒光學檢測系統(tǒng)進行了分析，總結了顆粒檢測的影響因素。綜合來看，目前基于圖像的顆粒檢測技術檢測信息不全面，精度不高，尤其是表面形貌信息涉及較少。這主要是由于流體器件的的設計和加工精度不夠，而且在圖像處理過程中沒有充分注意圖像的動態(tài)特性。為此，我們在研制微機電技術加工的檢測器件基礎上，基于顆粒的動態(tài)特性，提出了新的顆粒目標提取和分析方法，具有更高的精度和更全面的檢測信息。

1 流動顆粒顯微測量平臺的構建

我們構建了基于彩色數(shù)字攝像機的雙光源顯微圖像采集與分析系統(tǒng)。系統(tǒng)的總體架構如圖1所示，系統(tǒng)主要由液路部分（微量泵、檢測芯片和回油池）、光路部分（透、反射光源和顯微物鏡）和圖像采集處理部分組成。圖像的采集采用間隔采樣的方法，即不對所有顆粒圖像采樣，以免造成某些速度較慢顆粒在圖像中重復出現(xiàn)，浪費計算資源，而且采集時間過短對計算機性能和算法的要求提高。采樣間隔定為2秒，能保證相鄰圖像間基本沒有重復的顆粒，檢測系統(tǒng)在采集流體圖像時不需要高速的攝像機和大容量高速度的存儲系統(tǒng)，在普通的PC機，甚至筆記本電腦上就能實現(xiàn)。

圖1 流動顆粒圖像檢測系統(tǒng)組成原理圖

檢測芯片是整個系統(tǒng)的核心器件，是自行設計加工的有微管道的光學器件。考慮到圖像采集的需要和分析樣品之間的化學穩(wěn)定性，芯片采用玻璃為基體材料，加工工藝采用微機電系統(tǒng)(Micro Electro-Mechanical Systems, MEMS)加工工藝，其中微管道采用濕法腐蝕的方法得到，一般采用含氫氟酸的腐蝕劑，如 HF/HNO3，HF/NH4F等對玻璃基體進行腐蝕，封裝采用熱鍵合技術，在管道的兩端加工有可連接毛細管的鋼管作為流體的出入口。芯片中微管道的深度為100μm，寬度為數(shù)百微米不等。可測量顆粒的粒徑范圍在5～200μm之間。

2 流動顆粒圖像特征分析

微管道內(nèi)流動顆粒的成像要考慮運動模糊和流體對成像影響的問題。運動圖像的模糊可以理解為清晰圖像相對圖像感光面運動引起的圖像退化[6]。設圖像g(m, n)是清晰圖像，相對感光器件沿某一方向作二維勻速直線運動（即在x，y方向上同時都有勻速運動），在曝光時間內(nèi)，感光器件上每一個像素點則是多個采樣點進行了疊加，這樣就形成了模糊圖像，設為f (m, n)。

為了分析問題的方便只討論圖像g(m, n)沿45°方向上作勻速直線運動，g(m, n)也選為方形圖像。則它們分別在x、y方向上勻速移動的采樣點個數(shù)是相等的，都為N。圖像的采樣點共有M×M個，在x, y方向上分別選擇N×N個采樣點作為研究對象。設感光器件的曝光時間為T，在曝光時間T內(nèi)圖像沿45°方向移動了N個像素點對任意一個像素點(m, n)來說，它的f (m, n)為

易知，N越大則圖像越模糊。N由傳感器件的曝光時間和g(m, n)的運動速度決定。在芯片垂直放置流體下行的情況下，流體——顆粒兩相流須保持一定的速度才能保證較好的顆粒跟隨性，同時流體—— 顆粒兩相流的速度越快則分析的速度也越快。曝光時間越小，則圖像的模糊越不明顯，但同時也會使圖像的灰度和對比度降低，損失圖像的信息，尤其是對于透明度較差的流體，因此圖像的曝光時間的設置也不能過低，所以圖像運動模糊的產(chǎn)生是必然的。

綜合考慮，我們把流體的平均速度設置為1mm/s，傳感器的曝光時間根據(jù)流體的透明度和光源的情況在5ms～10ms之間變化，目標在成像平面上產(chǎn)生約5～10μm的拖尾，可見圖像的運動模糊問題比較嚴重，必須在圖像處理的過程中采用適當?shù)姆椒右蕴幚怼?/p>

同時用于分析的流體包含了不同型號和使用條件的液體，具有不同的光學特性，使得顆粒成像的背景差別很大。流體的復雜性為顆粒目標的識別帶來了很大的困難。有學者希望通過對顆粒圖像的預處理，消除流體光學性質差別造成的影響，雖有一定的作用，但不可能根本上解決問題[7]。

3 微流動顆粒的圖像分析流程

根據(jù)流動顆粒圖像的特征，本文提出的以顆粒運動特性為基礎的圖像分析流程，如圖2 所示。

圖2 以顆粒運動特性為基礎的圖像分析流程

下面對參數(shù)計算之前的圖像分析過程進行介紹：

1）微流動顆粒圖像的預處理

為了穩(wěn)定的進行特征提取等處理，必須對所得的原始圖像進行平滑、去噪、灰度增強等預處理過程，以使圖像的質量得到改善，這個過程叫圖像預處理。把圖像變成人眼容易觀察和機器容易處理的圖像，即為圖像的增強，使得后面的特征提取和模式識別更易于進行。圖像增強的方法有多種，如直方圖均衡化、直方圖規(guī)定化、局部增強等。

2）基于基準幀差分的流動顆粒目標提取

本文結合顆粒目標的運動特性和灰度特征，構建了基于基準幀差分的流體顆粒的快速自動提取算法。盡管不同的液體的光學性質差別較大，但是對于同一份樣品，采集的圖像在去除流體中的懸浮物后背景相似。所以可以選取采集圖像的前幾幀，經(jīng)過處理形成基準圖像，然后把待處理的圖像與基準幀進行差值。在差值圖像中首先用低通濾波去除噪點的影響，然后再利用懸浮物和顆粒表現(xiàn)出來的不同差值特征，對圖像進行分割，提取顆粒目標。

基準幀應該由固定不變的背景構成，包括液體、顯微物鏡或者感光面上灰塵的圖像以及微管道管壁上粘附顆粒形成的陰影。對這幾種情況分別討論：

（1）圖像中一點對應流體中的一點，如在前n幀圖像中這一點被顆粒或者半透明懸浮物所覆蓋，則其灰度降低；

（2）圖像中一點對應顯微物鏡或者攝像機感光面上灰塵的圖像當中的一點，由于灰塵始終遮住微流動中的任何目標，這一點的灰度始終不變；

（3）圖像中一點對應微管道管壁上粘附的顆粒陰影中的一點，當這一點被流體中的半透明懸浮物或者顆粒遮擋時，其灰度同樣降低。

由于油液中顆粒相對于流體體積較小，所以當n取一定值以上時，n幀圖像中固定位置上的一點總會有背景點出現(xiàn)，一般取 n =10。綜上所述，基準幀圖像可以由下式求得

背景的固定不變具有相對性，在分析的過程中也可以不斷對背景進行更新，可以有效的抑制由于成像條件的突變（比如分析芯片的緩慢移動，光源的變化，顯微鏡的調(diào)焦的變化等）帶來的消極影響。

在求得基準圖像后，本文把差分處理和閾值分割結合起來進行顆粒目標的檢測。首先進行圖像的差分處理，有示基準圖像， dn( xi, yi)表示第n幅和基準圖像的差分圖像。 dn(xi, yi)反映的是第n幅圖像相對于基準圖像彩色特征量降低的情況。對差值圖像進行灰度分布統(tǒng)計，對原始的灰度直方圖進行平滑處理，得到了灰度分布曲線對平滑后的直方圖做一階微分：，從高到低檢測一階微分由正到負再到正的階躍點，即為對應的波谷點。根據(jù)波谷點灰度值，即可將差值圖像和差值圖像對應的原圖像中的所有的點劃分為背景點和顆粒點兩類。

3）微流動顆粒圖像的運動模糊恢復

設f( x, y)為理想圖像，g( x, y)為退化圖像，h( x, y)為退化過程的點擴展（PFS）函數(shù)，圖像運動模糊過程可用數(shù)學表達式表示為

其中，θ 和d分別為運動模糊的方向和長度。對于運動的顆粒，在短暫的曝光時間內(nèi)運動速度可認為是不變的，造成的模糊的恢復可分成兩個步驟完成，第一是獲取圖像運動的方向，第二是獲取曝光時間內(nèi)運動的距離。

圖3 一模糊顆粒圖像以及其頻譜圖

運動方向和距離的確定，一般是在頻率域內(nèi)進行。如圖3所示，將運動模糊圖像進行傅利葉變換，其圖像呈現(xiàn)條紋狀，運動的方向與條紋的方向垂直，條紋的間距代表了運動的距離。條紋的方向可以通過霍夫(Hough)變換來確定。Hough變換時是利用圖像空間和 Hough參數(shù)空間的點－線對偶性，把圖像空間中的檢測問題轉換到參數(shù)空間。通過在參數(shù)空間里進行簡單的累加統(tǒng)計，然后在Hough參數(shù)空間尋找累加器峰值的方法檢測直線。在求得運動模糊的方向以后，將圖像旋轉到水平方向，再根據(jù)條紋間隔計算運動距離，一般在對譜域（或倒譜域）或頻譜域進行。

獲取了運動模糊的方向和距離，即獲得了運動模糊的PSF函數(shù)，維納濾波綜合考慮退化函數(shù)和噪聲統(tǒng)計特征兩個方面進行復原處理的方法。方法建立在認為圖像和噪聲是隨機過程的基礎上，而目標是找一個未模糊圖像f的估計值了，使它們之間的均方誤差最小。誤差量由下式給出

E是宗量的期望值，這里假定：噪聲和圖像不相關，其中一個有零均值；估計的灰度級是退化圖像灰度級的線性函數(shù)。在這些條件下，式中誤差函數(shù)的最小值在頻域用下列表達式計算

G( u, v)和F1( u, v)分別為退化圖像和恢復圖像的傅利葉變換。

F1( u, v)就是維納濾波的結果。在空間域被復原的圖像由F1( u, v)的傅里葉反變換給出。未退化圖像的功率譜很少是已知的，當 Sη(u, v )/Sf(u, v)未知或不能估計時，經(jīng)常用特定常數(shù)代替。

4 微流動顆粒圖像測量示例

在運動模糊恢復之后，可以根據(jù)恢復圖像進行圖像參數(shù)的計算。以一潤滑油中的運動磨粒圖像為例，在恢復圖像參數(shù)計算之前首先要對起初磨粒目標提取后的邊界輪廓進行修正。這是由于顆粒的邊界的精確與否對形狀參數(shù)、灰度參數(shù)等具有較大的影響，基于基準幀差分的運動圖像目標提取是在模糊恢復之前獲得的邊界，和清晰圖像相比可能有誤差，應該根據(jù)模糊恢復的結果做校正。由于基于基準幀差分的運動圖像目標提取已經(jīng)確定了磨粒的大致區(qū)域，所以邊界的提取比較簡單，可以運用最大類間方差法等閾值分割法進行。圖4為顆粒在模糊恢復前后目標邊界提取結果對比。由圖4(b)可見處理后的顆粒的外形和表面形貌信息相比原圖像更容易觀測。

圖4 恢復前后目標邊界提取結果對比

根據(jù)模糊恢復前后圖像以及矯正的邊界進行顆粒各種參數(shù)的計算，計算結果如表1到表7所示。

表1 恢復前后磨粒尺寸參數(shù)的對比

表2 恢復前后磨粒形狀參數(shù)的對比

表3 恢復前后磨粒顏色參數(shù)的對比

表4 恢復前后磨粒灰度梯度參數(shù)的對比

表5 恢復前后磨粒矩參數(shù)的對比

表6 恢復前后磨粒熵與分形參數(shù)的對比

表7 恢復前后磨粒其它參數(shù)的對比

由表中數(shù)據(jù)可見恢復圖像和原圖像在形狀參數(shù)、灰度梯度參數(shù)上具有較大的差別，形狀參數(shù)的變化主要是由于在模糊恢復前后邊界形狀的變化，灰度梯度參數(shù)的變化來至于去模糊后帶來的圖像細節(jié)的增加，這兩類參數(shù)對此例中磨粒類型的確定有著重要影響，原圖像被判斷為層狀顆粒，而且模糊恢復后的圖像被判斷為嚴重滑動顆粒。

5 總 結

本文首先根據(jù)流動狀態(tài)下顆粒顯微圖像分析的需要，構建了以基于 MEMS工藝的顆粒流動測量器件為核心的顯微圖像采集平臺，然后在分析微流動顆粒圖像特征的基礎上，提出了基于顆粒運動特性的圖像分析流程，最后以潤滑油中的磨粒圖像為例進行了參數(shù)的計算，驗證了論文提出的圖像分析方法在提高顆粒檢測效果方面的有效性。

[1]章 萍, 黃勇理. 基于顯微觀測及圖像處理的顆粒檢測綜述[J]. 現(xiàn)代測量與實驗室管理, 2004, (2):3-6.

[2]Reintjes J, Tucker J E, et al. Application of laserNet fines to mechanical wear and hydraulic monitoring [C]//DSTO International Conference on Health and Usage Monitoring Melboure, 2001: 13-21.

[3]Miller N A, Henderson J J. Quantifying sand particle shape complexity using a dynamic digital imaging technique [J]. Agronomy Journal, 2010, 102(5):1407-1414.

[4]Rabinski G, Thomas D. Dynamic digital image analysis: emerging technology for particle characterization [J]. Water Science and Technology,2004, 50(12): 19-26.

[5]Saveyn, Hans, Thu L, el al. In-line comparison of particle sizing by static light scattering,time-of-transition, and dynamic image analysis [J].Particle and Particle Systems Characterization, 2006,23(2): 145-153.

[6]周 玉, 周序生, 戴圣偉, 等. 一種改進的運動模糊圖像復原算法[J]. 計算機工程與科學, 2009,31(10): 49-52.

[7]呂植勇, 嚴新平. 磨粒圖像背景光照不均勻分布圖像預處理[J]. 潤滑與密封, 2005, (5): 34-37.