基于ImagePy的水敏紙圖像預處理及液滴參數(shù)測量

亢 潔，劉 港，郭國法

(陜西科技大學電氣與控制工程學院，西安 710021)

農藥在控制農作物病蟲害方面具有成本低、有效、快速的特點，是作物病蟲害控制的最有力的方法。大量噴灑會造成農藥浪費，嚴重危害環(huán)境和人們的身體健康[1]。因此如何提高農藥利用率、減少農藥使用量成為亟待解決的問題。快速且有效獲取施藥后霧滴在目標上沉積的噴霧量、霧滴尺寸和霧滴在目標上的覆蓋均勻性等信息，可以對施藥效果進行定量評價，為進一步優(yōu)化農藥噴施技術提供參考。

目前較普遍應用的霧滴尺寸測量及分布特性可分為三類方法。第一類是機械方法：如將霧滴冷凍或冷卻成固體顆粒進行測量，以及利用不同尺寸霧滴的運動慣性和速度差異特性來區(qū)分霧滴尺寸范圍等；第二類是電氣方法：如充電線法(charged-wire)和熱線法(hot-wire)，比如測量流體(包括液體、氣體)導熱系數(shù)的方法，此方法具有速度快、精度高的特點；第三類是光學方法：如利用霧滴的一些物理特性(光強、相差、熒光和極化等)進行測量和高速攝影、激光全息、激光圖像化和掃描技術等。通常光學測量系統(tǒng)價格昂貴，且使用調試比較煩瑣[2]。水敏紙(water-sensative paper，WSP)是提供噴霧覆蓋快速評估的一種簡單的機械方法，是一種黃色表面的涂布紙，在與水滴接觸時變成深藍色，它具有顯色明顯、易于圖像處理和保存的特點，是目前最常用的霧滴收集器[3-4]。

表 1 FCM、OTSU、彩色圖像分割法分割效果對比Table1 Comparison of segmentation effects of FCM，OTSU and color image segmentation methods

目前，國外已開發(fā)了多種水敏試紙圖像處理軟件，其中Fox等[5]提出了一種WSP視覺分級噴霧覆蓋方法的結果；Panneton[6]開發(fā)了一種相機/照明系統(tǒng)，測量WSP上斑點覆蓋面積的百分比；Mario等[7]評估了幾種水敏紙圖像處理軟件分析噴霧質量的能力；Zhu等[8]基于PC機和掃描儀開發(fā)了一種便攜式霧滴參數(shù)測量系統(tǒng)。Machado 等[9]提出并實驗評估了一種基于智能手機的移動應用程序，名為DropLeaf，通過水敏紙來測量農藥覆蓋率。Ferguson 等[10]將SnapCard智能手機應用程序與DropletScan，SwathKit，DepositScan，ImageJ和Drop Vision-Ag這些水敏紙圖像處理軟件進行了比較。?mer等[11]基于美國國家儀器的Vision Acquisition Software(VAS)開發(fā)了一種水敏紙圖像處理軟件。國內雖然起步較晚，但也取得了較好的研究成果，鄭加強[2]、郭娜等[3]、吳亞壘等[12]、祁力鈞等[13]、邱白晶等[14]、袁江濤等[15]、史春建等[16]、梁萍等[17]都研究了基于圖像處理的霧滴檢測方法。在這些水敏紙圖像處理軟件中，目前比較常用的水敏紙圖像處理軟件有SnapCard[10]、DepositScan[18-19]和ImageJ[20-21]，這些軟件都可以用于確定噴霧參數(shù)覆蓋率。DepositScan和ImageJ 軟件還可以計算液滴個數(shù)，而SnapCard軟件不能計算液滴個數(shù)。ImageJ 軟件在處理水敏紙圖像時首先使用大津(OTSU)法將圖像轉換為灰度圖像再進行后續(xù)處理。DepositScan軟件首先利用手動或自動選取閾值將彩色水敏紙圖像轉換為8位灰度圖像，然后再進行后續(xù)處理。SnapCard軟件是一款智能手機應用軟件，它首先使用智能手機自帶的相機獲取水敏紙圖像。SnapCard軟件的缺陷是在獲取水敏紙圖像和人工選擇感興趣區(qū)域時造成誤差。由于水敏紙圖像在進行掃描或拍照的過程中往往會發(fā)生不同程度的傾斜，上述這些軟件缺少對水敏紙圖像的旋轉和水敏紙感興趣區(qū)域提取等預處理操作，需要先借助其他軟件得到水敏紙的水平圖像并提取感興趣區(qū)域，然后才能進行后續(xù)處理，而且這些軟件在進行水敏紙圖像分割時均采用將水敏紙轉換為灰度圖像再進行分割，這樣在轉換的過程中會失去一些有用信息，導致檢測精度不高。

針對這些問題，為了提高霧滴檢測的精度和效率，基于ImagePy設計一種可以對水敏紙圖像進行自動檢測、旋轉、自動提取感興趣區(qū)域，對水敏紙圖像進行彩色圖像分割的水敏紙霧滴檢測軟件，并通過實驗驗證本文圖像處理軟件的檢測效果。

圖 1 未使用的水敏紙Fig.1 Unused water-sensitive paper

圖 2 收集液滴后的水敏紙圖像Fig.2 Image of water-sensitive paper after collecting droplets

1 材料和方法

1.1 實驗數(shù)據(jù)的獲取

通過田間噴霧實際情況，以水敏紙收集霧滴，然后通過掃描儀獲取霧滴的數(shù)字圖像，再基于ImagePy測量霧滴參數(shù)。水敏紙是一種高靈敏度的專業(yè)試紙，水敏紙是黃色的，與液體接觸后會變成藍色，水敏紙可以用來檢查霧滴分布情況，噴霧的密度和霧滴的尺寸等。圖 1為未使用過的水敏紙，圖 2 為收集農藥霧滴后的一張水敏紙圖像。實驗的目的是研究噴嘴的型號和噴霧的壓力對農藥噴灑系統(tǒng)的影響，因此，實驗通過改變噴灑農藥的噴嘴型號和噴藥的壓力，攜帶農藥的農用機械在試驗麥田中分別做15組不同的實驗，事先將水敏紙纏繞固定在與麥苗基本同高的鐵桿上(如圖 3所示)，這樣水敏紙中間的1/2區(qū)域面向農用機械噴灑農藥的方向，而水敏紙左側1/4區(qū)域和右側1/4區(qū)域粘貼在一起，在農用機械噴灑農藥的背面，每組實驗在農用機械駛過的不同位置可獲得A、B、C、D 4張水敏紙。圖 4為攜帶農藥的農用機械。

圖 3 實驗時的水敏紙固定示意圖Fig.3 Schematic diagram of fixing water-sensitive paper during test

圖 4 攜帶農藥的農用機械Fig.4 Agricultural machinery with pesticide

1.2 ImagePy圖像處理軟件簡介

ImagePy圖像處理軟件是用Python語言編寫的可擴展的圖像處理框架。其界面架構由管理層、交互層、顯示層三部分構成。管理層包含若干管理器，組織所有的工具和插件，當運行軟件時，插件管理器和工具管理器的組件分別映射為主界面的菜單欄和工具欄。在交互層，將每執(zhí)行的操作、對話和命令組合到運行函數(shù)中，隨后生成顯示層的數(shù)據(jù)[22]。

ImagePy是一個開源的、基于Python的圖像分析處理軟件，具有便捷的插件拓展能力，可以在原軟件上根據(jù)需求進行二次開發(fā)。此外，ImagePy可以方便地集成現(xiàn)有Python系統(tǒng)庫中的函數(shù)，將Scipy、 Scikit-image、 OpenCV、 SimpleITK以及任何基于 Numpy 的圖像處理庫接入，極大地提高了擴展和開發(fā)基于現(xiàn)有插件的新插件的能力。對于在復雜農田環(huán)境下采集到的水敏紙圖像，憑借ImagePy強大的交互功能，可以編寫需要的函數(shù)，添加插件，解決相應的問題[22]。有關ImagePy的詳細信息，請訪問網(wǎng)站https://github.com/Image-Py/imagepy。

1.2.1 界面顯示

ImagePy的界面顯示樣式有兩種。一種是ImagePy樣式，一種是經(jīng)典的ImageJ樣式，可通過Window向Windows Style切換，如圖 5(a)所示。

ImagePy樣式如圖 5(b)所示。由主界面、菜單欄、工具欄以及圖像窗口構成。

圖 5 界面模式Fig.5 Interface mode

1.2.2 添加插件

ImagePy基本用戶界面支持開放插件，用戶可自行根據(jù)需求進行軟件的二次開發(fā)。編寫相應的功能腳本并命名，運行軟件，經(jīng)加載器加載，可以生成相應的插件。可以添加的選項有菜單、工具和組件[22]，如圖像傾斜校正插件、圖像拼接插件和霧滴覆蓋率選項。

2 樣本圖像處理

由于采集時環(huán)境的復雜性，采集到的水敏紙樣本圖像，往往存在噪聲點、干擾等，會使圖像出現(xiàn)對比度不足、含有噪聲等缺點，影響圖像的分析處理。因此在進行圖像分析前，先對樣本圖像進行處理。對樣本圖像的處理包括圖像預處理、水敏紙圖像自動旋轉裁剪、圖像拼接和圖像分割。

2.1 水敏紙圖像預處理

一次試驗收集到的樣本水敏紙中不僅有水敏紙圖像，還有膠帶和標注的字母等干擾。因此在ImagePy軟件中對水敏紙圖像進行預處理，以消除圖像中的無關信息，預處理流程如圖 6所示。

首先對收集到的水敏紙圖像進行灰度化、二值化、取反、腐蝕、濾波操作，消除一些無用信息的干擾。處理后的效果如圖 7(a)所示。

為得到僅含有水敏紙的區(qū)域，再進行區(qū)域分析操作，對圖像進行區(qū)域篩選。利用area閾值濾除不屬于水敏紙的噪聲，得到僅保留水敏紙區(qū)域的二值圖像，如圖 7(b)所示。

圖 6 預處理流程圖Fig.6 Preprocessing flow chart

圖 7 水敏紙圖像及預處理后圖像Fig.7 Water-sensitive paper image and pre-processed image

2.2 水敏紙圖像自動旋轉裁剪

由于采集到的樣本圖像存在一定角度的傾斜，在預處理后還需對樣本圖像進行旋轉，以使圖像歸正。通過對ImagePy圖像處理軟件二次開發(fā)，添加插件，從而實現(xiàn)水敏紙圖像的自動旋轉裁剪，得到歸正的僅保留水敏紙區(qū)域的圖像。在ImagePy中添加該功能插件的步驟如圖 8所示。

圖 8 ImagePy中添加自動旋轉裁剪插件的步驟Fig.8 The steps of adding an automatic rotation and cropping plug-in in ImagePy

實現(xiàn)圖像的自動旋轉裁剪，主要借助了兩個函數(shù)，分別為最小外接矩形函數(shù)(minAreaRect)和垂直邊界最小正矩形函數(shù)(boundingRect)。

2.2.1 水敏紙圖像自動旋轉裁剪步驟

minAreaRect函數(shù)得到的返回值包括最小外接矩形的中心(x，y)、寬、高、旋轉角度。boundingRect函數(shù)返回4個值，分別是x、y、w、h，其中(x，y)是矩形左上點的坐標，w、h是矩形的寬和高。

如圖 9所示，當?shù)玫綄ο筝喞螅捎胋oundingRect()得到包裹此輪廓的最小正矩形，minAreaRect()得到包裹輪廓的最小斜矩形。

具體的實現(xiàn)水敏紙圖像自動旋轉裁剪步驟為：采用minAreaRect函數(shù)確定水敏紙圖像需要旋轉的角度，實現(xiàn)旋轉，使傾斜水敏紙圖像歸正；采用boundingRect函數(shù)獲取感興趣區(qū)域，即水敏紙圖像區(qū)域，實現(xiàn)水敏紙區(qū)域的裁剪，得到只包含有黃色水敏紙區(qū)域的圖像。在ImagePy軟件中添加名為minAreaRect的插件。如圖 10 所示。

圖 9 兩個函數(shù)的原理Fig.9 Principle of the two functions

圖 10 添加的插件Fig.10 The added plug-in

實現(xiàn)圖像自動旋轉裁剪的操作步驟如圖 11所示。在圖 12中展示了實現(xiàn)該功能的示意圖。

圖 11 水敏紙圖像自動旋轉裁剪原理框圖Fig.11 Block diagram of the realization of automatic rotation and cutting of water-sensitive paper images

圖 12 水敏紙自動旋轉裁剪示意圖Fig.12 Schematic diagram of automatic rotation and cutting of water-sensitive paper

(1)在二值圖A中查找水敏紙區(qū)域所在外接最小正矩形R1；在二值圖A中查找水敏紙區(qū)域所在的具有旋轉角度的外接矩形R2。

(2)根據(jù)R2的旋轉角度，對矩形區(qū)域R2進行旋轉，使水敏紙上邊緣保持水平，得到圖像A′。

(3)在歸正后圖像A′中再次查找最小正矩形得到R3。

隨后對彩色圖像進行同等角度的旋轉，獲得歸正的圖像；再對圖像利用矩形區(qū)域R3進行最終的精細分割，即得到最終結果。如圖 13所示。

圖 13 水敏紙樣本圖像自動旋轉裁剪Fig.13 Automatic rotation and cropping of water-sensitive paper sample images

在上述確定旋轉角度的過程中，需要分析兩種情況，分別為采集的水敏紙圖像的上邊界左高右低和左低右高，如圖 14所示。

α、β為水敏紙圖像傾斜的角度； θ為minAreaRect函數(shù)返回的旋轉角度值圖 14 兩種角度情況Fig.14 Two angle situations

圖 15 添加的插件Fig.15 The added plug-in

2.3 水敏紙圖像拼接

根據(jù)田間噴施農藥的真實情況，噴施裝置在田間從前往后行進對農作物噴灑農藥，水敏紙中間1/2區(qū)域面向農用機械噴灑農藥的方向，而水敏紙左側1/4區(qū)域和右側1/4區(qū)域粘貼在一起，在農用機械噴灑農藥方向的背面。因此采集到的水敏紙圖像，應被裁剪成三部分，分別為圖像的左側1/4區(qū)域、中間1/2區(qū)域、右側1/4區(qū)域，再將左側1/4與右側1/4拼接在一起，作為農作物的背面。

為了實現(xiàn)水敏紙圖像的拼接功能，通過在開源軟件ImagePy圖像處理軟件中添加名為montage img的插件(圖 15)。圖 16為水敏紙圖像拼接程序框圖，原圖及拼接完成后的圖像如圖 17 所示。

圖 16 水敏紙圖像拼接程序框圖Fig.16 The block diagram of the image mosaic process of water-sensitive paper

圖 17 水敏紙裁剪及拼接結果圖Fig.17 Water-sensitive paper cutting and stitching results

2.4 圖像分割

實驗采用RGB顏色空間模型。RGB模型是工業(yè)界的一種顏色標準，是通過對紅(red)、綠(green)、藍(blue)3種顏色的變化以及相互之間的疊加來得到各種顏色的總稱。該標準幾乎包括人類視覺所能感知的所有顏色，是目前運用最廣的顏色模型之一[23]。

2.4.1 水敏紙圖像分割效果對比

針對模糊C均值(FCM)、灰度圖像的自動閾值分割(OTSU)和彩色圖像分割這3種圖像分割方法，在數(shù)據(jù)集中選取了2幅水敏紙圖像進行分割效果的測試，并對算法結果進行了對比。其結果如表 1 所示。

從表 1可以看出，F(xiàn)CM和OTSU算法的結果基本一致，原因是這兩種分割算法均采用了迭代的方法，使得類內間距最小以及類間間距最大。不同之處是FCM分割的依據(jù)是隸屬度矩陣，而OTSU的分割依據(jù)是最優(yōu)灰度閾值。且從表1中紅色框所選位置可以看出，當采用FCM與OTSU算法時，會導致霧滴信息的缺失，而采用彩色圖像分割法時，可較完整地分割出霧滴。

隨后對3種算法的仿真運行時間也進行了分析，對比發(fā)現(xiàn)，F(xiàn)CM運行時間明顯長于OTSU和彩色圖像分割法，效率不高，而OTSU和彩色圖像分割法的仿真運行時間很迅速，但相比之下，彩色圖像分割法不用先把圖像轉換成灰度圖，再完成分割，因此彩色圖像分割法時間明顯快于OTSU算法。

經(jīng)以上分析，考慮到水敏試紙上霧滴斑痕數(shù)量多，當數(shù)據(jù)量大時，F(xiàn)CM和OTSU算法都是迭代運算，計算量將會大大增加，效率會很低。且由于FCM和OTSU算法將圖像轉換成灰度圖后，再實現(xiàn)圖像分割，會造成一部分霧滴信息確缺失。針對這些問題，采用了彩色圖像分割法進一步對水敏紙圖像進行了分割。

2.4.2 彩色圖像分割法結果圖

表 2 展示出了用彩色圖像分割法對兩幅水敏紙圖像處理后的效果圖。

表 2 彩色圖像分割法效果圖Table2 Effect drawing of color image segmentation method

采用彩色圖像分割法分割的圖像完整，效果好，耗時少，解決了將水敏紙圖像轉換為灰度圖像再分割時導致的分割不準確的問題。

3 霧滴參數(shù)統(tǒng)計

霧滴尺寸的統(tǒng)計方法有很多種。對霧滴各項參數(shù)的計算統(tǒng)計，主要包括霧滴覆蓋率，霧滴的最大值、最小值、中間值及平均值。

對霧滴參數(shù)的統(tǒng)計在ImagePy軟件中完成。在軟件原有功能的基礎上，編寫了霧滴覆蓋率和中間值的程序，并添加進軟件中，實現(xiàn)了霧滴參數(shù)的自動統(tǒng)計。對話框的選取如圖 18所示。

圖 18 參數(shù)對話框Fig.18 Parameter dialog box

3.1 霧滴個數(shù)結果比較

選8張水敏紙圖像做實驗，采用3種方法統(tǒng)計霧滴個數(shù)，分別為人工計數(shù)法、DepositScan軟件計數(shù)和本文方法計數(shù)。處理得到的霧滴數(shù)量、不同方法的計數(shù)結果如表 3所示。

表 3 不同方法計數(shù)驗證誤差Table3 Counting verification errors of different methods

誤差率計算公式為

(1)

式(1)中：ε為誤差率；α為人工計數(shù)；β為方法計數(shù)。

由表 3分析可知：DepositScan軟件對所選8張霧滴圖像計數(shù)，誤差率范圍為3.5928%～12.6531%；用本文方法預處理、裁剪、旋轉、分割后計數(shù)，誤差率范圍為0.1475%～5.8824%。基于相同的樣本，與人工計數(shù)法結果對比表明，本文方法較DepositScan軟件計數(shù)結果精準度高，且對于較淺的細小霧滴提取效果有所提高。

表 4 霧滴覆蓋率檢測結果Table4 Test results of droplet coverage

橫坐標為本文方法測量值，縱坐標為DepositScan法測量值圖 19 兩種方法測量的霧滴最大值、平均值和中值相關關系散點圖Fig.19 Scatter diagram of the maximum，mean and median values of droplets measured by two methods

3.2 霧滴覆蓋率結果比較

霧滴覆蓋率可通過霧滴覆蓋區(qū)域面積占統(tǒng)計總面積的百分比表示，計算公式為

(2)

式(2)中：C為霧滴覆蓋率；As為霧滴區(qū)域像素數(shù)；Ap為試紙區(qū)域總像素數(shù)。

應用DepositScan軟件以及本文方法，求取8 張樣本的霧滴覆蓋率，結果如表 4 所示。

圖像覆蓋率的平均相對誤差的計算公式為

(3)

DepositScan法與本文算法在霧滴圖像正面的霧滴覆蓋率平均相對誤差為7.4525%，在霧滴圖像背面的霧滴覆蓋率平均相對誤差為10.48%。其中霧滴圖像正面中，5號試紙的效果最明顯，霧滴覆蓋率提高了22.83%；霧滴圖像背面中，img4試紙的效果最明顯，霧滴覆蓋率提高了34.36%。

對于本文方法，人工統(tǒng)計各個試紙上的霧滴個數(shù)與實際霧滴數(shù)的差，依次為22、5、12、1、23、3、13、1、7、21、1、4、14、2、31、3個，占霧滴總個數(shù)的3.3033%、3.5714%、1.1976%、0.6803%、5.8824%、2.2059%、4.3478%、0.9174%、2.8571%、3.0973%、0.1475%、2.1164%、2.8056%、1.7857%、4.6899%、2.9126%，平均相對誤差為2.6574%，因此本文算法能夠提取試紙上94.1176%以上的霧滴。

3.3 兩種測量方法的相關分析

對所選8張水敏紙圖像的霧滴最大值、平均值和中值進行相關性分析，用Excel計算相關系數(shù)并繪出散點圖。表 5為DepositScan法與本文方法對樣本圖像的霧滴最大值、霧滴平均值和霧滴中值的測量結果，圖 19為兩種方法的相關關系散點圖。

表 5 8張水敏紙圖像霧滴參數(shù)統(tǒng)計Table5 Droplet parameters statistics of 8 water-sensitive paper

分析兩種方法的相關性，DepositScan法與本文處理法測得的霧滴最大值之間相關系數(shù)為0.9954和0.9818，霧滴平均值之間相關系數(shù)為0.9751和0.9924，霧滴中值之間相關系數(shù)為0.9888和0.9965。經(jīng)統(tǒng)計檢驗，實際得到的相關系數(shù)R值均大于R0.01(6)=0.834，表明兩種方法極顯著相關，本文方法可用于水敏紙圖像的實際測量工作。

4 結論

通過對ImagePy框架進行拓展，開發(fā)了相應的插件，提出了一種有效測量霧滴尺寸參數(shù)的水敏紙圖像處理軟件，解決了目前水敏紙圖像處理軟件缺少對水敏紙圖像的旋轉等預處理操作，以及將水敏紙圖像先轉換為灰度圖像再進行分割而導致檢測精度低的問題。并做了相關實驗，實驗結果表明：針對霧滴個數(shù)，用本文方法計數(shù)，誤差率范圍為0.1475%～5.8824%，用DepositScan軟件計數(shù)，誤差率范圍為3.5928%～12.6531%，本文方法計數(shù)準確率高。針對霧滴覆蓋率，DepositScan法與本文算法在霧滴圖像正面的霧滴覆蓋率平均相對誤差為7.4525%，在霧滴圖像背面的霧滴覆蓋率平均相對誤差為10.48%，本文方法可提取試紙上94.1176%以上的霧滴。針對霧滴的最大值、平均值和中值，分別對兩種方法進行了相關性分析，實際得到的相關系數(shù)R值均大于R0.01(6)=0.834，表明兩種方法之間呈極顯著的相關性，驗證了本軟件的有效性。