形態學多尺度重建結合凹點匹配分割枸杞圖像

王小鵬，姚麗娟，文昊天，趙君君

?

形態學多尺度重建結合凹點匹配分割枸杞圖像

王小鵬，姚麗娟，文昊天，趙君君

（蘭州交通大學電子與信息工程學院，蘭州 730070）

針對枸杞分級過程中因圖像噪聲、光照不均勻和粘連等造成枸杞難以準確分割的問題，提出了一種基于形態學多尺度開閉重建結合凹點匹配的分割方法。首先提取原始圖像的紅色分量去除枸杞光照陰影噪聲，利用形態學多尺度混合開閉重建對紅色分量圖像進行重建，平滑枸杞內部而保留輪廓邊緣信息；然后采用8鄰域跟蹤算法提取粘連枸杞輪廓邊緣；最后運用圓形模板檢測粘連枸杞的輪廓凹點，以凹點間最短歐氏距離為匹配條件連接凹點對，并對匹配錯誤的凹點對進行修正，實現粘連枸杞分割。試驗結果表明，該文方法分割準確率較高，而過分割率較低，相比標記控制的分水嶺和直接凹點匹配分割等方法，對粘連枸杞分割效果較好，分割準確率可達到96%。該研究可為枸杞分割技術提供理論支撐。

圖像分割；圖像采集；農作物；多尺度開閉重建；邊緣提取；凹點匹配

0 引 言

傳統枸杞分級主要采用人工挑揀判別枸杞大小、顏色及表面缺陷，這種方式費時費力，等級難以保證，機器視覺技術[1-4]能夠提升枸杞分級效率，其中枸杞圖像分割是關鍵步驟之一，分割的準確率直接關系到后續的識別和統計精度。通常枸杞經晾曬烘干后采集的圖像存在枸杞顆粒噪聲、光照不均勻、顆粒間有粘連和重疊等現象，造成其分割困難。針對這類顆粒圖像，學者們提出了各種各樣的分割方法[5-8]，Nee等[9]提出了形態學算子結合分水嶺的分割方法；Quan等[10]采用數學形態學算子和維納濾波凈化背景并結合邊緣檢測實現玉米粒的分割；王桂芹等[11]提出利用FCM算法和標記分水嶺算法相結合對粘連巖石顆粒進行分割；李文勇等[12]提出了利用形狀因子對圖像中的每個區域進行粘連判定的方法。對于粘連顆粒圖像的分割，凹點匹配[13-16]可以檢測出相互粘連的部分，Song等[17]提出了基于凹點和改進的分水嶺算法分割粘連血細胞；謝忠紅等[18]提出了一種基于凹點搜索的快速定位和檢測重疊果實目標的方法；曾慶兵等[19]采用凹點分割方法分離重疊葡萄果實；劉偉華等[20]提出了基于凹點搜索的重疊粉體顆粒的自動分離算法，根據凹點和顆粒個數的對應關系確定顆粒的重疊程度，對不同重疊程度的顆粒采用不用的匹配規則來匹配凹點進而分離顆粒；Bai等[21]提出了基于凹點和橢圓擬合分離粘連血細胞的方法，借助粘連血細胞間的凹點將各個血細胞的輪廓分為具有相似性特征的輪廓段，采用了最小二乘法對各輪廓段進行橢圓擬合實現粘連血細胞的分離。此類方法能夠較準確地實現復雜粘連顆粒目標的分割，但凹點匹配條件相對較復雜，且選取不當容易造成錯分割。

為了在圖像噪聲、光照不均勻和粘連等因素干擾環境下，提高枸杞的分割準確率，提出了一種形態學多尺度重建結合凹點匹配相結合的枸杞圖像分割方法，該方法通過形態學多尺度混合開閉重建濾除顆粒噪聲，平滑枸杞內部因光照陰影等，利用最大類間方差法[22]對重建圖像進行二值化提取枸杞區域，通過形態學填充[23]消除枸杞內部孔洞，利用形態學面積開[24]運算篩選出單個非粘連顆粒；然后采用8鄰域跟蹤算法[25]提取剩余粘連枸杞的單像素輪廓邊緣；最后采用圓形模板檢測輪廓凹點并利用改進的凹點匹配規則匹配凹點，實現粘連枸杞的分割，最終分割結果為單個非粘連和粘連枸杞分割結果的合并。

1 形態學多尺度開閉重建

枸杞顆粒在晾曬烘干過程中受環境和顆粒縮水等因素影響，使得(charge coupled device, CCD)相機獲取的顆粒噪聲較大，細節較多，造成過凹點檢測從而產生過分割。通常非規則細節和噪聲成分比目標小，因此細節和噪聲與圖像目標信息具有可分離性。形態學尺度空間[26]能夠有效地保留感興趣的輪廓邊緣而消除細節，避免邊緣輪廓模糊和定位偏移。為此采用形態學多尺度開閉重建[27]對枸杞進行預處理，去除噪聲和細節干擾。

形態學多尺度混合開閉重建運算定義為多尺度開閉和閉開運算的平均，即

經形態學多尺度混合開閉重建后，顆粒噪聲和枸杞內部非規則細節被平滑消除，同時保持了區域輪廓的完整性。利用最大類間方差法將重建圖像二值化，并對二值圖像求補后做填充運算消除因光線和背景導致的內部孔洞。圖1a～圖1d給出了粘連枸杞圖像的預處理過程結果，可以看出，二值化后提取出了全部枸杞，但存在粘連枸杞，為此，需要進一步對這部分粘連枸杞進行分離，以完全分割出枸杞。

2 粘連枸杞分割

由于粘連枸杞部分的分割不涉及單個顆粒，因此首先通過形態學面積開運算篩選出單個枸杞顆粒區域，然后對剩余的粘連顆粒作進一步分割。由于相互粘連的枸杞具有橢球體狀特點，在粘連接觸的輪廓邊緣處存在凹點，而準確地實現凹點匹配是粘連枸杞分割的關鍵。本文首先采用8鄰域跟蹤算法提取粘連枸杞顆粒，然后采用圓形模板檢測單像素輪廓邊緣凹點，最后利用最短歐氏距離匹配凹點對，并對匹配錯誤凹點對運用改進的凹點匹配修正規則進行修正，實現粘連枸杞分割。

2.1 輪廓邊緣提取

枸杞顆粒因相互粘連在輪廓邊緣處產生的凹點可用于分割粘連枸杞，而單像素輪廓邊緣有利于凹點檢測。因此，本文采用8鄰域跟蹤算法提取粘連枸杞的單像素輪廓邊緣，算法準則是從粘連顆粒二值圖像左上角開始逐點掃描，當遇到邊緣點時開始跟蹤，直至跟蹤的后續點回到起始點。如果為非閉合線，則跟蹤一側后需從起點開始朝相反方向跟蹤到另一尾點，一條線跟蹤完畢后，接著掃描下一個未跟蹤點，直至圖像內所有的邊緣都跟蹤完畢。

輪廓邊緣跟蹤如圖2，圖2a為圖2b輪廓跟蹤的8個方向編號及偏移量，黑點表示輪廓邊界點，跟蹤起始點為最右下方黑點，跟蹤初始方向為左上方45°。跟蹤開始后，起始點沿初始跟蹤方向檢測是否該方向有黑點（檢測距離為1個像素），圖中該方向有輪廓邊界點，保存起始點，將檢測到的點作為新起始點，在原來檢測方向基礎上，逆時針旋轉90°作為新的跟蹤方向，非黑點的則沿順時針旋轉45°，沿新跟蹤方向繼續檢測，直到找到黑點，然后將跟蹤方向逆時針旋轉90°作為新的跟蹤方向。重復上述方法，不斷改變跟蹤方向，直到找到新的輪廓邊界點，找到新輪廓邊界點后，保存舊輪廓邊界點，把新輪廓邊界點作為新的起始點，這樣重復至最先開始的檢測點為止，具體實現步驟如下。

Step1：獲取二值圖像高和寬；

Step2：初始化內存緩沖區；

Step3：跟蹤輪廓邊緣點，將內存緩沖區中檢測到的輪廓邊緣點的相應位置0；

Step4：根據上述跟蹤準則，重復Step 3，直至回到起始點；

Step5：將內存緩沖區內容復制到原二值圖像中。

圖2 輪廓邊緣跟蹤示意圖

2.2 凹點檢測

提取粘連枸杞的輪廓邊緣后，為了實現凹點匹配分割，首先需要進行檢測輪廓邊緣凹點。目前凹點檢測方法有很多種[28-30]，文中采用圓形模板檢測二值化粘連枸杞顆粒輪廓的凹點。首先定義半徑為，圓點在輪廓邊緣上逐點移動的圓，為圓點個數，由此可得凹點C為

其中|A|表示圓形模板位于顆粒內部的弧長。檢測準則為

圖3為圓形模板檢測凹點示意圖，其中1，2，…，6為待檢測凹點，|1|, |2|, …, |6|為圓形模板位于枸杞內部的弧段,當圓心在枸杞輪廓邊緣上逐點移動時，依據檢測準則判別圓心是否為凹點，并對凹點進行標記。

注：Ai表示圓形模板位于顆粒內部的弧段，Ci為待檢測凹點，i=1,2,…,6。

2.3 凹點匹配分割

由于檢測到的粘連枸杞輪廓邊緣凹點是成對出現的，而正確匹配凹點能夠實現粘連枸杞的正確分割，因此對上述已檢測到的所有凹點進行匹配可實現粘連枸杞分割。首先根據各凹點之間的最短歐氏距離匹配凹點對，然后對已匹配的凹點對進行修正處理以消除錯誤匹配。若檢測到的粘連凹點為C(i=1,2,…,)，對應坐標為(x,y)，則任意2凹點C與C之間的歐氏距離d為

已匹配凹點修正規則為：以已匹配凹點連線中點為起始檢測點，分別從垂直于連線的兩側方向逐點掃描，當一側先檢測到邊緣點，而另一側未檢測到邊緣點時，則判定該匹配對為錯誤匹配；當兩側按某一固定像素數均未檢測到邊緣點時，則判定該匹配對為正確匹配。對于錯誤匹配的凹點對，按照凹點間次最短歐氏距離重新進行匹配，再進行修正。

具體凹點匹配步驟如下

Step1：對各凹點按照相互之間歐氏距離大小，由小到大進行排序；

Step2：選取第一個凹點，計算并匹配連接與其距離最小的凹點；

Step3：根據上述已匹配凹點修正規則對Step2中已匹配的凹點進行修正；

Step4：對匹配錯誤的凹點，計算并連接與其次最小距離的凹點，按照已匹配凹點的修正規則，重復執行Step3，直至所有凹點匹配完畢。

圖4為凹點匹配示意圖，其中～為待匹配凹點，線段表示凹點和的正確匹配結果，線段為凹點和的錯誤匹配結果。匹配開始時，首先從凹點開始掃描待匹配凹點，根據最短距離匹配規則匹配連接凹點和凹點；然后再根據已匹配凹點修正規則，從線段的兩側方向（虛線箭頭方向）逐像素掃描，掃描至設定閾值個像素時，未檢測到邊界點，判定線段為正確匹配結果，同理修正凹點和的匹配結果時，在線段兩側方向掃描至第5個像素點時，左側檢測到邊界點，而右側沒有檢測到邊界點，因此判定線段為錯誤匹配結果；最后重新計算與凹點或者距離最小的凹點，重復進行匹配修正。

注：A~F為待匹配凹點。

3 試驗結果及分析

為驗證分割方法性能，仿真選取兩幅粘連枸杞圖像，在CPU2.3G內存2G的計算機上利用Matlab2012從分割區域準確率和過分割等方面進行了驗證分析，并與標記控制分水嶺分割以及直接凹點匹配方法等作了對比。實驗中尺度=11，圓形模板半徑取15像素，匹配修正掃描像素閾值取15像素。

圖5給出了粘連枸杞分割過程的結果圖像，經過多尺度混合開閉重建后（圖5a），噪聲和枸杞內部細節得到了消除和平滑，同時目標輪廓沒有出現偏移，通過邊緣提取后的枸杞顆粒（圖5b）存在粘連，但均被提取出來，未出現遺漏，經過凹點檢測（圖5c）和凹點匹配分割（圖5d）后，粘連枸杞得到分離。

相比標記控制分水嶺分割（圖5e），本文方法過分割明顯減少，完整分割出了全部單個枸杞。圖5f對原始圖像未進行形態學多尺度開閉重建，而直接采用凹點匹配的分割結果，可以看出，在沒有消除顆粒噪聲的情況下，單個非粘連顆粒未能剔除，并且由于噪聲影響，致使檢測凹點過多，而凹點匹配過程中又因為顆粒內部存在孔洞噪聲，造成無法正確匹配連接凹點對，從而出現了欠分割和過分割。

圖5 圖像I不同方法分割結果

Fig.5 Different methods segmentation results of image I

圖6為第2幅粘連枸杞分割結果，圖6a為原始粘連枸杞圖像，大小為370×545像素；圖6b為本文方法分割結果，大部分枸杞單體被正確分割出來，個別如方框內凹點1、2未被匹配而出現欠分割，其原因是此種情況下的枸杞顆粒邊緣重疊部分恰好覆蓋了另一待匹配凹點；圖6c～d為標準分水嶺及標記控制分水嶺分割結果，由于粘連的枸杞顆粒較多，顆粒光照不均勻，內部細節和噪聲較多，因此過分割現象較嚴重；圖6e為直接采用凹點匹配的分割結果，存在欠分割和過分割。圖6f為采用分水嶺和凹點檢測相結合方法[30]的分割結果，大部分枸杞顆粒被分割出來。

圖7 尺度n、半徑R和閾值T對分割結果的影響

為了定量分析粘連枸杞分割的準確率，統計實際枸杞顆粒數和分割后的區域數，采用過分割率和準確率以及方法運算時間度量分割的性能。過分割率定義為

其中為分割區域數，為人工勾畫顆粒數，N為分割區域與人工勾畫顆粒重疊數。

準確率定義為

越大，越小，表示分割準確率越高，越接近實際的顆粒個數。

表1和表2分別為本文方法和其他幾種不同分割方法對圖5和圖6枸杞圖像分割準確率等性能指標的對比，其中表示運算時間。可以看出，相比其他方法，本文方法對粘連枸杞顆粒的分割準確率較高，可達到96%，而過分割率較低不大于2%。運算時間高于其他方法，但如果將算法經過優化移植到DSP處理器，將會滿足實時性要求。

表1 不同分割方法對比（圖5）

注：M, Nr, Q, P和S分別表示分割區域數，區域重疊數，過分割率，準確率和運算時間。

Note: M, Nr, Q, P and S respectively denote segmentation region number, region overlap number,over-segmentation rate, accuracy rate and time consuming.

表2 不同分割方法對比（圖6）

4 結 論

提出了一種基于形態學多尺度重建結合凹點匹配的枸杞圖像分割方法，通過多尺度開閉重建運算濾除目標顆粒內部細節和噪聲，利用最大類間方差法提取重建圖像二值化提取杞區域，通過形態學面積開篩選分割出非粘連顆粒，減少后續凹點匹配的計算量；運用8鄰域跟蹤算法提取粘連枸杞的輪廓邊緣，由于枸杞顆粒的橢球體狀特點，使得相互粘連時邊緣處產生凹點，采用圓形模板可以準確地實現邊緣凹點的檢測，另一方面枸杞顆粒的長寬比明顯，對最小歐氏距離匹配錯誤的凹點對，根據其連接線中點到邊界點的像素距離不對等的特點進行修正匹配，實現了粘連枸杞的準確分割，相比標記分水嶺、單獨的凹點匹配和分水嶺結合凹點匹配等方法，分割準確率較高，最高可達到96%，而過分割率較低，最低不大于2%。另外，分割過程中盡可能地保持了目標顆粒的輪廓邊緣信息，保證了后續顆粒分級的準確性。

[1] 王履程，譚筠梅，王小鵬，等. 基于機器視覺的枸杞分級方法[J]. 計算機工程與應用，2013，49(24)：16－18.

Wang Lücheng, Tan Junmei, Wang Xiaopeng, et al. Wolfberry classification method based on machine vision[J]. Computer Engineering and Applications, 2013, 49(24): 16－18. (in Chinese with English abstract)

[2] 李青，彭彥昆. 基于機器視覺的豬胴體背膘厚度在線檢測技術[J]. 農業工程學報，2015，31(9)：256－261.

Li Qing, Peng Yankun. Pork back fat thickness on-line detection methods using machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(9): 256－261. (in Chinese with English abstract)

[3] 陳紅，夏青，左婷，等. 破損花菇機器視覺檢測技術[J]. 農業機械學報，2014，45(11)：60－67.

Chen Hong Xia Qing Zuo Ting, et al. Application of machine vision in detection of broken shiitake[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(11): 60－67. (in Chinese with English abstract)

[4] 彭江南，謝宗銘，楊麗明，等. 基于Seed Identification軟件的棉籽機器視覺快速精選[J]. 農業工程學報，2013，29(23)：147－152.

Peng Jiangnan, Xie Zongming, Yang Liming, et al. Quickly selection for cotton seed based on seed identification software[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(23): 147－152. (in Chinese with English abstract)

[5] 熊俊濤，鄒湘軍，劉念彭，等. 基于機器視覺的荔枝果實采摘時品質檢測技術[J]. 農業機械學報，2014，45(7)：54－60.

Xiong Juntao, Zou Xiangjun, Liu Nianpeng, et al. Fruit quality detection based on machine vision technology when picking litchi[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(7): 54－60. (in Chinese with English abstract)

[6] 盧軍，付雪媛，苗晨琳. 基于顏色和紋理特征的柑橘自動分級[J]. 華中農業大學報，2012，31(6)：783－786.

Lu Jun, Fu Xueyuan, Miao Chenlin, et al. Citrus automatic grading by using color and texture features[J]. Journal of Huazhong Agricultural University, 2012, 31(6): 783－786. (in Chinese with English abstract)

[7] 李希，王天江，周鵬. 一種改進的粘連顆粒圖像分割算法[J]. 湖南大學學報：自然科學版，2012，39(12)：84－88.

Li Xi, Wang Tianjiang, Zhou Peng. An improved segmenting algorithm for touched particle image[J]. Journal Hunan University: Natural Sciences, 2012, 39(12): 84－88. (in Chinese with English abstract)

[8] 楊華東，簡淼夫. 基于灰度形態重構的顆粒圖像分割方法[J]. 南京工業大學學報：自然科學版，2005，27(3)：98－102.

Yang Huadong, Jian Miaofu. The segmentation algorithm of particle image based on grayscale morphological reconstruction[J]. Journal of Nanjing University of Technology, 2005, 27(3): 98－102. (in Chinese with English abstract)

[9] Nee Lim Huey, Mashor Mohd Yusoff, Hassan Rosline. White blood cell segmentation for acute leukemia bone marrow images [J]. Journal of Medical Imaging & Health Informatics, 2012, 2(3): 357－361..

[10] Quan L, Jiang E. Automatic segmentation method of touching corn kernels in digital image based on improved watershed algorithm[C]// International Conference on New Technology of Agricultural Engineering, Zibo, China, 2011, 5(27/28/29): 34－37.

[11] 王桂芹，王正勇，羅代升.基于FCM和標記分水嶺的粘連巖石顆粒圖像分割[J]. 四川大學學報：自然科學版，2012，49(2)：356－360.

Wang Guiqin, Wang Zhengyong, Luo Daisheng. Image segmentation of overlapping rock particles based on FCM and labeling watershed[J]. Journal of Sichuan University: Natural Science Edition, 2012, 49(2): 356－360. (in Chinese with English abstract)

[12] 李文勇，李明，錢建平，等. 基于形狀因子和分割點定位的粘連害蟲圖像分割方法[J]. 農業工程學報，2015，31(5)：175－180.

Li Wenyong, Li Ming, Qian Jianping, et al. Segmentation method for touching pest images based on shape factor and separation points location[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(5): 175－180. (in Chinese with English abstract)

[13] 韋冬冬，趙豫紅. 基于凹點匹配的重疊圖像分割算法[J]. 計算機與應用化學，2010，27(1)：99－102.

Wei Dongdong, Zhao Yuhong. An image segment algorithm for overlapped particles based on concave points matching [J]. Computers and Applied Chemistry, 2010, 27(1): 99－102. (in Chinese with English abstract)

[14] Yao Yuan, Wu Wei, Yang Tianle, et al. Head rice rate measurement based on concave point matching[J]. Scientific Reports, 2017, 7: 41353.

[15] Hobson D M, Carter R M, Yan Y. Rule based concave curvature segmentation for touching rice grains in binary digital images[C]//Instrumentation and Measurement Technology Conference, Singapore, Singapore, 2009(5): 1685－1689.

[16] Wei Lian, Lei Zhang. Point matching in the presence of outliers in both point sets: A concave optimization approach[J]. Simulation Modelling Practice & Theory, 2014, 41(1): 87－103.

[17] Song Hong, Zhao Qingjie, Liu Yinghong.Splitting touching cells based on concave-point and improved watershed algorithms [J]. Frontiers of Computer Science, 2014, 8(1): 156－162.

[18] 謝忠紅，姬長英，郭小清，等. 基于凹點搜索的重疊果實定位檢測算法研究[J]. 農業機械學報，2011，42(12)：191－196.

Xie Zhonghong, Ji Changying, Guo Xiaoqing, et al. Detection and location algorithm for overlapped fruits based on concave spots searching[J]. Transactions of the Chinese Society for Agricultural Machinery, 2011, 42(12): 191－196. (in Chinese with English abstract)

[19] 曾慶兵，劉成良，苗玉彬，等. 基于形態學圖像處理的重疊葡萄果徑無損測量[J]. 農業工程學報，2009，25(9)：356－360.

Zeng Qingbing, Liu Chengliang, Miao Yubin, et al. Non-destructive measurement of diameter of overlapping grape fruit based on morphological image processing[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2009, 25(9): 356－360. (in Chinese with English abstract)

[20] 劉偉華，隋青美. 基于凹點搜索的重疊粉體顆粒的自動分離算法[J]. 電子測量與儀器學報，2010，24(12)：1095－1100.

Liu Weihua, Sui Qingmei. Automatic segmentation of overlapping powder particle based on searching concavity points[J]. Journal of Electronic Measurement and Instrument, 2010, 24(12): 1095－1100. (in Chinese with English abstract)

[21] Bai X, Sun C, Zhou F, Splitting touching cells based on concave points and ellipse fitting[J]. Pattern Recognition, 2009, 42(11): 2434－2446.

[22] 李擎，唐歡，遲健男，等. 基于改進最大類間方差法的手勢分割方法研究[J]. 自動化學報，2017，43(4)：528－537.

Li Qing, Tang Huan, Chi Jiannan, et al. Gesture segmentation with Improved maximum between-cluster variance Algorithm[J]. Acta Automatic Sinica, 2017, 43(4): 528－537. (in Chinese with English abstract)

[23] Kumar R, Pal M, Gulati T. Estimating corroded area of metallic surfaces using edge detection & hole filling[J]. International Journal of Engineering Trends and Technology, 2014, 11(11): 529－536.

[24] Gao H, Tham J Y, Xue P, et al. Complexity analysis of morphological area openings and closings with set union[J]. IET Image Processing, 2008, 2(4): 231－238.

[25] RafaelC.Gonzalez著，阮秋琦，等譯. 數字圖像處理（第三版）[M]. 北京：電子工業出版社，2017.

[26] Bosworth J H, Acton S T. Morphological scale-space in image processing[J]. Digital Signal Processing, 2003, 13(2): 338－367.

[27] 王小鵬，郝重陽，樊養余. 基于形態學尺度空間和梯度修正的分水嶺分割[J]. 電子與信息學報，2006，28(3)：485－489.

Wang Xiaopeng, Hao Chongyang, Fan Yangyu, Watershed segmentation technology based on morphological scale-space and Gradient modification[J]. Journal of Electronics & Information, 2006, 28(3): 485－489. (in Chinese with English abstract)

[28] Yan L, Park C W, Lee S R, et al. New separation algorithm for touching grain kernels based on contour segments and ellipse fitting[J]. Frontiers of Information Technology & Electronic Engineering, 2011, 12(1): 54－61.

[29] 李宏輝，郝穎，吳清瀟，等. 基于凹點方向線的粘連藥品圖像分割方法[J]. 計算機應用研究，2013，30(9)：2852－2854.

Li Honghui, Hao Ying, Wu Qingxiao, et al. Based on concave point direction line adhesion drug image segmentation method[J]. Application Research of Computers, 2013, 30(9): 2852－2854. (in Chinese with English abstract)

[30] Zhong Q, Zhou P, Yao Q,et al. A novel segmentation algorithm for clustered slender-particles[J]. Computers & Electronics in Agriculture, 2009, 69(2): 118－127.

Wolfberry image segmentation based on morphological multi-scale reconstruction and concave points matching

Wang Xiaopeng, Yao Lijuan, Wen Haotian, Zhao Junjun

(,730070,)

The traditional Chinese wolfberry classification usually adopts manual grading in terms of the wolfberry characteristics of size, color, surface defects, and so on. It is a time-consuming and inefficient work. Fortunately, machine vision provides an efficient and fast way to improve the classification efficiency and accuracy. During the process of wolfberry classification by machine vision, the first and important task is to segment wolfberry particles from the image, and then classify them into different grades according to their characteristics. However, the accuracy of wolfberry image segmentation process is often hindered by a number of constraints including noise, inhomogeneous intensity, complex adherent and overlapped particles, which easily cause the decline of segmentation accuracy, and subsequently affect the wolfberry classification effect. For the purpose to improve the accuracy and efficiency of wolfberry image segmentation, a method for efficient segmentation of adherent wolfberries based on morphological multi-scale reconstruction and concave points matching is hereby proposed. Firstly, the red component of the original color image is extracted to partially remove the shadow noise around or inside the wolfberries, and then the red component image is reconstructed by morphological multi-scale mixture opening-closing reconstruction to further smoothen the interior of wolfberries while preserving the contour edge information. Since such reconstruction operation can effectively retain the interesting contour edge of wolfberry particles and eliminate the irregular details, the influence of wolfberries edge contours blur and location offset on the subsequent classification will be greatly reduced. The binary regions of wolfberries are extracted from the reconstructed image by the method of maximum between-cluster variance, and the holes in the interior of wolfberries are filled by morphological filling operator. In the filled binary image, there are 2 kinds of wolfberries. One kind consists of single non-adherent wolfberries particles, and can be extracted by morphological area opening operation without further processing. The other kind mainly contains adherent or overlapped wolfberries particles, and needs to further segment, so 8-neighborhood tracking algorithm is used to extract the edge of single pixel contours of the adherent wolfberries. Taking into account that the shape of wolfberry is ellipsoid, the concave points usually locate in the edges where they are touched or overlapped with each other. Therefore the circular template is used to detect these edge concave points. For the incorrect concave point’s pairs matched by the shortest Euclidean distance as fitting condition, they can be modified according to the unequal pixel distance between the middle point of the connecting line and the boundary point since the length-to-width ratio of the wolfberry is obvious. When all the concave points’ pairs of the adherent wolfberries are confirmed, adherent wolfberries are clearly segmented. The final segmentation results are the combination of single non-adherent and adherent or overlapped wolfberries. The simulation results show that this method can achieve more accurate segmentation results and lower over-segmentation rate compared with the methods of mark-controlled watershed, direct concave points matching, and watershed combined with concave point segmentation, and is especially suitable for the segmentation of adherent wolfberries. The highest accurate segmentation rate is 96% while over-segmentation rate less than 2%.

image segmentation; image acquisition; crops; multi-scale opening and closing reconstruction; edge extraction; concave points matching

10.11975/j.issn.1002-6819.2018.02.029

TP391.41

A

1002-6819(2018)-02-0212-07

2017-09-26

2017-12-31

國家自然科學基金資助項目（61761027，61261029）

王小鵬，教授，博士生導師，主要從事圖像處理與分析。 Email：wangxp1969@sina.com

王小鵬，姚麗娟，文昊天，趙君君. 形態學多尺度重建結合凹點匹配分割枸杞圖像[J]. 農業工程學報，2018，34(2)：212－218. doi：10.11975/j.issn.1002-6819.2018.02.029 http://www.tcsae.org

Wang Xiaopeng, Yao Lijuan, Wen Haotian, Zhao Junjun. Wolfberry image segmentation based on morphological multi-scale reconstruction and concave points matching[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(2): 212－218. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2018.02.029 http://www.tcsae.org