紅花花絲二維中心點標定方法研究

張天勇，張立新，葛 云，王 歡，劉光欣

石河子大學 機械電氣工程學院，新疆 石河子 832000

1 引言

紅花是新疆主要經濟作物之一，目前以人工采摘為主，雖然國內外學者對紅花采摘機進行了相關研究[1-3]，但都離不開人力勞動的參與。隨著農業收獲領域的快速機械化發展，紅花采摘機器人的研制具有重要經濟和社會價值，而花絲的準確識別與定位是紅花采摘的重要環節。

近年來，基于計算機視覺的果蔬采摘識別與定位方法研究取得顯著成果，也成為果蔬采摘機器人研制的熱點和難點之一，不僅應用在蘋果[4-6]、柑橘、番茄[7]、葡萄[8]等果實中，同時也出現在茶葉、草莓[9]、杭白菊等圖像識別中，例如在杭白菊果實的識別中，樊俊[10]等人分析了其顏色特征和紋理特征，提出了一種可以將杭白菊從復雜自然環境中快速分割出來的方法；郭艾俠[11]等人先是提取了荔枝區域的質心、最小外接矩形等特征，然后結合母枝上的Harris特征點來計算荔枝采摘點的二維坐標值，能夠滿足現有技術要求；張浩[12]等人為了識別自然環境下的茶葉嫩梢，提出了一種運用色彩因子法的主動視覺定位嫩梢的方法，此方法有效地將茶葉嫩梢進行定位。羅陸鋒[13]等人對聚類圖像分割算法進行改進，并運用點線最小距離約束，解決了葡萄輪廓不規則、果梗顏色復雜多變等因素，提出了一種采摘點定位新方法。

諸如上述研究都是針對一些常見果蔬類作物，其外形輪廓相對平滑、規則。而紅花屬于絲狀團簇類作物，盛開期的花絲呈細管狀，橙紅色，無數花絲構成球體外形，不規則外形的特點對圖像的識別與定位造成一定難度，同時國內外學者對紅花花絲圖像的識別與定位鮮有研究。本文針對紅花盛開期的顏色和圖簇狀特點[14-15]，提出了一種花絲識別與中心點標定的理論方法，可為紅花采摘機器人視覺系統的開發提供理論基礎。

2 材料與方法

2.1 圖像采集

圖像采集選用型號為Canon EOS 760D的數碼相機，為避免抖動影響成像質量，采集過程中輔助以相機支架固定，拍攝時與紅花成俯視角度，距離為40 cm；同時由于采集后的圖像像素過大，處理緩慢，在MATLAB R2015b圖像處理軟件上進行統一調整分辨率為480像素×640像素。

采集地點在石河子大學試驗農場，采集環境為自然光照下的上午11點；紅花的開花周期一般為7天，所以采集對象為花開1～7天的紅花，共計210張。

2.2 圖像分割與輪廓提取

2.2.1 圖像預處理

自然環境下拍攝的紅花圖像會因光照條件的限制以及周圍環境的影響存在隨機噪聲，為消除圖像信號干擾，本文在比較高斯、均值、中值濾波器的處理效果后，考慮到不減小圖像對比度的同時，又可以降低異常值影響，選用中值濾波對圖像進行預處理，以期對孤立噪聲進行良好濾波。

2.2.2 顏色特征分析

顏色特征可以將紅花與周圍背景進行有效區分，常用的顏色模型主要有RGB、HSV和HIS模型等，而RGB顏色模型可以直接將拍攝到的紅花圖像進行圖像數據處理，不需要進行其他模型間的轉換，減少圖像處理的時間，速度較快。本文在RGB模型下分別對圖像的R分量、G分量和B分量進行提取，繪制三維模型圖，如圖1所示。

通過對比可以看出，在R分量狀態下的紅花圖像，花絲區域顏色閾值高度分布緊密，大小趨于一致，與周圍環境差異明顯，但由于自然光線的影響，存在與花絲顏色閾值相近的區域，仍需對其作進一步的分割處理。而在提取G分量和B分量的狀態下，如圖1（b）和（c）所示，區域閾值大小不一，山峰和山谷零散分布，不能完整表示出花絲的輪廓形狀，原因是盛開期的紅花主要以紅色為主，且色素分布集中，而綠色素和藍色素主要集中在葉子和果球中。

通過對比分析色差R-B、R-G和G-B的灰度直方圖和三維模型圖（圖2）可知，色差R-B和R-G能進一步將紅花花絲與周圍環境區分，圖2（a）和圖2（b）顯示，花絲區域閾值大小與周圍環境差異明顯，外形輪廓突出；并且通過二者的灰度直方圖可以看出，R-B分量中波峰和波谷分布明顯，波峰之間間距更大，更容易區分，也就表明花絲與周圍環境在灰度特性上差異明顯，根據波谷顯示，可以選擇一個較為合適的閾值進行分割，確定圖像中每個像素點所隸屬的區域是花絲還是背景，為后續的閾值分割提供條件。

2.2.3 閾值分割

考慮到花絲在不同開放天數時的顏色差異，以R-B為特征值，運用可自適應確定閾值的最大類間方差法（OTSU算法）進行圖像分割，避免了人工取閾值的不準確性[16]。

在分割過程中，以σ2B(T)代表閾值為k時的類間方差，ωi，μi分別為Ci組μi中像素產生的概率和組內所有像素點灰度值的均值，μ為整體圖像所有像素點灰度的均值。兩組間的類間方差為[17]：

分割后的紅花圖像如圖3（b）所示，可以看出，圖像能較完整地保留紅花花絲的像素信息，但由于花絲為團簇細條狀，存在諸多孤立小點、孔洞和毛刺，要實現花絲進一步識別與定位還需對其進行數學形態學處理。

2.3 花絲輪廓變換

圖3（b）顯示，分割后的圖像外輪廓雖近似為圓形，但花絲由中心向外散開，諸多細條狀花絲圖像并不連續，圖形內部存在孔洞，且背景區域存在孤立小點。利用數學形態學中的腐蝕與膨脹可對上述圖像進行輪廓處理[18]，消除孔洞，使圖像更加平滑規則。

圖1 紅花圖像R、G、B因子三維模型圖

圖2 色差分割效果圖

圖3 Otsu分割效果圖

傳統形態學處理方法存在計算量大、效率低、效果不理想等缺點，同時由于紅花花絲為團簇狀，圖形輪廓雖類似圓形，但其針狀突刺明顯，以圓形結構元素為基礎的膨脹、腐蝕在處理過程中不僅會增加突刺細條的像素分布面積，改變最外圍像素點的分布結構（圖4（b）），且存在過腐蝕現象，致使圖像內部孔洞增大，像素點缺失（圖4（c）），無規則分布，圖形對稱性降低，而花絲中心點的獲取往往需要其具有較好的對稱性，所以上述處理并不利于后續花絲圖像的二維中心點提取。

圖4 形態學處理效果圖

本文根據花絲團簇狀特征，以開、與、膨脹運算相互結合的形式，提出了一種改進的花絲圖像形態學處理方法，具體為選取不同開放天數的花絲二值圖像A，以半徑不同的結構元素S對其進行開運算，可表示為A°S=(A ?S )⊕S ，記為圖像B（圖4（d））；然后將原二值圖像A與處理后的圖像B取交集（圖4（e）），記為C=A?B；最后對圖像C進行膨脹運算并填充，消除棱角和孔洞，如圖4（f）所示。在處理過程中，圖像會因開運算間接增加花絲的像素點信息，存在棱角突出，圖像不平滑等現象，而與原圖像進行交集運算后不僅消除了外圍突刺，并且還原了原始圖像花絲信息，保證了其真實性。通過此方法，極大地保留了花絲原有分布結構，使其更加光滑規則，為后續的中心點定位奠定基礎。

2.4 二維中心點提取

紅花采摘機器人在采摘紅花時，需要進行單株逐個采摘，因此在采摘時必須確定出紅花花絲的準確位置。質心法是一種常用的圖像定位算法，應用廣泛，但其對圖像的對稱性要求較高，將輪廓變換后圖像的黑色背景部分的像素點橫、縱坐標分別設為0，白色部分像素點的橫、縱坐標分別設為1。對整個圖像的像素點進行識別判斷，若橫坐標像素點i為1，則輸出像素點信息，依次累加并計算像素個數，否則為0；同樣縱坐標像素點 j依次進行判斷并依據結果累加，最后將所得到的像素點坐標進行求平均值，得出花絲坐標的二維坐標值，其公式如下：

式中，i,j為花絲圖像像素的橫、縱坐標；f0為花絲圖像的灰度閾值；Ω為圖像中所有像素集合。

由上式可以看出，質心法需對花絲圖像像素點進行逐一計算，計算量大，且由圖4（c）可以看出，花絲圖像內部空隙較多，對稱性較差，導致定位誤差較大。加權質心是對質心法的一種改進，通過對像素累加過程中的改進來減小計算量，其公式如下：

此時得出的(xk,yk)即為花絲的中心點坐標，記為A1。同時為了改進中心點定位存在的偏差，本文引入最大內切圓法來計算花絲中心點坐標，記為A2，最后取兩個中心點的平均值作為最終結果。最大內切圓定位公式如下：

其中xai、yai表示花絲內部像素點的橫縱坐標；xbj、ybj表示花絲圖像邊緣像素點橫縱坐標；Di表示花絲內部像素點到圖像邊緣的最小距離。同時定義最大內切圓半徑 R=maxi(Di)，相應的 xai、yai即為中心點坐標[19]，處理結果如圖5（b）所示。

圖5 花絲中心點標定圖

3 實驗對比與結果分析

3.1 對比分析

以采集到的開放第二天的花絲為例，運用常規方法和本文所提出的方法進行對比實驗，結果如圖6所示。在用質心法進行中心點標定的過程中，遍歷整個圖像的像素點信息，進行求和取平局值，計算量大，而改進的質心法在計算過程中以圖形灰度閾值為基準進行運算，減小了運算時間，提高了處理速度；但是花絲圖像為不規則圖形，會因一側的圖像突出導致中心點偏移（圖6（a）），造成定位誤差；同時因花絲圖像整體為類圓形，最大內切圓法通過在其內部尋找最大內切圓并標記原點，具有一定準確性，但其內部所有邊緣點并非全部分布在圓上，同時圓外花絲部分不均勻對稱分布，尋求最大內切圓同樣會存在中心點的實際誤差（圖6（b））；而結合改進質心法和最大內切圓法對花絲圖像進行中心點定位，取二者平均值，一定程度降低了誤差，提高了準確性，圖6（d）顯示，定位后的圖像不僅包含了花絲全部信息，將外圍花絲計算在內，保留了圖像完整性，而且降低了單一方法對中心點造成的誤差，更直觀地反映出花絲中心點位置，準確度較高。

圖6 不同方法效果對比圖

3.2 實驗結果與分析

對采集到的1～7天的210張圖像運用本文所述紅花花絲識別與中心點標定方法進行運算，處理結果如表1和圖7所示。

表1 花絲二維中心點標定結果表

由圖7可以看出，紅花在開放第一天時（圖7（a）），花絲逐漸長出，比較稚嫩，隨著開放天數的增加，生長態勢逐漸飽滿，水分增加，待開放第三天時達最佳狀態（圖7（c）），價值最高，也最適宜采摘；而從第四天開始，如圖7（d）所示，原先挺立的花絲開始出現萎蔫現象，第六天時花絲幾乎全部萎蔫，水分丟失（圖7（f））；第七天時花絲干癟，分布散亂（圖7（g））。整個系列圖片顯示，花絲的開放可以看作是一個由點到球再到無規則形狀的過程，所以在形狀上最容易識別的階段，即開放2～3天的花絲，符合花絲的采摘時間段要求，正確識別率最高（100%）。顏色方面，剛開放的紅花主要是以黃紅色為主，隨著天數增加，紅色素逐漸積累，相比較開放第三天，第四天的花絲紅色素明顯增多，此時花絲的藥用價值減弱，紅色素提取價值增加，而市場上主要以收購2～3天的花絲為主。

圖7 不同時期紅花開放圖

通過表1可以看出，該方法對開放1～5天的花絲可以較為準確地進行識別與標定，而對第六天（60%）和第七天（53.3%）的具有較大偏差。這是由于花絲在開放2～3天時，其外形輪廓規則，可以近似看成一種圓形，在進行二值圖像的形態學處理過程中不會對原有信息進行較大變動，雖然從第四天開始，花絲逐漸萎蔫，紅色素增加，但基于最大類間方差法的分割法能夠自動確定閾值，分割后花絲的外形輪廓也近似于圓形。而開放第六和第七天的花絲，水分丟失，花絲干癟，無規則外形，無法準確提取出中心點位置。

4 結束語

（1）在對紅花及其背景圖像提取R、G、B顏色因子的基礎上，利用色差法提取R-B因子，通過灰度直方圖比較，能夠快速區分紅花花絲與周圍背景顏色；依據花絲的顏色信息，運用最大類間方差法自動取閾值分割，可有效進行不同開放天數花絲的圖像分割。

（2）針對團簇狀、無規則外形的花絲輪廓，提出一種改進的形態學處理方法，完整保留了原有花絲像素信息，利于中心點提取；并提出一種改進質心法和最大內切圓法相結合的花絲二維中心點提取方法，提高了準確度。

（3）實驗結果表明，本文方法能較為有效地識別出不同成熟度的花絲信息，同時對比常規方法，其準確度更高，尤其是開放2～3天的花絲，準確率達100%，但對第六和第七天的花絲具有偏差，尚不能滿足定位要求。