基于油菜角果長度圖像識別的每角粒數測試方法

姚業浩，李毅念，陳玉侖，丁啟朔，何瑞銀

（南京農業大學工學院，南京 210031）

0 引 言

油菜是中國油料作物的典型代表[1]，角果是油菜的重要存儲器官[2]。在油菜生長發育后期，葉片已大部分凋零，角果便成了主要的光合作用器官[3]。研究表明角果長度是影響產量的重要因素且與產量和每角粒數呈極顯著正相關[4-5]。每角粒數是決定油菜產量的重要因素之一[6]，也是育種考種和產量估測的重點研究對象[7]。

社會經濟的發展對油菜作物產量和品質的要求不斷提高，大量油菜育種和產量估測等相關性狀參數的測試成為油菜種植和新品種選育必要的工作內容，目前，油菜育種和產量估測以人工方式獲取，測試效率低下。圖像處理技術的發展為油菜育種考種和產量估測等提供了有力的技術支撐，徐勝勇等[8]提出了一種基于RGB-D 相機的油菜分枝三維重建和角果識別定位方法，角果數量總體識別正確率不小于96.76%。汪文祥等[9]利用圖像處理方法測量了油菜分枝和角果著生角度。史浦娟[10]利用高分辨率的3D 掃描儀獲取油菜植株點云數據，對株高、角果數量、角果體積等數據進行了測量。劉仁峰等[11]利用凹點檢測技術對平鋪狀態下交叉黏連的角果進行分割，對分割后的單個角果進行細化得到骨架，計數骨架像素點數并換算成物理長度尺寸，角果長度測量準確度達到了97.1%。

角果長度和每角粒數是2 個重要的油菜產量性狀參數，當前，角果長度利用游標卡尺測量，每角粒數的計數方法主要有以下兩種，一是直接將角果皮剝開，從角果里取出籽粒后進行計數，該方法破壞了角果的形態且對同一角果樣本無法進行重復試驗；二是利用角果果皮具有一定透光性的特點，對著光源可以透過果皮看到里面的籽粒從而實現對角果中籽粒的計數，該方法保留了樣本的完整性，但長時間的計數會使計數者眼花繚亂，影響計數的準確度且費時費力。

為解決油菜角粒數自動、快速、無損的計數問題，本文利用角果長度與角粒數之間的關系，建立油菜角果長度與每角粒數之間的關系模型，通過圖像處理技術獲得油菜角果的長度，將角果長度代入關系模型中計算得到該角果中油菜籽粒的個數，以期滿足無損、高通量的油菜每角粒數計數的需求。

1 材料與方法

1.1 試驗設備

試驗設備有PC 機（聯想 G50-80，Window10 操作系統，250 G 固態硬盤，12 GB 內存）、中晶掃描儀（型號：Scan Maker E900，上海中晶科技有限公司）。利用掃描儀采集油菜角果圖像，Matlab2020 對角果圖像進行處理。

1.2 試驗材料

試驗采用3 個油菜品種，分別為“灃油737”“楊油5 號”“蘇油1 號”，試驗樣本均采自江蘇省南京市六合區八百橋，利用剪刀將植株上、中和下部分枝角果剪下后放在實驗室自然晾干。3 個品種的供試角果個數分別為206、228、289，其中建模集分別為101、133、199，驗證集分別為105、95、90。將角果單層平鋪在掃描儀上，在PC 端顯示存儲油菜角果的圖像，掃描參數設置為每英寸300 像素，以“灃油737”為例，其掃描得到的圖像如圖1a 所示。利用游標卡尺測量角果的長度作為角果實際長度，測量標準為僅測量有籽粒莢果部分，去除果喙和果柄部分，具體如圖1b 所示，利用人工計數法獲取角果中的籽粒數作為實際每角粒數。

1.3 圖像處理方法

單層平鋪的油菜角果存在角果間交叉、接觸等情況，利用圖像處理方法需準確識別出單個角果并測量角果的長度，圖像處理算法流程如圖2 所示。

1.3.1 圖像預處理

圖像預處理是圖像處理過程中的重要步驟，油菜角果圖像經過灰度化、二值化[12]、空洞填充、去除小面積處理后即可得到完整的油菜角果二值圖像。由于本文測量角果長度的標準中未包含果柄和果喙，故采用開運算去除角果的果柄和果喙，經上述預處理后的油菜角果圖像如圖3 所示。

1.3.2 圖像細化

圖像細化就是將物體變成骨骼且該骨骼線（細線）位于物體的中心位置[12]，細化后的二值物體和形狀僅為單個像素寬的線[13-15]。圖像細化后保留了圖像原有的基本形狀特征并使其他信息得到進一步的簡化。由于油菜角果圖像的邊緣會有少量的粗糙部分，故細化后的油菜角果圖像存在一定的毛刺，對每條骨骼線去除5 個像素點，達到去除毛刺的目的。

1.4 端點和交點檢測

1.4.1 擊中擊不中變換

為準確識別出經預處理和細化后角果端點和交叉點，角果圖像中的端點和交點是具有像素特定的形狀，孤立的前景像素或者是線段的端點像素[15]，利用擊中擊不中變換[16]對其端點和交點進行檢測。

1.4.2 使用查找表

當擊中或擊不中結構元素較小時，計算擊中擊不中變換較快的方法是使用查找表。要使用查找表就要給每個可能出現的形狀分配一個唯一的索引，本文所采用的檢測模板為3×3 形狀的結構元素，二值圖像中每個位置可能的值只有0 和1，所以該檢測模板共有512（29）個不同的形狀。為了給每個形狀分配一個唯一的索引值，將該形狀的元素與下面的矩陣相乘：

將乘積累加起來即可為每個 3×3 的形狀在[0，511]中分配一個唯一的值。線段的端點在其8 連通域內除其本身外只能存在一個1，即該處模板元素和為2 且模板中心點為1，以此為依據構造一個長度為512 的列向量查找表，計算每個模板的索引值并加1（將索引值變為[1，512]），滿足端點條件的在查找表對應位置上置1，反之置0，最終生成的查找表如表1 所示。

表1 角果端點查找表Table 1 Lookup table for the silique endpoint

1.4.3 端點掃描

掃描是一個尋找的過程，將3×3 形狀的結構元素遍歷整個油菜角果骨骼圖像并計算每個形狀內的索引值，然后對應查找表上的值，1 即端點，0 則是非端點。當檢測模板采集到某個點的8 鄰域時，計算該形狀元素所對應的索引值為49，通過查找表可得值為1，所以該點為端點。若計算該形狀元素對應的索引值為57，通過查找表可得值為0，則該點為非端點。

端點掃描結果如圖4 所示，圖中可以看到每個角果的端點均已被識別（“0”所在位置即為識別到的端點位置），表明該方法可準確識別角果的端點。試驗發現只需將模板元素的和由2 改為4，即二值圖像中線段交點的8 連通領域內像素值的和為4，保持其余條件不變即可有效識別角果之間的交點及其臨近的點，在角果交點識別中，該方法識別到的是交點本身及其附近的一簇點，故還需要去除多余的交點。

1.5 DBSCAN 聚類算法

DBSCAN （ Density Based Spatial Clustering of Applications with Noise）聚類算法[17]是一種基于密度的、具有噪聲的空間聚類算法，該算法可將具有足夠密度的區域劃分為簇。與K-means 聚類算法[18]相比，DBSCAN算法具有不需要事先確定聚類中心個數的優點。本文針對油菜角果之間交點的識別結果正是一簇一簇的，故可利用該算法對角果交點進行聚類，從每類簇中選擇一個點作為角果的交點并去除該類簇中其余的點即可實現多余交點的去除。

1.5.1 DBSCAN 聚類算法定義

DBSCAN 聚類算法具有以下6 個基本定義[17,19-21]。

定義1Eps鄰域：給定數據集D中的某一對象點p，NEps表示為以p為圓心Eps為半徑的圓所包含的區域，該區域內所包含的點的集合用公式表示為NEps(p)={q∈D|dist(p,q)≤Eps}，其中D?Rd，d為空間維度，q為數據集D中的某一個點，dist 表示兩點之間的距離。

定義2 核心點、邊界點、噪點：假設對象點p∈D，給定的鄰域半徑為Eps、最小密度點個數minPts，若以p為圓心Eps為半徑的圓所包含的區域中點的個數大于等于minPts，則p為核心點。若p不是核心點但是p在另外一個核心點所包含的區域內，則p為邊界點，否則p為噪點。

定義3 直接密度可達：給定對象點p∈D、點q∈D，若點q在以點p為圓心Eps為半徑的區域內且p為核心點，則稱由p到q是直接密度可達的，公式表示為q∈NEps(p)，|NEps(p)|≥minPts。

定義4 密度可達：在數據集D中，有對象鏈p1，p2，…，pn，且p1=q，pn=p，對于任意一點pi∈D(1≤i≤n)，若在給定的Eps、minPts條件下，pi+1從pi直接密度可達，則p從q密度可達。

定義5 密度相連：給定對象p∈D、q∈D、o∈D，若在給定的Eps、minPts條件下，p和q都可以從o密度可達，則p和q是密度相連的。

定義6 簇：以核心點為中心，所有密度可達的點構成一個簇。

1.5.2 DBSCAN 聚類算法流程

DBSCAN 聚類算法流程[19]如圖5 所示。

利用DBSCAN 聚類算法（Eps=80、minPts=2）對油菜角果交點進行聚類成簇，Eps的初始值可由試驗測試的方法選擇一個最佳值Eps0，利用公式（1）可獲取不同圖像的Eps值。

式中S0為選取最佳Eps值Eps0時所使用的圖像像素數；S為新輸入待測圖像的像素數。

從每簇中選取第一個點作為交點，舍棄其余點即可實現去除多余的交點，如圖6 所示。

1.6 端點配對

油菜角果的端點和交點已全部被識別出來，接下來就是實現角果兩端點之間的配對，配對的結果要求圖像中匹配的兩端點是某單角果實際的兩端點，此時該兩端點之間的距離即是該角果的長度。在整幅平鋪狀態下油菜角果的圖像中，由于角果端點眾多，正確配對難度過大，故以連通域為單位提取角果子圖像，再對子圖像中的角果端點進行配對以降低匹配難度，提高配對準確度。按照子圖像端點的個數m和交點的個數n來進行分類。

1.6.1 單角果型

m=2 且n=0，此類型的端點配對是最為簡單的類型，只需要直接連接兩個端點即可實現正確的配對，配對結果如圖7a 所示。

1.6.2 雙角果交叉型

m=4 且n=1，此類型的角果圖像如圖7b 所示，角果圖像中有4 個端點，分別為a、b、c、d，假設其坐標分別為(x1，y1)、(x2，y2)、(x3，y3)、(x4，y4)。由排列組合可知，此4 點可組成3 種不同的配對結果，分別為（ad，bc）、（ab，dc）、（ac，bd），顯然只有（ac，bd）組合才是正確的配對結果。要使配對結果只能是（ac，bd）組合，需求出配對后兩直線之間的交點，交點在4 個端點所圍成的四邊形內部的組合即為（ac，bd）組合。以（ac，bd）組合為例，交點的求法由公式（2）實現，通過求解方程組可以得到交點（x，y）。

交點在4 個端點所圍成的四邊形內部的條件為xmin≤x≤xmax且ymin≤y≤ymax，其中xmin為4 個端點中橫坐標最小值、xmax為4 個端點中橫坐標最大值、ymin為4 個端點中縱坐標最小值、ymax為4 個端點中縱坐標最大值。配對結果如圖7c 所示。

1.6.3 普通型

除上述兩種類型外，其余皆按普通型處理，普通型角果圖像的特點表現為角果交點多且分布無序，故而配對難度高。首先，選擇任意角果交點o為原點，從o點向任意兩端點a、b作oa、ob（如圖8a 所示），并計算oa、ob之間的夾角θ（0°≤θ≤180°）。

根據角果本身筆直的特性，若端點a、b滿足θ≥170°且ξ≥0.90，則端點a、b即為某角果的兩個端點，連接兩端點即可得到該角果的長度。配對結果如圖8b 所示，由此可見，該條件并不適應于所有的角果，因為不是所有的角果都是筆直的，但該條件可以實現優先對端點明顯且筆直的角果的正確配對，從而降低后續配對的難度。對未配對的端點進行再一次的配對時，需要降低配對條件，降低的標準為θ每次減少10°，ξ每次減小0.1，即第二次配對時，未配對的兩端點只需滿足θ≥160°且ξ≥0.80。以此類推直至條件降至θ≥120°且ξ≥0.40 時，結束端點配對。配對結果如圖8c 所示，通過多次配對之后，兩端點全被識別出來的角果均已完成正確配對，但僅識別到一個端點的角果仍未配對。此類角果的端點與其他角果相交后形成了交點，故此類角果的配對方式應為端點與交點的配對，配對條件為ξ≥0.95，在所有滿足條件的交點中，選擇距離端點最遠的交點配對。若一次配對后仍有未配對的端點，降低配對標準后進行二次配對直至所有端點均被配對時，結束配對，配對結果如圖8d 所示，整幅平鋪狀態下油菜角果圖像端點配對結果如圖9所示。

1.7 角果長度及籽粒數計算

1.7.1 角果長度計算

假設已配對的角果兩端點的坐標為（x1，y1）、（x2，y2），通過公式（4）即可得到該角果的長度像素數d。

在建模集中油菜角果的長度為物理尺寸長度，故需將長度像素數d轉化為物理尺寸長度d′。首先，在同等掃描條件下掃描一張A4 紙張并對其擬合最小外接矩形，求出該矩形的長和寬（l、w）即為A4 紙的長和寬像素數，利用公式（5）即可求出轉換比例k。

角果的物理尺寸長度即為d′=kd(mm)。

1.7.2 角果籽粒數計算

將得到的角果長度d′代入油菜角果長度與籽粒數之間的線性關系模型中即可得到油菜角果中的籽粒數。在驗證算法準確度時，掃描后的角果先留在掃描儀內保留其位置不發生變化，待圖像處理完成后，在同一位置找到圖像上的角果和實際對應的角果，記下測量值和實際值。

2 結果與分析

2.1 角果長度與每角粒數之間的關系

利用建模集角果長度和每角粒數數據建立相關性模型，角果長度與每角粒數之間的關系如圖10 所示，3 個品種的油菜角果的長度與每角粒數之間相關性決定系數（R2）分別為0.891、0.881、0.887，表明油菜角果每角粒數與其長度具有相關性。此結果可為通過角果圖像來獲取角果粒數提供依據，即獲取圖像中角果的長度并代入角果長度與每角粒數之間的相關性模型中即可得到對應的每角粒數。

2.2 角果長度識別結果分析

利用驗證集角果長度數據對角果圖像識別角果長度數據進行檢驗，通過角果的長度來預測每角粒數，故角果長度識別的準確度直接影響預測每角粒數的準確度，以人工測量長度為角果的實際長度，利用本文所提出的圖像識別方法，對3 個品種的油菜角果長度的識別結果與角果實際長度對比分析，如圖11 所示。3 個品種的油菜角果識別長度與實際長度決定系數（R2）均在0.97 以上，最大RMSE 僅為2.637 mm，說明本文提出的油菜角果長度識別方法能準確的識別平鋪狀態下油菜角果的長度。

由表2 可知，3 個品種的油菜角果長度識別平均絕對誤差分別為1.35、0.78、2.13 mm，平均相對誤差分別為2.60%、2.35%、3.29%，3 個品種的油菜角果長度識別平均準確度為97.25 %。表明本文提出的端點檢測配對方法能實現油菜角果長度高通量、準確、自動的識別要求。

表2 油菜角果長度和每角粒數識別結果誤差分析Table 2 Error analysis of recognition results for length of oilrape silique and seed number per silique

2.3 角果每角粒數預測結果分析

利用驗證集角果每角粒數數據對圖像識別角果籽粒數數據進行檢驗，通過將識別到的油菜角果長度信息代入對應品種的油菜角果長度與每角粒數之間的相關性模型中即可得到每角粒數，以人工計數為實際每角粒數，3 個品種的油菜每角粒數預測結果與實際每角粒數對比分析如圖12 所示。3 個品種的油菜角果圖像預測每角粒數與實際每角粒數之間的決定系數（R2）均在0.84 以上，最大RMSE 為4.174 粒，說明本文提出的油菜每角粒數圖像識別方法可行。

由表2 可得，3 個品種的油菜每角粒數預測平均絕對誤差分別為3.40、1.43、3.23 粒，平均相對誤差分別為17.77%、12.75%、17.86%，3 個品種的油菜每角粒數總體平均相對誤差為16.13 %，平均預測準確度為83.87%。

3 討 論

目前研究表明油菜角果性狀參數長度與單株油菜產量、籽粒數量等存在一定的相關關系，有文獻分析了單株油菜部分角果長度平均值或者一個種類油菜角果長度與其平均角果籽粒數量之間的相關性[4,22]，本研究從油菜植株單個角果長度與其籽粒數量之間相關關系的角度進行分析，因此本研究中的油菜品種角果長度與每角粒數之間的決定系數值（R2）均較相關文獻[4,22]報道的大。

本文在對油菜角果性狀參數長度與籽粒數量存在一定的相關關系研究的基礎上提出了利用圖像識別角果長度并計算出角果每角粒數的測試方法，通過本研究發現每角粒數預測平均準確度為83.87%，能夠滿足目前育種和估測產量時對每角粒數測量的精度需要。

本研究中將油菜每角粒數計數中人工剝角果莢殼、籽粒計數等工作采用圖像方法批量一次性獲取，大大降低每角粒數數據獲取的時間和人工成本。圖像獲取方法能夠快速準確獲取油菜每角粒數，同時節約大量人工，有利于滿足現階段油菜育種和產量預測大量樣本測量的需求。從本研究結果來看，油菜角果長度尺寸預測每角粒數有一定的優勢，但預測精度仍然有提升的空間。

4 結 論

通過人工測量了角果的長度與每角粒數并建立了角果長度與每角粒數之間的關系模型，結果表明，3 個品種的決定系數均大于0.88，說明可利用角果的長度來預測角果中的籽粒數。

通過掃描儀獲取平鋪狀態下油菜角果的圖像，對圖像預處理后識別角果的端點和交點并利用DBSCAN 聚類算法去除了多余的交點，根據每個子圖像中角果的類型選擇對應的端點配對法則識別出對應的角果，利用兩點之間的距離公式求出角果的長度，再將角果長度代入角果長度與每角粒數之間的關系模型中得到對應角果的籽粒數，結果表明：3 個品種的油菜角果長度識別平均準確度為97.25%，說明本研究提出的角果長度圖像識別方法是可行的，且與人工測試角果長度結果非常接近。

經圖像識別方法獲取角果長度尺寸，利用角果長度與每角粒數之間的關系模型可對油菜角果每角粒數進行預測，每角粒數預測平均準確度為83.87%，表明本文提出的油菜角果長度識別算法和油菜每角粒數預測算法準確、可行。通過獲取整株油菜單個分枝上油菜角果平鋪狀態下的圖像，利用圖像處理方法可快速獲取角果的長度尺寸，并利用角果長度與每角粒數之間的關系模型計算出角果每角粒數，可快速估測出分枝上所測角果的角果籽粒數量，依次獲取整株油菜各分枝角果圖像，可快速獲取整株角果籽粒數量。