基于全景圖像的玉米果穗流水線考種方法及系統

杜建軍，郭新宇，王傳宇，肖伯祥

?

基于全景圖像的玉米果穗流水線考種方法及系統

杜建軍，郭新宇※，王傳宇，肖伯祥

（1. 北京市農林科學院 北京農業信息技術研究中心，北京 100097；2. 數字植物北京重點實驗室，北京 100097）

為提高玉米果穗考種效率和精度，該文提出一種基于全景圖像的玉米果穗流水線考種方法和系統。利用托輥傳送裝置實現果穗自動連續推送，基于工業相機自動檢測果穗運動狀態并實時采集圖像，獲取覆蓋果穗全表面的圖像序列；建立果穗運動、攝像機成像、表面拼接關系，從圖像序列中抽取果穗中心畸變最小區域拼接出果穗表面全景圖像；最后，結合果穗邊界檢測、籽粒分割和有效性鑒定等技術提取出果穗表面上有效籽粒。試驗結果表明，該文方法和系統較好地平衡了玉米果穗考種的效率和精度，圖像采集和計算平均效率達15穗/min和4穗/min，穗長和穗行數指標計算精度可達99%和98.89%，可為研發全自動、高通量玉米果穗表型檢測裝置提供有益借鑒。

圖像處理；機器視覺；圖像分割；玉米果穗；表型性狀；圖像拼接；全景圖像；考種

0 引 言

玉米果穗考種是玉米遺傳育種及田間測產的重要環節。長期以來，如何快速、高效、準確、低成本完成玉米果穗考種是困擾玉米育種工作者的難題。傳統考種主要是雇傭大量人工來完成簡單而繁瑣的計數和測量工作，不但成本高耗時長，而且測量結果主觀性大。近年，基于機器視覺的自動和半自動考種方式已成為一種趨勢，相繼研發了單果穗[1]、多果穗考種[2]、果穗流水線[3-4]、及集成化果穗考種系統[5-6]等。這些系統分別針對不同玉米育種場景，力圖滿足用戶特定的果穗考種需求，并開始逐漸成為現代玉米種業信息化中重要組成部分。

迄今，如何提升玉米果穗考種效率和測量精度仍是玉米果穗考種方法和系統所需面臨的嚴峻挑戰。果穗考種系統效率，主要由果穗上下料效率、成像效率和計算效率決定。果穗上下料效率，是提升整個玉米果穗考種效率的關鍵步驟，大部分考種系統仍然需要人工協助完成單個或者多個果穗在成像區中的上下料，自動化程度不高，借助自動化機械裝置實現批量果穗自動運輸、無監督成像和高通量表型檢測，是將來玉米果穗全自動考種系統發展趨勢。另外，圖像采集效率也對考種效率有直接影響，這主要與系統采用的成像元件及成像方式有關，采用線陣掃描[7-8]、平板掃描[9-10]、點云掃描[11-12]和數碼攝像[13-14]等不同成像方式導致系統設計、數據采集和后期處理方案的顯著差異。例如，線陣掃描和平板掃描儀能夠獲取果穗高精度圖像，但是成像效率遠低于數碼攝像，而工業相機因其低成本、高效率、工作穩定和使用方便等已成為玉米考種系統采用的主要成像設備。

果穗考種精度，主要由果穗圖像數量、質量及相應圖像分析方法決定。果穗表型計算方法可根據果穗圖像數量分類，即基于單張[2,15-17]、多張[5,18-19]和序列圖像[19-20]的表型計算方法。基于單張果穗圖像，指僅利用果穗單個側面圖像來計算和預測果穗表型性狀指標，具有計算簡單、效率高等優點，但果穗表面信息缺失導致表型測量結果精度低、穩定性差。基于多張果穗圖像，是利用多個相機從不同角度同步獲取果穗主要側面圖像，或者利用單個相機獲取旋轉平臺等裝置上果穗的不同側面圖像。基于果穗序列圖像，則是利用數字攝像機連續獲取玉米果穗幾十張側面圖像，然后拼接出果穗表面圖像來計算果穗性狀。

本文提出了玉米果穗流水線考種方法和系統，旨在解決玉米果穗考種中面臨的效率和精度問題。在系統開發上，利用步進電機驅動的托輥式玉米果穗傳動裝置，自動完成果穗的快速上下料工序并采集果穗密集的側面圖像序列，提高玉米果穗考種的通量和自動化程度；在方法設計上，建立果穗運動模型來綜合利用果穗不同側面信息，生成包含完整表面籽粒分布的果穗表面全景圖像，用于計算果穗幾何、數量、顏色、紋理等表型性狀。

1 玉米果穗流水線考種系統

玉米果穗流水線考種系統樣機包括成像單元、計算單元和果穗傳動單元，如圖1所示。果穗傳動單元由步進電機、輥筒、托輥和鏈條組成，其中托輥采用耐磨防滑材料包裹，整體黑色噴漆，托輥直徑及托輥間隔保證果穗能夠在相鄰托輥之間穩定且無滑移滾動，托輥平移速度為121像素/s。成像單元采用2個30 W的LED投光燈照明，攝像機采用125萬像素的高幀率CCD工業相機（大恒MER-125系列，1/3″ CCD傳感器，30 fps）。攝像機圖像采集的工作幀率約為15 fps，圖像采用JPEG格式保存，分辨率為1 292×964像素，像素尺寸3.126×10-2cm/像素。

圖1 玉米果穗流水線考種系統

考種系統利用開源圖像處理包OpenCV完成圖像處理功能，并基于Visual C++開發果穗狀態檢測、圖像采集、圖像拼接、表型計算和統計分析等模塊。其中，狀態檢測模塊是判定成像區域內是否新進入了玉米果穗，從而觸發圖像采集；圖像采集模塊，實時采集成像區域內果穗運動圖像；圖像拼接模塊，是將果穗圖像序列進行綜合分析和處理，生成玉米果穗表面全景圖；表型計算模塊，計算玉米果穗的各項表型參數；統計分析模塊，是對批量果穗的考種結果進行匯總分析，輸出通用的CSV（comma-separated values，CSV）表格文件。

系統工作過程：啟動考種系統后，在進料口將玉米果穗放入托輥之間，果穗即隨托輥滾動進入攝像機成像區域；狀態檢測模塊一旦檢測到新的果穗，為該果穗生成全局唯一標識，并啟動該果穗的圖像采集模塊，將連續拍攝的果穗圖像序列保存到專用果穗文件目錄下；當果穗退出成像區后，系統將采集的果穗圖像信息發送給表型計算模塊。可以看出，系統中狀態檢測模塊、圖像采集和表型計算模塊之間相互獨立，通過狀態和數據流聯系在一起，保證了系統工作的實時性和穩定性。

2 玉米果穗表型測量方法

2.1 果穗狀態檢測

實時檢測果穗進入或退出成像區狀態，是實現果穗圖像自動采集、存儲和分析的重要前提。成像區域內果穗滾動時間由步進電機轉速確定，該轉速為系統參數，轉速越大則果穗運動速度越大，果穗在成像區內逗留時間越短，采集果穗圖像也越少。另外，圖像采集線程中需加入一些狀態檢測和圖像存儲等操作，也將降低圖像采集幀率。因此，果穗狀態檢測模塊需要兼顧檢測精度和采集效率，在給定轉速條件下能夠保證系統采集足夠數量的玉米果穗圖像，本文將采集到的果穗圖像表示分別表示為1，2，…，F，其中表示圖像數量。

系統運行中，果穗始終從進料口滾動到出料口，在攝像機成像區中果穗也總是從圖像一側滾動到另外一側。因此，在圖像上果穗入口和出口區域分別設置2個小的檢測區域1和2，作為果穗狀態檢測區，狀態檢測程序通過實時分析這些小區域信息進行狀態判定。2個檢測區域大小影響到狀態檢測效率和精度，區域間距離必須大于待測果穗的最大周長，使得采集的果穗圖像序列能夠覆蓋果穗完整表面。

狀態檢測模塊的設計原則是簡單實用，本文利用果穗與托輥鏈條等背景元素之間的顏色差異來檢測果穗狀態。利用多組果穗進行測試，實時統計計算檢測區域在RGB、HSV和LUV顏色空間下的顏色均值及多種顏色算子[21-23]，從中選擇檢測準確率最高的顏色指標及對應的狀態閾值。值得注意的是，采用的顏色指標及其閾值與果穗顏色和光環境密切相關，在實際考種工作中，可將待測果穗放入系統中運行幾次來確認這些系統參數，其原則是：在系統空轉下不能觸發出圖像采集；放入果穗后即可觸發圖像采集。在圖像采集線程中植入狀態檢測程序后，采集效率從30 fps下降到15 fps左右，果穗在成像區域內果穗滾動時間約為5 s，因此單個果穗仍可獲取超過70張果穗圖像。

因此，單個果穗采集圖像數量與機構運動速度、相機幀率、狀態檢測效率、計算機性能等因素有關，圖像數量決定了后期圖像分析和表型計算的效率和精度。一般而言，圖像越多，后期進行果穗表面拼接精度越高，但計算效率也越低。

2.2 果穗運動-成像-拼接

設果穗為圓柱體，則系統中果穗運動可以分解為整體平移和繞果穗中心軸旋轉2種運動分量，托輥、攝像機和果穗三者關系如圖2所示。1代表托輥中心運動平面，2為果穗中心運動平面，3為果穗運動的上切平面；1為攝像機到平面1距離，2為攝像機到平面2距離（與果穗半徑相關），為托輥半徑，為果穗半徑，為相鄰托輥中心的距離；為玉米果穗中心點到攝像機的連線與攝像機光軸方向的夾角，點為果穗中心點到攝像機的連線與果穗表面的交點。圖2表示的果穗狀態為：果穗運動到位置，果穗距離攝像機光軸方向距離為，此時攝像機拍攝的果穗成像中心為點。

進一步，設果穗進料口在左側、出料口在右側，因此托輥在1平面上順時針滾動，并帶動果穗在2平面上從左向右平動，同時果穗在與托輥間摩擦作用下繞著果穗軸心點逆時針滾動。攝像機拍攝的果穗圖像中，果穗成像中心點是總是距離攝像機鏡頭點最近的果穗表面上點，果穗成像中心與果穗的實際位置點之間存在一一映射關系。

在圖2中，攝像機高度、托輥半徑、托輥間距、果穗運動速度為已知系統參數。果穗半徑、果穗位置是未知量，需根據果穗圖像計算。以攝像機中心點為坐標原點建立整體坐標系，攝像機光軸垂直向下為軸，果穗運動方向為軸，則果穗在平面上滾動。攝像機位置固定，因此采集圖像的中心點對應于攝像機光軸與平面的交點′，以該點為坐標原點建立圖像坐標系，則沿圖像寬度方向為軸，高度方向為軸，采集的果穗圖像均可表示為(,)。圖3顯示了對單個果穗依次采集到的50張圖像，可以看出果穗在圖像序列中處于不同位置，并且沿著圖像軸從左往右滾動。

注：P1為托輥中心運動平面，P2為果穗中心運動平面，P3為果穗運動的上切平面；h1為攝像機到平面P1距離，h2為攝像機到平面P2距離，R為托輥半徑，r為果穗半徑，d為相鄰托輥中心的距離；α為果穗和托輥中心的連線與P1的夾角，β為直線OD與Y軸的夾角；C點為直線OD與果穗表面的第1個交點，O點為攝像機中心，O′為成像中心點。

圖3 單個果穗圖像序列（依次從左往右、從上到下）

2.2.1 玉米果穗分割

果穗顏色特征明顯且圖像背景較單一，利用果穗顏色特征可以較方便分割出玉米果穗，其流程可描述為：利用果穗顏色特征分割出果穗，并結合形態學中開、閉運算改善果穗形狀，得到僅僅包含玉米果穗的二值圖像，表示為(,)。其中，利用形態學運算操作填充果穗內部孔洞、改善果穗邊緣形狀，使得果穗區域形成一個整體。在(,)圖像中，根據果穗輪廓形狀可以直接計算出果穗的矩形包圍盒（rectangle bounding box，RBB）和方向包圍盒（oriented bounding box，OBB），進而計算出果穗的形狀參數，如果穗長、粗、半徑和中心軸[15]。為簡化起見，將玉米果穗視為圓柱體，假設其滾動過程中的果穗中心軸平行于圖像軸，因此果穗中心軸表示為()，即該果穗中心位置只與果穗水平運動位置有關。針對圖像序列計算出的中心軸序列表示為1，2，…，I，每個中心軸對應一張果穗圖像；果穗半徑表示為1，2，…，r。由于果穗距離攝像機距離不斷變化，而且果穗也并非標準圓柱體，因此從果穗圖像序列中計算出的果穗直徑將存在一定差異。

2.2.2 從圖像序列到表面全景圖

從每張果穗圖像計算出果穗半徑后，即可利用系統參數計算出與果穗形狀相關參數，2和。在果穗圖像序列中，對果穗當前運動位置，可計算出攝像機拍攝角度，對應的實際成像點為果穗表面上距離攝像機最近的點，也就是果穗表面全景圖上位置′。上述計算過程如下式：

式中與玉米果穗形狀和運動狀態相關的參數,,2和，需要根據每張果穗圖像進行計算。從果穗圖像序列中，依次計算出果穗中心軸序列()后，根據式（1）計算出果穗展開圖像中對應的位置序列′(′)，并將其表示為′1，′2，…，′。

2.2.3 果穗表面全景圖像拼接

玉米果穗中心軸()代表包含了()的具有一定寬度的裁剪區域RC()，在果穗表面全景圖像中也對應著大小相等的填充區域RC′(′)。因此，果穗表面全景圖像生成過程，是依次從果穗圖像序列的(,)圖像中提取RC()，將其拼接到(′,)圖像上對應的區域RC′(′)中的過程，其中RC()和RC′(′)的寬度未知。在計算出的中心軸序列′(′)中，相鄰中心軸間距離并不相等，RC′(′)的寬度由當前中心軸′與其相鄰中心軸′-1和′+1計算。設′表示第張果穗圖像的中心軸′對應的展開圖像上坐標，表示填充和裁剪區域的高度（通常設置為原始圖像高度），需先計算出填充區域，進而確定對應裁剪區域，最后將裁剪區域圖像拼接至全景圖像中的填充區域中：

根據式（2），系統在進行果穗圖像采集時即可完成果穗表面圖像拼接：從每幀圖像中計算出果穗中心軸，進而計算出果穗展開表面上中心軸，即可確定待填充區域，然后從果穗圖像中提取相應的裁剪區域，將其拼接到果穗展開表面上，過程如下：

1）從圖像序列中依次提取果穗中心軸1，2，…，I；

2）計算出中心軸I在果穗表面全景圖中位置后，根據式（1）計算出對應的中心軸′；

3）計算出中心軸′的邊界，并計算出中心軸′對應的區域RC′；

4）從果穗圖像上提取對應圖像RC，將其填充到表面全景圖像(′,)的對應的RC′區域。

圖4 果穗表面拼接

圖4顯示了玉米果穗表面全景圖像，可以看出果穗裁剪區域間存在較明顯的拼接痕跡。主要是因為果穗并非規則圓柱體，滾動過程中果穗的中心軸不規則轉動，使得裁剪區域與拼接區域所代表的果穗表面特征并不完全一致，導致拼接邊緣的像素錯位。拼接錯位程度與果穗規則形狀和復雜滾動特征相關，不同形狀果穗的錯位程度不同，且果穗不同部位的錯位程度也有差異。從圖像區域I、II和III的放大圖可以看出，果穗中籽粒均由2張以上的相鄰果穗圖像拼接而成，即果穗表面上任一顆籽粒需要采用多張果穗圖像的信息。圖4中IV區域存在較明顯的拼接錯位，視覺上判斷上下錯位約為3個像素，在橫截面直徑較大的果穗中部區域的拼接錯位程度比頂部和底部區域小，這主要是果穗徑向畸變導致[18]。

2.3 果穗表面圖像分析

為了拼接玉米果穗表面全景圖像，系統采集的果穗圖像序列必須覆蓋玉米果穗各側面。在大批量玉米果穗考種中，不同品種、類型果穗的直徑差異往往較大，通常根據果穗平均直徑來確定圖像采集區域。因此，基于果穗圖像序列拼接出的果穗全景表面是冗余的，需要檢測果穗表面邊界，即計算出果穗表面的有效區域。

注：圖e-f中矩形框表示了果穗表面有效區域。

圖5a為果穗表面全景圖像(′,)，果穗有效區域設為以圖像中心為中心、高度為圖像高度、寬度等于果穗周長的圖像區域，表示為ROI(′,)，如圖5e-5f中所示。從果穗圖像序列中計算出果穗半徑1，2，…，r后，根據下式計算果穗表面有效區域：

式中為果穗周長。

在圖5e所示果穗表面有效區域中，其兩側邊界線可能與籽粒區域相交，僅對有效區域進行分割將難以確保邊界上籽粒完整性。因此，先從果穗表面全景圖(,)中分割出籽粒圖像(,)，然后判斷每個籽粒中心點是否位于ROI(,)區域內，進而確定果穗表面有效籽粒。

在圖像6b所示的果穗灰度圖像中，籽粒區域的灰度值較高但區域間間距較小，且籽粒間縫隙區域的灰度值較低，采用簡單閾值分割容易出現過分割或欠分割[24]。果穗表面上籽粒密集排列，為拆分這些緊密粘連在一起的籽粒，設計了基于籽粒亮度和面積控制的適應性閾值分割流程：利用逐漸遞增閾值對灰度圖像進行閾值分割，首先提取出灰度值較低且滿足預設籽粒面積條件的區域，然后將這些區域從灰度圖像中刪除，繼續增加閾值分割出灰度值較高的籽粒區域，分割過程及其結果如圖5c-5d。該方法可為圖像中每顆籽粒找到與周圍籽粒分離的最佳閾值，從而將緊密粘連籽粒區域拆分開[25-26]。試驗表明該方法對籽粒拆分準確性高，但分割效果仍依賴于一些人工預設參數，比如籽粒面積、籽粒長寬比閾值等。過分割指提取了一些滿足預設條件但不是籽粒的區域，欠分割體現在未完全分割出所有籽粒，如圖5e。有大量方法可用于改進籽粒有效性判定結果，比如利用機器學習方法建立籽粒分類模型[27-28]，然后根據籽粒形狀、顏色和紋理等特征對分割區域的有效性進行精確判定[15,29]。值得注意的是，果穗表面全景圖中拼接邊緣上存在較明顯的顏色差異和亮度跳躍，但基于閾值分割的籽粒在較大程度上弱化了拼接痕跡。將分割出的區域表示為(,)，區域個數為，則分割結果表示為：

對(,)中每個籽粒，根據其位置判定是否包含在果穗表面有效區域ROI(,)中：計算每個籽粒區域的形狀中心，若該中心點位于有效區域內部，則視為有效籽粒，并將其保存到有效籽粒圖(,)中。對應的果穗表面全景圖分割結果如圖5f，將其表示為：

玉米果穗考種的幾何和數量等表型性狀可根據果穗表面全景圖的分析結果進行計算。其中果穗穗長、粗等幾何性狀由果穗有效區域ROI(,)確定，穗行、行粒和總粒等數量性狀則可從全景圖中有效籽粒圖(,)計算出[18]。

3 試驗與結果分析

3.1 試驗環境

玉米果穗流水線考種系統采用的計算硬件為i7-7700T處理器的一體機，具有2.9 GHz主頻，8 GB內存，4GB GDDR3顯存（顯卡NVIDIA GeForce 930MX）。

隨機選用200個玉米果穗作為試驗樣本。首先人工測量和統計穗長、穗粗、穗行數、行粒數、總粒數等指標，然后統一利用流水線考種系統計算果穗表型參數，最后對果穗表型的測量值和計算值進行統計分析。

3.2 測量效率

系統考種工作中，需2人協同完成果穗編號、分組及上下料工序，系統圖像采集效率為12穗/min，加上穗質量測量和計算機輔助錄入等時間，總耗時為1.5 h。圖像數據采集完成后，啟動果穗批量計算模塊，表型計算效率為4穗/min，總耗時約1 h。在流水線考種系統中，需要人工操作的主要是穗質量測量和上下料環節，后期圖像處理和表型計算均可自動運行，如果整合自動化穗質量測量和上下料裝置將進一步提高考種效率。流水線考種系統的表型檢測結果不僅輸出易人工測量的果穗幾何和數量性狀，也可計算出穗體積[30]、顏色、紋理等性狀。

人工考種試驗投入5人，依次完成果穗長、穗粗、穗行、行粒、總粒數的測量和統計，總耗時累計40 h，其中果穗總粒數統計耗時最多，占總時間88%。人工測量的表型指標相對有限且效率較低，機器考種效率可達人工考種效率16倍以上。

3.3 測量精度

表1列出了果穗表型統計分析結果，其中精度計算如下

不同品種玉米果穗樣本中穗行數均值為16.11，標準差為1.68，這些樣本基本覆蓋了從12到20行的常見果穗類型，而且穗行數計算值與實測值間相關系數為0.996。果穗行粒數是指從穗基部到穗頂部之間可排成一列的最多籽粒數，人工測量行粒數的主觀性較大，一般人為選擇粒數較多的一列進行計數，人工測量方法和系統計算方法的差異使得兩者相關系數僅為0.757，均值相差2.73粒，其中人工測量的標準差略大于系統計算的標準差。

表1 玉米果穗主要表型指標試驗結果

果穗總粒數與玉米產量直接相關，是重要的產量性狀。所有果穗樣本中，總粒數計算與測量均值分別為623.76粒和619.74粒，相差4.02粒，兩者相關系數為0.970。由于果穗上籽粒的人工計數非常耗時費力，傳統上利用“穗行數×行粒數”來估算總粒數，但該方法計算出的總粒數均值達653.2粒，與人工實測值相差33.46粒，主要是行粒數計算誤差放大了總粒數差異，表明利用該方法估算總粒數精度較差。另外，穗長和穗粗的計算值和測量值間相關系數分別為0.975和0.906，測量精度分別為98.89%和95.37%。

3.4 系統性能討論

玉米果穗表型測量效率和精度是評價玉米果穗考種系統性能的主要依據。采用的托輥傳送裝置在很大程度實現了果穗上下料和圖像采集過程自動化，通過提高傳動機構轉速也可直接增加果穗考種通量，但存在以下問題：轉速增加后，果穗滾動平穩性變差；果穗圖像數量減少；圖像中果穗出現拖影。果穗形狀并非規則圓柱體、且表面籽粒凹凸不平，低速狀態可在果穗與滾筒間摩擦力作用下圍繞中心軸滾動，速度太快果穗滾動軌跡難以預測。另外，采集圖像數量除了與果穗滾動速度有關外，還與攝像機性能有關，采用更高幀率的CCD相機能夠有效增加單位時間內采集圖像數量，另外加強環境光照、降低相機曝光時間也可以一定程度上提高相機幀率、防止拖影。綜合考慮上述因素，系統通過大量測試不同類型果穗來確定合理轉速，然后選擇合適工業相機、配置理想光照環境來滿足圖像采集質量和數量的要求。

玉米果穗測量效率和精度均與采用的果穗圖像數量有關。基于單張果穗圖像的考種系統可以獲得較高果穗測量效率，達30穗/min[2]或600 ms/穗[4]。然而，這類系統的高效率犧牲了果穗測量精度，單張圖像中包含的果穗表面信息不完整，只能通過設計估算模型來計算穗行數等性狀，穗行數和行粒數的計算精度可達93%。采用多個攝像機同步獲取多張果穗圖像明顯提高了測量精度，主要性狀測量精度可達99%，但硬件成本明顯上升且果穗測量效率明顯降低，處理速度為4穗/min[5]。本文提供的方法和系統較好平衡了果穗考種效率和精度，具有以下特點：采用1個攝像機實現果穗信息高效采集，單個果穗采集的圖像數量超過70張，可以準確、完整獲取果穗果穗表面信息，采集效率達15穗/min；由于圖像分析是較耗時的操作，難以做到實時處理，果穗圖像采集完成后送入計算機后臺計算，計算效率為4穗/min；新穎的果穗表面全景成像技術，可直觀、完整表征果穗表面上籽粒的數量和分布信息，由此計算出的穗行數和總粒數等指標準確率均超過97%。

值得指出的是，考種系統性能仍有進一步提升空間。比如，同時采集多個果穗的圖像，然后通過圖像裁剪自動生成各個果穗的圖像序列，可以成倍提高考種通量；在保證表型計算精度條件下，合理減少采集圖像數量也可減輕圖像數據存儲壓力、提高圖像處理效率。這是將來研究所需解決的問題。

4 結 論

本文分析了限制玉米果穗考種效率和精度的主要因素，提出了一種基于全景圖像的玉米果穗流水線考種方法和系統。該系統利用果穗自動托輥式傳動機構實現批量果穗自動連續推送，采用工業攝像機自動檢測果穗運動狀態，并根據狀態觸發實時圖像采集，獲取覆蓋果穗全表面的圖像序列，圖像采集效率達15穗/min。基于果穗圖像序列，從中抽取果穗圖像中心畸變最小區域，拼接成真實表征玉米果穗表面信息的全景圖像，并結合圖像處理技術提取出果穗表面有效籽粒，計算出果穗數量和幾何性狀，計算效率為4穗/min。相比基于單張和多張果穗圖像的考種方法，提出的基于果穗表面全景圖像的表型計算方法更充分利用了果穗完整信息，有利于揭示果穗的個性化性狀，穗長、穗粗、穗行數、行粒數和總粒數計算精度分別為99%、91.84%、97.15%、98.89%和95.37%。該方法和系統較好滿足了玉米果穗考種的效率和精度要求，為研發新一代玉米果穗全自動、高通量表型檢測裝置提供了有益借鑒。

[1] 呂永春，馬欽，李紹明，等. 基于背景板比例尺的玉米果穗圖像特征測量[J]. 農業工程學報，2010，26(增刊2)：43－47.

Lü Yongchun, Ma Qin, Li Shaoming, et al. Image features measurement of maize ear based on background plate scale[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2010, 26(Supp.2): 43－47. (in Chinese with English abstract)

[2] 周金輝，馬欽，朱德海，等. 基于機器視覺的玉米果穗產量組分性狀測量方法[J]. 農業工程學報，2015，31(3)：221－227.

Zhou Jinhui, Ma Qin, Zhu Dehai, et al. Measurement method for yield component traits of maize based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(3): 221－227. (in Chinese with English abstract)

[3] 肖伯祥，王傳宇，郭新宇，等. 玉米考種自動化流水線機構設計與仿真[J]. 系統仿真學報，2015，27(4)：913－919.

Xiao Boxiang, Wang Chuanyu, Guo Xinyu, et al. Automatic pipelining mechanism design for maize ear analysis[J]. Journal of System Simulation, 2015, 27(4): 913－919. (in Chinese with English abstract)

[4] 吳剛，陳曉琳，謝駕宇，等. 玉米果穗自動考種系統設計與試驗[J]. 農業機械學報，2016，47(增刊1)：433－441.

Wu Gang, Chen Xiaolin, Xie Jiayu, et al. Design and experiment of automatic variety test system for corn ear[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(Supp.1): 433－441. (in Chinese with English abstract)

[5] 宋鵬，張晗，王成，等. 玉米高通量自動考種裝置設計與試驗[J]. 農業工程學報，2017，33(16)：41－47.

Song Peng, Zhang Han, Wang Cheng, et al. Design and experiment of high throughput automatic measuring device for corn[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(16): 41－47. (in Chinese with English abstract)

[6] 王洪稷，羅小林，宋鵬，等. 玉米自動考種流水線控制系統設計—基于MCGS嵌入式組態軟件[J]. 農機化研究，2017，39(2)：196－199.

Wang Hongji, Luo Xiaolin, Song Peng, et al. Application situation and development route of the full-feeding peanut stripper[J]. Journal of Agricultural Mechanization Research, 2017, 39(2): 196－199. (in Chinese with English abstract)

[7] 柳冠伊，楊小紅，白明，等. 基于線陣掃描圖像的玉米果穗性狀檢測技術[J]. 農業機械學報，2013，44(11)：276－280.

Liu Guanyi, Yang Xiaohong, Bai Ming, et al. Detecting techniques of maize ear characters based on line scan image[J]. Transactions of the Chinese Society for Agricultural Machinery, 2013, 44(11): 276－280. (in Chinese with English abstract)

[8] 劉松林，哈長亮，郝向陽，等. 基于機器視覺的線陣CCD相機成像幾何模型[J]. 測繪科學技術學報，2006，23(5)：387－390.

Liu Songlin, Ha Changliang, Hao Xiangyang, et al. Line scanor cameras imaging model based on machine vision[J]. Journal of Zhengzhou Institute of Surveying and Mapping, 2006, 23(5): 387－390.(in Chinese with English abstract)

[9] 陳鯉江，劉鐵根，王磊，等. 用平板掃描儀及圖像處理方法檢測大米粒型[J]. 紅外與激光工程，2006，35(增刊4)：402－407.

Chen Lijiang, Liu Tiegen, Wang Lei, et al. Detection of rice kernel shape using flatbed scanning and image processing[J]. Infrared and Laser Engineering, 2006, 35(Supp.4): 402－407. (in Chinese with English abstract)

[10] 賈佳，王建華，謝宗銘，等. 計算機圖像識別技術在小麥種子精選中的應用[J]. 中國農業大學學報，2014，19(5)：180－186.

Jia Jia, Wang Jianhua, Xie Zongming, et al. Wheat seeds selection based on computer image recognition technique[J]. Journal of China Agricultural University, 2014, 19(5): 180－186. (in Chinese with English abstract)

[11] 溫維亮，郭新宇，楊濤，等. 玉米果穗點云分割方法研究[J]. 系統仿真學報，2017，29(12)：3030－3034.

Wen Weiliang, Guo Xinyu, Yang Tao, et al. Point cloud segmentation method of maize ear[J]. Journal of System Simulation, 2017, 29(12): 3030－3034.(in Chinese with English abstract)

[12] 溫維亮，王勇健，許童羽，等. 基于三維點云的玉米果穗幾何建模[J]. 中國農業科技導報，2016，18(5)：88－93.

Wen Weiliang, Wang Yongjian, Xu Tongyu, et al. Geometric modeling of maize ear based on three-dimensional point cloud[J]. Journal of Agricultural Science and Technology, 2016, 18(5): 88－93.(in Chinese with English abstract)

[13] 韓仲志，楊錦忠. 計數玉米穗行數的機器視覺研究[J]. 玉米科學，2010，18(2)：146－148.

Han Zhongzhi, Yang Jinzhong. Vision research on the machine of counting ear rows in maize[J]. Journal of Maize Science, 2010, 18(2): 146－148.(in Chinese with English abstract)

[14] 張帆，李紹明，劉哲，等. 基于機器視覺的玉米異常果穗篩分方法[J]. 農業機械學報，2015，46(增刊1)：45－49.

Zhang Fan, Li Shaoming, Liu Zhe, et al. Screening method of abnormal corn ears based on machine vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2015, 46(Supp.1): 45－49.(in Chinese with English abstract)

[15] 杜建軍，郭新宇，王傳宇，等. 基于分級閾值和多級篩分的玉米果穗穗粒分割方法[J]. 農業工程學報，2015，31(15)：140－146.

Du Jianjun, Guo Xinyu, Wang Chuanyu, et al. Segmentation method for kernels of corn ear based on hierarchical threshold and multi-level screening[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(15): 140－146. (in Chinese with English abstract)

[16] 劉長青，陳兵旗. 基于機器視覺的玉米果穗參數的圖像測量方法[J]. 農業工程學報，2014，30(6)：131－138.

Liu Changqing, Chen Bingqi. Method of image detection for ear of corn based on computer vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2014, 30(6): 131－138. (in Chinese with English abstract)

[17] Miller N D, Haase N J, Lee J, et al. A robust, high-throughput method for computing maize ear, cob, and kernel attributes automatically from images[J]. Plant Journal, 2017, 89(1): 169－178.

[18] 杜建軍，郭新宇，王傳宇，等. 基于穗粒分布圖的玉米果穗表型性狀參數計算方法[J]. 農業工程學報，2016，32(13)：168－176.

Du Jianjun, Guo Xinyu, Wang Chuanyu, et al. Computation method of phenotypic parameters based on distribution map of kernels for corn ears[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(13): 168－176. (in Chinese with English abstract)

[19] 王傳宇，郭新宇，吳升，等. 基于計算機視覺的玉米果穗三維重建方法[J]. 農業機械學報，2014，45(9)：274－279.

Wang Chuanyu, Guo Xinyu, Wu Sheng, et al. Three dimensional reconstruction of maize ear based on computer vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(9): 274－279. (in Chinese with English abstract)

[20] 王傳宇，郭新宇，吳升，等. 采用全景技術的機器視覺測量玉米果穗考種指標[J]. 農業工程學報，2013，29(24)：155－162.

Wang Chuanyu, Guo Xinyu, Wu Sheng, et al. Investigate maize ear traits using machine vision with panoramic photograyphy[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(24): 155－162. (in Chinese with English abstract)

[21] Meyer G E, Neto J C, Jones D D, et al. Intensified fuzzy clusters for classifying plant, soil, and residue regions of interest from color images[J]. Computers & Electronics in Agriculture, 2004, 42(3): 161－180.

[22] Meyer G E, Neto J C. Verification of color vegetation indices for automated crop imaging applications[J]. Computers & Electronics in Agriculture, 2008, 63(2): 282－293.

[23] 張志斌，羅錫文，臧英，等. 基于顏色特征的綠色作物圖像分割算法[J]. 農業工程學報，2011，27(7)：183－189.

Zhang Zhibin, Luo Xiwen, Zang Ying, et al. Segmentation algorithm based on color feature for green crop plants[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2011, 27(7): 183－189. (in Chinese with English abstract)

[24] AI-amri S S, Kalyankar N V, Khamitkar S D. Image segmentation by using threshold techniques[J]. Computer Science, 2010, 2(5): 83－86.

[25] Patra S, Gautam R, Singla A. A novel context sensitive multilevel thresholding for image segmentation[J]. Applied Soft Computing, 2014, 23(10): 122－127.

[26] Osuna-Enciso V, Cuevas E, Sossa H. A comparison of nature inspired algorithms for multi-threshold image segmentation[J]. Expert Systems with Applications, 2013, 40(4): 1213－1219.

[27] Maji S, Berg A C, Malik J. Efficient classification for additive kernel SVMs[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(1): 66－77.

[28] Chang C C, Lin C J. LIBSVM: A library for support vector machines[J]. ACM Transactions on Internet Systems and Technology, 2011, 2(3): 1－27.

[29] Severini A D, Borrás L, Cirilo A G. Counting maize kernels through digital image analysis[J]. Crop Science, 2011, 51(6): 2796-2800.

[30] Du J J, Guo X Y, Wang C Y, et al. Three-dimensional reconstruction and characteristics computation of corn ears based on machine vision[J]. IFIP Advances in Information and Communication Technology, 2015, 420(4): 290－300.

Assembly line variety test method and system for corn ears based on panoramic surface image

Du Jianjun, Guo Xinyu※, Wang Chuanyu, Xiao Boxiang

(1.,100097,; 2.100097,)

The phenotypic traits of corn ear are important quantitative data in maize breeding and variety identification. In tradition, breeding workers are employed to deal with lots of corn ears by means of manual measurement and visual count, however this process is seriously labor-consuming and time-costing, and the measured traits are prone to be subjective and incomplete. In recent years, some semi-automatic systems based on machine vision and image analysis have been developed and applied to the maize variety test, however fully automated test system is still a challenge task owing to the strict high-throughput and high-precision requirements in large-scale maize breeding. To balance efficiency and accuracy of variety test for corn ears, in this paper, a high-throughput phenotypic measurement method and system based on panoramic surface image is proposed. Firstly, a novel mechanic system is proposed, which automatically conveys corn ears above a chain-roller structure, while the rolling corn ears are continuously imaged by a fixed industrial camera that is perpendicular to the moving plane of corn ear. In only several seconds, dozens of side images in which corn ears are in different positions can be collected to generate the image dataset of single corn ear. By analyzing the movement state of corn ear, a transformation model which describes the relationship among ear roll, camera imaging and surface position is then built to bridge the image sequence and the panoramic surface image of corn ear. Corn ears in the image sequence are respectively segmented and the center axes are dynamically determined by figuring out the shape and bounding box. This model always extracts the most appropriate sub regions of corn ear from image sequence, and then stitches them to the calculated positions on the panoramic surface image. As a result, the panoramic image of corn ear demonstrates the three-dimensional surface information in a two-dimensional image, and thus provides more intuitive and complete way for phenotyping calculation of corn ear. The valid surface region of corn ear in the panoramic image is further determined by the boundary detection technique that is performed by evaluating the perimeters of corn ear in the image sequence. Robust kernel segmentation based on hierarchical threshold method is also utilized to extract all candidate kernels which satisfy area and shape constraint, and some more restrictive filters based on machine learning methods, such as SVM (support vector machine), can also be taken to evaluate the validation of kernels. The segmented kernels in the panoramic image are used to calculate the total kernels, number of ear rows and kernels per row. The experimental results show that the proposed method and system can achieve optimized efficiency and accuracy balance. High-throughput convey mechanism improves the efficiency of image acquisition to 15 ears per minute. Compared with the methods based on single and multiple images, the variety test method based on panoramic surface image can make full use of the entire surface information of corn ear and reveal its individual phenotypic traits. The computation accuracies of ear length, ear diameter, number of ear rows, kernels per row and total kernels are up to 99%, 91.84%, 97.15%, 98.89% and 95.37% respectively.

image processing; machine vision; image segmentation; corn ear; phenotypic trait; image mosaic; panoramic image; variety test

杜建軍，郭新宇，王傳宇，肖伯祥. 基于全景圖像的玉米果穗流水線考種方法及系統[J]. 農業工程學報，2018，34(13)：195－202.doi：10.11975/j.issn.1002-6819.2018.13.023 http://www.tcsae.org

Du Jianjun, Guo Xinyu, Wang Chuanyu, Xiao Boxiang. Assembly line variety test method and system for corn ears based on panoramic surface image[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(13): 195－202. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2018.13.023 http://www.tcsae.org

2018-03-13

2018-06-03

國家自然科學基金（31671577）；國家重點研發計劃（2016YFD0300605-01）；北京市農林科學院創新能力建設專項（KJCX20180423）；北京市農林科學院數字植物科技創新團隊（JNKYT201604）

杜建軍，男，副研究員，主要從事作物表型、計算機圖形圖像、生物力學等相關技術研究。Email：dujj@nericta.org.cn

郭新宇，男，研究員，主要從事數字植物理論研究。 Email：guoxy@nercita.org.cn

10.11975/j.issn.1002-6819.2018.13.023

TP391.41; S333.3

A

1002-6819(2018)-13-0195-08