基于立體視覺測量的棉花頂芽識別定位技術研究

李建亮，支辛蕾，曹清政，王瑩瑩

(北京振興計量測試研究所，北京 100074)

0 引言

棉花是我國經濟作物的重要組成部分，也是我國紡織工業的主要原料[1]。棉花打頂是棉花生長周期內的一個重要環節，通過對棉花打頂，可使棉花頂芽的生長優勢得到抑制，改變養分輸送方向，促進棉株結鈴結桃，從而提高棉花的質量和產量[2]。目前棉花打頂作業主要有人工打頂、化學打頂和機械打頂方式[3]。隨著我國農業土地政策的不斷完善，棉花種植逐漸向規模化種植趨勢發展[4]，為了減輕勞動強度，提高棉花品質，機械化打頂越來越成為棉花打頂的主要方式[5]。

目前的棉花打頂機大多是對全行棉花高度仿形進行打頂，去除棉花頂芽的同時也會將棉花頂芽周圍的側枝和葉子損壞，降低了棉花的產量[6]。現有測高傳感器精度參數指標有限，打頂機還普遍存在過切率和漏切率高的問題。因此必須提高棉花頂芽識別和定位準確性，實現打頂機精準打頂，才能推進棉花打頂機在棉花打頂領域的推廣應用[7]。本研究將立體視覺測量技術應用在棉花打頂機上，結合深度學習識別算法和雙目視覺視差原理，得到單株棉花頂芽的空間位置坐標，實時控制打頂執行裝置完成棉花打頂作業，實現棉花的精準打頂作業。

1 棉花頂芽識別定位系統整體架構設計

棉花頂芽識別定位系統工作原理如圖1所示，通過雙目相機實時采集棉花圖像，并將采集的圖像數據傳送至工控機，通過工控機內識別定位算法得出棉花頂芽的空間位置坐標，并將位置信息反饋給打頂作業執行器控制系統，控制執行器完成棉花打頂作業。

圖1 棉花頂芽識別定位系統原理

棉花頂芽識別定位系統采用分層思想進行模塊化設計，系統架構如圖2所示。設備層中的雙目相機是識別定位系統的基礎，數據層中的相機參數配置文件提供相關數據給雙目相機校正標定和空間位置測量使用，可見光雙目視頻數據提供給智能識別模塊和多目標匹配模塊進行識別定位算法計算，在結果層得出棉花頂芽的識別結果和空間三維坐標，在輸出層將結果數據顯示并存儲，后續提供給執行裝置控制系統使用。

圖2 棉花頂芽識別定位系統架構

2 視覺系統設計

2.1 雙目相機

兩個雙目相機選用大華科技3000系列A3200CG50工業相機，相機參數和鏡頭參數分別如表1、表2所示。針對棉田具體的使用環境，對相機和鏡頭進行一體化封裝和調試，保證了視覺系統的可靠性。視覺系統結構如圖3所示。

表1 雙目相機參數

表2 鏡頭參數

圖3 視覺系統結構

2.2 相機標定

為了建立目標的圖像像素坐標與空間位置坐標之間的關系，即圖像坐標系與世界坐標系之間的關系，需要對相機進行內參標定和外參標定[8]，從而求解出相機的內參數和外參數。相機的內參數反映的是圖像坐標系到相機坐標系之間的投影關系，包括4個內參數和5個畸變參數；相機的外參數反映的是相機坐標系和世界坐標系之間的旋轉和平移關系，包括外部參數旋轉矩陣R和平移矩陣T。本系統采用張氏標定法對相機進行標定，具體步驟如下：

(1) 設計16×14正方形黑白棋盤格標定圖紙，每一個小正方形格子大小為(50×50) mm，將其貼在平面物體的表面。

(2) 提取角點信息。用左、右相機同時采集各個不同角度的標定模板圖像，并檢測每張棋盤格的特征點(即角點)。由于棋盤標定圖紙中所有角點的空間坐標是已知的，其在棋盤格圖片中的像素坐標也是已知的，因此可根據LM等優化方法求解單應性矩陣H。

(3) 分析左、右相機標定的誤差。

(4) 將標定實驗時左、右相機在世界坐標系下的實際位置關系和黑白棋盤格標定板實際擺放位置進行立體校準。

雙目相機的標定如圖4所示。由圖4可以看出，仿真重現位置關系和實際情況基本符合，雙目立體標定基本正確。

圖4 雙目相機的標定

3 棉花頂芽智能識別定位系統

3.1 棉花頂芽識別

棉花頂芽的形態各異，雙目相機的拍攝距離、角度及環境光照條件等對棉花頂芽的識別效果有很大影響。復雜的場景和工況對系統的準確識別定位提出了更高的要求,因此系統采用深度學習算法——YOLOv3算法對棉花進行智能識別[9]，通過前期采集大量棉花頂芽圖片作為數據集訓練樣本，由人工在采集樣本上標注棉花頂芽的位置，提取棉花的有效特征參數，將數據集通過設計的智能識別算法進行學習訓練后，實現對棉花頂芽的實時、準確識別，提高了系統的實時性和準確性[10]。

3.2 棉花頂芽位置測量

由雙目相機采集左、右兩幅圖像分別完成對棉花頂芽的識別后，需將兩幅圖像的識別結果進行匹配，檢測到目標為同一株棉花頂芽，然后才能對頂芽目標進行空間位置測量，以獲取該株棉花頂芽的空間位置坐標。本系統采用尺度不變特征轉換(SIFT)算法進行左、右相機識別圖像的匹配。SIFT是一種局部性特征描述方法，通過在不同的尺度空間內查找目標特征點，并計算特征點方向[11]，完成圖像匹配。

將左、右相機識別的圖像匹配后，利用雙目立體視覺的視差原理測量物體的空間位置三維坐標，實現深度場的恢復。兩個相機的圖像平面和被測物體之間構成一個三角形，已知相機間的位置關系，便可計算出雙目相機公共視場內空間物體特征點的三維坐標[12]。

3.3 系統軟件設計

基于深度學習的棉花頂芽智能識別定位系統軟件主要包括綜合控制模塊、數據采集模塊、數據編解碼模塊、智能識別模塊、雙目相機多目標匹配模塊、空間位置測量模塊、監控模塊和數據傳輸模塊。棉花頂芽識別定位系統軟件流程如圖5所示。

圖5 棉花頂芽識別定位系統軟件流程

4 現場試驗

4.1 系統識別試驗

在山東濱州機采棉基地對設計的棉花頂芽識別定位系統進行現場試驗。

首先對不同訓練條件下產生的模型文件進行了測試，即對12 603張圖片數據集生成的訓練模型文件進行測試及分析，包含背光、逆光、強光、弱光、頂芽不同生長階段、頂芽存在遮擋等不同類型的測試集，每張圖片中平均有約3個～5個棉花頂芽，其中12 202張圖片內的所有棉花頂芽能被完全識別；257張圖片中的棉花頂芽目標識別小于2個，識別率可達到96.81%；144張無效圖，即圖片中無棉花頂芽或部分圖像模糊。

然后，本系統在棉田對實際棉花頂芽進行識別試驗，分別在一天中不同時刻對棉花頂芽進行識別，如圖6所示。不同時刻對棉花頂芽的識別率是不同的，經測試計算最佳識別率可達到91.45%。產生識別率下降的原因可能是由于不同時刻太陽光照強度不同導致。可以看出該智能識別在棉花頂芽識別定位方面得到很好的應用，并按此推斷后期對系統軟件算法進行優化和增加專用光照系統后，會有效提高系統的識別率。

圖6 不同環境下識別試驗

4.2 視覺定位測量試驗

在打頂試驗前，首先用標號簽對將要測試的棉株依次進行標號，用直尺手動測量雙目相機距離棉花頂芽最上端的距離，按照序號記錄在表格中；然后將識別定位系統放置在棉花頂芽位置，打開系統對棉花頂芽進行識別，識別結果如圖7所示。系統界面會顯示視覺定位棉花頂芽的數據，將測試結果記錄在表格內，如表3所示。由表3可以看出，采用立體視覺方法測量的棉花頂芽距離與實測距離非常接近，誤差在10%以內，可以滿足棉花打頂機的使用需求。

圖7 視覺定位測量試驗結果

表3 視覺定位測試數據

5 結論

針對棉花打頂機中棉花頂芽識別定位精度低、時效性差的問題，將立體視覺測量技術應用于棉花機械打頂作業中，結合深度學習智能識別算法和雙目視覺測量原理，設計了一套棉花頂芽識別定位系統。系統能實現對棉花頂芽位置的快速準確測量，并給出棉花頂芽的空間位置坐標，驅動打頂執行器到打頂位置，實現對棉花頂芽的精準打頂。通過棉田試驗表明，本系統能實現對單株棉花頂芽的快速精準打頂作業，為棉花打頂精細化作業提供了技術保障，對棉花品質和產量的提高具有重要意義。