一種基于解耦旋轉錨框匹配策略的谷粒檢測方法

王宏樂，王興林，李文波，鄒阿配，葉全洲，劉大存

（1.華南理工大學環境與能源學院，廣東 廣州 510006；2.深圳市豐農控股有限公司，廣東 深圳 518055；3.深圳市宇眾物聯科技有限公司，廣東 深圳 518126；4.深圳市豐農數智農業科技有限公司，廣東 深圳 518055）

【研究意義】種子檢測是作物質量檢測的關鍵環節，也是品種選育、新品種審定和推廣的重要依據。種子的傳統檢測方法主要依賴于人工或電子計數儀，存在效率低、誤差大、耗時耗力等問題［1-3］。Duan 等［4］研發了一種采用單色線陣列相機進行稻粒圖像在線采集的水稻谷粒考種系統，該系統能夠分析稻粒總粒數、實粒數、空粒數和千粒重，但仍存在設備體積太大、功能不夠完善、使用不便利等問題。隨著深度學習技術的快速發展，卷積神經網絡（Convolutional neural networks,CNN）被運用于農業領域中的花、果以及種子計數等場景中［3,5-6］。Tan 等［7］報道了基于分割的水稻谷粒統計的算法；Yu 等［8］報道了使用深度學習框架R-CNN進行水平框目標檢測的方法對水稻小穗進行識別和計數，并獲得了優異的效果；Deng 等［9］通過改進R-CNN 網絡結構優化了稻穗上谷粒檢測的準確性，使漏檢問題有所改善。新技術在考種領域的應用可以提高工作效率和準確度。在谷粒質量檢測及水稻育種中，谷粒粒型（粒長、粒寬、長寬比）是品種選育、識別和衡量稻米外觀品質的主要指標,與稻米食味品質以及商業價值顯著相關，可以使用圖像分割的方法、邊界提取算法來實現該參數的快速計算［1,10-14］，但尚未見使用目標檢測的方法來計算谷粒長寬比的報道。探索建立谷粒計數檢測和谷粒粒型參數提取相結合的可能性，可以簡化考種的工作流程，同時提升檢測效果以及探索其在考種中的應用。

【前人研究進展】目標檢測是計算機視覺領域的基本任務之一。基于深度學習的目標檢測算法有兩大主流方向，分別是兩階段（Twostage）模型和一階段（One-stage）模型［15］。兩階段模型以基于區域卷積神經網絡（Regions with convolutional neural network,RCNN）的網絡結構作為代表，第一步是計算生成候選框，第二步是通過深度學習對候選框進行特征提取，預測候選框的目標類別與目標位置［16］。兩階段模型由于要對候選框進行大量搜索，以及對大量候選框進行卷積操作，使得計算比較耗時［17］。一階段模型以CenterNet 和YOLO（You only look once）系列為代表，可直接從輸入圖片中提取特征，同時確定目標物體的類別與定位，實現了更快的檢測速度［18-19］。傳統的目標檢測器通過水平邊界框（Horizontal bounding boxes,HBB）定位對象。HBB 具有良好的魯棒性，但準確性不足，在許多實際應用中具有一定的局限性，如文本識別、遙感目標檢測等，這些目標物體都具有任意方向性、高縱橫比和密集分布的特征，因此，基于HBB 的模型可能會導致嚴重的重疊和噪聲［17］。

為了解決這類問題，Ma 等［20］提出了基于旋轉的邊界框（Bounding box），并將之引入RPN架構，實現了遙感圖像任意方向的文本檢測；Zhou 等［21］提出一種新的旋轉目標定義方式，通過學習特征點到旋轉框的四邊距離以及角度信息，實現了一階段文本檢測；Yang 等［22］提出一種新的一階段旋轉目標檢測網絡（R3Det），該框架通過特征插值將當前精煉的邊界框位置信息重新編碼為對應的特征點，以實現特征重構和對齊，從而獲取更準確的特征以提高旋轉目標檢測性能。該方法的優點是可以更好地分離密集分布的目標物體，避免相鄰邊界框的重疊，以及減少捕獲目標而引入的背景噪聲。目前，流行的基于回歸方式的角度預測方法存在一些邊界問題，會導致產生一個較大的損失值，因此，Yang 等［23］提出環形平滑標簽（Circular smooth label,CSL）方法，將角度的回歸問題轉換成一個分類問題，通過限制預測結果的范圍來消除這一問題。隨后，Yang 等［24］進一步從過于厚重的預測層以及對類正方形目標檢測不友好等方面優化了CSL 旋轉目標檢測網絡，提升了檢測精度。盡管上述方法在旋轉目標檢測方面取得很大進步，但是旋轉邊界框的引入還是會存在一些小問題，比如較小的角度變化將導致交并比（Intersection over union,IoU）迅速下降，導致檢測結果不準確。為了解決這一問題，一種比較好的方法就是解耦旋轉錨框的匹配，將旋轉邊界框（Oriented bounding boxes,OBB）視為水平邊界框（HBB）和角度的組合，匹配過程基于旋轉解耦邊界框的IoU 而非OBB，因此錨框匹配的穩定性會更好［17］。

【本研究切入點】傳統水平框檢測雖已得到廣泛應用，并具有相當準確率，但對不規則的目標物體特征提取仍十分有限。解耦的旋轉錨框匹配策略是基于特征金字塔網絡（FPN）的結構，該結構采用了多尺度特征融合技術，對小目標物體檢測效果有比較明顯的提升，適合于遙感和水稻谷粒等小目標物體檢測。【擬解決的關鍵問題】相比傳統HBB 檢測中存在大量非目標背景區域，不能準確計算出水稻谷粒的長寬比，不利于檢測目標區域準確的面積計算，使得傳統水平框目標檢測不能在考種中對谷粒長寬比進行有效計算。傳統水平框的目標檢測方法，因標注區域存在非目標區域，以及水平框標注不能解決密集分布目標的重疊問題，較難實現對密集分布目標檢測的準確區分，經常存在漏檢情況。本研究旨在設計一種解耦的旋轉錨框匹配策略，在保證檢測精度的同時實現稻谷長寬比的快速準確計算，簡化考種工作流程，開發方便快速的基于計算機視覺目標檢測的谷粒檢測新方式，并探索基于這種錨框匹配策略在考種中的應用。

1 材料與方法

1.1 數據采集、特征標注及處理

水稻谷粒數據集的采集設備為CANON powershot A70,像素為320 萬，拍攝時光源為自然光，光照強度為100～1 000 lx。將水稻谷粒置于黑色或白色背景板上，谷粒隨機排列。相機固定于50 cm 高處用于水稻谷粒圖像采集，采集的圖像中的谷粒數量為1～500 不等。

為降低重復圖片數量以及無谷粒圖片對模型訓練的干擾，使用人工篩選的方法對采集圖像進行數據清洗，即刪除同一個樣本的重復圖片。清洗后的數據采用人工劃分方法，使用Rolabelimg軟件［23］對目標谷粒分別進行水平框和旋轉框的框選，對圖像邊緣顯示的谷粒面積≥30%以上進行標定，否則不標定。水平框標注采用（x，y，w，h）表示，其中（x，y）是目標框的中心坐標，w和h是分別沿X 和Y 軸的邊界框的長度。旋轉框標注采用（x，y，h，w，θ）表示（圖1），θ為旋轉框與水平線的夾角。

圖1 訓練集圖片的不同標注方式Fig.1 Different types of annotations of bounding boxes in training datasets

自建的水稻谷粒數據集包含144 張標注的圖片，其中訓練集96 張，測試集和驗證集各24 張，白色背景和黑色背景數據各50%，共包含2 922個谷粒樣本，圖片分辨率為20 161 512。驗證集用于平均準確率（Mean average precision,mAP）的計算，測試集用于計算召回率和精確率。將圖片尺寸調整到640×640，用于訓練與測試。

1.2 檢測方法

1.2.1 網絡結構 水平標注水稻谷粒圖像使用YOLOv5l 的網絡體系結構，模型的深度和寬度均為1，參照李志軍等［24］的方法進行實驗,將前景和背景IoU 閾值設置為0.3。本研究參照解耦旋轉框檢測匹配策略（Rotation-decoupled detector,RDD）的方法［17］，首先從骨干網絡中獲取多尺度特征圖，其次是將多尺度特征圖輸入金字塔結構網絡進行特征融合。金字塔網絡實現了語義信息的傳輸，這有助于進行多尺度目標檢測。為了連接不同比例的特征層，對特征圖進行上采樣，并將其與上一層特征圖的對應元素相加。在求和前后，添加卷積層以確保檢測特征的可分辨性。最后，預測層輸出分類和回歸。分類和回歸使用具有相同結構的兩個預測層，并且它們僅在輸出通道數上有所不同。分類的輸出通道數為a×c，回歸的輸出通道數為a×5，a、c 分別對應錨點和類別的數量，所示結構在實踐中也可以擴展到更多的層。在訓練階段設計旋轉解耦的錨框匹配策略，隨后的模型只使用水平錨框，而不是旋轉錨框。本研究選擇ResNet101 和DarkNet53［16-17,25］進行試驗。

1.2.2 邊界框表示 本研究采用一種新的邊界框表示方法，結合了HBB 和OBB 方法各自的優點，這種邊界框表示方法將OBB 分類成兩類，一類為長邊沿水平方向的矩形框（x，y，w，h），另一類為長邊垂直水平方向的矩形框（x，y，h，w），任何OBB 都可以由這兩類HBB 來表示，它們具有相同的形狀和中心點，它們之間的夾角θ被約束在［-π/4，π/4］之內，這個夾角θ重新定義為新邊界框的角度。新的旋轉邊界框的表示與傳統HBB 表示方法較類似，在與真實框（Ground truth）進行匹配計算時，能有效避免OBB 帶來的角度周期性問題。此外，傳統的旋轉檢測器為了獲取任意角度目標物體的準確檢測，采取了大量旋轉錨框設置，相比之下，新的旋轉邊界框表示減少了大量錨框的使用，極大地優化了模型訓練與推理過程。

1.2.3 旋轉解耦錨框匹配策略 基于上述定義的邊界框，可以實現一種旋轉解耦的錨框匹配策略。首先將旋轉的邊界框或者真實框解耦為長邊平行或垂直水平方向的矩形框和一個夾角，其中解耦后的矩形框被用作新的真實框進行匹配，這樣旋轉框的夾角就不會參與到真實框的匹配過程，減少角度周期性引入的干擾。具體來說，當IoU 大于前景給定閾值時，將錨框分配給真實框并歸入前景（正樣本）參與訓練；當IoU 低于背景給定閾值時，將錨框歸為背景（負樣本）參與訓練。本研究將前景IoU 閾值設置為0.5，將背景IoU 閾值設置為0.4。為了使得錨框能夠更好地與不同尺度不同方向的真實框進行匹配，這里使用了7 個寬高比{1、3/2、2/3、3、1/3、5、1/5、8、1/8}的水平錨框，每個水平錨框再使用3 種不同尺度{20、21/3、22/3}的縮放。

1.2.4 損失函數 對于目標檢測問題，損失函數都會包括分類問題和回歸問題的損失函數。對于分類損失，根據前面設置的正負樣本IoU 閾值，圖片在錨框與真實框匹配過程中會被標記為正樣本或者負樣本，由于大量圖片的真實目標占比較少，所以標定的負樣本會遠遠多于正樣本，從而導致訓練過程中正-負樣本不平衡問題。為了緩解這種不平衡問題，分類損失采用當前使用比較流行的Focal loss 損失函數（Lcls），計算方法參照Lin 等［26］的方法。對于回歸損失，如果直接使用絕對坐標預測真實框，會導致定位不準確。由于真實框尺度不一致，預測框與真實框的相同偏差對不同尺度真實框的誤差表現會不一樣，尺度大的真實框誤差表現較小，尺度小的真實框誤差表現較大，因而直接預測絕對坐標所產生的loss 不能真正反映預測框的好壞，因此采用目前流行的偏移量進行回歸預測，回歸損失（Lreg）的計算參照Zhong 等［17］的方法。總的損失函數（Ltotal）由分類損失和回歸損失組成，表示為Ltotal=Lcls+λLreg，兩項之間的權衡由平衡參數λ 控制，本研究將λ 設置為1。

1.3 模型訓練

本研究在臺式計算機上，基于PyTorch 深度學習框架實現改進模型和訓練算法。臺式計算機配有NVIDIA V100 的圖形處理器（GPU），搭載Intel(R) Xeon(R) Gold 5218 CPU@2.30GHz，內存為128 GB。實驗環境為Ubuntu 18.04 LTS 64 位系統、Cuda11.3、Cudnn8.1.0、Pytorch1.7.1、Python3.7。

本研究模型訓練使用YOLOv5l 進行水平框標注圖片的訓練，使用DarkNet53 和ResNet101 進行旋轉框標注圖片的訓練。水平框和旋轉框標注圖像訓練采用的批處理大小為64，輸入圖像統一分辨率為640×640。其中旋轉框標注圖片訓練使用衰減系數為5×10-4、動量為0.9 的隨機梯度下降（Stochastic gradient desent,SGD）作為優化器，初始學習率設置為0.001，學習率調整策略為帶熱重啟的隨機梯度下降（Stochastic gradient descent with warm restart,SGDR）［27-28］，基本周期為1，倍率為2，每個周期開始時學習率為基礎學習率，結束后學習率降為0，學習率退火方式為余弦退火［29］。實驗共設計3 種不同的迭代次數，分別為3 600、5 040、6 000 次。

1.4 水稻谷粒長寬比計算

從測試集中隨機抽取32 粒稻谷計算長寬比。水稻谷粒的真實長寬比由游標卡尺測量及計算，長寬比為谷粒的真實長度（h）與寬度（w）的比值。使用HBB 和OBB 檢測模型預測的谷粒長寬比（Aspect ratio,AR）計算公式如下：

平均長寬比為32 個水稻谷粒測量值或預測值的平均值。預測結果的準確性使用均方根誤差（Root mean square error,RMSE）進行評價。數據分析使用SAS 軟件（Release 8.01）和EXCEL2007軟件；利用方差分析（ANOVA）及鄧肯氏新復極差法（Duncan’s Multiple Range Test，DMRT），在P=0.05 水平上進行差異顯著性分析。

2 結果與分析

用相同的驗證集和測試集樣本對構建的基于HBB 的YOLOv5l 模 型、基 于OBB 的ResNet101和DarkNet53 模型進行測試，結果如表1 所示。由表1 可知，所有模型平均精度均值（Mean average precision,mAP）在88.69%～94.80%之間，精確率為99.47%～100.00%，召回率為95.95%～99.47%。其 中，YOLOv5l 模型的mAP 值略高于基于OBB 的ResNet101 和DarkNet53 模 型；除迭代3 600 次的ResNet101 模型的召回率為95.95%，低 于YOLOv5l 模型的97.71%～98.06%外，其余基于OBB 訓練的模型的召回率均不低于YOLOv5l 模型。這表明基于OBB 的ResNet101 和DarkNet53 模型以及基于HBB 的YOLOv5l 模型均對谷粒圖像具有較高的識別精度，基于OBB 的目標檢測的深度學習方法可成功對谷粒圖像進行準確識別。圖2 為YOLOv5l（水平框）、ResNet101（旋轉框）以及DarkNet53（旋轉框）3 種網絡結構分別迭代6 000 次的模型在測試集上的檢測結果，藍色框表示漏檢，黃色框表示誤檢，邊緣少于30%的谷粒不納入統計。

圖2 3 種不同網絡結構的模型在測試集上的谷粒檢測結果Fig.2 Grains detection results of three different network structures in test datasets

2.1 模型迭代次數對谷粒識別率的影響

本研究選擇YOLOv5l 網絡結構對水平框標注圖片進行訓練，選擇ResNet101 和DarkNet53 對旋轉框標注圖片進行訓練。模型訓練迭代次數分別為3 600、5 040、6 000 次。由表1 可知，不同網絡結構模型的mAP 均隨迭代次數增加而增加，當迭代次數從3 600 次增加到6 000 次時，mAP增加幅度最小的網絡結構模型為ResNet101，變化值為0.33%；其次為YOLOv5l，mAP 增加幅度為0.80%；mAP 增加幅度最大的是DarkNet53，變化值為3.54%。同時，所有模型的召回率也隨迭代次數增加而增加，當迭代次數從3 600 次增加到6 000 次時，ResNet101 的召回率從95.95%增加到98.59%，變化值為2.64%；YOLOv5l 的召回率從97.71%增加到98.06%，變化值為0.35%；DarkNet53 的召回率從98.94%增加到99.47%，變化值為0.53%。

表1 不同方法在水稻谷粒測試集的檢測精度對比Table 1 Comparison of detection accuracy of different methods in rice grains test dataset

2.2 不同方式標注對模型谷粒識別率的影響

由表1 可知，使用水平框標注圖片訓練的YOLOv5l 模型的mAP 值均在94%以上，略高于使用旋轉框標注圖片訓練的DarkNet53 和ResNet101 模型。但這3 種不同網絡結構訓練得到的模型的召回率差別不大，以DarkNet53 明顯優于YOLOv5l 和ResNet101，而在迭代次數大于5 040 次后，ResNet101 表現優于YOLOv5l。由圖2 可知，使用旋轉框標注圖片訓練的模型檢測到的目標物體中包含的非目標背景區域占比更少；當目標樣本密集分布時，使用水平框標注圖片訓練的YOLOv5l 模型存在漏檢情況，而使用旋轉框標注圖片訓練的ResNet101 和DarkNet53 模型的漏檢情況得到明顯改善。相比使用水平框標注圖片訓練的YOLOv5l 模型，ResNet101 和DarkNet53在誤檢上表現稍為遜色；當YOLOv5l 模型迭代次數大于5 040 次時的精確率可達100.00%，而在使用旋轉框標注圖片訓練得到的模型中，除ResNet101-3600 精確率為100.00%外，其他模型的精確率均在99.00%以上。

2.3 不同方式的標注對模型在谷粒長寬比計算的影響

由表2 可知，使用基于YOLOv5l 的HBB 檢測模型計算得到的谷粒平均長寬比范圍為2.14～2.16，使用OBB 檢測模型計算得到的谷粒平均長寬比范圍為3.37～3.57，真實值的谷粒平均長寬比為3.57。與真實值相比，HBB 檢測模型計算結果的均方根誤差為9.38～9.45，而旋轉框檢測模型的計算結果的均方根誤差值為0.91～2.29，且訓練迭代次數增加與預測準確性無明顯相關。顯著性分析結果表明，基于YOLOv5l 的HBB 檢測模型的計算結果與真實值存在顯著差異，而基于DarkNet53 和ResNet101 的OBB 檢測模型的計算結果與真實值無顯著差異。結果表明，HBB 檢測模型不能準確地計算水稻谷粒的長寬比，而使用OBB 檢測模型可以準確預測并計算水稻谷粒的長寬比。

表2 不同模型計算的水稻谷粒長寬比Table 2 Aspect ratios of rice grains calculated by different models

3 討論

傳統的水平框檢測雖然具有不錯的準確率，但對細長的密集物體依然存在漏檢現象，且不利于準確提取該類物體的長寬比。因此，開發谷粒計數與谷粒長寬比提取相結合的輕量型模型很有必要，在谷粒質量快速檢測以及品種快速鑒定的場景中具有實用意義。本研究中，HBB 檢測模型YOLOv5l 的mAP 值略高于OBB 檢測模型DarkNet53 和ResNet101。OBB 相 比HBB，增 加了邊界框的角度θ，而θ具有周期性，會導致IoU突然下降，同時預測框角度的較小變化，對IoU造成很大損失［17,22］，這可能是造成其mAP 低于HBB 的主要原因。本研究使用的OBB 檢測方法，誤檢率高于水平框的傳統檢測方法，仍需進一步優化以降低誤檢率。

水稻谷粒的長寬比與其品種、質量等級、價格息息相關，其中雜質和不完善粒的比例極大影響谷粒的質量等級和價格，也是糧食育種選擇、品種鑒定的重要參數之一［10-13,29］。Gotmare 等［28］使用MATLAB 處理圖像提取谷粒的空間參數信息來計算谷粒的長寬比及粒徑分布，誤差率約為10%左右，但在當時的環境條件下運行緩慢，沒有實用性。隨著計算機技術的快速發展，基于深度學習的圖像分割技術也可用于種子計數及長寬比計算，但訓練需要的圖像標注方法復雜，耗時費力，計算相對耗時，而且分割計算種子長寬比采用的是分割結果的外接矩形框，因此受分割準確度影響較大［3,5-6,8,31-32］；相比之下，本研究建立的谷粒計數及長寬比計算方法具有標注簡單、計算速度更快的優點，而且能直接輸出種子長寬比，具有較強的實用性。

水稻谷粒性狀包括形狀、形態、紋理等指標，其中粒長、粒寬、長寬比、圓度與水稻產量和外觀品質直接相關［10-13,33-35］。本研究使用的旋轉框目標檢測方法可實現較高精度的谷粒計數及谷粒長寬比的快速計算，但目前無法實現其他指標如截面積、圓度等的精細測量。黃成龍等［11］報道了基于X-ray 透射成像的稻穗米粒的檢測測量方法，包括谷粒粒型、長度、寬度及飽滿度，平均誤差小于2%，但X-ray 的采集設備十分昂貴。本研究使用的旋轉框檢測策略在迭代6 000 次后具有不錯的測量精度，測量的長寬比與實際測量值相比均方根誤差均小于1，且本研究建立的谷粒計數及長寬比計算方法僅需普通攝像頭拍攝可見光照片即可實現，具有方便、價格低廉的優點。

本研究使用的方法對密集谷粒的漏檢存在一定改善，但仍存在對非谷粒物體的誤檢情況，有待進一步優化。在進一步的研究中，將考慮通過準備摻混不同谷粒雜質，并通過計算目標物體的長寬比來實現雜質檢測的方法來嘗試實現凈度分析、種子真實性和品種純度鑒定，同時與現行標準方法［33］的結果進行比較來進一步驗證方法的可行性及可靠性。

4 結論

本研究結果表明，與HBB 檢測方法相比，使用OBB 檢測方法，更加適合高縱橫比及密集分布的目標檢測，如谷粒檢測。該方法相比傳統水平框的檢測方法，具有以下優點：（1）檢測目標中包含的背景噪聲占比更少，因而具有更高的準確率。相比傳統HBB 檢測中存在大量非目標背景區域，不能準確計算出水稻谷粒的長寬比，不利于檢測目標區域準確的面積計算，使得傳統水平框目標檢測不能在考種中對谷粒長寬比進行有效計算，而OBB 檢測的方法大大改進了這兩項缺點，可準確計算水稻的長寬比，可考慮進一步開發并應用于谷粒質量檢測或品種識別場景。（2）該方法可解決傳統HBB 檢測中對距離較近的谷粒的漏檢問題。傳統水平框的目標檢測方法，因標注區域存在非目標區域以及水平框標注不能解決密集分布目標的重疊問題，較難實現對密集分布目標檢測的準確區分，經常存在漏檢情況。而使用旋轉框的目標檢測方法可以有效解決漏檢問題，從而提升目標檢測的召回率。綜上所述，本研究證明了旋轉框的目標檢測方法在谷粒檢測場景中進行計數和長寬比計算應用的可行性，可實現高效準確地進行谷粒長寬比的計算，通過進一步優化和開發可運用于種子質量檢測及品種鑒定等數字化育種場景中。