一種基于改進YOLOv5單目測距方法研究

高 港，魏利勝 ，唐紹語

(安徽工程大學電氣工程學院,安徽 蕪湖 241000)

隨著人工智能快速發展,基于計算機視覺測距的應用在各行業層出不窮,如機器人、智能交通、智能監控等[1]。各行業對檢測目標進行反饋的要求,如機器人路障規避、機械手臂抓取物體等,使其保持高精度、高快速性,同時實現目標檢測與距離測量,成為當前測距研究的熱點與難點。因此,如何有效地結合各種目標檢測算法與單目視覺來提高測距精度和速度,具有重要的研究意義。

國內外眾多學者已在單目測距領域進行了廣泛而深入的研究,取得了諸多成果。于國防等[2]結合單目測距和有限局域圖像快速匹配算法,實現倒車影像系統中目標距離探測;汪亞兵等[3]融合RANSAC(Rando m Sa mple Consensus)算法、Pn P(Perspective-n-Point)算法和單目測距進行目標距離的計算;關闖等[4]利用路況消隱點的單目測距方法結合數字圖像處理Hough變換,實現車輛間距離測量;劉軍等[5]把參變逆透視和道路消失點運用到單目視覺測距,實時測量車輛距離;劉斌等[6]通過邊緣損失函數、跨階段部分網絡和雙向特征金字塔的融合,實現基于紅外圖像的更快更準的深度計算;Bojan等[7]利用YOLOv3(You Only Look Once Version 3)算法和立體視覺測量算法,預估目標與攝像頭的距離。黃同愿等[8]突出單目測距原理中偏航角和俯仰角的作用,使用冗余切圖和邊界框篩選,改善行人測距精度;李占旗等[9]采用SSD(Single Shot Multi Box Detector)算法、Pn P算法和單目測距,實現前車車牌距離探測;許洋等[10]結合YOLOv3目標檢測網絡和多目標跟蹤算法,通過相似三角形原理的單目測距算法實現在特定結構化道路環境的測距;王永森等[11]利用基于車輛下邊沿估計和逆透視變換的單目測距方法,實現車輛測量精度的提升;王文勝等[12]結合YOLOv5目標檢測和單目測距進行車體與標志牌距離的測量。

以上研究成果總體上對匹配算法依賴性強,導致測量精度不高、速度不快,為此,本文將在以上研究的基礎上,探討一種基于改進YOLOv5的測距策略,在目標檢測階段采用K-means++自適應錨框計算、Focal-EIOU 邊界框損失函數以及EIOU 非極大抑制優化YOLOv5算法的輸入端和輸出端,并將得到的目標檢測輸出預測框作為幾何單目測距輸入,同時結合攝像機內外參進行相似三角形測距運算,從而實現目標精確測距。

1 基于改進YOLOv5的單目測距原理

基于改進YOLOv5算法的單目測距原理如圖1所示。從圖1可以看出,基于改進YOLOv5算法的單目測距主要分為目標檢測、內外參數獲取以及單目測距3個組成部分。在目標檢測階段,主要采用改進YOLOv5算法得到檢測框;然后,通過對相機的標定,獲取其內外參;最后,根據相似三角形測距原理,將目標檢測輸出框底部中點作為映射點與相機內外參相結合,實現單目精確測距。

圖1 改進YOLOv5測距原理

1.1 目標檢測

YOLOv5算法由經典的單階段目標檢測YOLO 算法發展而來,主要有4種類型分別為YOLOv5s、YOLOv5 m、YOLOv5l、YOLOv5x,在視覺目標檢測領域均得到了廣泛的應用。本文將選用YOLOv5s算法作為單目視覺測距目標檢測階段的基底模型,并從自適應錨框計算、邊界框損失函數、非極大抑制3個方面進行改進。改進后的YOLOv5算法流程圖如圖2所示。由圖2可知,改進的YOLOv5算法由預處理、特征提取、特征融合以及預測框輸出4個組成部分,改進策略主要集中在YOLOv5s算法的輸入和輸出兩端,其中輸入端采用K-means++自適應錨框,輸出端則采用Focal-EIOU 損失函數以及基于EIOU的NMS(Non Maxi mu m Suppression)完成預測輸出。

圖2 改進YOLOv5算法流程圖

(1)K-means++自適應錨框獲取。錨框又稱先驗框,是現階段眾多目標檢測的基礎。錨框用于邊界框的回歸,其大小和位置越接近初始標定真實框越好。當前,YOLOv5算法錨框主要采用K-means聚類方法計算得到,而K-means聚類方法存在兩個方面的問題:①K 值的設定具有偶然性,可能存在聚類中心個數設定不合理的情況;②初始聚類中心的選取具有隨機性,影響聚類速度。為此,在YOLOv5算法錨框初始化階段研究了一種K-means++聚類方法,其流程圖如圖3所示。從圖3可見,K-means++算法首先從一張圖片標記的N個標簽中隨機選取第i個標簽,作為初始聚類中心,并記錄此時聚類中心個數和位置大小:a＝1,(wa,ha)＝(wi,hi);然后選擇a個聚類中心中使1-IOUij最大的標簽,將此標簽定義為第a+1個聚類中心并記錄標簽位置大小:(wi,hi)＝(wj,hj);若a未達到設定K值,則重復上一步驟,直至完成K個聚類中心的選取;在此基礎上,根據所選取聚類中心采用基于1-IOU的K-means算法,算出每個標簽和每個聚類中心的距離d,按照距離大小劃分為K簇標簽,求解每一類別中所有標注框高和寬的平均值;最后輸出K個簇錨框初始尺寸大小。

圖3 K-means++算法流程圖

(2)Focal-EI OU 損失函數選取。Y OL Ov5s目標檢測中使用CI OU(Co mplete-I OU)損失回歸邊界框,雖然考慮到了邊界框回歸的重疊度、中心點、邊界長寬等3個方面的因素,但存在長寬比相同、梯度符號相反等問題,易導致錨框長寬均大于或小于目標框時,出現不合理回歸現象[13]。為此,在原Y OL Ov5s算法中參考EI OU 損失函數,其表達式如下:

式中,LIOU表示IOU;Ldis、Lasp分別表示距離、長寬損失;b為預測框中心點;bgt為目標框中心點;ρ2(b,bgt)代表歐幾里得距離;c是真實框和生成框最小外接矩形框的對角線長度;Cw、Ch分別是外接矩形框的寬度和高度。

此外,為解決目標檢測中的不平衡問題,使EI OU 損失聚焦于高質量錨框,引入聚焦損失Focal L1 Loss[13],如式(2)所示:

式中,c是一個常量,為保證上式在x ＝1處連續,使C ＝;β是用于控制聚焦損失曲線線形的參數;α是用于將不同β情況下對應高低質量錨框梯度的歸一化;x是邊界框回歸損失。

考慮到將EI OU 代替Focal L1 Loss中的x,會引起整體梯度變小,從而弱化EI OU 損失邊界框加權影響。為此,使用I OU 值對EI OU 損失函數進行加權處理,得到Focal-EI OU 損失函數為:

式中,IOU表示交并比;γ表示用于抑制低質量預測框的參數。這樣,隨著邊界框回歸誤差的增大,錨框的梯度值會隨之發生變化,高質量錨框的梯度值會增加,而低質量錨框的梯度值會降低。

(3)EI OU-NMS設置。在Y OL Ov5算法中,采用基于I OU 的NMS,以I OU為閾值,濾除I OU大的預測框,可能導致其他目標預測框被誤刪除。為此,在非極大抑制部分采用基于EI OU-NMS策略,使得邊界框篩選可基于不同I OU 的NMS,具體如下:

式中,M表示得分(置信度)最高的預測框;Bi為同一目標其他預測框;EIOU(M,Bi)為M和Bi的EI OU 損失;ε為NMS 閾值;si為分類置信度。 可見,當EIOU(M,Bi)小于定值ε時,Bi預測框分類置信度留存,否則si置0,即被抑制。

1.2 內外參獲取

本文采用MATLAB標定工具箱對實驗相機標定內外參,使用該工具箱對相機進行標定,需要將準備好的約25張棋盤格照片導入工具箱,通過標定輸出內參矩陣N1和組成相機外參矩陣N2,如式(5)所示[14]:

式中,(u0,v0)為圖像平面中心;fx、fy分別表示u軸、v軸的尺度因子;R表示旋轉矩陣;T表示平移向量。

1.3 單目測距

根據所得目標檢測預測框與相機標定內外參矩陣,采用基于俯仰角的相似三角形幾何測距,通過攝像機成像幾何數學模型把視覺坐標系下特征點信息與成像平面坐標系投影點信息對應關系建立起來,選取目標檢測階段輸出預測框底部的中點Q作為距離測量的參考點,利用Q坐標與相機內外參進行計算,從而得到確定檢測目標的位置信息。測距原理如圖4所示。由圖4可見,Oc為相機光心,Zc為相機光軸,XcYcZc為相機坐標系,相機成像平面為xO1y,滿足x軸、y軸 與Xc軸、Yc軸 平 行,Zc與 平 面xO1y的交點是O1,相機焦距為O1Oc,XwYwZw為建立于M平面上的世界坐標系,坐標系原點為Ow,Q(Xw,Yw,Zw)為M平面上的點,Q＇是Q在平面xO1y上的映射,為Q＇(x,y),對應平面xO1y像素坐標系uO0v中的坐標為(u,v)。可推得空間中任意一點Q距離攝像頭深度信息Zc為:

圖4 單目視覺測距原理圖

式中,N ＝N1N2表示3×3的投影矩陣,其中N1為單目相機內參,N2為單目相機外參。

2 實驗驗證

實驗1 目標檢測

本實驗采用VOC 2007數據集,在Windows 10操作系統、Py Char m 2021.3集成開發環境下進行,使用Pytorch 1.10.0框架,CUDA 版本為11.3,用Python語言編程。所采用的硬件配置為AMD R7 CPU,GTX 3070顯卡,8 G 顯存。網絡參數設置為:識別類別數20、網絡深度增益0.33、卷積通道增益0.50、batch-size＝8、epochs＝15、輸入圖像大小默認640×640等。經過訓練后,得出檢測效果如圖5所示。由圖5可見,0～19數字分別表示飛機、自行車、鳥、船、杯子、公共汽車、小汽車、貓、椅子、奶牛、餐桌、狗、馬、摩托車、人、盆栽植物、羊、沙發、火車、電視。從檢測結果中可以看出,算法即使在目標與背景相似、檢測目標密集的情況下,也具有很好的檢測效果。為驗證所提方法的有效性,選用精確度、召回率、平均精度平均值(mAP)、每秒傳輸幀數(FPS)、訓練模型文件大小5個性能指標對算法結果進行評估,并在經過15 epochs訓練后,與YOLOv3、YOLOv5s進行比較實驗,所得結果如表1所示。由表1可知,改進的YOLOv5算法雖然在召回率上分別較YOLOv3有所下降,但是比YOLOv5s高3.2%,且在準確率和mAP上均優于YOLOv3和YOLOv5s,分別高出16.0%、0.6%和1.5%、2.1%,同時,改進的YOLOv5算法檢測速度和模型大小更優。

圖5 改進YOLOv5目標檢測效果圖

表1 目標檢測算法性能參數比較表

實驗2 單目測距

本實驗中,單目相機為聯想拯救者RP 9000筆記本自帶攝像頭,分辨率為1280×720,焦距為35 mm,放置在距地面0.72 m 高度,保持路面與攝像機光軸平行,實驗測量距離不同目標,經標定可得相機內外參為:

為了檢測不同目標(行人和自行車)的距離,經過單目相機拍攝,得到3張待檢測源圖像,結果如圖6所示。由圖6可見,源圖像Ⅰ表示15.0 m 位置行人照,源圖像Ⅱ表示15.0 m 位置自行車照,源圖像Ⅲ表示15.0 m 位置自行車和20.0 m 位置行人混合照。采用改進后的YOLOv5算法輸出預測框的底部中點作為單目測距原理中的Q 點進行測距,同時與YOLOv3、YOLOv5s算法進行測距比較實驗,所得結果如圖7～9所示。

圖6 待檢測源圖像

為便于比較改進后的YOLOv5與YOLOv3、YOLOv5s的測距精確度和快速性,將圖7～9中實驗參數統計,得到3種方法的測距對比如表2所示。由表2可知,對源圖像Ⅰ,改進后的YOLOv5對于行人測距效果更優,測距誤差與YOLOv3測距方法相同,較YOLOv5s降低了8.6%,而平均耗時較YOLOv3方法縮短了0.006s,與YOLOv5s方法相當;對源圖像Ⅱ,改進后的YOLOv5對自行車測距效果更優,相較YOLOv5s測距誤差優化6.7%,耗時相當,而YOLOv3方法未能檢測出圖像中自行車;對源圖像Ⅲ,改進后的YOLOv5對多目標測距效果更優,能同時實現行人和自行車的高精度測距,而YOLOv3 與YOLOv5s方法均未能檢測圖像中的自行車。綜上可見,本文所提方法對單目標或多目標識別精度和識別速度均有所改善,特別是多目標的場景,實驗效果更優。

圖8 源圖像Ⅱ測距效果對比

圖9 源圖像Ⅲ測距效果對比

表2 3種方法測距對比表

3 結論

針對YOLOv3與YOLOv5s算法在多目標場景下識別率不高、測距精度不準的問題,研究了一種基于改進YOLOv5的單目測距方法。通過對YOLOv5算法自適應性錨框計算能力、邊界框回歸質量、預測框篩選精度的改進,以提高目標檢測算法的快速性和準確性,并進行了兩個實驗驗證,表明所提方法在單目測距中的可行性和有效性。如何進一步降低單目相機內外參標定不準確所帶來的測距誤差,提高復雜多目標場景下的目標精確識別,這將是接下來的重點研究工作。