999精品在线视频,手机成人午夜在线视频,久久不卡国产精品无码,中日无码在线观看,成人av手机在线观看,日韩精品亚洲一区中文字幕,亚洲av无码人妻,四虎国产在线观看 ?

面向復雜道路目標檢測的YOLOv5算法優化研究

2023-09-25 08:58:58劉鑫滿劉大東
計算機工程與應用 2023年18期
關鍵詞:特征檢測模型

劉 輝,劉鑫滿,劉大東

1.重慶郵電大學通信與信息工程學院,重慶400065

2.重慶郵電大學數智技術應用研究中心,重慶400065

隨著經濟社會的發展,汽車在出行方面給民眾帶來了極大便利,但隨著汽車數量的增多也帶來了一系列的問題,例如交通事故頻發、道路擁堵嚴重等。自動駕駛技術已成為解決這些交通問題的關鍵性技術,并持續受到眾多國家和企業的廣泛關注。

自動駕駛汽車在行駛過程中,需要持續地感知瞬息萬變的周邊道路環境,并在必要時根據感知到的信息采取相應的措施。目標檢測是自動駕駛汽車環境感知系統的重要組成部分,其通過檢測車輛前方或周圍的障礙物目標,使決策系統接收到道路信息進行決策從而保證駕駛的安全性。自動駕駛領域的目標檢測方法多樣,包括基于三維點云、基于雙目視覺、基于單目視覺等不同數據形式的檢測方法。其中,基于單目視覺的方法以其設備部署簡單、數據形式易于組織分析且對硬件負擔較小等優點,成為了自動駕駛感知系統研究的熱點[1-3]。

單目視覺目標檢測的傳統方法對道路目標的檢測需要手工設計合適的特征提取器,如尺度不變特征變換(scale-invariant feature transform,SIFT)[4]、方向梯度直方圖(histogram of oriented gradient,HOG)[5]等,這些方法不僅設計工作量大且泛化能力與魯棒性較差,難以應用于身處復雜道路環境的自動駕駛汽車上。基于深度學習的方法以其檢測精度高、泛化性能強等優勢,開始廣泛進入自動駕駛領域目標檢測的研究者們的視野[6-7]。曹磊等[8]基于Faster RCNN 方法進行車輛檢測,精度良好但實時性較弱。Faster RCNN 屬于二階段目標檢測算法,這類算法在檢測速度上不如單階段算法,且由于其框架限制導致檢測速度難以滿足要求,而單階段算法盡管精度稍低但更容易改進。Yin等[9]基于SSD單階段檢測算法,改進了特征融合網絡并引入空洞卷積提升特征圖的感受野,提升了對于多尺度目標的檢測效果,權衡了模型的檢測精度和速度。郁強等[10]基于多尺度特征圖的YOLOv3算法提高了道路小目標的檢測精度,一定程度上改善了檢測效果。

自動駕駛汽車面臨復雜的道路環境,存在眾多尺寸較小且存在遮擋的難檢測目標,常規檢測算法對此表現一般,要獲得較好的檢測效果往往需要對其進行針對性改進。單階段目標檢測算法YOLO自面世以來,就受到業界學者的廣泛關注,近年來,YOLO算法不斷優化、更新版本,到了YOLOv5版本,算法在滿足實時性的同時,還具備了較高的檢測精度和較為輕量化的網絡結構,適合運用于對自動駕駛場景中目標的檢測進行針對性改進[11-14]。Wang 等[15]基于YOLOv5 增加淺層檢測層來提高道路小目標的檢測精度,但使得模型提取的有效特征被過度分散而不利于常規目標的檢測導致整體精度提升不明顯。鄭玉珩等[16]通過采用BiFPN 的特征融合結構改進YOLOv5 算法來提升網絡的特征復用和組合能力增強了特征表達的多樣性,從而改善遮擋目標易漏檢誤檢的問題,但其大量增加的跨層連接導致了模型推理速度下降,這對算法的實時性影響較大。

針對常規算法對于道路小目標和遮擋目標易漏檢、誤檢的問題,本文基于YOLOv5s 模型進行改進研究:(1)針對由于道路目標尺寸分布的不平衡導致現有聚類算法效果不佳問題,改進現有的K-means++算法,并采用改進算法重新聚類預設錨框,縮短邊界框的收斂路徑;(2)為提升對道路小目標的檢測性能,設計了一種融入了注意力機制的多梯度流殘差結構的路徑聚合型特征增強模塊PAA(path aggregation with attention),替換骨干網絡中的C3 模塊,增強模型對小目標的檢測能力;(3)通過引入EIoU(effective intersection-over-union)loss來增強模型對于目標邊界框的定位精度,提高算法對于遮擋目標的檢測能力。通過上述網絡結構調整、預設邊界框及損失函數改進,使算法能夠更好地適用于復雜道路場景的目標檢測,獲得優良的檢測效果。

1 YOLOv5s算法介紹

YOLOv5s模型是YOLOv5五種規模的模型(YOLOv5n、YOLOv5s、YOLOv5m、YOLOv5l 和YOLOv5x,由前往后規模不斷提升)中權重文件大小和檢測性能較為均衡的一個模型,其權重文件的大小只有14 MB且可勝任常規場景的檢測任務。YOLOv5s 的6.0 版本的網絡結構包括輸入端(input)、骨干網絡(backbone)、特征融合網絡(neck)和預測端(prediction)4 個部分,各部分具體結構如圖1所示。

圖1 YOLOv5s 6.0版本的網絡結構Fig.1 Network structure of YOLOv5s of version 6.0

由圖1 可知,backbone 的第1 層是包含卷積核尺寸為6×6的大卷積核的Conv模塊,與之前版本的Focus模塊有所不同,作為一種有參數可訓練的模塊,Conv可以更具針對性地下采樣,有選擇性地保留道路目標的重要細節信息。backbone第3層是C3模塊,其作為殘差學習的主要模塊,能夠有效增強下采樣得到的道路目標特征圖的同時防止網絡退化。backbone 第10 層是SPPF 模塊,可以將不同尺寸的輸入圖像統一為相同尺寸的特征圖,以提高算法的靈活性。YOLOv5s 的neck 部分為特征融合層,采用FPN(feature pyramid network)+PAN(path aggravation network)的框架,將具象的紋理細節信息豐富的淺層特征圖與抽象的語義信息豐富的深層特征圖進行多維融合。Prediction部分即特征檢測層設置了3 個獨立并行的檢測器,對特征融合層輸出的3 組分辨率不同的特征圖進行卷積,得到對應的預測邊界框及預測類別,實現對復雜道路場景中各類目標的檢測。

2 YOLOv5s模型優化與改進

2.1 基于K-means+D的預設錨框優化

YOLOv5作為基于錨框的目標檢測算法,與無錨框類算法相比,對于初始錨框的設置具有相對較高的依賴性。考慮到原算法給定的初始錨框為對大型通用數據集ImageNet[17]使用聚類算法生成,而ImageNet中目標與道路目標的尺寸相差較大,為了獲得更適合檢測道路目標的錨框,本文對道路目標數據集進行重新聚類。

K-means聚類算法[18]是一個經典的聚類算法,其主要做法為:(1)從數據集中隨機選取K個樣本作為初始聚類中心C={}c1,c2,…,ck;(2)針對數據集中每個樣本點,使其加入距離最近的聚類中心所在的類中;(3)針對每個類別Ci,選擇Ci中每個樣本xj到Ci中Ni個樣本的距離之和最小的樣本作為新的聚類中心;(4)重復(2)、(3)直到聚類中心不再發生變化。

由于K-means 算法采用完全隨機的方式選取初始聚類中心,因此穩定性較差,不同的隨機結果會較大程度影響最終的聚類結果,容易導致其陷入局部最優情況。K-means++算法[19]對此進行改進的思想是約束算法選取初始聚類中心的隨機性,對于不同的樣本點被選取到的概率進行規定,使得與當前已有聚類中心的距離之和越遠的樣本越容易被選擇,從而使得選取的K個初始聚類中心盡可能分散。

盡管K-means++在常規情況下比K-means做得更好,但對于分布不均的數據樣本,簡單地使初始聚類中心設置得足夠遠可能效果并不好。而道路目標檢測的數據集就屬于這種分布極度不均的情況,尺寸較小的行人目標分布密集且與其他各種尺寸目標并存,圖2展示了自動駕駛領域的KITTI[20]和Udacity[21]數據集的目標尺寸分布。

圖2 KITTI和Udacity數據集目標尺寸分布Fig.2 Distribution of target size of KITTI and Udacity

由圖2 可知,KITTI 數據集中尺寸在50×50 以下的目標極為密集,而在寬度230以上、高度125以上的目標又過于稀疏,Udacity數據集存在類似的現象,即目標尺寸分布極度不均。在此情況下,K-means++選出的初始聚類中心會趨向于較為分散的邊緣區域樣本點,但這些樣本點大部分屬于特例樣本點,難以很好地代表全局分布。

因此,本文基于K-means++算法并對其進行改進,使得初始聚類中心的確定額外基于樣本點的密度,其他步驟不變,名為K-means+D,其選擇初始聚類中心的四個步驟詳述如下:

(1)從數據集中隨機選擇1個樣本作為初始聚類中心之一c1。

(2)計算出每個樣本與最近一個已有聚類中心的距離D(x)以及每個樣本的密度因子dx,這里距離D(x)通過交并比(intersection over union,IoU)來表示,密度因子dx用于衡量當前樣本點x周圍一定范圍區域樣本點的稠密程度,計算方式如式(1)所示:

式(1)中,Rx表示當前樣本點x周圍一定區域樣本點的集合,Ω表示全體樣本點的集合。

(3)設定每個樣本x被選的概率px,并按照輪盤法選出下一聚類中心,px的計算方式如式(2)所示:

(4)重復步驟(2)、步驟(3)K-1 次即可確定出全部的K個初始聚類中心。

K-means+D 算法在確定初始聚類中心時,同時考慮聚類中心之間的距離和每個聚類中心周圍區域樣本點的密度,使得確定的初始聚類中心可以更好地接近數據的全局分布情況以提升后續聚類效果。

總體來說,K-means、K-means++及本文提出的Kmeans+D 三種聚類算法的不同實現方法決定了它們具有不同的適用場景。K-means采用完全隨機的方式來確定其K個初始聚類中心,容易在不同的選擇下陷入不同的局部最優,具有不穩定的缺點;K-means++針對K-means算法的不穩定性進行改進,采用距離決定被選概率的機制來確定初始聚類中心,使得初始聚類中心盡可能分散,考慮了樣本集合的全局特征,但對于分布不均的樣本,所選的聚類中心只具有距離上的全局性而缺乏密度上的全局性,因此其只適用于分布較為均勻的樣本集合;K-means+D 算法在K-means++算法的基礎上進行改進,在選擇初始聚類中心時加入樣本密度因子,考慮了樣本分布密集程度,因此其更加適用于尺寸分布不均的道路目標樣本集。

2.2 基于多梯度流結構的特征提取網絡改進

YOLOv5s 的backbone 主要由Conv 模塊和C3 模塊組成。Conv 模塊實現對特征圖的下采樣及非線性變換,而C3 模塊則穿插布局于Conv 模塊之間,實現對特征信息的增強處理,并采用殘差結構緩解深層神經網絡的退化問題。在復雜道路場景下,除常規大中目標外還存在一些不易檢測的小目標,小目標的難檢測問題是無人駕駛安全性的巨大隱患之一。考慮到當前算法對于小目標的檢測效果一般,本文對特征提取網絡中的C3模塊進行改進,使用多梯度流殘差結構進行特征增強實現對語義特征和定位特征的和諧處理,同時融入注意力機制實現高效的特征選擇,將改進后的模塊命名為PAA模塊,其體系結構如圖3所示。

圖3 PAA模塊結構Fig.3 PAA module structure

PAA模塊結構的設計靈感主要來源于Vovnet[22],其使用多個卷積塊的堆疊作為特征提取網絡的統一結構,來提升網絡捕捉細節的能力。PAA 模塊首先對輸入特征圖做恒等卷積,實現特征圖的通道壓縮以提升待聚合特征圖的信息密度。接著對待聚合特征圖使用兩次卷積層加工,生成具有不同感受野和不同層次語義信息的特征圖,再對前幾部分深淺度各異的特征圖進行拼接融合以得到含復雜梯度流特征的特征圖。最后通過ECA[23](effective coordinate attention)模塊提取注意力信息篩選重要特征,并將得到的篩后特征圖與輸入特征圖相加形成殘差結構,以防止網絡退化,ECA 模塊結構如圖4所示。

圖4 ECA模塊結構Fig.4 ECA module structure

ECA模塊是一種高效的通道注意力模塊,其采用非全連接不降維的注意力權值生成方式,既能防止降維造成的信息損失又降低了通道連接的冗余度。

PAA 模塊與ECA 注意力模塊相結合,重要細節信息可以選擇性通過多梯度流結構和殘差連接向深層傳遞,豐富的語義信息也在其中得到強化,因此既能提升模型對道路小目標的檢測性能,又可保持對于道路常規目標的檢測能力。同時與原C3 模塊相比,PAA 中包含了2個3×3卷積,因此參數量會有少量的提升,但減少了2 個恒等卷積,GPU 的并行運算能力可以得到充分發揮,這可以加速模型的推理。

2.3 針對遮擋目標檢測的損失函數改進

在YOLOv5s的6.0版本中,算法采用CIoU(complete IoU)函數[24]作為邊界框的損失函數。與之前版本采用的GIoU(General IoU)函數不同,CIoU 的計算如式(3)所示,其中的υ和α分別如式(4)和式(5)所示,而GIoU的計算公式如式(6)所示:

式(3)中,IoU表示預測框和真實框的交并比,ρ表示兩框中心點的歐氏距離,c表示兩框最小外接矩形的對角線距離。式(4)中,wgt、hgt分別表示真實框寬、高,w、h分別表示預測框寬、高。式(6)中,Ac表示預測框和真實框最小外接矩形的面積,u表示兩框的并集面積。GIoU雖然解決了預測框和真實框無交集時無法收斂的問題,但其收斂速度較慢,GIoU 公式中的項與CIoU公式中的項變化趨勢相似,都隨兩框中心點距離減小而減小,但后者在兩框出現交集后變化更迅速的特點有利于加快收斂,此外CIoU 函數計算時涉及的因素更多,包括交并比、中心點距離及寬高比,這樣做的好處是使預測框的收斂方向更準確,從而進一步加快收斂。然而,CIoU 計算式中的寬高比因子υ對w和h求梯度時,會發現二者梯度方向相反,如式(7)和式(8)所示:

這會使得神經網絡在通過隨機梯度下降算法更新參數時令w和h每次都向相反的方向變化,而這并不合理。圖5展示了CIoU loss作為損失函數的邊界框收斂過程和理想收斂過程的對比。

圖5 收斂過程對比Fig.5 Comparison of convergence process

圖5(a)、(b)中左下角的藍色矩形為真實邊界框,右上角黑色矩形為初始預測邊界框,從左到右每幅圖中間的紅色或綠色矩形展示了動態收斂過程。可以看到,初始預測框與真實框寬度接近而高度相差較多時,若如圖5(b)理想收斂過程所示,使高度不斷朝著接近真實框高度的方向更新,兩框可以很快重合,而圖5(a)展示的使用CIoU的收斂過程由于預測框寬高在更新時相互制約,導致收斂過程變得緩慢。因此引入EIoU[25]函數作為損失函數,其計算如式(9)所示:

式(9)中,wc、hc分別表示預測框和真實框的最小外接矩形的寬、高,ρw、ρh分別表示兩框寬差值、高差值。EIoU對寬、高獨立計算損失,因此可以實現如圖5(b)所示理想收斂情況以提高定位精度。

定位精度的提高可以有效提升算法對遮擋目標的檢測能力。在YOLOv5中,為提高檢測精度對于同一個目標以多個網格為中心來生成更多預測框,最終對初步預測結果采用非極大值抑制(non-maximal suppression,NMS)方法去除相同目標的重復預測框。NMS 通過計算不同框之間的交集判斷是否來自同一目標,而相互遮擋的目標由于同樣存在交集,若預測框定位不準,則可能被NMS當作相同目標的重復預測框濾除。因此對于遮擋目標的檢測而言,邊界框定位精度極大程度影響了其被漏檢的可能性。

對比幾種損失函數對定位精度的影響,CIoU 對邊界框與預測框的寬高比進行計算,可以使得預測框在保持形狀與真實框相似的條件下進行收斂,防止在收斂過程中因為形狀變化不定而難以實現與真實框重合,這使得采用CIoU的模型邊界框定位精度比GIoU高,因而對遮擋目標具有更強的檢測能力;EIoU解決了CIoU在形狀收斂任務中存在的寬高制約問題,優化了形狀收斂效果,這進一步提升了邊界框的定位精度,可以更加有效地防止遮擋目標被NMS誤濾除。

在復雜道路場景中,自動駕駛汽車視角下的遮擋目標眾多,引入EIOU loss 作為算法的邊界框損失函數,可以有效降低道路遮擋目標的漏檢率。

2.4 改進后的模型

為提升對復雜道路目標的檢測性能,結合上述章節改進內容,得到改進后的模型DPE-YOLO(YOLO withK-means+D,PAA and EIoU),模型結構如圖6所示。

圖6 DPE-YOLO網絡結構Fig.6 DPE-YOLO network structure

由圖6可知,DPE-YOLO中骨干網絡采用PAA模塊代替原C3模塊,其余網絡結構與YOLOv5s相同。與此同時,模型訓練的預設錨框由K-means+D 聚類算法對道路目標數據集進行重新聚類生成,使用的定位損失函數由CIoU loss改進為EIoU loss。

3 實驗及結果分析

3.1 數據集

為驗證本文提出的DPE-YOLO 道路目標檢測模型的性能,使用自動駕駛領域的經典數據集KITTI 和Udacity 來進行測試。其中,KITTI 數據集包含市區、鄉村和高速公路等場景下采集的真實圖像數據共7 481張,每張圖像中最多達15 輛車和30 個行人,小目標較多,且存在各種程度的遮擋。Udacity 數據集是一個用于自動駕駛汽車算法比賽的數據集,共15 000張城市道路采集圖像,這些圖像在具有較多汽車和行人目標的同時,光照條件變化更加劇烈,進一步增加了檢測難度。使用KITTI和Udacity數據集可較為全面地檢驗改進算法對于小目標和遮擋目標的檢測效果。

對于KITTI 數據集,將其隨機劃分出6 732 張作為訓練集,749張作為驗證集。同時,對所有標簽數據做如下處理:合并Truck、Van、Tram到Car類,合并Person_sitting到Pedestrian 類,并忽略非常規目標的DontCare 和Misc類,最終剩下Car、Pedestrian和Cyclist三個類別的標簽。對Udacity 數據集對其進行以下處理:去除Trafficlight類標簽,合并Truck 到Car 類,剩下有標簽圖像12 996張,其中9 098 張作為訓練集,3 898 張作為驗證集。由于數據集的規模差異,根據模型精度收斂曲線,對采用KITTI 和Udacity 的實驗,其訓練輪次(epoch)分別設置為200和120。

3.2 實驗環境

本文所有實驗的環境配置如表1所示,超參數的設置除epoch外均為YOLOv5s的6.0版本默認。

表1 實驗環境配置Table 1 Experimental environment configuration

3.3 評價指標

為定量評估目標檢測器性能,采用模型尺寸指標、精度性能指標和速度性能指標。模型尺寸指標為模型參數量(parameters),精度性能評價指標為mAP,具體包含:mAP@0.5、mAP@0.5:0.95,二者區別在于IoU 閾值不同,mAP@0.5:0.95表示IoU閾值為0.5到0.95的mAP均值;速度性能評價指標FPS表示每秒可檢測的圖像數量。其中,mAP計算如式(10)所示:式

(10)中,N為檢測目標的類別數,APi為類別i的平均準確度,其計算公式如式(11)所示:

式(11)中,n表示召回率區間的數量,Pi(Rj)表示對i類目標檢測的結果中,第j個召回率(Recall)區間下準確率(Precision)的最大值,P和R的計算方式分別如式(12)和式(13)所示:式(12)和式(13)中,TP表示被正確識別的正樣本數量,FP表示被錯誤識別成正樣本數量的負樣本數量,FN表示被錯誤識別成負樣本的正樣本數量。

此外,為定量評估聚類算法的全局表達能力,針對矩形框,采用平均交并比(mean intersection over union,MIoU)為評價指標,其計算如式(14)所示:

式(14)中,N表示數據集所包含目標框的數量,Bi、分別表示第i個樣本目標框和其所屬聚類的聚類中心樣本框。

3.4 聚類算法改進實驗

為了驗證提出的K-means+D 聚類算法的實際效果,本實驗對K-means、K-means++及K-means+D的聚類效果進行比較。為說明K-means+D聚類算法在自動駕駛數據集中的普適性,本實驗在KITTI 和Udacity 兩個數據集上進行,對三種聚類算法的直接聚類效果及對檢測性能的影響進行實驗對比,結果如表2所示。

表2 幾種聚類算法的MIoU及對模型檢測效果影響的比較Table 2 Comparison of MIoU and influence on model detection effect of several cluster algorithms單位:%

由表2可知,由于道路目標尺寸分布的不均衡,Kmeans++算法在這種情況下的聚類效果甚至不如Kmeans 算法。在KITTI 數據集上,在MIoU 指標上Kmeans+D相比K-means++提升了3.5個百分點,相比Kmeans 提升了2.1 個百分點,相比原算法提升了9.1 個百分點,同時K-means+D 所生成錨框使得檢測指標mAP@0.5提升了1.1個百分點,在Udacity數據集上,以上幾種指標也均有一定的提升。實驗結果說明,相比另外兩種聚類算法,K-means+D 對模型檢測性能的提升更加明顯。

為進一步探究K-means、K-means++與K-means+D三種算法的聚類差異,以KITTI數據集為例,圖7進一步展示了幾種聚類算法的可視化結果。

圖7 幾種聚類算法的可視化展示Fig.7 Visualization of several algorithms

由圖7可知,K-means的初始聚類中心主要分布在樣本點較多的小目標區域,約有5/6 區域的樣本點都未被選擇,這是因為此區域的樣本較多因此在隨機選擇中更容易被選到。盡管如此,其初始聚類中心相比Kmeans++更具有密度上的全局性,因此聚類的MIoU 比K-means++更高。K-means++與K-means+D的初始聚類中心分布都較為分散,但后者在樣本密集區域的樣本點更多,選出的初始聚類中心更好地代表了樣本的分布情況,因此K-means+D 的聚類效果更好。且由于Kmeans+D 同時考慮了樣本距離和區域樣本密度上的全局性,因此聚類的MIoU最高。

以上實驗結果一致說明了K-means+D聚類算法的有效性,其對于分布不均的樣本可以生成更符合全局分布的聚類中心,從而聚類出更優的錨框以有效改善模型對各種尺寸的道路目標的檢測性能,盡管其相比原算法在生成初始聚類中心時增加了一定計算量,但由于計算量的增加是在模型訓練前,因此并不影響模型的檢測速度。

3.5 PAA模塊加入注意力機制實驗

為了驗證在PAA 模塊中加入注意力機制對模型的影響,本實驗以KITTI 數據集作為實驗對象,將PAA 模塊結合不同注意力機制后得到的幾種模型的檢測效果進行了對比,實驗結果如表3所示。

表3 融合不同注意力機制的PAA模塊的對比Table 3 Comparison between several PAA modules fused with different attention mechanism

表3中,PAA_noAtt 表示包含無注意力機制的PAA模塊的模型,表3 中PAA_SE、PAA_CA、PAA_CBAM 和PAA_ECA分別表示包含加入SE、CA、CBAM和ECA的PAA模塊的模型。由表3可知,相比其他幾種注意力模塊,結合了ECA 模塊的PAA 模塊使得模型對于道路目標的識別效果最優,同時幾乎不增加參數量,且對于檢測速度的影響最小。這說明了ECA注意力機制可以在包含復雜梯度流的特征圖中更好地挖掘出重要特征信息以提升檢測效果。

3.6 損失函數改進實驗

為了說明不同損失函數對于模型檢測性能的影響,本實驗以KITTI數據集為實驗對象,將分別使用GIoU、CIoU(原算法)和EIoU幾種邊界框損失函數模型的檢測性能進行對比,實驗結果如圖8所示。

圖8 不同邊界框損失函數對檢測結果的影響Fig.8 Influence of different bounding box loss functions on detection results

由圖8 可知,相比使用GIoU 和CIoU,使用EIoU 作為邊界框損失函數后mAP@0.5分別提升1.5個百分點、1.3 個百分點,同時mAP@0.5:0.95 分別提升了1.4 個百分點、1.1 個百分點,實驗結果驗證了EIoU 損失函數對模型整體檢測效果的提升。

為說明不同損失函數對遮擋目標檢測的影響,圖9進一步展示了不同損失函數對應模型對于遮擋目標實例檢測效果的可視化對比。由圖9 的局部放大部分對比可知,由于兩輛車的高度重疊后面的車被嚴重遮擋,使用GIoU 和CIoU 損失函數的模型邊界框定位誤差較大,導致被NMS 濾除了一個預測框,均只檢測到一輛車,而使用EIoU的模型以其更優的邊界框定位能力,避免了漏檢。實驗結果驗證了使用EIoU損失函數訓練模型的更高邊界框回歸準確度,使其可以更好地處理遮擋目標的檢測,以提高檢測精度。

圖9 不同邊界框損失函數對遮擋目標實例檢測效果對比Fig.9 Comparison of different bounding box loss functions on occlusion target instances

3.7 消融實驗

為了驗證K-means+D、PAA模塊和EIOU loss對模型性能的提升效果,本實驗對DPE-YOLO 進行消融研究。實驗在KITTI數據集上進行,實驗結果如表4所示,由其中信息可得如下結論:

表4 不同優化方式對模型性能的影響Table 4 Impact of different optimization methods on model performance

(1)K-means+D 的有效性。由表4 可知,在原算法基礎上使用了K-means+D 后mAP@0.5、mAP@0.5:0.9分別提升了1.1 個百分點、0.8 個百分點,且FPS 相同。說明使用K-means+D聚類算法生成的錨框可有效提升模型檢測性能,且不影響檢測速度。

(2)PAA 模塊的有效性。由表4 可知,在原算法基礎上加入PAA 模塊后模型在增加了少量參數量的情況下,mAP@0.5、mAP@0.5:0.9分別提升了1.4個百分點、2.2 個百分點,且從FPS 指標可知使用基于PAA 的模型檢測速度更快。

(3)EIoU loss 的有效性。由表4 可知,在原算法基礎上使用EIoU loss 使mAP@0.5、mAP@0.5:0.95 分別提升了1.3 個百分點、1.1 個百分點,FPS 指標也說明由于其不增加額外計算量而不影響檢測速度。

(4)以上優化方式的耦合性較好。從表4 可以看出,在任何一個已優化過的模型上加入新的優化方法后,檢測精度均可得到提高,且不會降低檢測速度,說明采用的幾種優化方式的耦合性良好。

3.8 對比實驗

為了驗證本文所提出的模型的有效性,本實驗將在KITTI和Udacity兩個數據集上進行,將其與當前主流的算法模型的檢測結果進行對比分析。

表5展示了不同模型在KITTI 數據集上的實驗結果,主要對Faster-RCNN、SSD、YOLOv3、YOLOv4、YOLOv5s、YOLOv5m及DPE-YOLO模型進行了檢測精度和檢測速度兩方面的比較。實驗表明,所提出的DPE-YOLO 相較于基線模型YOLOv5s,檢測精度得到了較大提升,mAP@0.5、mAP@0.5:0.9 分別提升了2.8個百分點、2.7個百分點,mAP@0.5與FPS均超越其他主流模型,相比原算法每秒可多檢測5張圖像。

表5 KITTI數據集對比實驗Table 5 KITTI dataset comparison experiment

為進一步檢驗模型對不同目標的檢測效果,圖10對YOLOv5s和改進模型DPE-YOLO對各類目標的檢測精度進行了可視化對比展示。數據顯示,改進模型在3個類別上檢測精度都高于YOLOv5s,其中類別Pedestrian的檢測效果提升最明顯,與YOLOv5s 相比,mAP@0.5、mAP@0.5:0.95分別提升了5.3個百分點、3.2個百分點,且在所有道路目標中,Pedestrian類別的目標通常較小,實驗結果驗證了DPE-YOLO模型對于常規道路目標檢測能力的提升及對道路小目標檢測能力的顯著提升。

圖10 兩種模型對各類別檢測精度的對比Fig.10 Comparison of detection precision of each classes between two models

最后,為驗證模型的泛化性能,繼續在Udacity數據集上進行對比實驗。結果見表6,與其他主流模型相比,改進算法在mAP@0.5 與FPS 指標上同樣處于優勢,且相比原算法mAP@0.5、mAP@0.5:0.9分別提高了1.6個百分點、2.9個百分點。

表6 Udacity數據集對比實驗Table 6 Udacity dataset comparison experiment

在KITTI 和Udacity 數據集上,改進算法有不同的效果提升,并且其在KITTI數據集的提升更明顯。這是因為Udacity 數據集的圖像光線變化更劇烈,其一定程度上限制了模型處理細節信息地能力的發揮,但效果提升仍然是可觀的,這也說明DPE-YOLO 在復雜光線條件中相比原算法仍然具有更強的檢測能力。

圖11、圖12 分別展示了算法改進前后對KITTI 數據集、Udacity數據集部分圖像的檢測效果的對比,兩圖左、右均對應YOLOv5s 和改進后的DPE-YOLO 模型效果。在圖11的放大圖b和圖12的放大圖a中,改進算法成功檢測到原算法未檢測出的行人小目標,這體現了改進后的算法對小目標檢測能力更強的優勢;在圖11 的放大圖a 中,行駛的車輛由于互相遮擋,而被YOLOv5s漏檢,DPE-YOLO以其更優越的邊界框回歸能力避免了遮擋目標的漏檢,體現出其對遮擋目標檢測能力的提升;此外,從圖12 的放大圖b 中可以看到改進算法正常檢測到原算法未識別出的被草叢遮擋的汽車,說明其聚焦關鍵信息的能力更強。

圖11 KITTI數據集檢測效果對比Fig.11 Comparison of detection effect on KITTI dataset

圖12 Udacity數據集的檢測效果對比Fig.12 Comparison of detection effect on Udacity dataset

4 結語

針對目前的目標檢測算法對復雜道路場景中的小目標、遮擋目標存在嚴重的漏檢誤檢問題,造成整體檢測率不高的情況,本文提出了基于YOLOv5s 的改進算法DPE-YOLO。針對原算法的預設錨框不符合道路目標尺寸特點,且道路目標尺寸分布不平衡問題導致現有聚類算法效果不佳,提出了K-means+D 聚類算法生成更適合道路目標檢測的預設錨框,縮短目標邊界框回歸路徑,使得不同尺度的目標都更容易找到正確的收斂方向以提升各類目標的檢測精度;針對道路中小目標容易漏檢誤檢的問題,提出了PAA模塊,其多梯度流與注意力機制的融合結構使得模型可以更高效、靈活地提取小目標的重要細節特征,提升小目標的檢測精度;針對道路中遮擋目標容易漏檢誤檢的問題,引入了EIoU loss作為算法的邊界框損失函數,提高邊界框定位精度,降低遮擋目標被NMS 誤濾除的概率,使遮擋目標的檢測精度得到提升。

實驗結果表明,改進算法在自動駕駛數據集KITTI和Udacity 上表現良好,在付出少量參數量成本的情況下,不僅降低了小目標和遮擋目標的漏檢誤檢率,實現了更高的檢測精度,還提升了檢測速度。后續的工作中,將繼續從以下兩個方面優化算法:一方面在提升模型魯棒性的方向上進行研究,實現更強的抗干擾性能以繼續提升檢測精度;另一方面,在保持精度的同時,對模型進行剪枝,降低模型的參數量以減輕自動駕駛的硬件系統負擔。

猜你喜歡
特征檢測模型
一半模型
“不等式”檢測題
“一元一次不等式”檢測題
“一元一次不等式組”檢測題
重要模型『一線三等角』
重尾非線性自回歸模型自加權M-估計的漸近分布
如何表達“特征”
不忠誠的四個特征
當代陜西(2019年10期)2019-06-03 10:12:04
抓住特征巧觀察
3D打印中的模型分割與打包
主站蜘蛛池模板: 99热这里都是国产精品| 亚亚洲乱码一二三四区| 精品久久久久成人码免费动漫| 成人日韩视频| 草草线在成年免费视频2| 亚洲 欧美 日韩综合一区| 国产福利在线观看精品| 欧美日韩国产综合视频在线观看| 日韩黄色大片免费看| 久久综合丝袜长腿丝袜| 欧美成在线视频| 99热最新在线| 国产亚洲精品资源在线26u| 欧美精品成人| 免费无码AV片在线观看国产| 亚洲日本精品一区二区| 成年人午夜免费视频| 中文纯内无码H| 国产日韩欧美在线播放| 久久久久无码精品| 五月天丁香婷婷综合久久| 无码AV高清毛片中国一级毛片| 在线国产91| 波多野结衣视频网站| 青青青伊人色综合久久| 国产永久在线观看| 亚洲精品午夜天堂网页| 亚洲综合专区| 久久99国产综合精品1| 日本国产一区在线观看| 国产区成人精品视频| 色综合热无码热国产| 国产 在线视频无码| 精品国产香蕉在线播出| 午夜精品福利影院| 久久精品人人做人人爽电影蜜月| 精品福利国产| www.youjizz.com久久| av午夜福利一片免费看| 亚洲人成亚洲精品| 免费高清毛片| 亚洲AV色香蕉一区二区| 人妻精品全国免费视频| 亚洲色无码专线精品观看| 丁香亚洲综合五月天婷婷| 丁香五月亚洲综合在线| 巨熟乳波霸若妻中文观看免费| 毛片卡一卡二| 香蕉综合在线视频91| 无码区日韩专区免费系列 | 中文字幕资源站| 国产精品无码影视久久久久久久 | 不卡网亚洲无码| 全免费a级毛片免费看不卡| 91娇喘视频| 亚洲一区二区三区麻豆| 国产一在线观看| 99人妻碰碰碰久久久久禁片| 国产精品成人不卡在线观看| 国内毛片视频| 精品久久人人爽人人玩人人妻| 91丝袜美腿高跟国产极品老师| 亚洲人免费视频| 色偷偷综合网| 国产av无码日韩av无码网站| 无码国产伊人| 午夜精品福利影院| 69综合网| 国产精品久久久久久搜索| 99人体免费视频| 国产在线视频导航| 97国产精品视频人人做人人爱| 97精品伊人久久大香线蕉| 国产成在线观看免费视频 | 成人免费视频一区| 欧美亚洲激情| 国产网友愉拍精品| 特黄日韩免费一区二区三区| 精品福利视频网| 国产一区二区三区夜色| 国产第八页| 一区二区在线视频免费观看|