999精品在线视频,手机成人午夜在线视频,久久不卡国产精品无码,中日无码在线观看,成人av手机在线观看,日韩精品亚洲一区中文字幕,亚洲av无码人妻,四虎国产在线观看 ?

改進YOLOv7的復雜環境下鉛封小目標檢測

2023-10-10 10:38:30張海鑌雷幫軍
計算機工程與應用 2023年19期
關鍵詞:特征檢測

張海鑌,裴 斐,雷幫軍,夏 平

1.三峽大學 計算機與信息學院,湖北 宜昌 443002

2.水電工程智能視覺監測湖北省重點實驗室,湖北 宜昌 443002

近年來,隨著我國進出口貨量大幅攀升,港口集裝箱吞吐量增長迅猛,集裝箱在運輸和交接工作中需要對箱內貨物安全進行識別,而鉛封就相當于集裝箱的“鎖”,每一個鉛封都對應著一個獨一無二的封號,客戶通過集裝箱上的號碼與貨單上的編號對比,即可確認集裝箱在運輸過程中是否被打開過,進而得出貨物是否完好無損的結論。因此對鉛封進行實時準確的識別具有重要的應用價值。

傳統的鉛封識別方法大都為人工檢測,存在著主觀性強、人力成本高昂、效率低等問題,已不能滿足目前集裝箱業務大幅增長的需要,對集裝箱信息的識別進行智能化和自動化升級,開發高精準的鉛封識別方案成為亟須解決的問題。

目前,深度學習在圖像識別和目標檢測領域取得了出色表現,而卷積神經網絡則是深度學習最具代表性的方法之一。基于深度學習的目標檢測模型主要分為兩類:兩階段(two-stage)模型和單階段(one-stage)模型。前者通過各種算法生成目標的待檢區(pegion proposal),然后通過卷積神經網絡對目標進行準確分類和定位,如:R-CNN[1]、Fast R_CNN[2]、Faster R_CNN[3]、Mask RCNN[4]。one-stage 直接將目標的定位問題轉換為回歸問題進行處理,是端到端的實現方式,如:YOLO 系列(v1[5],v2[6],v3[7],v4[8])、SSD[9]等。ReDet[10]、oriented bounding boxes[11]以及box boundary-aware vectors[12]通過旋轉預測框和旋轉檢測器提升了小目標檢測效果,但其只針對搖桿場景,針對較復雜背景的不規則小目標效果不佳。楊杰敏等人[13]采用基于深度卷積網絡的相關系特征圖檢測,相比R-FCN、Faster R-CNN、SSD等算法可以快速準確進行鉛封識別,但其只能解決普通集裝箱小鉛封檢測,對光照、惡劣條件以及拍照角度可變等因素效果不佳。針對復雜場景的小目標研究,在夜間環境下,針對荔枝等果實小目標的檢測,Liang等人[14]在YOLOv3的基礎上提出了一些改進方法,通過確定荔枝果實的邊界框來確定檢測目標的ROⅠ區域,實現了夜間自然環境中荔枝果實和果莖的檢測。熊俊濤等人[15]則提出了一種改進的YOLOv3檢測算法,通過引入密集連接網絡和殘差網絡實現了多層特征的復用與融合,以提高對夜間環境中柑橘小目標的識別能力。盡管以上方法針對復雜小目標檢測,已具備一定的魯棒性和泛化能力,但在實際全天候作業的鉛封小目標檢測中,仍面臨一些挑戰。鉛封的尺寸小、類型多樣,形狀也具有多變性。此外,鉛封常常受到陰影遮擋、光線強弱不均等因素的干擾。僅將以上小目標檢測或與背景區分程度較高的小目標檢測方法應用在形狀多樣化、背景與顏色相近的鉛封小目標檢測,仍存在自適應性不夠強,導致嚴重的漏檢和誤檢問題。

YOLOv7[16]是目前圖像識別與目標檢測領域較為先進的深度學習方法,盡管YOLOv7算法框架在常見任務場景(如車輛檢測和行人檢測)中表現出色,但將它直接應用于復雜場景的小目標檢測上還是面臨著不少困難與局限:(1)與普通的任務場景比較,集裝箱圖像上的鉛封大多隨手掛在右箱門上把手或下把手上,僅以水平框對圖像中的小鉛封加以標注,并不能很好利用復雜場景下的目標與上下文信息,給小目標檢測造成了障礙。(2)在特征提取和特征融合模塊中的E-ELAN[16]結構雖然能增強網絡的學習能力,但其檢測鉛封小目標的形狀與尺寸的改變敏感性不佳。(3)MPConv[16]結構僅能用于類似于傳統的池化操作,但在池化時對每個位置周圍的采樣位置是無法進行自適應調整的,從而對于目標形變和位置變化魯棒性較差。(4)集裝箱圖像中鉛封由于受光線強弱程度差異不同、與鉛封的不同色彩相似度,會形成不同的復雜背景,而因為缺乏適當的處理復雜背景的注意力機制,造成在復雜背景下的鉛封會漏檢與檢測不準確。(5)損失函數方面,默認的坐標損失在鉛封小目標上,因為物體的尺寸很小,所以相對于整張圖片來說,物體所占的像素數很少,導致物體的位置和形狀的偏差對默認的坐標損失的影響顯著;分類損失函數方面,交叉熵損失針對數據集中集裝箱上鉛封距離遠近不同、受光程度不同,不考慮樣本質量的問題,對所有樣本一視同仁,不按照樣本質量對Loss進行加權或調整。針對上述問題,本文以YOLOv7為基礎進行改進。

1 相關工作

1.1 網絡結構

YOLOv7是當前較為先進的目標檢測算法之一,其速度和精度在每秒5幀到160幀的范圍內都超過了大多數已知的目標檢測算法。YOLOv7網絡由輸入(Ⅰnput)、骨干網絡(Backbone)、脖頸(Neck)、頭部(Head)這四個部分組成。輸入模塊的作用是將輸入的圖像經過縮放處理后,滿足Backbone的輸入尺寸要求。首先,當對圖像完成預處理、信息增強等操作后,圖像被輸入骨干網絡中,這一部分負責在經過處理后的圖像中提取特征。接著,由Neck模塊對提取到的特征進行融合處理,形成大、中、小三種不同尺寸的特征。最后,這些融合后的特征被送入檢測頭,進行檢測之后得到結果輸出。

YOLOv7 網絡模型的骨干網絡部分主要由卷積、E-ELAN 模塊、MPConv 模塊構建而成。其中,E-ELAN(extended-ELAN)模塊,在原始ELAN 的基礎上,改變計算塊的同時保持原ELAN 的過渡層結構,并通過expand、shuffle、merge cardinality 的思想來實現在不破壞原有梯度路徑的情況下增強網絡學習的能力。MPConv 卷積層在CBS 層的基礎上增加了Maxpool 層,構成上下兩個分支,最后使用Concat操作對上下分支提取到的特征進行融合,提高了網絡的特征提取能力。Neck 模塊中,YOLOv7 與YOLOv5 網絡相同,采用了傳統的PAFPN(path aggregation feature pyramid network)結構,使得網絡適用于多尺寸輸入,然后通過信息傳遞,實現高層特征與底層特征的融合。檢測頭部分,本文的基線YOLOv7 選用了表示大、中、小三種目標尺寸的ⅠDetect 檢測頭,將Neck 精煉的特征信息進行解耦,通過REP(RepVGG block)結構對PAFPN 輸出的不同尺寸的特征進行通道數調整,結合1×1 卷積,得出目標物體的位置、置信度和類別的預測。

1.2 注意力機制

注意力機制[17](attention mechanism)是一種被廣泛應用于圖像信息處理、語音辨識和自然語言信息處理等應用領域的信息處理方式。在目標檢測任務中,研究表明增加注意力模塊能夠一定程度上增強目標網絡模型的表征能力,從而有效降低無效目標的干擾,進而提高關注目標的檢測效果。在機器學習中,注意力機制主要分為通道注意力機制、空間注意力機制和自注意力機制。

1.3 IOU損失函數

目標檢測網絡中,目標定位依賴一個邊界框回歸模塊,而ⅠOU(intersection over union)用于評價預測框和真實框的交集和并集之比如公式(1)。通過使預測框靠近正確目標從而提升目標框的定位效果,ⅠoU越大說明預測框與真實框重合程度越高,預測框質量越高;在針對兩框不相交情況下,ⅠoU很難衡量回歸框好壞。

表1分別對GⅠoU[18]、DⅠoU[19]、EⅠoU[20]、CⅠoU[21]進行介紹描述。

表1 不同ⅠOU的比較Table 1 Comparison of different ⅠOU

2 改進YOLOv7的鉛封小目標檢測方法

在處理單張圖片時,文章采用將上下文信息直接融入目標檢測的方法。在鉛封周邊信息標記后,可以作為上下文信息,在網絡的PAFPN 結構中進行不同尺度下的特征信息進行高效融合,以盡可能獲取更多的目標信息。文獻[22]中提出一種基于注意力的特征交互方法,通過添加一個個的小網絡到常規特征提取器的每個模塊后,來獲得注意力權重,減少沖突信息。文獻[23]提出用不同尺寸大小的卷積核生成多尺度的特征圖,融合成具有全局信息的特征表達方式。以上改進在一定程度上能提升檢測的精度,但通過增加網絡的深度寬度的方式,導致參數過多,產生計算量過大等問題,不利于小目標檢測,無法在實際應用中高效提升檢測效果。本文方法在不增加額外的層帶來的額外計算和內存開銷下,網絡的深度并未增加,高效地提升小目標的檢測效果。其次,對YOLOv7 模型進行改進,包括ELAN 模塊的改進、MPConv模塊的改進,Neck部分包括對SPPSCPC模塊、Cat 結構的改進,使整體成為自適應特征融合Neck結構,綜合提高復雜環境下鉛封小目標檢測的適應性,提升魯棒性。最后,改進損失函數,平衡高低質量樣本對損失貢獻的大小,同時使模型具備更好的小目標適應性。

2.1 YOLOv7模型改進

YOLOv7 模型的改進,在Backbone 部分最后一個MPConv與E-ELAN模塊嵌入可變形卷積,在Neck部分引入自注意力機制,改進YOLOv7結構如圖1所示。

圖1 改進YOLOv7結構Fig.1 Structure of improved YOLOv7

2.2 基于可變形卷積的ELAN模塊

像機拍攝角度不同、鉛封自身類型不同,導致鉛封形狀信息丟失,鉛封的精準識別產生極大困難,本文針對以上情況,在骨干網絡EALN模塊嵌入具有偏移學習能力的可變形卷積模塊,使卷積采樣可以根據鉛封圖像改變感受野形狀和尺寸,基于可變形卷積的DCBS模塊結構如圖2所示。

圖2 基于可變形卷積的DCBS模塊Fig.2 DCBS module based on deformable convolution

傳統的卷積一般為規則卷積,只能實現對固定大小的采樣,可變形卷積(deformable convolution v2)[24]能夠使感受野隨著拍攝角度、鉛封形狀和尺寸的不同而改變,通過偏移量與局部或全局交互,具有長距離建模能力,通過調指標量mk和偏移量pk根據輸入不同進行學習進而變化,具備類似自適應空間聚合能力,受“Exploring large-scale vision foundation models with deformable convolutions”[25]啟發,本文采用deformable convolution v3[25]相比deformable convolution v2,引入了多組機制,增強算子的表達能力;同時共享了卷積權重,降低算法的復雜度,通過歸一化調制標量,提高訓練過程的穩定性。在多形變的鉛封小目標檢測任務中,目標的尺度和形狀會發生較大變化,這會導致網絡的內部協變量偏移問題。如圖2 所示,本文所設計的DCBS 模塊,采用batch normalization進行標準化,是一種對每個小批量的輸入進行標準化的方式,使網絡對輸入數據中的變化更加魯棒,提高模型的泛化能力;同時減少了訓練過程中的內部協變量偏移問題,使網絡能更容易學習到目標的一致特征表示。DCBS 模塊中,新增了一個Silu激活函數來更好地捕捉特征之間的復雜關系,有助于提升網絡的表達能力和擬合能力。可變形卷積計算如公式(2)所示:

式中,X為輸入特征圖,G為group 的數量,K為第幾個調制因子,wg為每組內共享投影權重,mgk為第g組第k個采樣點的歸一化后調制因子,pk為卷積核中的第k個點,p0為輸入輸出特征圖上的p0點,Δpgk為可變形卷積采樣點的偏移量。改進后的ELAN模塊如圖3所示。

圖3 基于可變形卷積的ELAN-DeformConv模塊Fig.3 ELAN-DeformConv module based on deformable convolution

2.3 基于可變形卷積的MPConv模塊

在鉛封目標檢測時,由于拍攝的鉛封尺寸往往比較小,而最大池化的作用是從輸入的特征圖中提取最顯著的特征,因此導致了一些信息的丟失和模糊化,影響檢測精度。嵌入可變形卷積層能夠在卷積過程中自適應地調整感受野大小和位置,使池化時的每個位置周圍的采樣位置自適應,更好地適應鉛封小目標的形狀和尺寸,從而提高檢測精度,改進后的MPConv 模塊如圖4所示。

圖4 基于可變形卷積的MPDeformConv模塊Fig.4 MPDeformConv module based on deformable convolution

2.4 嵌入SimAM注意力機制

注意力機制中,卷積注意力模塊多注重輸入與輸出的關系,自注意力模塊主要注重輸入之間的關系。對于集裝箱鉛封檢測模型這一具體任務而言,鉛封所處的背景由于一年四季24小時作業,光照亮度不同、集裝箱顏色種類多、鉛封自身尺寸形狀不同、集裝箱大小不同、鉛封的遠近不同,鉛封小目標存在較大的位置變化和朝向角度變化,引起的復雜多變環境,對模型定位與檢測能力要求較高,在不增加模型復雜度的前提下,使網絡能夠自適應地選擇更加關注鉛封,因此本文采用自注意力機制(SimAM)[26]以增強鉛封小目標特征,減弱鉛封所在背景干擾,在保持高效檢測前提下,一定程度上提高鉛封檢測的精度,并通過了消融實驗證明。SimAM 結構如圖5所示。

圖5 SimAM注意力機制Fig.5 SimAM attention mechanism

SimAM 建立在視覺神經科學理論基礎之上,具有更多信息的神經元與其相鄰神經元相比表現更加顯著,在集裝箱上的鉛封檢測任務中,這些網絡的神經元往往負責提取出鉛封的關鍵特征需進行加強賦予更高的權重。本文使用的特征提取骨干網絡由CSPDarkNet53改進而來,仍屬于深度卷積神經網絡,嵌入SimAM后對特征提取能力提升不大(在消融實驗中證明了這一點),本文在YOLOv7 模型的Neck 網絡中引入了SimAM 注意力對骨干網絡提取出的特征進行優化,同時兼顧網絡的寬度、深度與檢測速度,在增加較少網絡參數的情況下來提高鉛封檢測準確率,通過端到端的方式減少由鉛封與集裝箱顏色相近、光照、遠近尺寸不同等背景噪聲對檢測的干擾,如公式(3)~(5)所示,SimAM 通過定義線性可分性的能力函數對每個網絡中的每個神經元進行評估,其中t為目標神經元,x為相鄰神經元,λ為超參數,et?能量越低表明神經元與相鄰的區分度越高,神經元的重要程度也越高,如式(6)所示,通過1/et?對神經元根據重要性進行加權。依據神經科學理論中的能力函數評估各處特征的重要性提出的SimAM更具有可解釋性,無須引入可學習參數。

Neck中的SPPCSPC模塊的作用是提高特征提取的效率和準確率。SPP層可以捕獲不同尺度和比例的物體信息,CSP 連接可以增強特征的表達能力和穩定性,而Conv層可以進一步提取特征。本文在SPPCSPC結構中嵌入SimAM注意力機制,提高模型對不同尺度、比例、方向等變化的適應性,從而提高檢測的準確率,如圖6所示。

圖6 嵌入SimAM注意力機制的SPPCSPC模塊Fig.6 SPPCSPC module embedded with SⅠMAM attention mechanism

在Concatenate 層引入SimAM 使網絡更好地捕捉輸入鉛封與上下文特征中的相關性,強調更為關鍵的特征,使特征圖對于當前任務更具有判別能力,降低不相關特征的干擾,從而提升模型性能,改進后的自適應特征融合Neck如圖7所示。

2.5 損失函數改進

YOLOv7網絡中損失函數如式(7)所示:

損失函數當中,置信度損失和分類損失均采用BCEWithLogitsLoss 函數來進行計算,而坐標損失則通過CⅠoU進行計算,計算公式(8)如下:

在消融實驗中,引入了一個可學習的超參數Alpha,這個超參數會被用于計算convex diagonal squared 和center distance squared。Alpha 的作用在于控制CⅠoU的收斂速度,Alpha=0 時CⅠoU的計算結果就是ⅠoU,隨著Alpha的增大,CⅠoU的計算結果越來越接近于CⅠoU,相比于直接使用固定的值計算Alpha 計算結果更加靈活,這種Active CⅠOU使模型具備更好的小目標適應性。

受到“Focal and efficient ⅠOU Loss for accurate bounding box regression”[20]啟發,本文采用Focal Loss分類損失函數替換交叉熵損失,以平衡高質量鉛封樣本和低質量鉛封樣本對Loss貢獻,在定位損失方面,通過改進EⅠOU、CⅠoU代替原始CⅠoU進行消融實驗,使模型更關注預測框與真實框的重疊度,提高損失計算的準確性,同時適用對目標形狀大小的變化性。Focal CⅠoU Loss 函數所用到的公式如式(9),其中參數λ作用為調節高低質量樣本對Loss貢獻。

3 實驗結果及分析

3.1 集裝箱鉛封數據集

3.1.1 數據來源

本文的實驗數據來源某港口4 種不同角度車道的閘口進閘車輛上的集裝箱數據集,大集裝箱的大小為45尺;小集裝箱的大小為20尺,其中小箱相對大箱距離攝像機更遠,每道車道為進入堆場區域的單向車道,攝像機安裝在2個車道之間用于鉛封檢測。如圖8所示,為4道不同車道拍攝到的圖片,其中圖(a)、(b)、(c)、(d)分別為車道1到車道4。

圖8 多角度車道拍攝Fig.8 Multi-angle lane shooting

設備采用海康攝像頭,24 小時小時監控,采集3 月份、6月份、12月份不同白天晚上監控拍攝到的圖片,圖9 為列舉的不同類型的鉛封,其中圖(a)、(b)、(c)、(d)、(e)、(f)、(g)、(h)、(i)、(j)、(k)、(l)分別為放大的圓形鉛封、圈繩狀鉛封、側向鉛封、矩形鉛封、放大的圓形鉛封、放大的倒立多邊形鉛封、放大的側向鉛封、放大的圓錐形鉛封、放大的瓶子狀鉛封、放大的圈繩狀鉛封、放大多邊形鉛封、放大圓形倒立鉛封。

圖9 不同形狀類型的鉛封Fig.9 Various shapes and types of lead seals

3.1.2 數據標記

總計為902 張集裝箱鉛封數據集,分別為如下情況:其中有光照干擾大箱103張,有光照干擾小箱40張,有陰影遮擋大箱26張,有陰影遮擋小箱26張,白天無光照大箱數據集246張,白天無光照小箱數據集150張,晚上大箱數據集208張,晚上小箱數據集103張,見表2。

表2 實驗訓練驗證數據集分布情況Table 2 Experimental training validation dataset distribution

對采集的視頻每隔2 s截取1張圖片,取出相似度過高的圖像,便于更準確測試光照強弱干擾、與背景顏色相近、遠近不同等場景下的檢測效果。數據集總計902幅圖像,并用LabelⅠmg標注軟件進行標注。整個鉛封檢測數據集按9∶1 的比例劃分訓練集、驗證集,測試集為總計126張包含6種場景均為21張的數據圖片,實際應用中,可采用鏡像翻轉、旋轉、縮放、平移等數據擴增技術來增加訓練集樣本數據,也可通過推理獲取識別到的圖片,采用半監督標注增加樣本數據量。

3.2 實驗平臺及訓練過程

本實驗環境為:NVⅠDⅠA GeForcce RTX3090,Ubuntu18.04 操作系統。編程語言為python,cuda 為11.5,深度學習框架為pytorch為1.11.0。

訓練時采用了YOLOv7 作者提供的YOLOv7 預訓練權重來訓練自己的網絡,加快網絡收斂速度,batch size設置為32,訓練1 000個epoch。

3.3 評估指標

本文通過對比同樣實驗環境下,選取P-R(準確率-召回率)曲線、平均準確率(average precision,AP)、平均精度均值(mean average precision)三個指標,計算公式如如下:

公式(10)中P為準確率,TP表示正確預測,FP表示錯誤預測,包括把不是鉛封的目標檢測為鉛封和漏檢兩種情況;公式(11)中R為召回率,FN表示誤把鉛封檢測為其他的類別。在P-R曲線中,P-R曲線與坐標軸圍成的面積大小等于AP值大小。對所有類別的AP取平均值得到mAP來對整個目標檢測網絡模型的檢測性能進行評價,結合召回率表示漏檢程度。

3.4 結果對比與分析

在不同復雜條件下的鉛封檢測情況如圖10~15 所示,其中圖(a)、(b)、(c)分別為原YOLOv7檢測效果、結合上下文信息后的YOLOv7 檢測效果與本文算法的檢測效果。

圖10 與背景顏色相近的鉛封目標檢測結果對比Fig.10 Comparison of detection results of lead sealed targets with similar background colors

鉛封在夏天閘口陰影遮擋下、光照過強、小箱上的遠鉛封檢測導致鉛封漏檢率相對嚴重,如圖10(c)、圖11(c)、圖13(c)、圖14(c)、圖15(c),改進后的模型依舊可以準確檢測上述復雜場景下的鉛封目標;如圖12(b)所示,上下文信息特征融合盡管能解決部分場景識別問題,但對于鉛封過遠且光照干擾強烈情況下仍然會造成算法的漏檢,如圖12(c)所示,本文在光照強烈且鉛封較遠的情況下,依舊能識別出鉛封。其次,鉛封顏色與背景顏色相近時也是影響鉛封檢測精度的原因之一,在實際工業應用中,采用上下文特征融合的方式對此問題有一定解決效果,而本文改進后的算法,對解決該問題效果更佳。綜上所述,改進的YOLOv7算法對復雜場景中的集裝箱鉛封檢測的魯棒性更強,這表明改進后的網絡在不同光照、陰影遮擋、鉛封過遠、鉛封顏色與背景顏色相近等目標場景下泛化能力有所提升。但目前本文算法目前在應對強烈光照干擾且同時檢測目標過遠的情況時,mAP值相對較低,仍可能會存在一定程度的漏檢。

圖11 大箱在太陽光照下的鉛封目標檢測結果對比Fig.11 Comparison of lead seal target detection results of large boxes under sunlight

圖12 小箱在太陽光照下的鉛封目標檢測結果對比Fig.12 Comparison of lead seal target detection results of small boxes under sunlight

圖13 大箱在光線較暗下的鉛封目標檢測結果對比Fig.13 Comparison of lead seal target detection results of large boxes in low light

圖14 小箱在光線較暗下的鉛封檢測結果對比Fig.14 Comparison of lead seal target detection results of small boxes in low light

圖15 小箱在白天的鉛封目標檢測結果對比Fig.15 Comparison of lead seal target detection results of small boxes in daytime

3.4.1 消融實驗

在實驗過程中,確保實驗的公平比較,除改進部分外,控制其他訓練參數不變,同時數據集均以640×640分辨率大小的圖像為輸入。本小節在集裝箱鉛封數據集上進行實驗,驗證所提模塊的有效性。以未做任何改動的YOLOv7為基準+表示模塊混合改進。嵌入注意力機制模塊的消融實驗結果見表3。

表3 注意力機制模塊的消融實驗Table 3 Ablation experiment of attention mechanism module

自注意力機制模塊方面的橫向對比實驗結果顯示,SimAM 在Backbone 中效果不如Neck 的可能原因,Backbone是主要負責提取圖像特征的模塊,自注意力機制是在通道維度上操作的,可能造成在多個通道之間分配注意力而無法明確地區分哪個通道對關注的類別最為重要。加入自注意力機制對Backbone的特征提取能力提升不大。而Neck負責對Backbone提取的特征進行進一步加工,此時輸入特征已經比較豐富和具有區分度,同時通道數沒有Backbone多。這種情況下,引入注意力機制會更好地捕捉特征之間的交互信息,進一步提升特征表達能力。

針對卷積算子的改進進行消融實驗,以未做任何改動的YOLOv7為基準+表示模塊混合改進,對原始的ELAN與MPConv 當中的3×3 普通卷積進行改進替換為可變形卷積DeformConv2、DeformConv3,實驗結果見表4。

表4 可變形卷積模塊的消融實驗Table 4 Ablation experiment of deformable convolution module

普通卷積替換為DeformConv2,mAP值雖有不錯的提升,而本文嵌入的DeformConv3 相較于普通卷積,mAP 值顯著提升4.8 個百分點,其引入的多組機制,使算子表達能力得以加強,同時使模型可以使用更多的上下文信息;通過共享的卷積權重、歸一化調制標量,降低了鉛封小目標檢測算法的復雜度,同時提高了模型穩定性,使針對鉛封小目標檢測變得更為高效。

針對損失函數模塊的改進進行消融實驗,以未做任何改動的YOLOv7為基準,對EⅠoU、原始定位損失函數CⅠoU均進行改進實驗,分類損失函數方面,采用了Focal Loss分類損失函數替換交叉熵損失,實驗結果見表5。

表5 損失函數模塊的消融實驗Table 5 Ablation experiment of loss function module

損失函數方面的橫向對比實驗結果顯示,定位損失方面,改進后的Active CⅠoU相比于直接使用原始CⅠoU中固定的值計算Alpha計算結果更加靈活,mAP值結果提升了1個百分點,使模型具備更好的小目標適應性。

分類損失函數方面,改進后Focal Loss相比原先交叉熵損失,優化了因沒有較好的機制處理集裝箱上鉛封距離遠近不同、受光程度不同導致高質量鉛封樣本和低質量鉛封樣本對Loss 貢獻不平衡問題。結合定位損失Focal Active CⅠoU,相較原先的YOLOv7,mAP 值結果提升了1.5個百分點。

綜合消融實驗結果如表6所示,本文算法采用的融合上下文信息+脖頸部分引入注意力機制+Focal+Active CⅠoU+DeformConv3 相比初始YOLOv7、+注意力機制、+上下文信息+脖頸部分引入注意力機制、+上下文信息+在脖頸部分引入注意力機制+Focal+Active CioU,mAP 值分別提升了20.2、19.1、7.6、5.5 個百分點。綜合而言,本文算法采用了融合上下文信息+脖頸部分引入注意力機制+Focal+Active CⅠoU+DeformConv3 的組合改進效果最佳,其在集裝箱鉛封小目標在復雜場景下的檢測效果比其他組合更好,尤其相比基線YOLOv7只對鉛封進行檢測mAP 值顯著提升了20.2 個百分點,漏檢率降低了15.8個百分點。

表6 不同模塊的綜合消融實驗Table 6 Comprehensive ablation experiments of different modules

3.4.2 對比實驗

為驗證本文所提出方法的有效性與先進性,在同一實驗環境下設計了一實驗,對比文獻[3]的Faster R-CNN、文獻[9]的SSD、文獻[16]的YOLOv7 檢測算法與鉛封小目標檢測算法,以及文獻[13]基于深度卷積網絡相關性特征圖檢測,對比結果見表7。

表7 不同的鉛封小目標檢測算法的性能比較Table 7 Performance comparison of different lead sealed small target detection algorithms

由表7可知,SSD、Faster R-CNN、YOLOv5、YOLOv7的mAP分別為0.470、0.533、0.595、0.614,說明這四種檢測方法在一定程度上能夠處理噪點干擾問題,但其召回率與平均準確率仍較低,魯棒性較差。楊杰敏等人[13]提出的采用基于深度卷積網絡的相關性特征圖鉛封小目標檢測,相比Faster R-CNN、SSD 等算法可以快速準確進行鉛封識別,但只研究了港口較好場景下的集裝箱小鉛封檢測,對數據集存在光照、惡劣條件以及拍照角度變動等因素效果不佳。本文改進后的YOLOv7 網絡模型準確性和魯棒性均優于其他目標檢測網絡。這是因為本文的檢測網絡在處理不同場景時,如:光照變化場景圖11(c)、圖12(c);陰影遮擋場景圖13(c);遠鉛封小目標圖14(c)、圖15(c);檢測目標與背景顏色相近圖10(c),針對上述情況,通過上下文信息特征融合方式,嵌入注意力機制和替換卷積操作,對損失函數進行優化,極大提高模型的魯棒性,減少了鉛封檢測漏檢情況,且不需要控制特定的環境,速度和精度基本達到實際集裝箱港口的鉛封檢測要求。

4 結束語

本文提出并實現了一種改進的YOLOv7 復雜環境下鉛封小目標檢測算法。該算法針對復雜場景下的鉛封小目標檢測問題,首先采用一種將上下文信息直接融入目標檢測任務的方法,結合PAFPN 結構進行不同尺度的特征信息融合,提高辨別準確度;其次,針對小鉛封特征在訓練過程中出現消失的問題,在骨干網絡嵌入可變形卷積模塊,適應形狀大小不同輸入的鉛封特征圖,在特征融合時保證更多淺層語義信息的特征圖被送入分類網絡,增加模型復雜場景下的學習能力;同時,在Neck 部分融入自注意力機制,自適應地選擇輸入中的重要信息,提高在復雜多變背景下模型表現能力;最后,針對數據集中集裝箱上遠近鉛封的樣本質量不同,采用Focal Loss分類損失函數替換交叉熵損失,平衡高質量樣本和低質量樣本對Loss 貢獻,引入可學習的超參數Active CⅠoU Loss 定位損失,控制模型收斂速度,使模型更關注預測框與真實框的重疊度,提高損失計算的準確性,綜合提高模型針對復雜場景下鉛封小目標檢測的自適應能力及提升了模型的魯棒性。消融實驗結果表明,與原YOLOv7算法相比,改進后的算法模型mAP可達81.6%,提高了20.2 個百分點。對比實驗結果表明,與YOLOv5、Faster R-CNN、SSD鉛封識別算法相比,本算法檢測效果均優于其他經典目標檢測網絡。在鉛封較遠、光照不良以及與背景顏色相近等復雜場景,本文提出的改進的YOLOv7算法減少了鉛封漏檢的情況,具備較好的準確性和魯棒性;在時間性能上,平均每張圖像的識別時間為0.058 s,符合實際集裝箱港口鉛封檢測的實時性要求,在強烈光照干擾且同時待檢測的小目標拍攝距離過遠時的情況下的鉛封小目標檢測精度相對較低,后續將進一步探索。

猜你喜歡
特征檢測
抓住特征巧觀察
“不等式”檢測題
“一元一次不等式”檢測題
“一元一次不等式組”檢測題
“幾何圖形”檢測題
“角”檢測題
新型冠狀病毒及其流行病學特征認識
如何表達“特征”
不忠誠的四個特征
當代陜西(2019年10期)2019-06-03 10:12:04
抓住特征巧觀察
主站蜘蛛池模板: 亚洲国产综合自在线另类| 久久99热这里只有精品免费看| 免费视频在线2021入口| 国产精品密蕾丝视频| 高清视频一区| 中文字幕波多野不卡一区| 91美女视频在线观看| 91视频区| 91小视频在线观看免费版高清| 色老二精品视频在线观看| 亚洲成人在线免费| 高潮毛片无遮挡高清视频播放| AV不卡国产在线观看| 久久国产精品夜色| 国产精品片在线观看手机版| 久久亚洲国产最新网站| 在线国产91| 国产精品一区二区国产主播| 99这里只有精品在线| 制服丝袜国产精品| 狠狠五月天中文字幕| 五月天久久综合| 国产在线无码av完整版在线观看| 亚洲av无码久久无遮挡| 国产在线98福利播放视频免费| 亚洲综合专区| 国产麻豆精品手机在线观看| 在线国产综合一区二区三区 | 久久国产亚洲偷自| 97视频在线观看免费视频| 午夜不卡视频| 亚洲人成成无码网WWW| 18黑白丝水手服自慰喷水网站| 青青草原国产免费av观看| 久久性视频| 五月激情婷婷综合| 日韩不卡高清视频| 欧美在线视频a| 五月天综合网亚洲综合天堂网| 国产女人在线观看| 国产精品一区二区久久精品无码| 狠狠v日韩v欧美v| 中文国产成人精品久久| 国产精品深爱在线| 波多野结衣一区二区三区四区| 91po国产在线精品免费观看| 丁香六月激情婷婷| 欧美国产精品拍自| 91麻豆精品国产高清在线| 67194亚洲无码| 欧美一区福利| www.亚洲一区| 国产精品永久不卡免费视频| 这里只有精品在线播放| 亚洲色大成网站www国产| 无码在线激情片| 久久香蕉国产线看精品| 久久6免费视频| 亚洲国产理论片在线播放| 欧美一区二区精品久久久| 9999在线视频| 波多野结衣一二三| 亚洲一级毛片在线播放| 人妻一区二区三区无码精品一区| 综合色天天| 久久久成年黄色视频| 亚洲一区二区三区国产精品| 国产无码在线调教| 国产主播一区二区三区| 四虎在线观看视频高清无码| 日韩毛片免费| 日韩欧美国产精品| 亚洲三级影院| 五月婷婷综合网| 国产在线第二页| 国产91丝袜| 日本中文字幕久久网站| 九九视频在线免费观看| 亚洲一区二区三区国产精华液| 国产色图在线观看| 国产三级国产精品国产普男人| 青青草原国产|