多任務學習的車輛結構化信息提取方法①

朱 紅,岑躍峰,王思泰

1(中國電信股份有限公司 浙江分公司 政企客戶事業部,杭州 310001)

2(浙江科技學院 信息與電子工程學院,杭州 310000)

隨著城市化建設的不斷推進,針對交通視頻的對象行為分析和事件檢測日益受到關注[1].而交通結構化信息提取技術[2]作為視頻分析和交通控制的基礎方法,其識別精確度決定了視頻分析的準確率.由于人工智能在近年來的快速發展,使得目標檢測、目標識別和目標跟蹤等圖像處理技術在交通領域也得到了廣泛的應用.但基于深度學習的人工智能技術存在標注樣本需求大,系統算力要求較高等問題,仍對該技術的推廣造成了較大的影響.因此如何高效利用深度學習仍是當前業界關注的熱點之一.

目前,大部分的方法需要將車輛結構化信息提取分為多個子任務進行處理,包括：運動檢測[3-6]、目標檢測[7-12]、目標跟蹤[13-19]、車輛顏色識別[20-25]和車型識別[26-28]等,且各個子任務都有較好的解決方案.因此為了保證系統的準確率,需要利用多個卷積神經網絡進行結構化信息進行提取,而多個神經網絡的訓練較為繁瑣且各個子任務的樣本準備較為困難,訓練數據有限會直接影響網絡特征的有效擬合,導致整體的檢測精度下降.而且多個神經網絡的使用也造成了重復的特征提取,嚴重影響了整體的系統的運行效率.將交通結構化信息提取分為多個步驟進行處理,也使得最終結果的準確率受到各個步驟的準確率影響.

為了同時實現交通圖像中機動車的檢測和屬性識別,中科院的郭少博[29]提出了機動車聯合檢測和識別方法,實現快速的交通車輛檢測和屬性識別,提高了系統的運行效率.但由于其使用的了雙階段的Faster RCNN網絡[30]作為基礎結構,其運行速度較慢,難以滿足實際中的需求.且該方法針對車輛檢測和屬性識別,并未對車輛進行跟蹤,其應用場景有限.與之不同的是,格拉茨技術大學的Feichtenhofer 等[31]基于FasterRCNN 的雙階段網絡提出了一種結合目標檢測和目標跟蹤的方法,通過特征和目標的包圍框進行目標跟蹤.該方法同時實現了目標檢測和跟蹤,但由于其基于雙階段的目標檢測算法,在檢測框架上仍有較大的優化空間.因此,清華大學的Wang 等[32]將該網絡結構進一步改進,采用基于YOLOv3[33]的基礎網絡結構進行目標檢測和特征提取,結合卡爾曼濾波和匈牙利算法實現目標跟蹤,且在實時的效率下實現較好的檢測和跟蹤效果.但由于該問題的完整數據集較少,其利用行人檢測、行人跟蹤和行人重識別的數據集進行訓練和測試.與之不同的是車輛的數據集與行人的問題稍有不同,數據集在聯合訓練中還有部分的問題需要解決如車輛檢測和車輛重識別問題訓練樣本的場景不相同等.因此,針對車輛的結構化信息提取仍是一個尚未較好解決的問題.

因此,為解決網絡訓練繁瑣、子任務訓練數據有限和網絡特征重復提取等問題,本文采用如下方法：

(1)改進YOLO 層,使多個子任務共享特征提取結構.將多個子任務提取特征部分整合在一個統一的網絡backbone,并改進YOLO 層使之同時解決多個任務的輸出為問題.

(2)構造多任務學習損失函數.將多個子任務整合在統一的損失函數之中,利用端到端的網絡訓練,實現多任務網絡的訓練.

(3)融合多種不同結構的數據集.根據現有的公開數據集,將不同感受野大小的圖像進行有機融合,并根據子任務需求對其進行擴充和增廣,對缺失的部分任務的樣本進行補充標注.

1 車輛結構化信息提取神經網絡

1.1 系統流程

系統流程圖見圖1所示,主要過程包括：(1)圖像輸入；(2)車輛結構化信息提取網絡提取結構化信息；(3)采用多目標跟蹤方法SORT 實現目標跟蹤.本文以YOLOv3網絡結構為基礎,構建一個端到端提取車輛結構化信息的網絡結構,實現車輛目標檢測、車牌定位、車輛顏色識別、車型分類和車輛的特征提取,結合SORT多目標跟蹤方法,可同時實現實時的車輛檢測、跟蹤和車輛結構化信息提取.

圖1 系統流程圖

1.2 車輛結構化信息提取神經網絡

YOLOv3 是當前實時目標檢測算法中廣受工業界歡迎的算法之一,該網絡是YOLOv2 網絡的繼承和發展,主要調整了網絡結構,增加了多尺度的特征提取結構.其采用了Darknet-53 的基礎網絡結構,其中包含了53 個卷積層,并結合了Residual Network 的殘差網絡結構,在層與層之間加入了Shortcut 結構,使得低層特征在深層網絡中得到保留.該網絡在第83 層、95 層和107 層分別進行特征提取,實現多尺度的目標檢測,在小目標檢測中,召回率有明顯的提高.

本文在YOLOv3 基礎上,修改了YOLO 層,將YOLO層輸出目標類別和目標位置改進為同時輸出車輛特征、車輛位置、車牌位置、車型分類和車輛顏色多個信息,將YOLO 層原本的輸出特征圖大小從(2A+4A)×H×W改進為(2A+4A+4A+2A+D)×H×W,其中A表示該尺度上的錨點模板數量,D表示1024 維的車輛特征維度,H和W分別表示該尺度上特征圖的高度和寬度.并通過多任務學習損失函數對多個子任務進行融合.網絡結構見圖2.

圖2 網絡結構圖

改進YOLO 層之后,目標將YOLO 網絡從單純的定位和分類的網絡拓展為多任務輸出的網絡,能同時實現隊中任務的訓練和使用,緩解了車輛結構化信息提取因數據量不夠而產生的過擬合問題,且合并了多個子任務,極大的提高了人工神經網絡實際應用價值.

1.3 多任務學習損失函數

本文的損失函數將多任務學習串聯在一起,根據損失函數將多個子任務實現端到端的網絡訓練,式(1)如下：

其中,Lobj,LCloc,LLloc,Lcol,Ltype,Lemded分別表示前景判斷、車輛定位、車牌定位、車輛顏色、車輛類型和車輛特征的損失函數；前景判斷、車輛顏色和車輛類型的損失函數為交叉熵損失函數,該部分網絡后通過Softmax 對類別進行分類：

其中,N表示訓練中batch 的大小,M表示該子任務的類別數,其中前景判斷分為2 類,即前景和背景；車輛顏色分為7 類,即白色、銀色、黃色、紅色、藍色、綠色和黑色；車輛類型分為轎車、載貨汽車、客車、掛車和其他車輛5 種.yjc表示變量0 或1,如果該類別和j的類別相同,則為1,反之則為0.pjc表示樣本j屬于類別c的預測概率.

車輛定位和車牌定位的損失函數為平滑L1 損失函數,如式(3),式(4)所示：

車輛特征的獲取是一個度量學習的問題,需要考慮樣本數量和收斂速度,文獻[33] 中對比了三元損失、改進的三元損失和交叉熵損失,發現相較于其他損失函數,交叉熵損失函數更適用于多任務學習問題,因此本文中也用交叉熵損失函數度量車輛特征提取的損失值.提取的目標特征將被輸入到一個全連接層中,并結合交叉熵損失對其進行訓練.參考文獻[34],Si表示各任務的不確定性,可由訓練學習得到.由于并非所有的樣本都進行了完整的標注,因此需要將樣本未標注部分的標簽設為-1,當訓練時遇到該部分損失函數計算時,忽略該部分的損失函數計算.

2 多任務學習訓練數據增廣

在多任務學習任務中,收集完整標注的數據集較為困難,雖然針對單一任務的相關數據集較多,但其目標大小標注情況都不相同,比如在車輛檢查中,車輛只占整圖中的一小部分,但車輛重識別的樣本中圖像大小即為車輛包圍框的大小,在不加整理的情況下同時訓練兩部分數據會對網絡訓練的收斂情況造成較大的影響,尤其是車輛檢測和車輛重識別的數據集,其場景大小差別較大.車輛檢測的任務為檢測圖中車輛,并輸出車輛在圖像中的位置,其除了車輛之外,有較多的背景區域；車輛重識別主要判斷多張圖中的車輛是否為同一車輛,其訓練數據為了減少其他的干擾,將車輛目標從原圖像中進行截取,其圖像完全包絡了車輛目標,背景區域干擾可以忽略不計,在同時訓練上述數據集時會極大減緩車輛檢測的定位損失收斂.因此需要對訓練樣本進行增廣和整理,其流程圖見圖3.其主要分為如下幾個部分.

圖3 多任務樣本準備流程圖

(1)收集數據集,并將所有的數據集按統一的標注格式進行修改.由于本文參考了YOLOv3 的網絡,因此訓練數據和YOLOv3 也較為相似,樣本標注為(label,cx/W,cy/H,cw/W,ch/H,type,color,lx/W,ly/H,lw/W,lh/H,No),其中label,type和color分別表示是否為車輛、車輛類型和車輛顏色的標注,cx和cy分別表示車輛包圍框中心點的橫坐標和縱坐標,W和H表示圖像的寬度和高度,cw和ch表示車輛包圍框的寬度和高度,類似的,lx,ly,lw和lh分別表示車牌包圍框的中心點坐標和車牌包圍框的寬度和高度,No表示在當前序列中車輛的編號.在缺省的標簽上打上-1,在訓練時忽略該標簽的訓練.收集的數據集主要包括車輛檢測、車輛類型和車輛重識別的公開數據集.

(2)數據集整合.在車輛檢測數據集中手工挑選部分目標較少的圖像,將圖中的車輛目標抹去,作為背景樣本,并將車輛重識別的樣本在該部分圖像中進行填充,整合成新的車輛重識別數據集.該數據集在重識別任務中加入了背景干擾,更符合實際場景中情況,也解決了車輛重識別和車輛檢測數據集在聯合訓練時產生的檢測損失收斂緩慢的問題.且車輛重識別數據集中除了相同的車輛分為一組之外,還額外標注了車輛顏色信息,可以減少部分車輛顏色的手動標注工作.

(3)數據集補充標注.由于數據集由各個子任務的數據集組成,因此需要手工補充標注部分的數據,使訓練數據更接近實際應用場景.

(4)數據增廣.將所有的樣本進行適當的透視變換,并對圖像的飽和度和亮度上增加適當的誤差擾動,擾動取值范圍設置為當前飽和度和亮度的0.5～1.5.

3 實驗分析

本文結合了多個車輛相關的數據集,并在整合補充之后,得到了相應的車輛結構化特征提取數據集VSFE,其主要由公開車輛檢測數據集KITTI、UADETRAC、車輛重識別數據集VRID 和部分自己手工收集及標注的數據,共100000 張圖像,其中包括393468輛車,其中80000 張為訓練集,20000 張為測試集.數據集KITTI 是自動駕駛中較為有名的數據集,其通過在車輛上安裝多個傳感器進行數據集的數據獲取和自動標注；數據集UA-DETRAC 拍攝于京津冀人行天橋的場景,手動標注了8250 個車輛,詳細標注了車輛編號、車輛位置、車輛類型和車輛方向；車輛重識別數據集VRID 是中山大學openData 開放平臺上的車輛重識別數據集,其數據來源于某城市道路卡口,包含10000張車輛圖像,可用于車輛重識別、車輛品牌精細識別和車輛顏色識別.

本文在為證明算法的有效性分別在公開數據集KITTI 和本文提出的數據集VSFE 上分別進行實驗,實驗基于Darknet 的神經網絡框架實現,運行在配有英特爾酷睿i7-7700k CPU 和2 塊1080Ti GPU 的PC 機上.

3.1 KITTI 數據集結果分析

本文方法在VSFE 數據集做預訓練,得到預訓練網絡,再將KITTI 數據集作為訓練集進行微調.由于KITTI 數據集中并不包含本文方法需要的各類標簽,因此需通過額外的數據集對其進行補充,實驗結果見表1.相對于其他方法,本文算法在實驗效果上優于其他同類方法,運行效率上略低于YOLOv3,但仍滿足實時性要求.

表1 KITTI 數據集結果比較

因為本文方法(VESNet)較于YOLOv3 檢測網絡需要完成更多的子任務,所以其運行速度會略低于YOLOv3.由于多任務學習使得各個子任務之間的特征能得到有效的交流,已補足數據集本身的數據不均衡、訓練數據有限等問題,因此本文的方法在基礎網絡相同的情況下,較YOLOv3 能提升2.24%實驗效果.

3.2 VSFE 數據集實驗分析

由于本文算法VESNet 是一個多任務學習的網絡,為了證明該算法在多任務學習上的效果,需要在相應的數據集上進行端到端的訓練,而傳統的車輛重識別數據集和車輛檢測數據集的感受野存在很大的差異,因此不能將兩種數據集同時進行網絡訓練.因此,需要基于本文的數據增廣方法,將兩種不同的感受野的數據統一到相同大小的感受野之中,實現端到端的網絡訓練.增廣后的數據集名為VSFE,實驗結果見表2.

表2 VSFE 數據集結果比較

在VSFE 數據集實驗中,本文方法利用本文提出的多任務學習神經網絡VESNet 結合多目標跟蹤方法SORT 進行車輛的結構化信息提取和多目標跟蹤；多階段方法由幾個部分組成,先通過目標檢測神經網絡進行車輛檢測,提取車輛具體位置,再根據車輛當前位置利用KCF 跟蹤算法[14]進行目標跟蹤,最后再用神經網絡對車輛子圖像進行車牌定位、車型分類和顏色識別.由表2可知,本文提出的方法在大部分的子任務處理中都優于多階段的方法,且運行時間遠少于多階段方法.在該實驗中,目標跟蹤通過判斷目標自被檢測至最終一幀是否仍在跟蹤,來判斷目標是否跟丟,從而計算跟丟率.

在目標檢測子任務上,本文方法和多階段方法由于都用的是YOLOv3 的基礎網絡結構,因此結構較為相近.因此在相同的訓練數據情況下,目標檢測的檢測結果相近,因為多任務學習將多個子任務進行同時訓練,使得網絡的收斂效果更好,因此準確率和召回率略高于單純的YOLOv3 目標檢測網絡.目標跟蹤子任務中,由于本文方法提取了目標特征,并維護了跟蹤隊列,所以即使在中間某一幀未匹配成功,也并不影響后續的跟蹤結果,因此效果遠好于依賴單目標跟蹤的多階段方法.而單目標跟蹤方法容易受到目標形變、遮擋等問題的影響,且單目標跟蹤的運行時間受圖像中目標數量影響,相較而言本文方法運行時間穩定,魯棒性更強,尤其適應容易出現目標遮擋的復雜場景.車牌定位子任務中,由于多階段方法利用檢測出車輛的子圖像進行進一步的車牌定位,因此其結果較好,且因為遠處的車輛車牌較小,使得本文方法會出現部分漏檢的問題,影響了該部分的成績.在車型分類和顏色識別上,多階段方法受到多步驟的誤差累加問題影響,其結果明顯低于本文的方法.檢測效果圖如圖4所示.

圖4 多任務檢測效果圖

對比本文方法和多階段的車輛結構化信息提取方法,如表2所示,本文方法通過端到端的神經網絡計算,結合快速多目標跟蹤的卡爾曼濾波和匈牙利算法實現相鄰幀之間的目標跟蹤配對,僅需要25.5 ms 便完成了一幀圖像的檢測、跟蹤和結構化信息提取；而多階段的方法檢測、結構化特征提取和目標跟蹤分離開來,分為3 步進行計算,其運行時間也由3 部分組成,即目標檢測時間(20.6 ms)、結構化特征提取時間(23.2 ms)和目標跟蹤時間(平均20.7 ms).其中,特征提取部分進行了多次的重復計算,使得計算量遠高于本文提出的方法.再者,使用多次單目標跟蹤算法完成多目標跟蹤任務,會在圖像中存在多個跟蹤目標時,大量占用計算機資源,不利于系統穩定,其魯棒性較差.在多階段方法中,前一階段方法的準確率直接對后一階段的效果有明顯的影響,其誤差會隨著階段增多而不斷累積,影響最終結果.

此外,本文中的數據增廣方法使得本文的方法能較好地適應場景中光照變化的情況,如夜間的車輛檢測問題,也能有較為準確的檢測結果,如圖5所示.收到光照變化影響,夜間車輛顏色檢測存在一定的誤差,但其他車輛結構化信息提取仍有較好的實驗結果.

圖5 夜間車輛結構化信息提取

當圖像中存在多輛車輛同時進行檢測跟蹤時,本方法依然能實現較好的檢測跟蹤效果,如圖6所示.圖中大部分的車輛都能較好的完成檢測和特征提取,但由于輸入圖像大小有限,部分過于小的目標仍存在丟失的情況,尤其是遠處車輛的車牌位置.在場景中車輛間會出現相互遮擋的情況下,本文方法利用車輛前后幀特征進行對應的車輛匹配,使其在遮擋之后仍然能重新被跟蹤到,能較好地用于實際的視頻分析應用之中.

圖6 多車輛場景檢測效果圖

4 結論與展望

針對車輛結構化特征提取中存在的重復特征提取、過程誤差累加和訓練樣本有限的問題,本文提出了端到端的車輛結構化特征提取網絡.網絡基于YOLOv3進行了改進,通過多任務學習損失函數將車輛檢測、車輛特征提取、車輛顏色識別、車輛類型識別和車牌定位任務整合在同一網絡之中,在檢測車輛的同時同步輸出相應的屬性.在結合多目標跟蹤之后,可對視頻中的車輛同時進行檢測跟蹤,在智慧交通領域有著廣泛的應用.

考慮到車輛的各種數據集存在不兼容的問題,本文提出了數據整合和增廣的方法,在不增加標注工作量的情況下,通過將車輛檢測數據集和其他數據集進行組合,實現數據整合和增廣.在本文中,車輛跟蹤基于車輛位置和車輛特征實現,需要在網絡之后增加多目標跟蹤方法SORT 實現目標跟蹤,未來希望能將目標跟蹤部分整合到網絡中,實現真正的端到端車輛結構化特征提取.