紅外熱成像技術(shù)在ADAS系統(tǒng)中的應(yīng)用

鐘明霞,姜柏軍

(浙江商業(yè)職業(yè)技術(shù)學(xué)院,浙江 杭州 310053)

1 引 言

目標檢測是高級駕駛輔助系統(tǒng)(ADAS)[1]的關(guān)鍵技術(shù),主要通過傳感器、處理單元以及控制單元以幫助駕駛者察覺可能發(fā)生的危險,消除人為錯誤和分心駕駛來降低事故率,是提高駕駛安全的主動安全技術(shù)。目標檢測其關(guān)鍵核心技術(shù)主要包含兩個步驟:一是感知檢測對象；二是將對象進行分類以確定行動方案。步驟一需要借助傳感技術(shù),主要用來增強或逐步取代駕駛中所需的感知能力,優(yōu)化駕駛性能。步驟二需要借助人工智能深度學(xué)習(xí)算法,對傳感器傳送的道路交通圖像或視頻進行分類識別,以區(qū)分是機動車、行人、自行車等交通對象。

汽車駕駛場景中的目標檢測是富有挑戰(zhàn)性的問題,目前ADAS系統(tǒng)中應(yīng)用的主要傳感部件包括可見光攝像機、雷達傳感器和激光測距儀等,可見光攝像機能夠獲取環(huán)境景象信息,在光線和照明充足前提下,在交通標注識別、車道偏離警告、緊急制動輔助、行人/動物檢測分類等方面性能優(yōu)越。缺點是夜視功能較弱且在雨霧天氣情況下視距縮短。而激光雷達傳感器可獲取環(huán)境空間的三維尺寸信息,缺點是激光雷達會受粉塵、雨霧天氣影響,一般在汽車上激光雷達需要結(jié)合其他傳感器來實現(xiàn)避障,對細小物體識別差。而紅外熱成像儀因為對溫度敏感,夜視能力強,作用距離遠,可排除眩光和天氣干擾,甚至在黑暗中或大霧條件下檢測和分類目標,提供改進的態(tài)勢感知。因此在行駛汽車的傳感器套件中有必要添加紅外熱像儀,應(yīng)用紅外熱成像技術(shù)的價值在于可增加ADAS系統(tǒng)傳感器套件的可靠性并提高系統(tǒng)感知性能。如圖1所示為用可見光RGB相機和LWIR(長波紅外)熱成像相機在霧隧道中記錄的示例圖像,很明顯的LWIR拍攝的圖像更利于目標識別。

圖1 可見光RGB相機與LWIR熱成像相機拍攝圖像效果對比Fig.1 Comparison of image effects between visible light RGB camera and LWIR thermal imaging camera

近年來基于深度學(xué)習(xí)算法的ADAS系統(tǒng)目標檢測技術(shù)得到了巨大的發(fā)展[2],比如一些著名的檢測算法(Faster R-CNN、YOLO和SSD)在機動車或行人檢測方面以及交通標志的識別任務(wù)中表現(xiàn)優(yōu)越[3],但是由于交通目標一旦處于復(fù)雜環(huán)境,或光照不足,或處于惡劣天氣時段,深度學(xué)習(xí)算法的目標檢測結(jié)果經(jīng)常出現(xiàn)誤檢或漏檢,同時檢測速度達不到系統(tǒng)要求的實時性需求。為了解決上述問題,本文提出了紅外熱像技術(shù)結(jié)合深度學(xué)習(xí)下的最新的目標檢測YOLOv5算法來幫助ADAS系統(tǒng)實現(xiàn)兼顧精度與實時性的目標檢測,主要特點有:①改變傳統(tǒng)目標檢測算法采用RGB可見光圖像作為算法的輸入,采用紅外熱成像儀采集的圖像進行目標檢測。②為了更好的進行特征提取便于后續(xù)的檢測分類,本文研究了紅外熱圖像的預(yù)處理方法,包括圖像增強以及ROI目標提取。③選擇了最新的YOLOv5模型作為目標檢測的基本模型,并采用遷移學(xué)習(xí)提高了模型的訓(xùn)練速度和檢測效率。

2 紅外熱圖像預(yù)處理

前面提到了盡管紅外熱成像技術(shù)采集的圖像(以下簡稱為紅外熱圖像)在交通目標檢測方面具有優(yōu)于RGB可見光圖像的優(yōu)點,但是它也同樣存在缺點。相比于可見光圖像,紅外熱圖像具有信噪比低、目標紋理特征少、分辨率低等特點,導(dǎo)致圖像信息量太少,難以區(qū)分目標與背景等[4]。這些問題會影響目標檢測的準確性,故需要針對紅外熱圖像的特性進行圖像預(yù)處理,主要包括2個方面。

(1)圖像增強

圖像增強目標是增加紅外熱圖像的目標與背景的對比度,本文采用文獻[5]提出的基于通道擴展的紅外圖像數(shù)據(jù)增強算法。因為紅外圖像為單通道圖像導(dǎo)致圖像信息量不夠難以實現(xiàn)目標識別,所以對紅外圖像分別執(zhí)行CLAHE圖像增強算法和inversion圖像增強算法,然后進行三通道合成,再輸入到后續(xù)操作中,這樣圖像數(shù)據(jù)量可以進一步增加,后續(xù)網(wǎng)絡(luò)模型訓(xùn)練更利于特征提取。圖2所示為原圖與圖像增強效果對比。

(a)原圖 (b)增強效果圖圖2 圖像增強效果對比Fig.2 Comparison of image enhancement effects

(3)目標ROI提取

經(jīng)研究發(fā)現(xiàn)視覺將顯著性算法在移動目標跟蹤、目標識別領(lǐng)域有著很好的識別效果,因此本文打算采用視覺顯著性原理對目標 ROI 進行快速定位。但是行人或遠處的汽車等在紅外熱成像相機獲得的交通路況圖像或視頻通常都以紅外弱小目標對象的形式存在,因為圖像噪聲或?qū)Ρ榷鹊偷扔绊懩繕藱z測誤檢率較高。為解決誤檢問題,本文采用文獻[6]基于空間距離改進的視覺顯著性算法,通過減少噪聲、背景的干擾,同時該方法可以減少對圖像的計算量,提高紅外弱小目標的檢測結(jié)果。以本文圖1中霧隧道紅外熱成像圖為例,對應(yīng)的目標ROI的提取效果如圖3所示。

圖3 目標ROI提取Fig.3 Extraction of target ROI

3 YOLOv5訓(xùn)練目標檢測網(wǎng)絡(luò)

ADAS系統(tǒng)的交通目標檢測是根據(jù)傳感器傳送的圖像或視頻來檢測是否存在給定類型的交通目標實例(比如行人、機動車、自行車、動物等),若檢測為真值確定其存在則同步返回一個邊界框,用于標注每個交通目標實例的空間位置和覆蓋范圍。在汽車駕駛場景目標檢測任務(wù)中,一般需要同時檢測多類目標,但是因為汽車駕駛場景下存在不同類型目標尺度差異、姿態(tài)多樣以及背景復(fù)雜且存在遮擋等不利因素導(dǎo)致目標檢測面臨諸多挑戰(zhàn)。其中最大的困難是網(wǎng)絡(luò)模型訓(xùn)練后的模板匹配過程很耗時,以至于難以實現(xiàn)兼顧精度與實時性的目標檢測系統(tǒng)。

計算視覺新創(chuàng)公司Roboflow通過實驗證明YOLO系列最新的YOLOv5算法在目標檢測方面性能優(yōu)越,不僅在硬件環(huán)境上易于配置,而且模型訓(xùn)練速度遠超YOLOv4,可實時產(chǎn)生系統(tǒng)批處理結(jié)果。因此,本文采用YOLOv5算法,在圖像預(yù)處理基礎(chǔ)上對實驗數(shù)據(jù)集進行遷移學(xué)習(xí),訓(xùn)練并優(yōu)化模型用于檢測和分類各種交通環(huán)境或天氣條件下的交通目標對象。遷移學(xué)習(xí)通過把當(dāng)前YOLOv5模型框架下已學(xué)習(xí)訓(xùn)練好的針對COCO數(shù)據(jù)集預(yù)訓(xùn)練的相關(guān)性模型參數(shù)遷移到新的模型來幫助新模型加快并優(yōu)化模型的學(xué)習(xí)效率。這樣可以降低訓(xùn)練對于樣本數(shù)量的依賴從而提高模型的精度,主要包含以下步驟:

(1)訓(xùn)練數(shù)據(jù)集采集與標注

為了驗證實驗效果,本文測試數(shù)據(jù)庫采用2019年8月FLIR公司推出的免費用于算法訓(xùn)練的FLIR Thermal Starter 數(shù)據(jù)集V1.3。數(shù)據(jù)是由安裝在車上的RGB相機和熱成像相機獲取的。數(shù)據(jù)集總共包含14452張紅外圖像,其中10228張來自多個短視頻；4224張來自一個長為144 s的視頻；數(shù)據(jù)集圖像包括5種目標分類:行人、狗、機動車、自行車及其他車輛。該數(shù)據(jù)集使用MSCOCO labelvector進行標注,提供了帶注釋的熱成像數(shù)據(jù)集和對應(yīng)的無注釋RGB圖像(如圖4所示),數(shù)據(jù)集文件格式包括五種:①14位TIFF熱圖像(無AGC)；② 8位JPEG熱圖像(應(yīng)用AGC),圖像中未嵌入邊界框；③ 8位JPEG熱圖像(應(yīng)用AGC),圖像中嵌入邊界框便于查看；④RGB-8位JPEG圖像；⑤注釋:JSON(MSCOCO格式)。

圖4 FLIR Thermal Starter 數(shù)據(jù)集圖像示例Fig.4 Example of FLIR Thermal Starter data set image

(2)數(shù)據(jù)集預(yù)處理及配置文件準備

為了完成模型的訓(xùn)練,FLIR Thermal Starter 數(shù)據(jù)集必須進行預(yù)處理后才能使用,將JSON標簽轉(zhuǎn)換為YOLO格式,并按照YOLOv5的訓(xùn)練文件結(jié)構(gòu)要求布置。同時加載預(yù)訓(xùn)練模型,準備YOLOv5代碼庫,在yolov5目錄下的model文件夾下是模型的配置文件,提供s、m、l、x版本,版本越高,架構(gòu)也越大,訓(xùn)練時間也會逐漸增大。為了保證系統(tǒng)的實時性,本文采用s版本,即采用yolov5s.yaml,修改參數(shù)后的模型文件命名custom_yolov5s.yaml,以及uc_data.yaml文件,模型的輸出是FLIR Thermal Starter 數(shù)據(jù)集中的5類交通目標,因此修改模型的對象預(yù)測層輸出類別數(shù)量為5。

(3)參數(shù)設(shè)置及模型訓(xùn)練,模型訓(xùn)練參數(shù)設(shè)置如表1所示。

表1 訓(xùn)練參數(shù)設(shè)置Tab.1 Training parameter settings

分類和目標檢測的性能評價通常采用準確率、精確率與召回率、綜合評價指標(F1)來進行衡量。圖5展示了模型訓(xùn)練結(jié)果,從圖中可以看出,隨著模型訓(xùn)練迭代次數(shù)的增加整個模型趨于收斂,損失值不斷降低,模型精確率和召回率也滿足要求。當(dāng)?shù)螖?shù)到達250次之后,模型趨于穩(wěn)定,準確率最高超過90 %。

圖5 模型訓(xùn)練結(jié)果Fig.5 Model training results

4 實驗結(jié)果及分析

為了測試和驗證系統(tǒng)的目標檢測性能,在數(shù)據(jù)集中選取了白天、夜晚光照不足、路口眩光、霧霾隧道等不同環(huán)境或天氣條件下的圖像進行性能測試,圖像實驗結(jié)果如圖6～9所示,進行了四種情況下RGB可見光圖像與紅外熱成像儀拍攝圖像目標檢測后的效果對比。很明顯,相比較RGB可見光相機,紅外熱圖像在夜視不足、眩光、惡劣環(huán)境或天氣條件下具有更準確的檢測效果。

(a)可見光 (b)紅外熱圖圖6 白天可見光相機圖像和紅外熱圖像檢測效果Fig.6 The detection results of visible light camera images and infrared thermal images during the day

(a)可見光 (b)紅外熱圖圖7 夜晚光照不足情況下可見光相機圖像和紅外熱圖像檢測效果Fig.7 The detection effect of visible light camera image and infrared thermal image under the condition of insufficient night light

(a)可見光 (b)紅外熱圖圖8 路口眩光可見光相機圖像和紅外熱圖像檢測效果Fig.8 The detection effect of the junction glare visible light camera image and infrared thermal image

本文從FLIR Thermal Starter數(shù)據(jù)集中選擇用于測試的實驗紅外熱圖像600張,其中包含行人、機動車、自行車等交通目標2101個,隨著模型訓(xùn)練迭代次數(shù)到達300次,檢測準確率為90.58 %,即有效檢測目標1903個；誤檢測目標123個,誤檢率為5.85 %；漏檢目標75,漏檢率為3.57 %,目標檢測速度為140FPS。通過實驗也證明,經(jīng)過圖像預(yù)處理步驟(增強、ROI提取)后的模型分類精度更高,檢測速度更快。不同圖像預(yù)處理方法的模型檢測精度和速度對比見表2所示。

5 結(jié) 語

本文提出了現(xiàn)在主流的汽車傳感器技術(shù)在目標檢測方面存在的缺陷,分析了紅外熱成像技術(shù)在ADAS系統(tǒng)應(yīng)用的優(yōu)點,提出了在傳感器套件中添加紅外熱像儀的必要性及其技術(shù)價值,然后在圖像預(yù)處理基礎(chǔ)上結(jié)合YOLOv5算法研究了復(fù)雜交通環(huán)境中的移動目標檢測問題,為汽車輔助駕駛系統(tǒng)的實際應(yīng)用提供了新思路。后續(xù)工作考慮采用RGB可見光圖像和紅外熱圖像的彩色圖像融合技術(shù)進行交通檢測和目標識別,進一步增強目標檢測系統(tǒng)的目標識別速度和準確度,以保證系統(tǒng)對各類場景的適應(yīng)性。