車輛全景環視設備圖像質量評價方法研究

董 軒，周 煒*，劉夢雅

（1.交通運輸部公路研究所，北京 100088；2.交通運輸部車輛運行安全技術重點實驗室，北京 100088）

隨著經濟的發展，人們生活水平的提高，汽車的產量和銷量逐年遞增，與此同時，行車安全對人們生命財產安全的影響越來越大[1]。由于駕駛員視覺盲區的存在，極易造成判斷和操作失誤，從而導致吞人卷車、汽車追尾等交通事故頻發，駕駛員視野盲區成為獲取汽車周圍環境信息的最大障礙。尤其是大型客車與貨車，車身周圍存在許多視野盲區，經常發生車輛起步或泊車時碾壓視野盲區內行人及非機動車的事故，特別是公交車、城市物流車輛等在人員密集場所運營車輛的此類事故風險尤其嚴重，大型營運車輛車身周圍盲區面積可達70 m2[1]。為了解決這些問題，車載環視系統萌芽并發展起來，在無人駕駛和汽車電子安全駕駛領域具有廣闊的應用前景。車載環視系統的概念由K.Kato等[2]人于2006年首先提出，并申請了美國專利。車載環視系統是一種基于機器視覺的車輛輔助駕駛系統，是利用安裝在車輛四周的廣角攝像頭，通過圖像變換重構車輛以及周圍場景的鳥瞰視角圖像，駕駛員可以安全泊車、避開障礙物和消除視覺盲區，達到安全行車的目的。

車載環視拼接相關技術研究已經逐漸成為國內外研究重點[3-6]。相對于圖像拼接方法的研究，目前國內外文獻中對拼接圖像質量評價的研究較少。圖像質量評價是比較各種圖像拼接方案性能優劣以及優化系統參數的重要手段，因此建立有效的圖像質量評價機制對評估全景拼接性能具有重要的意義。特別是全景環視系統的圖像質量依賴于圖像的拼接算法，必然會存在重影、損失等情況。本文提出了用軟件檢測360度全景環視設備的圖像質量，從而判定待檢360度全景環視設備成像系統質量好壞，為360度全景環視設備成像質量判斷提供科學的方法。

1 場景布置

在安裝有360度全景環視設備的車輛的周圍布置黑白棋盤格，啟動車輛和360度全景環視設備，360度全景環視設備拍攝清晰的全景圖像并將融合后的全景拼接圖像發送至360度全景環視設備成像質量評估軟件。通過矩陣式光源系統對環境照度進行精確控制，實現在地面2～3 000 lux的照顧調節，試驗設置為1 000 lux進行采集，地面照度均勻性Min/Ave＞0.9@Average≈1 000 lux。

黑白棋盤格符合ISO 16505的要求，布置方式：在車輛垂直地面投影外邊緣遠離車輛方向5～20 cm處，即車輛的前后左右，布置單個方格尺寸大小30 cm*30 cm的棋盤格，前后左右布置的棋盤格形成方框型，且其排布前后、左右分別對稱。場景布置如圖1所示。

圖1 場景布置圖

2 軟件計算步驟

車輛360度全景環視設備開啟并拍攝清晰全景圖像，并將融合后的全景拼接圖像發至電腦端軟件；軟件方基于深度學習，生成訓練數據集合和測試數據集，構建YOLOV3網絡；根據YOLOV3網絡計算全景拼接圖像的拼接損失占比、拼接重影占比、拼接錯位長度以及拼接縫隙寬度，生成測試報告，并存儲數據。

2.1 生成訓練數據集和獲取測試數據集

獲取360度全景拼接圖像，生成圖像數據集，通過獲取的不同環境、車型和廠商的拼接合成圖像；對每張圖像進行標注，分別框出圖像中拼接重影，拼接損失，拼接錯位、拼接縫隙的位置并標注每個位置的類別；將圖像數據集按9∶1劃分為訓練集和驗證集，獲取測試數據集。

2.2 構建并訓練YOLOV3網絡模型

將生成訓練數據集和獲取測試數據集作為圖像為輸入，生成一個YOLOV3網絡模型，該網絡模型主要由輸入層、主干特征提取層、特征融合輸出層組成。

輸入層輸入416×416×3大小的圖像。

主干特征提取層由殘差卷積模塊和在殘差卷積模塊間實現下采樣的卷積模塊組成，用來提取圖像特征。首先，對輸入層輸入的圖像進行32通道的卷積，再通過BN歸一化和LeakyReLU激活后得到特征層；卷積計算公式如下：

其中，xi為第i個像素值，n為圖像塊的像素點總數，wi為權重矩陣第i個下標的值。

BN歸一化函數如下：

其中，xout為歸一化結果，γ為縮放因子，u為均值，σ2為方差，β為偏置。

LeakyReLU激活函數如下：

其中，xi為BN歸一化后的輸出，ai為非零系數。

然后，對輸入的特征層進行卷積核大小為3，步長為2的下采樣，歸一化和激活函數后，進行殘差網絡的堆疊，殘差網絡由兩組卷積標準化和激活函數組成，在前向傳播階段，將輸入的特征層分為2部分，一部分為主干卷積邊，對輸入的特征層進行2組卷積標準化和激活操作，再與另一部分殘差邊相加得到殘差堆疊的結果。將結果又進行卷積核大小為3，步長為2的下采樣，歸一化和激活函數后，進行2次殘差網絡的堆疊，得到第2次下采樣和殘差堆疊的結果，從第1次開始分別對上一步結果進行下采樣后進行1次、2次、8次、8次、4次殘差堆疊，得到5次下采樣和殘差堆疊的結果，對后3層的特征層進行保存，進行下一層的處理。

特征融合層將上一層保存的3個尺度的特征層構建特征金字塔，進行分類和回歸預測。以416×416圖像作為輸入的特征融合層的3個尺度分別為13×13、26×26和52×52。在每個尺度內，通過卷積核的方式進行局部特征交互，完成金字塔特征融合；首先，對13×13特征層的圖像進行1×1的卷積調整通道數，3×3的卷積進行進一步的特征提取，再進行1×1的卷積調整通道數，3×3的卷積進行特征提取，以此來減少網絡的參數量進行特征的提取，接著又通過一個1×1的卷積對通道數進行調整，對5次卷積后的結果又進行3×3和1×1的卷積進行分類和回歸預測;然后，對前5次卷積后的結果進行1×1的卷積調整通道數后進行上采樣操作，與上一層26×26的特征層進行堆疊，堆疊結果進行與13×13特征層相同的5次卷積提取特征以及3×3和1×1的卷積進行分類和回歸預測;最后，52×52特征層也進行相同操作，最終獲得3個尺度的回歸預測結果。

輸出層對特征融合層輸出的3個尺度特征圖進行分類和位置回歸，通過獲取的3個預測結果進行先驗框的調整，獲得最終的預測框。其中損失函數如下：

其中，Llocation（l，g）為目標邊框定位偏移量損失，Lconfidence（o，c）為目標邊框置信度損失，Lclass（O，C）為目標邊框分類損失，λ1、λ2、λ3表示平衡系數。

Lconfidence（o，c）采用二值交叉熵損失，公式如下：

式中，oi∈{0，1}，表示第i個預測框是否存在待檢測目標，其中0表示不存在，1表示存在。ci表示第i個預測框存在已知目標的Sigmoid概率。

Lclass（O，C）采用二值交叉熵損失，公式如下：

式中，oij∈{0，1}表示第i個目標預測框是否存在第j類待檢測目標，0表示不存在，1表示存在，Cij表示第i個目標預測框存在第j類目標的Sigmoid概率。

Llocation（l，g）采用真實值與預測偏差值差的平方和表示，公式如下：

其中，gi為預測框相對預設框坐標偏移量，li為預測矩形框坐標偏移量，（bx，by，bw，bh）為預測框參數，（cx，cy，pw，ph）為預設框參數，（gx，gy，gw，gh）表示映射在預測特征圖上真實目標框參數。

最后，利用數據集訓練YOLOV3網絡。

2.3 對YOLOV3網絡模型進行評分

通過軟件指出損失圖像、拼接重影、拼接錯位、以及拼接縫隙的位置并進行計算損失占比、重影占比、錯位長度以及縫隙寬度。

損失占比計算公式如下：

其中，l為單個棋盤格的損失占比，sl為單個棋盤格損失的面積，sc為棋盤格本身的面積。

重影占比計算公式如下：

其中，g為單個棋盤格的損失占比，sg為單個棋盤格重影面積，sc為棋盤格本身的面積。

錯位長度計算公式如下：

其中，dd為2個棋盤格的錯位距離（單位：cm），dx為2個棋盤格橫向錯位距離，dy為2個棋盤格縱向錯位距離。

縫隙寬度根據圖像像素距離與實際距離進行縫隙寬度的計算。

某360度全景環視設備拼接圖像結果分析如圖2所示，該圖像共檢測出46處損失，11處重影和11個錯位的地方，無拼接縫隙。

圖2 某360度全景環視設備拼接圖像分析

3 結束語

通過360度全景環視拼接圖像質量評價軟件對360度全景環視設備的拼接圖像質量進行評價。軟件基于深度學習，生成訓練數據集合和測試數據集，構建YOLOV3網絡；根據YOLOV3網絡計算全景拼接圖像的拼接損失占比、拼接重影占比、拼接錯位長度以及拼接縫隙寬度的結果表明，360度全景環視設備圖像評價軟件能準確地判斷拼接圖像的效果，代替繁瑣的、大量的人為統計評分，并且可以克服單因素評價指標所帶來的局限性，有利于全自動自適應圖像拼接系統的實現，具有非常重要的應用價值。

同時，該方法可以擴展環視拼接的立體測試內容，通過垂直于地面的棋盤格實現垂直方向的重影、損失等參數的量化分析，考察行人、車輛從盲區通過時候的圖像置信度與駕車風險，后續工作正在持續開展中。