虛擬傳感器與視覺傳感器聯合標定技術研究

賈鵬飛，張蕾，劉全周，李占旗

虛擬傳感器與視覺傳感器聯合標定技術研究

賈鵬飛，張蕾，劉全周，李占旗

（中汽研（天津）汽車工程研究院有限公司，天津 300300）

為了在虛擬場景下實現對ADAS控制器的測試，文章對相機的測距模型進行了研究，在虛擬場景下完成了相機的標定，對相機捕獲的圖像進行了畸變校正，設計了4層BP神經網絡對虛擬傳感器與相機進行聯合標定，得到了虛擬傳感器與視覺傳感器的轉換關系，并設計了實驗進行驗證，通過測試最終的數據誤差為0.37%。

ADAS；BP神經網絡；聯合標定

前言

在汽車駕駛輔助系統（ADAS）測試中，虛擬場景測試平臺可方便靈活地對輔助駕駛系統的控制策略進行測試，具有節約勞動成本，提升測試效率的優點。虛擬場景平臺傳感器的標定作為測試工作中的重要組成部分，其標定的精度直接影響最終的測試精度，因此標定技術已經成為各個高校和企業研究的熱點[1-3]。

目前，ADAS主要通過實際場景和虛擬場景兩種方式進行測試，在實際場景中的測試由于駕駛環境復雜，很多情況并不能完全模擬，因此存在很多局限性。而虛擬場景測試是通過在虛擬場景中模擬各種對象、路況、環境以及行為等，不僅能夠縮短測試時間，還能對ADAS系統做出全面考核，使考核指標不僅僅局限在里程數。為了提升傳感器的標定精度，實現ADAS的精確預警，國內外學者做了大量工作。

牛萍娟等人通過神經網絡的非線性映射能力直接建立了毫米波雷達坐標系和視覺圖像坐標系之間的映射關系，減少了傳感器標定的時間。韓正勇等對相機內外參數的求解問題做了研究，利用采集的幾幀圖像得到標定的轉換矩陣，并求解出矩陣參數。俞德崎等用ArUco標簽確定標定板與相機坐標系間的關系，通過隨機采樣一致性算法提取紙板角點以建立對應關系，采用Kabsh 算法求解最有配準參數。Jaroslav Moravec提出基于多項式劃分的攝像機標定修正模型，提升了模型的計算速度。

針對提升虛擬場景平臺下ADAS測試精度，本文提出虛擬場景平臺傳感器與視覺傳感器聯合標定的方法，通過使用BP神經網絡的非線性擬合出兩者之間的轉換關系，并實現虛擬場景傳感器與視覺傳感器之間的聯合標定。

1 相機測距模型

視覺傳感器標定主要涉及三個坐標系之間的相互轉換：圖像坐標系、攝像機坐標系和世界坐標系。圖像坐標系一般值相機捕捉到圖像畫面后，目標在圖像中的坐標位置點，圖像為*行矩陣的數據，每個矩陣點代表圖像坐標，如圖1所示。

圖1 圖像坐標系

圖1中，（、）為圖像的像素坐標，在進行坐標轉換時，會將圖像坐標轉換為相機坐標，即以相機的中心為原點，得到圖像坐標與相機中心原點的位置關系，兩者的轉換關系為：

齊次坐標和矩陣形式：

由相機坐標系到世界坐標的轉換示意圖如圖2所示，Oc為世界坐標原點，OZ為相機的光束中心，P(x,y)圖像的坐標點，通過小孔成像的原理計算得到點Oc與Xc、Yc、Zc的距離關系。

從世界坐標系到相機坐標系的變換：可以由一個旋轉矩陣和一個平移向量來描述：

化為齊次坐標：

相機坐標系到圖像物理坐標系：

其中是焦距。化成齊次坐標為：

通過圖像坐標系、攝像機坐標系和世界坐標系之間的相互關系可以得到從世界坐標系到圖像坐標系的轉換：

其中1、2分別為相機的內外參數矩陣。視覺傳感器通過標定之后，可得到相機的內外參數，從而確定圖像坐標到空間距離的轉換關系，實現物體的測距。

2 虛擬場景中的聯合標定

2.1 BP神經網絡算法

BP神經網絡在進行學習時，是以輸入數據和期望數據對內部權值進行計算得到合適的神經節點閾值與權重。輸入數據經過BP神經網絡內外神經元節點的非線性計算得到輸出值，會同期望輸出進行比較，計算兩者的偏差，由偏差量反過來更新BP網絡內部的神經元節點的權重與閾值，使誤差沿梯度方向下降，經過不斷學習，確定合適的神經元節點參數，并保證誤差最小。訓練完成后，輸入與輸出之間會確定非線性的關系式，當有新的數據變量輸入時，會根據此關系式計算出輸出變量，圖3為典型多層神經網絡示意圖[4-6]。

圖3 神經網絡結構示意圖

令輸入向量為：

輸出向量為：

第l隱含層各神經元的輸出為：

其中，為第層神經元的個數。

設()為從1層第個神經元與層第個神經元之間的權重值，()為第l層第個神經元的偏置：

()= f (()) （10）

t為節點的期望輸出值；0為節點計算輸出值。

在訓練學習過程中，網絡層節點之間的權重矩陣w的設定和誤差會進行不斷的修正，修正的模型為：

為學習因子；φ為輸出節點的計算誤差；0為輸出節點的計算輸出；為動量因子。

2.2 聯合標定算法設計

本文中訓練數據是通過虛擬場景下測量的前車距離與視覺傳感器測量的目標在圖像中的坐標進行聯合標定。虛擬場景下的數據可以通過設置前方目標與主車之間的距離獲得，視覺傳感器數據則是通過消除畸變后的視覺傳感器檢測虛擬場景中目標所在圖像中的坐標獲取，算法流程如圖4所示。

圖4 聯合標定流程圖

虛擬場景平臺傳感器與視覺傳感器聯合標定就是通過BP神經網絡的非線性功能擬合出虛擬場景平臺傳感器與視覺傳感器之間的關系，在預測階段即可通過計算得到的非線性關系預測出相應的目標位置。實驗中使用300組輸入輸出數據，從中隨機選擇200組作為訓練集數據用于訓練，100組作為測試集數據用于測試網絡的擬合性能。

3 試驗與驗證

3.1 數據獲取

在實驗數據獲取中主要為虛擬場景平臺傳感器數據的獲取和視覺傳感器數據獲取。虛擬平臺傳感器數據獲取是通過despace軟件中虛擬傳感器獲取前方目標的坐標，前方目標距離不同時所在的坐標位置也不同，因此在本實驗中以此數據作為輸入參數，即有兩個輸入參數。視覺傳感器獲取數據是在暗箱中安裝攝像頭，通過攝像頭所拍攝的圖像中目標的坐標作為BP神經網絡的輸出參數，數據采集如圖5所示，圖6所示：

圖5 虛擬傳感器目標信息獲取

圖6 攝像頭目標數據獲取

3.2 聯合標定

實驗中視覺傳感器的標定是通過攝像頭拍攝暗箱中虛擬場景下的標定板圖像，經過計算攝像頭內外參數消除畸變[7-10]。如圖所示，攝像頭拍攝的虛擬場景下標定板圖像，通過計算所得到的攝像頭內外參數矯正圖像畸變后得到的虛擬場景下標定板圖像如圖7所示。

圖7 虛擬場景中圖像校正

通過測試集95組數據測試，其結果如圖8所示，圖中紅色代表預測輸出，藍色代表期望輸出（真實輸出），經過對比發現，除個別數據存在較小誤差外，其他預測數據基本接近期望輸出。預測誤差百分比如圖9所示。

圖8 BP神經網絡數據預測曲線

圖9 數據誤差圖

通過虛擬場景平臺傳感器與視覺傳感器聯合標定技術能夠準確地獲取虛擬場景下目標的坐標位置，且平均誤差小于0.37%。

4 結論

本文對ADAS攝像頭的測距模型進行了推到，得到了圖像坐標到空間坐標的轉換關系，利用虛擬場景的標定板圖片實現了攝像頭圖像的畸變校正，借助于BP神經網絡算法實現了虛擬傳感器和攝像頭數據的聯合標定，通過實驗室驗證平均的標定誤差為小于0.37%，可實現輔助駕駛系統在虛擬場景下的測試。

[1] 劉慶華,邱修林,謝禮猛,等.基于行駛車速的車輛防撞時間預警算法[J].農業工程學報,2017,33(12):99-106.

[2] 方建超,周興林,毛雪松.利用多普勒激光雷達實現距離和速度同步測量[J].光電工程,2016,43(12):212-218.

[3] 王忠立.基于立體視覺的空間球體快速定位方法[J].北京理工大學學報,2006(11):974-977.

[4] 余厚云,張為公.基于單目視覺傳感器的車距測量與誤差分析[J].傳感器與微系統,2012,31(9):10-13.

[5] 許宇能,朱西產,馬志雄,等.基于單目攝像頭的車輛前方道路三維重建[J].汽車技術,2014(2):48-52.

[6] Tuohy S, O’Cualain D, Jones E, et al. Distance determination for an automobile environment using inverse perspective mapping in OpenCV[C].Signals and Systems Conference. IET,2010:100-105.

[7] Nakamura K,Ishigaki K, Ogata T, et al. Real-time monocular ranging by Bayesian triangulation[C].Intelligent Vehicles Symposium. IEEE, 2013:1368-1373.

[8] Han J,Heo O,Park M,et al.Vehicle distance estimation using a mono- camera for FCW/AEB systems[J].International Journal of Automo- tive Technology, 2016,17(3):483-491.

[9] Bao D,Wang P.Vehicle distance detection based on monocular vision [C].International Conference on Progress in Informatics and Com- puting. IEEE,2017:187-191.

[10] 王永杰,裴明濤,賈云得.多信息融合的快速車牌定位[J].中國圖像圖形學報,2014,19(03):471-475.

Research on Joint Calibration Technology of Virtual Sensor and Visual Sensor

JIA Pengfei, ZHANG Lei, LIU Quanzhou, LI Zhanqi

（CATARC (Tianjin) Automotive Engineering Research Institute Co., Ltd., Tianjin 300300）

In order to test the ADAS controller in the virtual scene, the ranging model of the camera was studied in this paper. The camera calibration was completed in the virtual scene and the distortion of the image captured by the camera was corrected. A 4-layer BP neural network was designed to calibrate the virtual sensor and the camera. The conversion relationship between the virtual sensor and the visual sensor was obtained.The experiment is designed, and the data error is 0.37%.

ADAS;BP neural network; Joint calibration

10.16638/j.cnki.1671-7988.2021.021.009

U495

B

1671-7988(2021)21-36-04

U495

B

1671-7988(2021)21-36-04

賈鵬飛，碩士、工程師，就職于中汽研（天津）汽車工程研究院有限公司，研究方向汽車輔助駕駛系統。

天津市科技計劃項目（編號：17YDLJGX00020）。