車載全景視覺系統研發

高虹 羅文廣 王召杰 劉德成 賓洋

摘? ?要：開發了一種車載全景視覺實時系統，可實現四路視頻的實時采集、變換、拼接和顯示.利用廣角攝像機采集車輛前、后、左、右4個方向上的實時視頻圖像;采用張氏標定法求取攝像頭的內外參數，并對廣角畸變圖像進行校正;利用逆透視變換方法，建立圖像坐標到世界坐標系下的坐標映射關系，并轉換到查表顯式模式下，以大幅提高系統逆透視變換的處理速度;將車輛的四周圖像進行無縫拼接并顯示.實驗結果表明，本系統干擾較小，并能很好的滿足實時性要求.

關鍵詞：全景視覺實時系統;廣角攝像機;張氏標定法;逆透視變換法;圖像拼接

中圖分類號：TP317.53;U463.67? ? ? ? ?DOI：10.16375/j.cnki.cn45-1395/t.2019.01.013

0? ? 引言

近年來，隨著機動車輛的普及，汽車保有量提高.為提高安全駕駛，高級駕駛輔助系統（Advanced Driver Assistance Systems，ADAS）市場增長迅速，包括安全車距預警系統，車道保持輔助系統（LKAS），自適應巡航控制（ACC）及全景視覺系統等.全景視覺系統能夠實時的向駕駛者展示車輛周圍環境信息，以確保車輛在低速行駛及泊車時的駕駛安全.全景視覺系統是在車輛的前側、后側、左側和右側各安裝一個車載攝像機，分別采集車身周圍圖像數據;將采集到的圖像數據傳輸給數字信號處理系統（Digital Singnal Processor， DSP），DSP對攝像機采集視頻圖像實時校正、拼接;DSP處理后的圖像數據傳輸到顯示終端進行顯示[1].DSP系統具有體積小、功耗低、處理速度快和靈活性強等優點，可滿足實時性強、成本低的車載監控的需要.采用TMS320DM6437處理器和TVP5158視頻解碼器為主器件，將采集到的四路CIF模擬信號解碼，并壓縮成一路D1復合視頻數據流，將四路視頻圖像拼接成一路視頻圖像.

全景視覺系統的主要技術是圖像校正及鳥瞰變換.吳貫亮[2]通過建立球面坐標系與空間坐標系的關系對超廣角鏡頭校正.同時可以利用“張氏標定法”實現對魚眼圖像的校正[3-4].Gao等[5]通過3D船模型對畸變圖像進行校正，得到了三維的全景拼接圖像，使圖像更加符合駕駛員的視覺習慣.還可以采用兩個投影模型，透視投影和等距投影的方式獲取鳥瞰圖，利用透視投影獲取車輛周圍圖像，并利用等距投影來擴大投影范圍[1].吳永祺[6]利用基于空間坐標系的轉換方法完成投影變換.SungRyull Sohn等[7]提出從透視圖到無盲點的俯視圖的矩陣映射來達到提高視頻實時性.Zhang等[8]提出一種基于消失點的自動逆投影變換算法來獲取鳥瞰圖.三維成像模型的全景視覺系統效果好，但成本較高，設計較為復雜;全景視覺系統的無縫拼接及圖像融合系統，成像效果較好，但其程序設計相對復雜，需要較高處理速度的嵌入式系統.

當前，全景視覺系統仍然多應用于高端汽車，一些全景環視系統要求較高的嵌入式處理器以提高處理速度.這就導致較高的系統制造成本.因此，在滿足系統功能性的同時，應適當降低成本，并提高處理速度.本文提出一種針對嵌入式系統的快速有效實現全景環視系統方案，采用DSP對四路廣角視頻圖像采集，經張氏標定法畸變校正后建立圖像坐標系與世界坐標系的逆透視變換關系映射表.經實驗驗證，該系統可以滿足四通道圖像的實時采集拼接.

1? ? 系統整體架構

本系統選用TVP5158+DM6437數字媒體處理器平臺[9-10]開發全景視覺系統.系統整體構架如圖1所示，由攝像頭進行圖像采集模擬信號;視頻解碼芯片TVP5158對四通道視頻進行解碼，將模擬信號轉化為數字信號; DM6437的視頻處理前端（VPFE）把接收到的視頻數據通過外部存儲器（EMIF）接口存儲到DDR2中;視頻處理后端（VPBE）對數字信號進行編碼轉換為模擬信號后將數據輸出至LCD顯示.

2? ? 視頻圖像處理

圖像視頻處理過程：1）采集單路圖像并保存圖片;2）利用張氏標定法對單路圖像進行標定，得到攝像機的內外參數;3）對單路圖像進行逆透視變換;4）將四路圖像的逆透視變換數據整合為一個映射表.

2.1? ?參數標定

車載攝像機需要獲得廣闊的視野范圍，采用大于170°的廣角攝像機.為得到校正圖像，需要對攝像機參數進行標定，而張正友棋盤標定法[11]具有標定簡單和精確度高的特點，適合車載攝像頭的標定.使用Matlab工具箱camera calibration toolbox進行攝像機標定，求出攝像機的內參數，根據參數對畸變圖像校正.

根據攝像機成像原理，從世界坐標系的坐標點映射到二維平面圖像坐標系中，圖像坐標系上的點只與空間物體的位置和相機的內部參數有關[12].內參數的標定模型為：

本文使用Matlab工具箱進行攝像機的標定，分別對前、后、左、右4個攝像機進行內參數的求取.例如選擇前側攝像機進行參數求取及校正.首先，制定標定板，圖中選擇的格子為4 cm[×]4 cm;然后，手持標定板，采集不同角度的15幅圖像，如圖2所示;最后，利用Matlab工具箱求得攝像機的內參數如表1所示.根據式（2）對采集圖像進行校正，校正后的圖像如圖3所示.

2.2? ?逆投影變換

逆透視變換是根據攝像機的內外參數對攝像機采集圖像進行變換，將具有透視變形的圖像變換為正下視圖，消除近大遠小差異.

本文提出一種攝像機投影點在道路平面內的逆透視變換方法.此法用于全景視覺系統的攝像機廣角較大，與文獻[13]不同之處是鏡頭的光心垂直于地面的投影點在所采集的道路平面圖像之內，如圖4所示，X軸右側的部分區域被采集.基于廣角鏡頭的成像系統，對世界坐標系下的路面坐標到成像平面的像坐標之間的關系進行推導.ABCD為采集的道路平面，O為攝像機光心，I為攝像機在道路平面的投影點，點P（XP ，YP）是道路平面上的一點，對應于圖像平面的點p，如圖5所示;E、F為道路平面與Y軸的交點，[2α]為縱向視場角，俯仰角為[θ]，如圖6所示;[2β]為水平視場角，如圖7所示.

3? ? 基于DM6437的全景視覺系統的實時性處理

3.1? ?實驗平臺搭建

選擇長61 cm，寬37 cm，高64 cm的紙箱作為試驗箱，分別在其前、后、左、右側安裝廣角大于170°的車載攝像機，用于視頻的采集.用仿真器連接電腦進行控制輸出并在輸出端進行顯示，如圖8所示，各部分功能如表3所示.

3.2? ?視頻圖像采集

四路廣角攝像機通過AV接口將模擬信號輸入到視頻編解碼芯片TVP5158;再經AD采樣、濾波和編碼后以8位BT.656數據格式的行交叉模式輸入到DM6437芯片.采集的圖像信息需要用于后續全景圖像的拼接，要盡可能大范圍的采集到車輛周圍的環境信息.例如使前側攝像機采集到的信息與左側和右側采集的圖像信息有重疊部分，如圖9 所示.

3.3? ?數據處理

TVP5158將各路的視頻幀混合在一起形成一個超級幀，超級幀的大小取決于多路視頻的格式（D1或者CIF等），DM6437最多接入4 CIF.DM6437獲得超級幀之后，會對其進行分解，把四路CIF再合并成一路D1輸出顯示.該系統的實現，涉及的算法復雜，計算速度較慢，在DSP上很難實時處理.因此，本視頻圖像序列利用查表法進行圖像數據的采集，以提高DSP處理速度.圖像數據矩陣分別由前、后、左、右側的有效數據坐標組合成一個數組.

為得到最終的查找表，首先，從畸變圖像坐標到校正圖像坐標變換;其次，從校正圖像坐標到逆透視變換圖像坐標變換;最后，將四路圖像的逆透視圖像坐標到去掉重疊部分圖像并對圖像拼接.前、左、右、后攝像機分別標號為1、2、3、4;分別對4個攝像機采集的單幀圖像通過圖像校正和逆透視變換，得到變換后的圖像坐標;將4個攝像機的圖像數據整理到一個圖像坐標矩陣，并去掉相鄰攝像機的重疊部分坐標，得到最終圖像坐標查找表.在Matlab上進行數據處理后的部分查找表如表4所示，（11，355）為逆透視查找表的坐標點，對應第1個攝像機采集圖像坐標點（247，78），將（1，247，78） 坐標處的灰度信息賦值給（11，355）坐標位置.

3.4? ?視頻輸出

四路圖像數據經過TMS320DM6437的VPBE將數字視頻信號編碼輸出，系統通過視頻輸出接口電路，將此視頻信號轉換成模擬信號后輸出顯示.顯示器上可以看到4個攝像頭采集經過校正后的畫面，圖10為未經處理時采集到的試驗箱周圍的環境信息，將采集的圖像信息經校正及逆透視變換處理后得到拼接圖像，如圖11所示.經實驗測試，通過查表法并結合CCS3.3編譯選項中Opt Level 優化控制，圖像采集幀率可達22幀/秒，可采集到的有效范圍為前后1.5 m，左右2 m，本系統可以滿足圖像的實時采集.

4? ? 結束語

本文利用廣角攝像機成像特點對廣角畸變圖像校正并建立圖像坐標到世界坐標系下的坐標映射關系，然后用查表法進行四路逆透視圖像采集以提高系統的處理速度，快速準確的對車輛周圍圖像進行無縫拼接并顯示.系統畸變圖像校正及映射表的建立在Matlab上實現， DSP采用查表法對符合要求的坐標點像素進行采集，大大提高了采集速度.算法的不足之處是經過圖像校正及圖像插值會帶來一定的誤差.該系統的優點是成本低，功耗小，實現簡單，易于在各類車輛上實現且運行速度較快，具有較大的實際應用價值.

參考文獻

[1]? ? NOBORI K，UKITA N，HAGITA N. A surround view image generation method with low distortion for vehicle camera systems using a composite projection[C]// Fifteenth Iapr International Conference on Machine Vision Applications. IEEE， 2017：386-389.

[2]? ?吳貫亮. 基于多路攝像頭的二維環視圖生成方法研究與實現[D]. 長春： 吉林大學，2014.

[3]? ?曾帆光. 全景視覺泊車輔助系統研究與設計[D]. 廣州： 華南理工大學，2015.

[4]? ?ZHANG Z. A flexible new technique for camera calibration[M]. IEEE Computer Society， 2000.

[5]? ? GAO Y，LIN C Y，ZHAO Y，et al. 3-D surround view for advanced driver assistance systems[J]. IEEE Transactions on Intelligent Transportation Systems， 2017， 99：1-9.

[6]? ? 吳永祺. 基于全景視覺的汽車安全駕駛輔助系統的設計研究[D]. 廣州： 華南理工大學，2014.

[7]? ? SOHN S R， LEE H S， JUNG H C，et al. High-definition video-based multi-channel top-view vehicle surrounding monitor