基于DM6437的逆投影變換技術

胡坤福++高虹++范曉娟++段海艷++羅文廣

摘 要：為了實現基于DM6437的鳥瞰變換，文中提出了一種通過逆投影變換結合映射查表的方法來完成從透視圖像到俯視圖像的實時變換方法。首先，針對廣角攝像頭采集到的圖像進行畸變校正；然后建立圖像坐標系到世界坐標系下坐標點的映射關系，并進行逆投影變換；最后，利用上述映射關系獲取整幅圖像的映射表格，進而采用映射查表的方法得到實時的俯視圖像。通過實驗結果表明，該方法實時獲取的俯視效果圖像可基本滿足實際應用需求。

關鍵詞：DM6437；逆投影變換；圖像畸變校正；查表法

中圖分類號：TP391 文獻標識碼：A 文章編號：2095-1302（2017）07-00-03

0 引 言

隨著我國經濟的快速發展，人民生活水平穩步上升，汽車逐漸成為了人們日常出行的重要交通工具。然而，據國家統計局的不完全統計，我國每年約有幾萬人死于交通事故，其中，部分事故的發生是由于駕駛人員的不恰當泊車導致的。因此，如何安全泊車成為了一個熱點問題。

近年來，全景環視系統為該問題的解決提供了一個很好的方案。基于嵌入式平臺，對關鍵技術的研究如圖像畸變校正、逆投影變換等，是實現全景環視系統的關鍵步驟。LinBo Luo等人提出了一種基于軟硬件相互協作的方式來實時獲取全景鳥瞰圖的方法[1]，該方法能夠快速估算出單應性矩陣H并完成視圖轉換[2]；SungRyull Sohn等人考慮到駕駛人員的主要視線聚焦在前方[3]，容易忽略后方及左右方向，因此提出在車身左右、后方安裝3個攝像頭，完成從透視圖到無盲點的鳥瞰圖的轉換，并利用矩陣映射[4]表來達到滿足視頻實時性的效果；Daiming Zhang等人提到了一種基于消失點的自動逆投影變換算法[5]，適用于上坡、下坡等路況。針對大客車體積大、盲區多等特點，遲瑞娟等人提出了一種在折反射魚眼相機模型基礎上[6]，加上標定棋盤平面與地面映射，采用抬高的棋盤進行計算標定的方法；吳永祺等人采用基于空間坐標系的轉換方法完成投影變換[7]，該方法簡單，易于實現；吳貫亮等人通過建立球面坐標系與空間坐標系的關系來實現超廣角鏡頭的畸變校正[8]；利用球面模型的經緯映射法也可實現超廣角或魚眼攝像頭的畸變校正[9，10]。

綜上所述，本文將由以下4個部分組成：

（1）基于DM6437硬件平臺，實現基本圖像輸入輸出功能；

（2）針對由廣角攝像頭采集到的圖像進行畸變校正；

（3）利用已獲得畸變校正圖像進行逆投影變換，并采用線性插值的方法獲取完整的俯視圖像；

（4）基于DM6437，利用映射查表的方法，實現從透視圖像到俯視圖像的實時變換。

1 圖像采集

視頻圖像是由CCD攝像機采集[11]，通過視頻解碼芯片TVP5158將采集到的模擬信號轉換為YUV格式的數字信號，進而送入DM6437視頻處理子系統VPSS進行處理，然后以模擬視頻信號輸出，并由LED顯示屏顯示。

2 圖像畸變校正

鏡頭畸變主要分為徑向畸變與切向畸變，通常徑向畸變比切向畸變更明顯。因此在實際工作中主要考慮徑向畸變。研究發現，采用多項式變形技術以及線性插值方法可有效實現圖像的畸變校正。

在實際圖像畸變校正過程中，通常選用一幅無畸變的圖像作為基準，設像素坐標系下[12]基準圖像坐標為（u，v），畸變圖像坐標為（u0，v0），利用重采樣成圖法建立二維多項式模型[13]：

（1）

式中，n為多項式系數，一般取n=2可達到較好的效果；aij及bij為各項系數；令基準圖像I（u，v）和畸變圖像為I0（u0， v0），然而，對應圖像中同一個點，應滿足其灰度值不變特性：

I（u，v）=I0（u0， v0） （2）

式（2）是實現圖像畸變校正的基本公式。

3 逆投影變換

完成世界坐標系XO1Y到圖像坐標系XO'Y的轉換是實現逆投影變換的關鍵。本文將針對圖像畸變校正得到的圖像進行逆投影變換，其具體方法如下：

（1）首先建立圖像坐標系到世界坐標的映射關系。圖1（a）所示為路面坐標系下由A-B-C-D所圍成的圖像，透過攝像機光心O，成像于圖1（b）所示的圖像坐標系下圍成的圖像A'-B'-C'-D'，同理，點J-K-E-F對應于點J'-K'-E'-F'。利用小孔成像的空間幾何模型[7]來建立圖像坐標系到世界坐標系的數學關系[14]：

（3）

式中，（Px，Py）為世界坐標系下的一點，（Px'，Py'）為對應的圖像坐標系下的點，h為攝像頭安裝高度；H為圖像縱向像素大小；W為圖像橫向像素大小；2α為攝像機垂直方向視角；2β為攝像機水平方向視角；γ為攝像視圖最近點與豎直方向的夾角。

（2）建立原始圖像I到俯視圖像If的映射關系。如圖1所示，設攝像頭獲取路面圖像區域A-B-C-D，通過坐標系XO1Y的原點O1的線段|JK|=S，|EF|=T（m）對應于圖像坐標系XO'Y下的線段|J'K'|=s，|E'F'|=t （像素）；可計算出俯視圖像區域A'-B'-C0-D0中每一個像素點與其代表實際距離的比例：橫向比例為S/s，縱向比例為T/t；可通過上述關系求解出路面坐標系下的點（Px，Py）與俯視圖像上的點（uf， vf）的對應關系：

（4）

由于像素坐標系uOuvv的坐標原點Ouv在圖像的左上角，而圖像坐標系XO'Y的原點在圖像中心，如圖1（b）所示，因此需建立上述兩坐標系之間的關系：

（5）

綜合（3）～（5）式可建立圖像I（u， v）到俯視圖像坐標If（uf， vf）的映射關系：

（6）

式中，R為If→I的非線性映射關系。

（3）利用（6）式求得待插值點（uf， vf）在圖像I中所對應的坐標為（u'， v'），由于（u'， v'）不一定為整數，本文將選用雙線性插值法進行插值計算[15]。其中，坐標點（u'， v'）應落在點（u， v）、（u+1， v）、（u， v+1）及（u+1， v+1）所包圍的區域內。因此，具體插值方法如下：

（7）

式中，a=u'-u0，b=v'-v0。

（a）路面坐標系下由A-B-C-D圍成的圖像

（b）成像圖

圖1 世界坐標系與圖像坐標

4 基于DM6437的逆投影變換實時性處理

實現從透視圖像到俯視圖像的實時變換是完成逆投影變換的核心問題，因此本文將通過映射查表的方法來實現。首先，確定DM6437視頻處理前端所接收的視頻圖像序列類型及存儲格式；然后從該圖像序列中找出亮度信號Y，并確定其在一幀圖像數據中的位置，進而建立Y的位置信息與圖像坐標（u， v）的關系；最后根據式（3）～（6）確定Y的位置信息與圖像坐標（uf， vf）的關系，從而建立相應的映射表格，并進行實時的鳥瞰變換。

4.1 視頻圖像序列

本視頻圖像序列采用YCbCr4∶2∶2的視頻流格式。YCbCr是在世界數字組織視頻標準研制過程中作為ITU-R BT1601建議的一部分，是YUV經過縮放和偏移的結果，其中Cb為藍色色差，Cr為紅色色差。YCbCr4∶2∶2每個色差信道的抽樣率是亮度信道的一半，所以水平方向的色度抽樣率為4∶4∶4的一半。在DM6437中，Y和CbCr平均各占用一個字節，那么YCbCr平均共占用兩個字節。由于像素字節存儲方式采用小端模式，即先進入處理的字節為亮度信號Y，然后是色度信號CbCr，像素字節的存儲方式見表1所列。

在實際應用中，有效提取并轉換Y信號是實現逆投影變換的關鍵。

4.2 Y信號提取

由于視頻幀是一個一維序列，且輸入的奇數位數據是Y信號。因此，為實現對亮度信號Y的逆投影轉換，則需進行Y信號提取，并將亮度信號Y的位置信息l轉換為圖像坐標（u， v）。

根據表2，通過數學歸納法可建立關系：

src（u， v）=src（（W-1）·2v+2（u+v）+1） （8）

式中，src是存儲視頻幀圖像數據的數組，（8）式可提取亮度信號Y的位置信息，并以圖像坐標（u， v）的形式表達。

同理，可根據表1確定色度信號CbCr與圖像坐標（u， v）的關系：

src（u， v）=src（（W-1）·2u+2（u+v）） （9）

4.3 建立映射表

從公式（3）～（5）可發現，逆投影變換中含有大量三角函數、乘除、開方以及循環迭代計算，在實際應用中，利用公式計算顯然無法滿足視頻實時性的要求，因此需建立從俯視圖像坐標（uf， vf）到原始圖像坐標（u，v）的映射表格，通過查表法可實現實時的逆投影變換。

通過式（3）～（9），利用Matlab完成從俯視圖像到原始圖像的映射表格，部分映射表見表3所列。

如表3所示，將原始坐標點（49，256）的像素灰度值賦給俯視坐標點（68，272）所在的內存空間，通過不斷的循環賦值，可完成整幅鳥瞰圖的實時變換。

5 實驗結果與分析

本實驗所采用的硬件平臺為DM6437一套，廣角攝像頭一套，液晶顯示器一臺。硬件平臺及算法框圖如圖2所示。

同時，本實驗攝像機標定及實驗參數見表4所列[16]。

利用圖2所示的硬件平臺及表4所列的實驗參數可進行相關實驗測試。圖3（a）是通過廣角攝像頭采集到的原始畸變圖像，圖3（b）是通過畸變校正得到的圖像，圖3（c）是經過圖像畸變校正后，利用逆投影變換生成的俯視圖。從圖3可以看出，本實驗可較好地實現從透視圖像到俯視圖像的變換。

同時，為表明映射查表法的有效性，利用原始公式計算已無法滿足實時鳥瞰變換的要求，但通過映射查表的方法可實現從透視圖像到俯視圖像的實時變換。實時性對此見表5所列。

（a）通過廣角攝像頭采集的原始畸變圖像

（b）通過畸變校正得到的圖像

（c）經過圖像畸變校正后，利用逆投影變換生成的俯視圖

圖3 實驗結果圖

表5 實時性對比

方法 原始公式法 映射查表法

幀率（fps） 0.05 20

6 結 語

本文建立了基于DM6437逆投影變換技術的硬件平臺，實現了圖像采集、圖像畸變校正，逆投影變換以及完成逆投影變換的實時性處理方法，并通過實驗結果表明了其算法的可行性及有效性。

本文的不足之處及下階段研究工作仍需改進的地方：

（1） 由于本文使用經典攝像機標定方法，在面對具有一定坡度的路況時，其逆投影變換的效果并不理想，因此，后期仍需針對攝像機標定方法做更深入的研究；

（2）下階段將繼續完成基于DM6437的四路圖像融合算法研究。

參考文獻

[1] Luo L， Koh I， Park S Y， et al. A software-hardware cooperative implementation of bird's-eye view system for camera-on-vehicle[C].Network Infrastructure and Digital Content， 2009. IC-NIDC 2009. IEEE International Conference on. IEEE， 2009

[2] 丁鑫.全景視覺泊車輔助系統研究[D].杭州：浙江大學， 2010.

[3] Li W， Qu F， Wang Y， et al. A fast vehicle top-view system[C].International Conference on Systems and Informatics. IEEE， 2014.

[4] Sohn S R， Lee H， Jung H， et al. High-definition video-based multi-channel top-view vehicle surrounding monitoring system for mobile navigation devices[C].IEEE International Conference on Consumer Electronics. IEEE， 2013.

[5] Zhang D， Fang B， Yang W， et al. Robust inverse perspective mapping based on vanishing point[C]. International Conference on Security， Pattern Analysis， and Cybernetics. IEEE， 2014.

[6] 遲瑞娟，趙木禎，王建強，等.一種基于折反射像機的客車全景環視系統[J].哈爾濱工程大學學報，2013，34（2）：190-196.

[7] 吳永祺.基于全景視覺的汽車安全駕駛輔助系統的設計研究[D].廣州：華南理工大學，2014.

[8] 吳貫亮.基于多路攝像頭的二維環視圖生成方法研究與實現[D].長春：吉林大學，2014.

[9] 湯旭濤.廣角攝像頭視頻圖像實時校正系統設計[D].上海：華東師范大學，2010.

[10]王俊杰，徐小剛，胡運發，等.魚眼投影在虛擬實景中的應用研究[J].小型微型計算機系統，2004，25（2）：287-290.

[11]黃訓良.基于DSP/BIOS的多路視頻采集系統的設計[D].廣州：華南理工大學， 2013.

[12]賀忠海，王寶光，廖怡白.理想邊緣產生方法的研究[J].光學精密工程， 2002， 10（1）：89-93.

[13]吳開興，段馬麗，張惠民，等.廣角圖像畸變校正算法的研究與實現[J]. 計算機應用與軟件， 2014（11）：237-240.

[14]徐友春.基于機器視覺的汽車主動安全技術的研究[D].北京：清華大學， 2003.

[15]王平，全吉成，趙柏宇.基于雙線性插值的圖像縮放在GPU上的實現[J].微電子學與計算機，2016， 33（11）：129-132.

[16]張夢洋，秦瑞康，李福東，等.基于改進遺傳算法的單目相機標定[J].人工智能與機器人研究， 2016，5（3）：53-62.