場景與數據雙驅動的隧道圖像拼接方法

王照遠，曹 民,2，王 毅，吳偉迪，李陶勝

(1 湖北工業大學電氣與電子工程學院，湖北 武漢 430068；2 武漢武大卓越科技有限責任公司，湖北 武漢 430223；3 安慶職業技術學院，安徽 安慶 246003)

由于氣候、水文和地質條件等因素影響，隧道運營中會逐漸出現不同程度的病害，影響隧道的正常使用[1]。目前，傳統人眼目測或輔助儀器檢測的方式效率低、人工成本高，且受天窗時間、照明、目視距離等客觀條件影響，難以滿足隧道檢測快速性和準確性要求[2]。近年來，國內外科研機構基于多傳感器融合研制了隧道病害自動化檢測系統。德國SPACETEC公司研制了TS3系統，融合隧道襯砌灰度圖、熱成像圖和三維點云圖，實現裂縫識別；日本計測檢測株式會社集成CCD相機、LED照明、激光掃描儀、編碼器等，研制了MIS & MMS系統，可識別滲水和裂縫；法國HGH公司基于激光掃描儀和紅外線掃描儀研制了ATLAS 70系統，用于探測襯砌裂縫、滲漏水和襯砌剝落病害[3]。國內武漢武大卓越科技公司研制了國內第一臺以相機陣列、激光雷達以及紅外傳感器集成的隧道快速檢測裝備，適應國內3車道隧道檢測，裂縫分辨率優于0.3 mm。

隧道檢測中，如果多相機完全在一個平面且相機間沒有相對運動，隧道裂縫等病害在獲取的斷面序列圖像中是連續存在，但是，由于載體姿態變化導致相機間產生相對位移以及對相機共線共面標定精度問題，裂縫等病害在多個圖片中發生錯位現象，如果不進行高精度拼接，一個病害會被識別成多個病害而影響隧道檢測狀況評定。楊磊等[4]研究了一種結合空域和頻域的序列圖像配準方法，改進平移參數的估計，解決了圖像的自動排序問題，并且減少了算法計算量，提高了效率；王文鋒等[5]研究了適用于光場深度圖像的序列圖像拼接算法，解決了光場序列圖像拼接效率低的問題；任剛等[6]研究了基于圓柱面映射的序列圖像配準方法，但是存在采集數據時，要求相機恒速轉動的問題。

隧道襯砌特征少，單純依賴圖像匹配方法難以解決實際工程中的隧道檢測序列圖像拼接問題，本論文提出一種場景與數據雙驅動的隧道圖像拼接方法。在隧道襯砌圖像使用基于特征點的圖像拼接算法無法檢測出足夠的特征點時，利用隧道圖像采集過程中的相機之間位置關系，實現圖像的配準；在圖像質量較好時，使用基于特征點的圖像拼接算法提取特征點進行匹配，計算變換矩陣，實現圖像配準。

1 相關工作

論文的研究數據來源于武漢武大卓越科技公司研制的隧道快速檢測裝備，該檢測裝備是支持在正常行車速度下對公路隧道實施快速隧道結構性病害、水害和凍害檢測的高端檢測裝備和數據處理系統，系統在自旋轉傳感器集成平臺上集成面陣相機陣列、紅外相機陣列、大功率LED陣列、INS/GPS/DMI及高精度激光掃描儀等傳感器，能對隧道襯砌表面裂縫、溫度及形變進行高精度快速測量。自旋轉剛性支架上集成了16臺高分辨率CCD相機，依據每個相機對應隧道不同物理位置和其到襯砌的距離，選擇了不同焦距的相機，以保障每個相機數據的物理分辨率，根據國內交通行業規范，數據分辨率為0.3 mm。為了給每個相機提供物距測量和隧道定位估算，裝備集成了高頻率、高精度激光雷達，通過靜態標定方法確定每臺相機的物距計算方式和相機對應的激光雷達測量角度。實際檢測中，每次檢測測量半幅隧道，通過旋轉測量支架達到通向行駛覆蓋整個隧道檢測的目的(圖1)。同時，所需的相機設備的臺數與圖像分辨率之間關系見式(1)。

圖1 檢測裝備和標定板

假設隧道斷面弧長為L，圖像的分辨率為p，圖像的尺寸為M×N，那么有：

(1)

其中，n表示覆蓋半個隧道面所需要的相機的臺數。如果斷面弧長為23 m，圖像縱向方向像素個數N=3600，圖像分辨率要達到0.2 mm，則計算可知，需要相機16臺。

多相機中心線共線可以保證多相機行車方向數據的最大化利用，多相機的共面能保證多相機數據具有共同的測量姿態，利于數據的變化處理，同時，相機獲取數據的計算需要測量相機到隧道襯砌的物理距離，相機與相機間、相機與激光雷達的關系標定可以有效解決這個問題[7]。多相機共線和共面標定方法為不斷調整相機位置，并且在每次移動后利用相機拍攝標定板，將所有相機的中線調至一條直線上便于實現共線；如果想實現共面只需利用標定板中的一個十字形符號，使其在每個相機圖像中都不發生形變即可。標定板如圖1c所示。相機與相機間的位置關系和相機與激光雷達間的位置關系可以通過全站儀進行標定。相機中心線之間的角度可以通過確定相機中心線對應的激光線的位置確定。

2 隧道襯砌圖像拼接

隧道襯砌特征點少，相鄰圖像間可能沒有匹配的特征點，完全依賴圖像特征點匹配方法進行拼接存在失配現象，為保證最終能實現隧道斷面圖像的拼接，利用測量場景的多相機和激光雷達的安裝標定幾何信息進行圖像位置定位和粗解算，得到圖像順序和基本定位，在定位的基礎上計算相鄰數據圖像的關系，在相交的兩圖像中進行特征點匹配，參照特征點進行配準，實現序列圖像的高精度拼接。

2.1 拍攝場景驅動粗拼接

隧道測量多傳感器安裝在一個剛性的支架上，相機間關系以及相機與激光雷達的關系事先經過高精度標定。激光雷達數據用于隧道三維建模，獲取每個相機的物距，每個相機根據需要的數據分辨率選擇不同焦距鏡頭，保證數據物理分辨率。對于激光雷達測量的三維點云數據，在去除地面噪聲后，利用ICP算法[8]匹配單個斷面使多圈點云重合在一起，通過取點云最外圍獲得去噪后的點云，然后利用Delaunay三角剖分算法[9]進行三維重建。在此基礎上，幾何標定數據建立相機拍攝場景模型，計算圖像位置關系和質量參數。

激光雷達采用以設定的角度間隔(如0.1°)逐點掃描進行測量，在掃描一周的激光線中可以提取一條幾乎與相機主光軸方向一致的激光線。將每臺相機和與其主光軸方向一致的激光線綁定，便可以確定每臺相機主光軸與隧道襯砌的交點，即圖像的中心，因此，可以確定每張圖像的中心對應于隧道襯砌中的位置。同時，通過激光雷達與襯砌距離以及激光雷達與相機間的位置關系可以解算出相機的物距。通過相機物距可以計算各個圖像的空間分辨率以評估圖像質量，根據圖像中心點間的位置關系，能夠定位圖像在全景圖中的理論位置，可以計算相鄰圖像之間的空間關系，即相離、相交或相切。從而得到所有圖像放置在理論位置上的圖像粗拼接結果(圖2)，其特征是所有圖像的中心點都在一條直線上。如果相鄰圖像不相交，那么這兩張圖像拼接結束。

圖2 粗拼接示意圖

2.2 圖像數據驅動配準融合

場景數據粗解算可以對序列圖像進行定位，但由于傳感器平臺以及標定參數誤差，相鄰相機的數據總存在錯位現象，對于有重疊的數據，如果圖像存在特征，則可以利用數據特征點匹配進行數據配準。在圖像質量較好的情形下，可以通過特征匹配獲得高精度的圖像配準變換矩陣，即基于圖像數據驅動的配準模式。本文對相鄰相機拍攝的兩張灰度圖像采用SURF算法[10]求解變換矩陣，該方法主要有6個步驟：特征點提取、尺度空間構建、特征點定位、特征點描述、特征點匹配和剔除誤匹配。

SURF算法使用Hessian矩陣提取特征點[11]。為了加速和簡化計算過程，使用盒狀濾波器來代替高斯濾波器，并且在計算中使用積分圖像。利用盒狀濾波器模板建立尺度空間，圖像尺度等于盒狀濾波器尺度σ[12]。其中，最小的尺度圖像由9×9的盒狀濾波器濾波得到，基準濾波器的高斯函數σ=1.2，其它濾波器通過該濾波器擴展。

通過設置閾值，Hessian矩陣行列式值低的像素和非極大值的像素點均會被去除。為了滿足尺度不變性，不僅需要與被檢測像素所在的尺度圖像的鄰域像素比較，還需要與相鄰尺度的圖像像素比較。然后應用插值法確定特征點位置。

SURF算法描述符包含若干個子區域，每個子區域用一個4維特征矢量表示，16個子區域形成64維特征矢量?；诿枋龇?，計算近似Hessian矩陣的行列式的跡，如果跡同號，則初步確定兩個點匹配。進一步計算這兩個匹配點的特征描述符間的歐式距離，檢測相似程度，對于相似程度高的匹配點，再采用RANSAC算法[13]對匹配結果進行修正，最終確定匹配成功點，從而提高匹配精度。配準過程見圖3。

(a)原始圖像

(b)提取特征點

(c)特征點匹配

(d)剔除誤匹配圖 3 配準過程

所有圖像配準完成后，基于SURF算法對圖像的配準結果，重新確定圖像的中心點之間的相對位置關系。檢測過程中由于檢測裝備快速移動，且相機支架并不是理想的剛體，圖像的中心點會發生細微移動，使圖像中心點并非理想地排列在一條直線上，而是有相對的錯位(圖4a)。

(a)斷面圖像拼接結果示意圖

(b)提取有效區域后最終結果示意圖圖 4 圖像數據驅動配準

基于上述拼接定位結果，首先計算序列圖像在全景圖中相對的位置關系，得到所有圖像在高方向上的有效區間(圖4b)。然后計算相鄰圖像的重疊關系和物理分辨率，在隧道檢測中，需要最大化使用高分辨率的數據，因此，基于計算的重疊關系和分辨率，對相鄰圖像的重疊部分保留分辨率高的數據。拼接結果見圖5。

3 實驗

采用隧道快速檢測系統(ZOYON-TFS)采集實驗數據，總共有3條隧道的數據被用于本實驗。實驗從其中抽取數據，并利用不同的算法測試一個斷面16圖片的拼接，相鄰兩張圖像為一組，共計15組結果見表1(其中特征點個數從第二張圖像開始記錄)。

圖5 實際拼接示例

針對測試數據，表1中展現了使用不同算法檢測的特征點個數，以及經過RANSAC算法剔除誤差后的配準準確率，其中N/A代表該數據不存在，不存在的原因是由于斷面中某些圖像質量較差，該組相鄰圖像配準失敗。由表1可知，SURF和SIFT算法都能獲得大量特征點，FAST算法整體求解出來的特征點數量都較少，不適合用于求解變換矩陣。并且，在特征點較多的情況下，SIFT算法有3張圖像匹配錯誤或匹配點不夠，造成無法求解出正確地變換矩陣；SURF算法有4張圖像變換矩陣無法求解出來；FAST算法只有兩張圖像變換矩陣求解出來。對于能夠正確的求解出變換矩陣的圖像，SIFT算法整體的匹配正確率都較高，SURF算法的匹配正確率有4張在70%以下，其余的則高于70%。同時，統計算法運行時間，對比算法效率可得：SITF算法對于斷面圖像的變換矩陣求解需要196.2334 s，而SURF算法只需3.6805 s，SIFT算法所需時間大約是SURF算法所需時間的53倍。

最后，基于場景和數據對圖像進行拼接，斷面局部拼接結果示例見圖6。

表1 特征點個數和匹配正確率

圖6 隧道斷面圖像拼接

通過對比不同的拼接結果可知，對于圖像的重疊區域，由于不同組圖像重疊部分紋理特征不同、重疊面積不同，因此，圖像在配準后準確率不同。紋理越明顯、重疊面積越大，特征點的配準準確率也就越高，反之，則準確率越低。通過對比兩種拼接方法可以發現兩種拼接方法存在差異，對于場景驅動的拼接，在接縫處存在偏差，從可觀測到的線型、點型等特征上看，這種偏差從幾個像素到十幾個像素不等，而數據驅動的拼接在接縫處偏差幾乎無法通過人眼分辨。

4 結論

針對隧道自動化快速檢測，設計了場景與數據雙驅動的圖像拼接方法。場景驅動的配準模式脫離具體的圖像數據，僅僅與圖像采集時的幾何關系有關，不受圖像質量的影響，為整個斷面圖像拼接提供可靠保證；同時，利用圖像特征點匹配實現數據驅動的配準，數據驅動的配準模式由圖像數據提供信息，為某些圖像求解高精度配準關系提供可能，最后，將兩種方法所求變換關系進行融合，實現隧道襯砌圖像拼接。在圖像拼接過程中，具有重疊部分并擁有良好局部特征的相鄰圖像都能實現高精度的拼接，沒有重疊部分或不具備良好局部特征的相鄰圖像，利用場景驅動的方式為拼接提供保障。