基于多曝光融合的高動態圖像合成算法

李明揚　宮建波　韓可均　崔偉　李振寶　楊志剛　曲世宏

摘要：目前高速列車動車組一級檢修中的車側轉向架檢查均靠人力完成，使用智能設備代替人工進行檢測還存在這很多問題。由于轉向架部件結構復雜、高低起伏變化較大等因素導致光照不均勻，傳統方法難以直接獲得高清圖像。本文提出一種基于多曝光融合的高動態圖像合成算法，對同一檢測部位采集多張不同曝光值的圖像，選取每一曝光值下亮度合適的區域組成高清的圖像。考慮到采集圖像序列時相機姿態和位置可能會發生變動，我們增加了圖像配準算法以便于提高圖像融合的質量。

關鍵詞：動車組;多曝光;動態圖像

一、計算最佳曝光時間和LDR圖像序列自適應獲取

由于車底的拍攝環境復雜，不同的檢測區域的被測物反射特性及工作距離并不完全一致，如果在每一個檢測位置都采用相同的曝光值序列獲取LDR圖像序列，會導致不能完全覆蓋對應場景的動態范圍。雖然可以設定足夠多的曝光值來覆蓋所有檢測位（比如10個），但是這樣會給后續的配準及融合帶來巨大的計算開銷。因此，需要根據每一個檢測位置的實際情況，確定相應的曝光值序列，從而獲取合適的LDR序列。

根據以上分析，為了適應轉向架上表面多變的拍攝環境，且避免由于使用多幅LDR圖像從而導致計算量增加的弊端，本文提出了一種自適應LDR圖像序列獲取方法，具體流程如下：

（1）使用初始曝光值T0采集一幅圖像Image0;

（2）對Image0進行灰度化操作，得到平均亮度Grcy0;

（3）對Image0進行直方圖均衡化，得到圖像ImageS，并計算平均灰度GreyS;

（4）計算比率w=GreyS/Grey0，并計算新的曝光值T1=w*T0;

（5）重復（1）-（4）步直到曝光時間收斂，收斂的曝光值Tbest;

（6）得到曝光值分布是0.1*Tbest，0.5*Tbest，1*Tbest，2*Tbest。

收斂曲線如圖1所示：

二、圖像配準原理和方法

在LDR圖像序列拍攝時，相機的抖動或被測物的微小位移會給融合圖像帶來很大的影響，如造成鬼影效果或運動模糊現象。因此，在多曝光融合過程中，配準的精度對融合效果有著很大的影響。當前對于多曝光序列的配準問題，主要有兩種思路：基于直方圖匹配的配準方法和基于特征點匹配的配準方法。

在基于特征點匹配進行配準的方法中，當前比較流行的特征點描述算子主要有SIFT（ScaleInvariantFeatureTransform），SURF（SpeededUpRobustFeatures），ORB（ORientedBriet）三種。大量的實驗已經證明，ORB比SIFT快兩個量級，比SURI快10倍[1]。同時，ORB算子還具有旋轉不變形和對噪聲的抵抗性。但是當LDR序列中需要配準的圖像之間的亮度差異過大的時候，ORB和SURF無法提取到足夠的特征點，而SIFT對亮度的變化有一定的抵抗性，可得到較為充足的對應點。

這里圖像配準采用改進的基于ORB特征的配準方法來解決相機抖動問題。為了提高配準算法的速度和對亮度變化的抵抗力，在進行特征點提取匹配前，引入了直方圖均衡化。直方圖均衡化通常通過將圖像的灰度等級分布的盡量均勻來增強圖像的質量，在經過均衡化后，兩幅不同亮度的圖像之間的差異會降到最低，這樣在進行特征點匹配時就基本消除了亮度的影響。

在進行特征點匹配的過程中，勞氏算法[2]用來剔除誤匹配點。首先，兩幅圖像分別提取ORB描述子;然后用漢明距離（HammingDistance）和k近鄰（k-nearestneighbor，簡稱k-NN）方法來選取對應點之間的匹配關系，每一對匹配選取兩組備選;然后計算最佳匹配和次最佳匹配之間的差異，如公式（1.1）所示，分別代表兩個備選匹配的漢明距離;在本文采取的方法中，當的時候，我們認為該最佳匹配為一個正確的匹配結果。

R=D/D（1.1）

匹配結束后，在獲取了足夠多的匹配點的情況下，計算兩幅圖像之間的變換矩陣，如公式（1.2）;在計算該變換矩陣的過程中，我們采用了RANSAC方法來降低重投影誤差。

為驗證基于ORB和直方圖均衡化的配準方法，對采用上述章節方法獲取的轉向架上表面圖像（如圖2所示，實驗圖像均為采用本文第四章構建系統采集的轉向架真實圖像）進行實驗，匹配點提取結果如表1所示。

由實驗結果可知，未采用直方圖均衡化之前，正確的匹配點對數量較少，特別是在匹配欠曝圖像的時候，過少的匹配點無法完成變換矩陣的計算。在運用直方圖均衡化后，可以發現，正確匹配的點對數量均增加，滿足求取變換矩陣的需求。

三、圖像融合算法

在完成轉向架上表面日）R圖像序列采集及配準后，進行高動態圖像合成。經配準后，LDR圖像序列已經對齊，問題簡化為在靜態場景中執行高動態圖像合成。本文采用在靜態場景下融合效果最佳的基于拉普拉斯金字塔多尺度分解重建的加權平均圖像融合方法，圖像獲取流程如圖3所示。高動態范圍高清圖像獲取，主要是為了保證采集到的圖像具有良好的亮度和對比度，使人工可以較為輕松地實現判讀或復核，也為后續處理提供良好的圖像源。

高動態范圍高清圖像獲取涉及軟件和硬件兩個方面。硬件方面，圖像采集系統的光源亮度和相機曝光值具有調節功能，可以根據圖像處理計算機發出的指令，實時調整光源亮度和相機曝光值。軟件方面，圖像處理計算機上運行圖像質量實時評價軟件，對相機傳回的圖像進行分析;如果發現拍攝的圖像出現過曝（欠曝）現象，無法滿足人工到讀需求，則根據圖像評價標準計算，重新設定拍攝參數，再次拍攝圖像;如果依然無法滿足拍攝要求，則根據圖像評價標準計算得出相應的LDR圖像序列，經曝光融合得到最終清晰圖像。

其中，圖像融合方法采用基于拉普拉斯分解重建的加權融合方法，步驟如下：

（1）配準：首先對獲取的，LDR圖像進行圖像配準，消除由于拍攝過程中相機的抖動引起的融合圖像中的圖像模糊和鬼影現象。

（2）LDR圖像序列質量評價：首先計算圖像的對比度C.飽和度S和曝光適度E，然后采用高斯函數對三個通道分別求權值，并將對比度、飽和度和曝光適度相乘得出融合權重分布矩陣。

（3）權值求?。横槍γ總€像素，經歷了（2）中的評價指標求取后，將所有的評價指標按公式合成W為第k幅圖中（i，j）位置處的最終權值，ω、ω、ω為對應對比度、飽和度、曝光適度的指數，當該指數為，0即表示不采用對應的特征評價。

（4）圖像融合：權值歸一化后，對圖像進行融合，但直接融合會產生融合縫隙，為了解決這個問題，需要進行多尺度的圖像融合。首先，將輸入圖像序列的每幅圖都進行拉普拉斯分解，即在不同尺度上執行帶通濾波;然后，在每一個分解尺度上分別執行加權平均融合算法。

（5）對于彩色圖像，分別對每個通道進行曝光融合，最終合成彩色圖像。

融合方法流程圖如圖4所示。

如圖5所示，為三組在實際動車組現場拍攝的圖像，可以看到，經過配準融合后的圖像具有良好的視覺效果，能滿足人工復核的需求。

四、結論

本文提出本文提出一種基于多曝光融合的高動態圖像合成算法，通過曝光值收斂算法，得到最優曝光序列，并通過圖像配準將圖像進行校正，最終在配準之后的圖像序列上應用圖像融合算法，得到融合圖像。從實驗效果可以得出，本文提出的圖像融合算法能有效提高動車組圖像的動態范圍，提高圖像質量，為后續的圖像故障識別提供良好的基礎。

參考文獻：

[1]范波.高動態場景的圖像融合優化和實時應用[J].中國圖像圖形學報，2018（06）.

[2]王慶.基于相機陣列的高動態范圍圖像合成方法[J].計算機應用研究，2018（09）.

[3]李政國.高動態范圍成像（英文）[J].西安郵電大學學報，2018（02）.

[4]王宇慶.局部方差在圖像質量評價中的應用[J].中國光學，2018（05）.