一種提升可見光圖像動態范圍的多曝光融合方法

蔡鴻志CAⅠHong-zhi；馮書興FENG Shu-xing；張梁ZHANG Liang

（①航天工程大學，北京 100000；②63811 部隊，文昌 571300）

0 引言

航天靶場光學設備用于對火箭飛行實況景象進行記錄，提供高質量記錄圖像用于實時指揮決策與事后分析。夜間發射場景下，可見光圖像的分辨率高，細節信息豐富，但其動態范圍比較有限，往往難以兼顧場景中較暗的塔架與較亮的發動機部位的曝光成像。而紅外相機的成像特點不同，紅外相機基于熱成像原理，不受背景照度影響，可用性較高，但其分辨率低，且不同圖像傳感器間還存在配準問題。因此，如何立足可見光圖像本身獲取更高動態范圍的成像值得進一步研究。

可見光高動態范圍成像一般采用圖像融合方法，圖像融合有多尺度變換、稀疏表示、神經網絡等方法[1]?；诙喑叨茸儞Q的方法，需要手工設計特征提取方法和特征融合策略，適用性較差。而稀疏表示的方法則需要采用學習的策略建立完備的字典集，其融合策略仍需要依賴人的經驗制定。近年來，神經網絡及相關數據集不斷發展完善，基于神經網絡的方法在圖像處理、目標檢測識別上取得了突破性進展，其不需要手工設計特征，為圖像融合提供了可行的路徑[2-6]。

針對靶場可見光圖像高動態范圍成像問題，本文提出一種基于卷積神經網絡的方法，該方法為解決傳統圖像融合方法的缺陷，一是基于神經網絡進行特征提取，而后基于提取后的特征直接相加，由神經網絡提取特征權重去決定融合權重；二是在特征提取過程中，在不降低圖像特征圖分辨率的基礎上，最大程度減少特征位置信息的丟失；三是采用對稱U 型網絡，融合高低層特征信息，提升圖像重建質量，并在靶場首區任務中進行了實驗。實驗表明，本文提出的方法可立足可見光圖像本身，采用圖像處理的方法獲取更高動態范圍的成像，具有一定的參考價值。

1 方法

本文提出增強可見光圖像動態范圍的方法其基本流程如圖1 所示。

圖1 可見光圖像多曝光融合流程圖

主要包括以下步驟：

①在開源數據集COCO 上訓練編碼-解碼模型，在這個階段，特征融合模塊不參與訓練。

②輸入可見光圖像，利用灰度非線性變換得到3 張不同曝光程度的可見光圖像；

③輸入待融合的圖像，利用步驟①中離線訓練好的編碼模塊對輸入圖像分別進行特征提取，得到四個特征提取層的圖像1 的特征和圖像2 的特征以及圖像 3 的特征；

⑤利用步驟①中訓練好的解碼模塊對步驟③中的融合特征進行圖像解碼重建，得到最終的融合圖像。

1.1 編碼—解碼模型訓練

在Tensorflow 深度學習框架中搭建圖2 中的圖像編碼-解碼卷積神經網絡。

圖2 編碼—解碼卷積神經網絡架構圖

具體地講，特征提取網絡采用了4 層卷積網絡，每一層的卷積核尺寸為[3，3]，卷積步長都為[1，1]，每一層輸出的特征圖分辨率保持不變都為[256，320]，這樣避免了特征提取過程中降采樣帶來的特征位置信息的丟失，每一層輸出的特征圖數量都為16。采用密集連接的思想，每一層的輸出都前向連接至前面的每一層卷積層，因此，隨著卷積層的增加，特征圖依次增加為16、32、48、64。圖像解碼網絡，則采用了對稱U 型結構，將特征提取模塊的特征與重建后圖像不斷進行疊加，直至重建出最終的融合圖像。整個編碼-解碼卷積神經網絡的參數如表1 所示。

表1 編碼—解碼卷積神經網絡參數

該編碼-解碼模型具有如下優點，一是采用了密集連接思想，每一層的特征都前向傳播至每一個網絡層，能夠自動關聯深層和淺層特征，提取豐富的特征信息；二是在特征提取過程中，與密集連接網絡的模型結構隨著特征提取網絡深入，特征圖尺寸不斷變小不同，本發明的特征提取神經網絡結構不進行降采樣處理，特征圖尺寸保持不變，從而避免了特征位置信息的丟失，最大程度保留更多特征位置信息；第三，在進行圖像重建時，采用對稱的U 型結構進行高低層特征融合，使得融合圖像的信息更加豐富。搭建好模型后，利用COCO2017 數據集訓練上述卷積神經網絡模型，得到訓練好的圖像編碼-解碼神經網絡模型。

1.2 特征提取與融合重建

采用非線性灰度變換，對低曝光程度的可見光圖像0，進行灰度變換，獲得曝光增強的圖像1 和圖像2。利用步驟①中訓練好的圖像編碼模塊分別對輸入的不同曝光可見光圖像進行特征提取，分別得到不同曝光程度的可見光圖像特征圖。直接將不同的圖像特征圖相加，得到融合特征。采用特征相加的策略，相比其他復雜的特征融合策略，算法復雜度更簡單，且效果幾乎相當。利用步驟①中訓練好的解碼模塊對上一步得到的融合特征進行圖像解碼重建，重建的過程中，逐漸減少輸出特征圖的數量，依次減少為64、48、32、1，同時利用對稱網絡，將本層的特征圖與前面的特征提取網絡層的特征圖疊加，盡可能多地恢復更多的圖像信息，得到最終的融合輸出圖像。

2 融合方法實驗

本文首先參考了紅外-可見光異源圖像融合的方法，特征提取和圖像重建部分直接采用了該論文中提供的模型權重。因此模型訓練部分不再贅述。

2.1 多曝光圖像獲取

采用某次夜間任務A 的圖像，對其作非線性灰度變換，得到曝光增強后的圖像如圖3 所示，其中左側為原圖，中間為曝光增強，右側為再次曝光增強。

圖3 任務A 多曝光圖像獲取

另一次任務B 的圖像多曝光圖像圖4 所示，其中左側為原圖，中間為曝光增強，右側為再次曝光增強。

圖4 任務B 多曝光圖像獲取

2.2 多曝光圖像融合

分別進行特征提取，再進行特征融合，圖像重建如圖5、圖6 所示，其中左側為原圖。

圖5 任務A 多曝光融合圖像

圖6 任務B 多曝光融合圖像

從實驗結果可以看出，多曝光融合的圖像相對于原圖，能夠表達更多圖像細節，增強效果顯著。

3 總結

本文針對可見光動態范圍提升問題，提出一種多曝光圖像融合方法。首先，針對圖像特征提取，采用一種基于密集連接思想的卷積神經網絡進行特征提取，能夠提取豐富的特征信息；其次，在特征提取過程中，與其他圖像分類的神經網絡持續降采樣做法不同，本文提出的特征提取網絡模型不進行降采樣處理，保持特征圖的分辨率不變，從而避免了特征位置信息的丟失；第三，在進行圖像重建時，采用對稱的U 型結構進行高低層特征的融合，使得融合圖像的信息更加豐富；最后，在選取特征融合策略時，不需要復雜的設計，直接選擇的簡單的特征相加就能達到較好的融合效果。實驗表明，本文提出的方法能在一定程度上提升可見光圖像的動態范圍，獲取更高質量的成像，具有一定的參考價值。