基于深度學習的雙通道夜視圖像復原方法

牛康力，諶雨章，沈君鳳，曾張帆，潘永才，王繹沖

（湖北大學計算機與信息工程學院，武漢 430062）

（?通信作者電子郵箱zengzhangfan@hotmail.com）

0 引言

隨著軍事的發展和監控領域對于夜視需求的提高，夜視成像技術一直是研究者們關注的焦點。目前，由于新型的夜視儀或雙目紅外攝像頭往往存在著購置成本較高的問題，使得很多領域仍然廣泛使用著基于主動紅外技術的紅外攝像頭［1］，并往往依賴于算法來實現夜視圖像的去模糊與清晰化。

夜視領域處理算法主要分為紅外夜視圖像處理、微光夜視圖像處理和紅外微光圖像融合三大板塊。對于紅外圖像處理板塊，陳軍等［2］提出了一種平穩小波域的紅外圖像增強算法，有效解決了紅外圖像對比度低、噪聲大的問題；曹海杰等［3］提出了一種自適應逆直方圖均衡化細節增強算法，避免了增強的紅外圖像產生過亮或過暗的問題；Liu 等［4］提出了一種基于四元數全變分法的紅外圖像超分辨率重建方法，利用相鄰點之間的相關性，提高圖像的抗噪能力和重建效果。對于微光夜視圖像處理板塊，王瑞堯等［5］提出了最大差值圖決策的低照度圖像自適應增強算法，能夠對夜間等弱光源條件下的彩色圖像有效增強；劉小園等［6］提出了一種適用于夜視環境的視頻圖像去噪和增強算法，能夠有效增強夜視圖像的可視性和清晰度；Bu 等［7］采用正則化恢復模型解決了夜視遙感圖像亮度較低的問題，提高了恢復圖像的質量；Ma 等［8］提出了一種基于HSI 顏色模型的微光傳感器圖像增強算法，不僅顯著提高了圖像的亮度和對比度，而且避免了顏色失真。對于紅外微光圖像融合板塊，朱浩然等［9］提出了基于灰度變換與兩尺度分解的夜視圖像融合方法，融合后的圖像能夠適合人眼感知，具有較好的視覺效果；楊釩等［10］提出了紅外與微光圖像開窗配準融合處理方法，通過紅外與微光圖像各個像素點的對應匹配關系來完成窗口圖像的快速配準與融合；Bamrungthai 等［11］開發了一個紅外相機和可見光相機組成的圖像融合系統；Liu等［12］結合新的分解、特征提取和融合方案，提出了一種新的融合方法來保持紅外和可見光圖像的細節。但是普遍存在以下問題:1）運行效率低和過度依賴退化模型，導致夜視圖像處理效果并不理想，雖然在評價數值上有所提升，但是并沒有起到實質性效果；2）對圖像的處理時間較長，且對硬件性能要求較高，使算法在實用范圍和實時性方面受到了極大的限制。因此，提出一種不受硬件條件限制、能夠快速處理夜視圖像的方法，從而得到高分辨率、高質量的夜視圖像顯得尤為迫切和必要。

隨著深度學習的發展，越來越多的學者將深度學習引入到夜視圖像處理的領域當中。針對夜間圖像存在光照不均勻、色偏嚴重的現象，鄒鵬等［13］提出了基于神經網絡的光照分布預測夜視復原算法，這種算法解決了夜視圖像的模糊問題，提高了夜視圖像的成像質量，但是在光線弱、亮度低的環境下卻顯得有些乏力。紅外圖像能夠很好解決夜視環境下低照度的成像問題，王丹等［14］也提出了對于紅外圖像的超分辨率重建方法，雖然這種方法很好地凸顯了紅外圖像的細節信息，但是所用模型只能對紅外圖像進行處理，不適用于彩色夜視圖像。

針對以上問題，本文提出了一種基于紅外微光圖像融合的深度學習夜視圖像復原方法。該方法不僅解決了單一圖像信息不足的問題，也通過引入深度學習的方法，對兩種圖像進行端到端的重建和復原。本文建立了兩個深度卷積神經網絡:一個是對紅外圖像進行超分辨率重建，意在得到細節信息豐富的紅外圖像；另一個是對微光圖像進行圖像增強，意在得到亮度較高的夜視圖像。最后通過融合算法將兩種處理后的圖像進行融合，得到成像質量高、清晰度好的夜視圖像。

1 本文方法

本文采用深度學習的方法，對紅外進行超分辨率重建，對微光圖像進行亮度增強，最后融合得到清晰的夜視圖像。本文方法的結構如圖1所示。

圖1 本文方法的結構Fig.1 Structure of proposed method

1.1 基于全連接多尺度殘差分塊的兩種網絡建立

針對紅外圖像分辨率低、對比度低、視覺效果模糊的特點，本文建立了基于全連接多尺度殘差分塊（Fully connected Multi-scale Residual learning Block，FMRB）的圖像超分辨率重建方法，對夜視紅外圖像進行超分辨率重建，網絡結構如圖2所示。

圖2 紅外圖像的超分辨率重建網絡結構Fig.2 Super-resolution reconstruction network structure of infrared images

本文所提出模型的網絡結構如圖2 所示。本文的模型將未經處理的低分辨率圖像（Low-Resolution image，LR）作為輸入，通過網絡傳輸上采樣獲取較高的分辨率。模型的結構主要包括:

1）提取LR 低層信息的卷積層，由1 個卷積層（CONVolution layer，CONV）組成；

2）用于學習高層信息的多尺度殘差學習網絡，包含32個FMRB；

3）用于層次特征融合的結構，由1 個瓶頸層（Bottleneck）組成；

4）高分辨率（High-Resolution，HR）圖像重建層，包含1個上采樣層（PixelShuffle）和2個卷積層。

其中FMRB為本文提出的全連接多尺度殘差分塊，能夠對圖像信息進行多尺度的分解和提取，使得網絡能夠獲得更好的學習效果。現有的卷積神經網絡超分辨率（Super-Resolution Convolutional Neural Network，SRCNN）重建算法，網絡深度較淺，不能對圖像信息進行較好的提取，而本文算法具有更深的網絡深度，由32 層FMRB 組成的多尺度殘差學習網絡能夠使處理后的圖像具有較好的重建效果。針對普通超分辨率重建網絡由于層數過多引起的梯度彌散現象，本文所提網絡通過FMRB 中各個單元全連接的方式，避免了彌散問題，同時也降低了計算的復雜度，極大提升了網絡的運行速度。

針對微光圖像信噪比低、可見效果差的特點，本文建立了基于深度學習的圖像增強網絡，從而對微光圖像進行增強處理，提高圖像的亮度和可見度，使得圖像具有更好的視覺效果。其網絡結構對圖像信息的提取部分和上文網絡基本相同，但是圖像重建模塊換成了色彩復原模塊，具體網絡結構如圖3所示。

圖3 微光圖像的增強網絡結構Fig.3 Enhancement network structure of low-light-level images

微光圖像增強網絡將低亮度圖像（Low-Light image，LL）作為輸入，通過網絡進行信息提取和顏色復原，得到最終的高亮度圖像（High-Light image，HL）。模型的結構主要包括:

1）提取LL圖像低層信息的卷積層，由1個CONV組成；

2）用于學習高層信息的多尺度殘差學習網絡，包含50個FMRB；

3）用于層次特征融合的瓶頸層，由1個Bottleneck組成；

4）HL顏色復原層，包含1個三通道輸出的卷積層。

目前基于深度學習對圖像進行亮度增強的網絡模型并不多見，本文建立了“多尺度殘差學習”加“顏色復原”網絡模型對微光圖像進行亮度增強。相較于普通的物理模型算法，本文模型能夠進行端到端的圖像增強，FMRB 信息提取層使微光圖像特征被更好地學習，增強后的圖像經過一層三通道輸出卷積層處理，使最終輸出圖像具有更好的顏色效果。

1.2 兩種深度學習網絡的異同點

圖2 所示網絡，是專門針對紅外夜視圖像進行超分辨率重建的模型結構，其考慮了紅外圖像分辨率差、視覺效果模糊的特點，運用多尺度殘差學習網絡進行圖像的特征提取。圖3 所示網絡，是專門針對微光夜視圖像進行圖像增強的模型結構，其考慮了微光圖像信噪比低、可見效果差的特點，同樣運用本文所提出的多尺度殘差學習結構來進行圖像信息的提取。但不同的是，相較于紅外圖像包含的細節信息，微光圖像一般包含了更多的人物輪廓和場景信息，含有的信息更加豐富，因此對于微光圖像的處理需要更深的網絡進行處理，以得到更好的增強效果。兩個網絡在圖像信息提取部分結構相同，都使用了相同的瓶頸層來進行圖像的層次特征融合，但是微光圖像對應的網絡深度更大。

圖2 網絡和圖3 網絡后半部分完全不同。圖2 網絡后半部分，是對紅外圖像進行超分辨率重建的結構，兩個卷積層和一個上采樣結構提高了圖像的分辨率，使得紅外圖像的細節信息更加具體，圖像更加清晰；圖3 網絡的后半部分，是對微光圖像的顏色復原結構。由于在微光圖像經過50 層FMRB學習處理后，其對比度和信噪比已經得到提升，但是顏色卻不夠自然，具有一定的失真。因此本文使用一個具有三通道輸出的卷積層來對處理后的微光圖像進行顏色復原，以得到可見度高、清晰度好的微光圖像。

超分辨率重建網絡通過對源圖像ISR下采樣得到低分辨率圖像ILR，經過網絡處理后得到高分辨率圖像IHR；圖像增強網路隨機降低源圖像IHQ的亮度和對比度從而得到低亮度圖像ILL，經過網絡處理后得到高亮度圖像IHL。而誤差函數的目的就是計算ISR與IHR以及IHL與IHQ之間的差別。因此選取一個好的誤差函數，可以盡可能地降低差別，從而使兩個網絡同時達到較好的學習效果。本文采用均方誤差（Mean Square Error，MSE）作為誤差函數:

其中:MSE1是圖2 網絡的誤差函數表達式；MSE2是圖3 網絡的誤差函數表達式。

1.3 圖像特征的提取

兩種網絡對紅外夜視圖像和微光夜視圖像的特征提取主要由兩部分組成:層次特征融合結構（Hierarchical Feature Fusion Structure，HFFS）和全連接多尺度殘差分塊（FMRB）。

文獻［15］研究表明，隨著網絡深度的增加，網絡對圖像的重建能力會越來越好。但是如果由于網絡的彌漫現象，導致隨著網絡深度的增加，圖像特征在傳輸過程中逐漸消失，重建的效果還不如淺層的網絡結構。在這一問題的驅使下，許多學者提出了相應的解決方法，其中最為簡單的解決方法是建立密度連接的卷積神經網絡，如文獻［16］方法，該方法使得網絡中任意的兩層都有直接的連接，每一層的輸入都是之前所有層的并集，有效地解決了梯度彌散的現象。但是這種方法不能充分利用輸入圖像的特征，并且在處理時會產生過多的冗余信息。

本文提出了多尺度的殘差學習網絡，不僅通過殘差分塊的方式有效解決了梯度彌散問題，在分塊中也同樣采取了全連接的方式，使圖像信息能夠受到不同尺度卷積層的處理和提取，有效地避免了現有方法不能充分利用圖像信息的問題。并且對于信息冗余現象，本文提出了一種簡單的層次化特征融合結構，引入了一個以1×1的卷積核為結構關鍵的瓶頸層，從所有層次特征中自適應地提取有用的信息，極好地解決了信息冗余的問題，減少了網絡計算的復雜度。層次特征融合結構（HFFS）的輸出可以表示為:

其中，M0是第一卷積層的輸出，Mi表示第i個FMRB 的輸出，[M0，M1，…，MN]表示級聯操作。

全連接多尺度殘差分塊（FMRB）能夠學習不同卷積下圖像的特征，充分利用了圖像的信息，其結構如圖4 所示。FMRB 包含兩部分:多尺度特征融合和局部殘差學習。全連接多尺度殘差分塊的具體結構如圖4所示。

圖4 FMRB結構Fig.4 Structure of FMRB

對于多尺度特征融合，不同于以往的工作，本文構造了一個雙旁路網絡，不同的旁路使用不同的卷積核。這些旁路之間的信息可以相互共享，從而能夠檢測出不同尺度下的圖像特征，可以用公式表示為:

其中，ω和b分別表示權重和偏差，上標表示它們所在的層數，下標表示該層中使用的卷積核的大小；δ(x)=max(0，x)表示ReLU（Rectified Linear Unit）函數；A1、A2、A3、B1、B2、B3分別表示不同尺度下的特征，[A1，B1]、[A1，A2，B1，B2]表示這些特征圖像的融合；M表示發送到FMRB 的特征映射的數量。因此，第一卷積層的輸入和輸出具有M個特征映射，第二卷積層有2M個特征映射，這些特征映射被連接起來并發送到1×1 卷積層。該層將這些特征映射的數目減少到M，因此FMRB 的輸入和輸出具有相同數目的特征映射，這種特別的體系結構使得多個FMRB能夠同時使用。

對于局部殘差學習部分，為了提高網絡的效率，本文對每個FMRB 都采用殘差學習，在形式上，全連接多尺度殘差分塊（FMRB）可以表示為:

其中:Mn-1和Mn分別代表FMRB 的輸入和輸出；S′+Mn-1通過在各個元素間快捷連接而執行。這種局部殘差學習的方法使用使得計算的復雜性極大降低，同時也提高了網絡對圖像信息的提取性能。

1.4 自適應加權平均融合算法

當采集的紅外圖像和微光圖像分別通過對應的深度卷積神經網絡處理之后，得到了細節增強的紅外夜視圖像和亮度提高的微光圖像。此時如何將兩者進行融合顯得尤為關鍵。為了使紅外圖像的細節信息和微光圖像的場景信息完美融合，不產生過多冗余信息，本文采用自適應加權的平均融合算法，通過圖像的顯著性來進行圖像的加權融合。

圖像的顯著性是指在圖像的像素值和均值之間的差別，當像素值與均值相差越遠時，其顯著性越高，圖像在融合時所占權重也就越大。高斯函數能夠根據偏離均值的遠近得到不同的結果，從而能對圖像顯著性進行定量的分析。自適應加權平均融合算法是分別計算紅外夜視圖像和微光圖像在像素(i，j)處的顯著性。

融合分三種情況進行，若紅外圖像更為顯著，根據圖像的顯著性以及高斯函數可構建出微光圖像的權重為:

根據微光圖像wvis可得紅外圖像的權重為wir(i，j)=1-wvis(i，j)。因此，最終的融合圖像可以表示為:

其中:VIS(i，j)、IR(i，j)分別代表微光圖像、紅外圖像在像素點(i，j)處的權值；δir代表紅外圖像方差；μn代表圖像均值。若可見光圖像更為顯著，則紅外圖像的權重可以表示為:

根據wir可得wvis(i，j)=1-wir(i，j)，此時融合圖像的表達式為:

其中δvis為可見光方差。若紅外圖像和微光圖像兩者的顯著性相同，此時將兩者權重同時賦值為0.5，則融合后的圖像表達式為:

分析可知，自適應加權平均方法能夠將微光圖像和紅外圖像包含的主要結構融合到結果圖像中，使得融合圖像包含的場景信息更加完整。在實驗過程中，分別采用公共數據集、室內圖像、室外圖像進行實驗驗證，此時三種圖像的差異性具有明顯的區別，因此自適應加權融合算法能夠更好地處理不同環境下的圖像融合，使融合圖像的質量達到最好。

2 實驗與結果分析

2.1 數據集的選取與建立

對于超分辨率重建網絡和圖像增強網絡，本文選用不同的圖像進行網絡的學習和訓練。對于圖像增強網絡，構造了一個包含大量高質量圖像（High-Quality image，HQ）和低亮度圖像（LL）的數據集來學習FMRB網絡中的參數。本文方法在UCID［17］數據集和BSD 數據集中初步選取了20 000多張圖像，但是這些圖像往往存在著對比度較低、曝光不足或模糊失焦等問題。因此需對圖像進行進一步的篩選，排除清晰度低、尺寸太大或太小，以及計算機生成的圖像，從而獲得了10 000張質量高、清晰度好的HQ 圖像。之后將這些圖像通過Photoshop 進行隨機亮度降低操作，并采用Gamma 矯正，使每幅HQ 圖像生成1 幅LL 圖像。因此，本文一共擁有了10 000個訓練樣本對。將這10 000 個樣本對分成10 組，每組含有1 000 個樣本對，采用交叉訓練的方法投入網絡中進行訓練，即每一輪訓練都會選取9 組樣本對作為訓練集，剩下的1 組將用作測試集，并用其對網絡參數進行調節，每一輪的測試集都不同，以此種方式循環10 輪，便構成了交叉訓練。通過此方式，能有效地篩選出對網絡訓練更有利的數據集，防止因為部分訓練集效果不佳而對網絡整體效果產生影響。

對于紅外圖像超分辨率網絡的訓練，本文在FLIR 數據集中篩選了10 000張分辨率較高的紅外圖像（HR），對每張圖像進行下采樣，獲得一張對應的低分辨率圖像（LR）。因此，紅外數據集總共含有10 000 個訓練樣本對，依舊使用上述交叉訓練方法進行網絡參數的學習和訓練。

2.2 訓練過程及參數設置

本文參數設置的重點是FMRB 層數的設置。為了找到最合適的層設置，本文實驗做了很多嘗試來設置FMRB 的層數。為了節省訓練時間，不需要使用所有的數據集。在數據集中隨機選取100 張圖像作為訓練集，10 張圖像作為每個實驗的測試集。不同FMRB層設置的測試結果如圖5所示。

圖5 不同FMRB層數設置的測試結果Fig.5 Test results of different FMRB layer settings

通過峰值信噪比（Peak Signal to Noise Ratio，PSNR）來判斷訓練效果。根據結果，本文將重構網絡的FMBR 層設置為32 層，并將增強網絡的FMRB 層設置為50 層。接下來，對網絡進行交叉訓練。本文將10 000 個樣本對分成10 組，每組包含1 000個樣本對，并采用交叉訓練的方法進行網絡訓練。也就是說，每輪訓練將選擇9 組樣本對作為訓練集，剩下的1 組作為測試集，可以調整網絡參數。每輪測試集不同，周期為10 輪。這樣可以有效地篩選出更有利于網絡訓練的數據集，防止一些訓練集效果不佳而影響網絡整體效果。交叉訓練結果如圖6所示。

由圖6可以看出，經過10輪交叉訓練，本文中的兩個網絡都取得了良好的訓練效果。超分辨網絡的PSNR 值達到了32.20 dB，增強網絡的PSNR值達到了30.79 dB。

圖6 交叉訓練結果Fig.6 Cross training results

2.3 實驗配置

本文實驗的訓練平臺為:操作系統為Ubuntu 14.04，CPU 為Core i7-7700K（Quad-core 4.2 GHz），顯卡為NIVID GTX 1080ti。訓練測 試平臺 為CUDA8.0，cuDNN5.1，Pytorch0.4，Python3.6。在主要參數學習率的設置上，本文采用的是學習率衰減的辦法，這樣能有效防止訓練時間過長。設定初始學習率為0.001，每迭代100 000次，學習率降為原來的1/10，采用隨機梯度下降（Stochastic Gradient Descent，SGD）法對網絡進行訓練。

2.4 評價指標的選取

峰值信噪比（PSNR）和結構相似度（Structural SIMilarity，SSIM）是衡量圖像重建和增強質量最常用的兩個指標。前者定量計算處理結果與原始圖像之間的誤差。PSNR越高，失真越小，而SSIM 越接近1，恢復效果越好。因此，本文將這兩個指標用于公共數據集實驗，客觀評價各種重建方法的優缺點。但在現場實驗中，由于沒有參考圖像，無法使用PSNR 和SSIM。因此本文選擇模糊度量（Blur Measure，BM）［18-19］、灰度平均梯度（Grayscale Mean Gradient，GMG）和拉普拉斯和（Laplace Sum，LS）［18］作為評價指標。BM 值越小，圖像越清晰；GMG和LS值越高，圖像質量越高。BM的表達式為:

其中:Dvertical和Dhorizontal表示垂直和水平方向上的不同圖像；F(i，j)是圖像平面上(i，j)點的像素；(M，N)是圖像的大小。BM 可以在0～1 的范圍進行規范化。GMG 和LS 的表達式如下:

2.5 結果分析

為了客觀地評價本文方法性能，首先進行公共數據集實驗，分別測試了兩種網絡模型對圖像的處理水平；然后，進行了現場實驗，測試融合后圖像對夜視的復原效果。在公共數據集實驗中，本文從NTE 公共數據集中選取紅外圖像，進行下采樣操作，再通過本文重建網絡進行處理，并將本文方法實驗結果和SRCNN［20］、VDSR（accurate image Super-Resolution using Very Deep convolutional networks）［21］、DRCN（Deeply-Recursive Convolutional Network for image super-resolution）［22］、EDSR（Enhanced Deep residual networks for single image Super-Resolution）［23］四種超分辨率重建算法進行對比；從NTE 中選取高清圖像，進行亮度降低操作，再通過本文增強模型進行處理，將其實驗結果和現有圖像增強算法SRIE（a weighted variational model for Simultaneous Reflectance and Illumination Estimation）［24］、MSRCR（Multi-Scale Retinex with Color Restoration）［25］、LIME（Low-light image enhancement via Illumination Map Estimation）［26］進行對比。在現場實驗中，選取了紅外攝像頭拍攝的紅外圖像和微光圖像，經過本文方法進行圖像的重建、增強及融合，并和現有的融合算法如文獻［11］算法和文獻［27］算法進行對比。

將本文方法與其他對比方法進行訓練時間的比較，具體的訓練時間如表1 所示。本文方法訓練時間最少，具有一定優勢。

表1 不同方法訓練時間對比Tab.1 Comparison of training time of different methods

對于超分辨率重建網絡的測試，本文選取了兩張NET 公共數據集中的紅外圖像，將下采樣后的圖像進行超分辨率重建，意在將低對比度、低信噪比的紅外圖像重建為高分辨率、細節效果好的清晰圖像。PSNR 和SSIM 由原圖和處理后的圖像計算得出，具體的測試結果如圖7～8所示。

圖7 紅外圖像重建效果對比（林蔭道）Fig.7 Reconstruction effect comparison of infrared images（avenue）

圖8 紅外圖像重建效果對比（房子）Fig.8 Reconstruction effect comparison of infrared images（house）

從圖像的重建效果來看，SRCNN 方法消除了一定程度的模糊，但是引入了較大的振鈴效應。VDSR 減弱了振鈴效應，但圖像失真沒有得到很好的改善。DRCN 提高了圖像的分辨率，但圖像的失真問題仍舊沒有得到實質性的改善。可見，對比方法在提高分辨率和去模糊方面有著顯著的效果，但是不能有效地糾正圖像失真。本文方法不僅能消除一定的圖像噪聲，而且能顯著改善圖像的失真度，驗證了本文重建算法的有效性。

從評價結果來看，相比之下SRCNN方法的PSNR值最小，表明圖像失真情況最為嚴重；VDSR 方法的SSIM 值比SRCNN方法的SSIM 值要大，但增幅很小。從各項評價指標來看，本文方法處理的圖像均取得了最好的結果，可見本文方法重建圖像的質量較高。在運行時間方面，本文方法所需時間最短，優勢明顯。

對于圖像增強網絡的測試，本文選取了兩張NET 公共數據集中的高清圖像，將亮度降低后的圖像進行超分辨率重建，將信噪比低、可見效果差的紅外圖像增強為高亮圖，獲取視覺效果好的清晰圖像。PSNR 和SSIM 由高清圖像和處理后的圖像計算得出，結果如圖9～10所示。

圖9 微光圖像增強效果對比（雨棚）Fig.9 Enhancement effect comparison of low-light-level images（canopy）

從圖像的增強效果看，SRIE 方法處理后的圖像較原圖像亮度有所增強，但是仍然較暗。MSRCR 方法對圖像的亮度進行過度的提升，雖然圖像亮度很高，但是曝光度過大，不適于人眼觀察。LIME 方法相較于前兩種方法處理效果更佳，并且擁有較短的處理時間，但是其仍然存在圖像亮度較暗的問題。本文方法不僅使圖像具有了較好的亮度，圖像的顏色也沒有失真，具有更好的視覺效果。

從評價結果上看，本文方法處理的圖像PSNR 值最大，可見本文方法對失真問題的處理效果最佳；其SSIM 值最小，可見本文方法增強的圖像質量最佳，更逼近于原高清圖像。

對于現場實驗，實驗設備配置如下:鏡頭焦距為6 mm，監控角度為60°，監控距離為15～25 m，供電電壓為12 VDC。相機兩側的擋板尺寸為高1.2 m、寬1 m，用于模擬夜間的弱光條件。捕獲的圖像被傳送到計算機進行處理和顯示。實驗系統的具體硬件結構如圖11所示。

圖10 微光圖像增強效果對比（街道）Fig.10 Enhancement effect comparison of low-light-level images（street）

圖11 實驗系統圖像采集結構Fig.11 Image acquisition structure of experimental system

測量矩陣M由Bayer 陣列的定義確定。由于M包含G 通道值和NIR通道值的數據，其表示如下:

參數α和β是分別形成G 通道值和NIR 通道值的相機濾波器的相對感光系數。所以α+β=1且0 ＜α＜1，0 ＜β＜1。

在現場實驗中，本文分別在室內和室外進行實驗，測試本文方法對于夜視圖像的復原效果。對于室內夜視圖像測試，實驗的目的是讓拍攝的物體細節更加具體，達到增加夜視監控的識別效果；對于室外夜視圖像測試，實驗的目的是讓拍攝的車牌信息更加清晰明顯，達到增加監控探頭獲取車牌信息的能力和效果。由于現場測試中沒有高清晰度的原始圖像來計算PSNR 和SSIM，因此本文選擇BM、GMG 和LS來評估恢復圖像。超分辨率重建圖像如圖12 所示，增強圖像如圖13 所示，融合圖像如圖14所示。具體評價值見表2～7。

圖12 現場紅外圖像超分辨率重建結果Fig.12 Super-resolution reconstruction result of infrared images in field test

圖13 現場微光圖像增強結果Fig.13 Enhancement results of low-light-level images in field test

圖14 現場圖像融合結果Fig.14 Image fusion results in field test

表2 現場室內紅外圖像超分辨率重建評價結果Tab.2 Evaluation results of super-resolution reconstruction of infrared indoor images in field test

表3 現場室外紅外圖像超分辨率重建評價結果Tab.3 Evaluation results of super-resolution reconstruction of infrared outdoor images in field test

表4 現場室內微光圖像增強評價結果Tab.4 Evaluation results of enhanced indoor low-light-level images in field test

表5 現場室外微光圖像增強評價結果Tab.5 Evaluation results of enhanced outdoor low-light-level images in field test

表6 現場室內融合圖像評價結果Tab.6 Evaluation results of indoor fusion images in field test

表7 現場室外融合圖像評價結果Tab.7 Evaluation results of outdoor fusion images in field test

從圖像效果看，對于室內夜視圖像的復原，紅外圖像的重建使物體的細節更加具體化，微光圖像的增強使場景視覺效果更適于人眼觀察。經過自適應加權平均融合算法計算，在室內夜視圖像的融合中，紅外圖像每個像素點的顯著性普遍優于微光圖像，因此在融合時紅外圖像所占的權重更大，融合后的室內圖像所包含紅外圖像的信息也更多。復原后的圖像能夠更好看清物體的具體信息和特征，表明本文方法對室內夜視圖像具有較好的復原效果；對于室外夜視圖像，紅外圖像的重建使車牌信息更加清晰，微光圖像的增強使室外場景信息更加突出。在室外夜視圖像的融合中，微光圖像每個像素點的顯著性普遍更優，因此融合后的室外圖像包含更多微光圖像的信息。復原后的圖像車牌信息更加清晰可見，表明本文方法對室外夜視圖像具有較好的復原效果。

從評價結果看，BM 值越小，圖像越清晰，GMG 和LS 值越大，圖像質量越高。無論是室內還是室外的夜視復原圖像都具有很小的BM值和很大的GMG、LS值，可見本文方法復原后的夜視圖像質量較高。

3 結語

基于深度學習的思想，本文提出了兩種基于全連接多尺度殘差分塊（FMBR）的深度學習網絡，能分別對紅外圖像和微光圖像的特征提取和學習訓練。通過公共數據集實驗可知，相較于SRCNN，使用融入FMRB 的深度學習網絡得到的紅外夜視重建圖像的PSNR 和SSIM 平均值分別提升3.56 dB和0.091 2；相較于MSRCR，得到的微光夜視增強圖像的PSNR 和SSIM 平均值分別提升6.82 dB 和0.132 1，重建圖像的清晰度明顯得到改善，增強圖像的亮度也明顯得到提升，融合后的夜視圖像具有較好的復原效果。

不可否認的是，由于紅外圖像屬于灰度圖像，在和微光圖像融合后難免會出現顏色失真的現象，但是本文方法致力于夜視圖像的細節凸顯和信息復原，顏色的輕度失真有時不僅不會影響復原圖片的質量，反而會增強圖像的視覺效果，因此對本文方法的可行性方面并無影響。同時在現場實驗中，本文發現對于室內夜視圖像，紅外圖像往往更為顯著；而對于室外夜視圖像，微光圖像往往更為顯著。因此對于以后的夜視復原方法，可以更多地對不同場景夜視圖像的復原做進一步研究，以便得到更好的復原效果。