近紅外圖像增強與彩色化算法＊

史 珂，鄭鑫毅，湯春明，魏 鑫，張新新，杜月新，樂 娟

（天津工業大學 電子與信息工程學院，天津 300387）

近紅外圖像增強與彩色化算法＊

史 珂，鄭鑫毅，湯春明，魏 鑫，張新新，杜月新，樂 娟

（天津工業大學 電子與信息工程學院，天津 300387）

提出了一種新的近紅外圖像增強與彩色化算法，先將近紅外圖像取反，然后用MSRCR算法處理取反后的RGB三個通道的圖像，將處理后的RGB三通道灰度值分別拉伸合并成一幅新的圖像，取反后用改進的導向濾波實現圖像增強，用改進的BOF算法檢索用于給近紅外圖像上色的彩色參考圖像，接著采用Welsh算法對增強后的近紅外圖像分區域上色，再通過紋理匹配選取相似像素點，實現近紅外圖像的彩色化。實驗結果表明，這種算法增強后的圖像細節清晰，色彩傳遞效果好，且算法運行速度比較快。

近紅外圖像增強；彩色化；MSRCR算法；檢索彩色參考圖像

近紅外圖像的彩色化，是指將某個最相近的彩色圖像的顏色特征傳遞給該近紅外圖像。我們首先需要檢索與近紅外圖像具有類似特征的彩色參考圖像，否則，傳遞后的彩色效果將難以保證。目前，在圖像檢索技術中，有許多比較成熟的算法，比如傳統的BOF（bag of features）算法采用SIFT[6]描述特征點，使用K-Means或SVM分類器實現圖像檢索。為了提高SIFT算法對特征提取的魯棒性，文獻[7]提出了基于ROI提取結合金字塔匹配原理，但是，運算復雜度比較高。由于簡單的應用K-Means和SVM實現的BOF算法擬合度和分類精度都不夠高，因此，文獻[8]利用使用概率，通過EM對BOF進行擬合。這樣做雖然在一定程度上提高了精度，但對于具有復雜背景的圖像仍然存在效率低和分類精度不高的缺點。本文針對BOF算法的不足，提出對于SIFT提取出的圖像特征描述符通過PCA降維，以降低BOF算法的復雜度、提高運行效率、解決存儲要求過高的算法；同時，引入用余弦夾角與巴氏距離共同度量待檢索近紅外圖像與圖片庫中的圖像相似度，以提高BOF分類的精度。

由于國內外暫時沒有關于近紅外圖像彩色化的研究，因此，本文參考了Welsh提出的灰度圖像彩色化的算法[9]，但是，由于該算法要遍歷圖像中所有像素，所以，此運算時間比較長，并且會產生一定的噪聲，發生溢色的現象。鑒于此，本文提出了具有相似顏色的區域進行分塊上色的方法，以加快運算速度。

1 近紅外圖像增強

本文提出的增強算法具體步驟如下：①A經過MSRCR算法處理后得到A’；②對獲取的近紅外圖像A取反，得到B；③把B的RGB三通道分別用MSRCR算法進行濾波，得到R’，G’，B’；④對 R’，G’，B’分別進行灰度拉伸，得到 R’，G’，B’；⑤將 R’，G’，B’合并，得到 RGB 彩色圖像再取反得到圖像D；⑥把圖像D與A’進行加權融合，得到圖像E；⑦對圖像E應用導向濾波，得到增強圖像F。

2 參考彩色圖像檢索

2.1 Bag of Features（BOF）圖像檢索算法

在實際工作中，先采用SIFT算子對圖像進行特征提取，得到大量特征，獲得表達圖像的關鍵詞；然后采用K-Means聚類方法，將隨機產生聚類中心定義為視覺單詞，對得到的關鍵詞進行聚類。但是我們發現，傳統的BOF算法只采用余弦夾角度量圖片的相似度，對圖像的檢測匹配率比較低，運算速度比較慢，所以，采用PCA降維和改進的BOF圖像檢測算法來提高檢測匹配率，縮短運算時間。

2.2 改進的BOF圖像檢索算法

為了加快運算速度，我們對SIFT提取出的特征用PCA方法先降維；為了提高圖像的匹配率，我們使用巴氏距離和余弦夾角共同度量待檢索圖像和圖像庫中圖像的相似度。改進的BOF圖像檢索算法流程如圖1所示。

圖1 改進的BOF圖像檢索算法流程圖

3 圖像彩色化

傳統的Welsh算法只能全局上色，效果不是很好。經過研究發現，在彩色參考圖像和矩形圖像塊中傳遞顏色，然后用距離尋找相似紋理進行匹配，上色效果會有很大程度上的提升。首先我們用式（1）計算灰度圖像區域Ng和彩色參考圖像的矩形框區域Ns間的距離E：

式（1）中：I為灰度圖像的亮度值；為灰度圖像的平均亮度值；S為參考圖像的矩形框S內亮度值；為參考圖像的矩形框內平均亮度值；p為鄰域像素。

通過式（1）尋找灰度圖像中與已經上色的矩形框中像素之間E最小的像素進行顏色傳遞。

4 實驗結果及分析

4.1 近紅外圖像增強與彩色化實驗結果及分析

圖2是對近紅外圖像彩色化的結果與對比情況，其中a1至a5是原始近紅外圖像，b1至b5是增強后的近紅外圖像，c1至c5是彩色參考圖像，d1至d5是Welsh算法彩色化結果，e1至e5是本文算法彩色化結果。

圖2 彩色化結果對比

由實驗結果可知，改進算法克服了近紅外圖片經過Welsh算法處理后出現的顏色溢出現象，同時，有效過濾了高頻與低頻噪聲，使得可視化效果增強。但是，由于我們所使用的近紅外圖像是在暗室中由近紅外燈補光的條件下拍攝的，所以，原始圖像的圖像清晰度比較差，使得在近紅外圖像的某些區域上色效果有些不好。

4.2 近紅外圖像檢索時間對比及分析

由于原始近紅外圖像清晰度不高，會使圖像檢索精確度下降，所以，本文選用增強后的圖像作為待檢索圖像。原始近紅外圖如圖3所示。實驗選取256_ObjectCategories作為檢索圖像庫，將圖4作為待檢索圖像，表1展示了本文算法與其他算法在運算時間和匹配率方面的對比情況。從表1中可以看出，使用巴氏距離、余弦夾角度量的待檢索圖像與圖像庫中圖像的相似度相比，圖像檢索的精確率大幅提升；采用PCA降維算法雖然會使圖像檢索的精確率小幅度下降，但是，大大縮短了運算時間。

5 結束語

本文提出了一種近紅外圖像增強與顏色傳遞算法，圖像增強算法在Retinex基礎上，使用了對近紅外圖像像素值取反補償細節、灰度拉伸增強對比度、導向濾波濾噪來增強近紅外圖像的視覺效果。顏色傳遞算法在Welsh算法的基礎上，通過指定多個區域上色，改變匹配紋理的算法，使顏色遷移更加準確，細節更加豐富，同時，加入導向濾波，使圖像更加平滑，圖像視覺質量提高。實驗結果表明，本文算法對近紅外圖像有良好的增強附色效果，這對于改善近紅外圖像質量有重要的現實意義，在公安監控、農產品檢測、醫療成像等使用近紅外成像的領域有良好的應用前景。

圖3 原近紅外圖像

圖4 增強后近紅外圖像

表1 改進后的BOF圖像檢索算法與其他算法的時間與匹配率的對比

［1］Land E H.The retinex theory of color vision［J］.Scientific American，1977，237（6）：108.

［2］段群，吳粉俠，李紅.雙通道分塊同態濾波彩色圖像增強算法［J］.計算機技術與發展，2016（01）：82-85.

［3］陳超.改進單尺度Retinex算法在圖像增強中的應用［J］.計算機應用與軟件，2013，30（4）：55-57.

［4］劉家朋，趙宇明，胡福喬.基于單尺度Retinex算法的非線性圖像增強算法［J］.上海交通大學學報，2007，41（5）：685-688.

［5］Wang S，Zheng J，Hu H M，et al.Naturalness Preserved Enhancement Algorithm for Non-Uniform Illumination Images［J］.IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society，2013，22（9）：3538.

［6］LOWE D G.Distinctive image features from scale-invariant key points［J］.International Journal of Computer Vision，2004，60（2）：91?110.

［7］趙春暉，王瑩，Masahide KANEKO.一種基于詞袋模型的圖像優化分類方法［J］.電子與信息學報，2012，34（9）：2064-2070.

［8］LEUNG T，MAILIK J.Representing and recognizing the visual appearance of materials using three-dimensional textons［J］.International Journal of Compute Vision，2001，43（1）：29?44.

［9］Welsh T，Ashikhmin M，Mueller K.Transferring color to greyscale images［C］//Conference on Computer Graphics and Interactive Techniques.ACM，2002：277-280.

［10］Iizuka S，Simoserra E，Ishikawa H.Let there be color!：joint end-to-end learning of global and local image priors forautomatic image colorization with simultaneous classification［J］.Acm Transactions on Graphics，2016，35（4）：1-11.

［11］Arbelot B，Hurtut T，Hurtut T，et al.Automatic texture guided color transfer and colorization［C］//Joint Symposium on Computational Aesthetics and Sketch Based Interfaces and Modeling and Non-Photorealistic Animation and Rendering.EurographicsAssociation，2016：21-32.

［12］Arbelot B，Vergne R，Hurtut T，et al.Local texture-based color transfer and colorization［J］.Computers&Graphics，2016，62（12）：15-27.

［13］Wang X，Ge C，Cheng Y.Multi-source Local Color Transfer Based on Texture Similarity［J］.Chinese Journal of Electronics，2014，23（4）：718-722.

［14］Li Y，Li Z，Cao L.Neighborhood Similarity-Based Color Transfer Algorithm［M］.Springer Singapore：[出版社不詳]，2016.

［15］Zheng Y.Multisensory data exploitation using advanced image fusion and adaptive colorization［J］.Proc Spie，2008，6968（11）：1294-1297.

［16］Zhang R，Isola P，Efros AA.Colorful Image Colorization［C］//European Conference on Computer Vision.Springer，Cham，2016：649-666.

TP391.1

A

10.15913/j.cnki.kjycx.2018.02.024

2095－6835（2018）02－0024－04

很多重要的夜視或低照度場景，比如軍事基地、安全中心和交通要塞等，主要利用紅外圖像實現全面監控。紅外圖像反映了目標場景的熱輻射信息，它主要是由目標場景的輻射率差和溫差決定的。紅外圖像具有對場景亮度變化不敏感，以及對于目標具有良好的探測性等優點，所以被廣泛應用。但是，研究發現，紅外圖像丟失了原有可見光圖像的一些細節邊緣和紋理等特征。于是，Stan．Z提 出 了 近 紅 外（NIR）圖像成像系統，NIR即波長范圍為0.7～1.1 μm的光，它既具有紅外成像的一些優點，又能保持一定的細節特征。然而，近紅外圖像依然存在對周圍環境溫度變化比較敏感、對玻璃的非穿透性等缺點，且由于實際獲取圖像時會受到外部環境，比如光照不足、光照不均、霧霾雨水等惡劣天氣的影響，嚴重影響了圖像的視覺質量，因此，我們需要對獲取的近紅外圖像進行增強和彩色化，以便獲得更好的視覺效果。

目前存在的近紅外圖像增強算法主要有基于直方圖均衡、自適應的直方圖增強算法和Retinex理論[1-5]等。其中，段群等[2]使用的同態濾波算法是依據Retinex理論，從頻域的角度增強圖像；陳超等[3]將雙邊濾波引入Retinex算法中；劉家朋等[4]提出了一種對亮度圖像快速估計的Retinex圖像增強方法；Wang S等[5]提出了保持圖像自然特性的增強方法。Wang S提出的方法是先設計了亮通濾波器，將圖像分為反射層和照射層，然后提出雙對數變換法來求取照射光，以保持圖像的自然特性。但是，由于對照射層估計不準確，導致最終的圖像增強程度比較低，且顏色失真嚴重。由于近紅外圖像成像設備的問題，亮度過大的目標會失去細節特征，同時產生噪聲，使圖像視覺質量變差。當前存在的算法都不能很好地解決這2個問題。所以，本文提出了一種新的近紅外圖像增強算法，即通過對近紅外圖像進行取反、加權融合、灰度拉伸、導向濾波和msrcr算法的處理，完成對近紅外細節的增強，改善近紅外圖像中目標過亮的情況，同時有效抑制圖像中的噪聲。

天津市第三批三年千人計劃項目（編號：62014511）；天津工業大學引進教師科研啟動項目（編號：030367）；國家級大學生創新創業訓練計劃資助項目（編號：201610058043）

史珂（1997—），女，本科生，研究方向為圖像處理與模式識別。鄭鑫毅（1993—），男，碩士研究生，主要研究方向為圖像復原、圖像的彩色還原。湯春明（1971—），女，博士后，教授，博士生導師，主要研究方向為圖像處理與模式識別、視頻中多目標識別與追蹤，為本文通信作者。

魏鑫（1997—），男，本科生，研究方向為圖像處理。張新新（1997—），男，本科生，研究方向為圖像處理。杜月新（1997—），女，本科生，研究方向為圖像處理與模式識別。樂娟（1997—），女，本科生，研究方向為圖像處理與模式識別。

白潔〕