基于多模態信息融合的圖像顯著性檢測算法研究

徐正梅，王慧玲，韋良芬

（1.阜陽師范學院 計算機與信息工程學院，安徽 阜陽 236037；2.安徽三聯學院 計算機科學與技術系，安徽 合肥 230601）

圖像以其直觀性，在現代生活中發揮著越來越重要的作用.隨著多媒體技術的發展，圖像數據急劇增長，如何在海量數據中高效提取出人們感興趣、有價值的數據是目前亟待解決的問題.圖像顯著性檢測應用廣泛，主要包括：圖像分割［1］、目標檢測與識別［2］、圖像檢索［3］和圖像壓縮［4］等領域.圖像顯著性檢測模型根據處理方式的不同可分為：自底向上的處理方法和自頂向下的處理方法.自底向上的模型由數據驅動，該模型獨立于任務，處理數據時利用的是底層視覺特征，如顏色、紋理、方向和亮度等信息，目前大部分圖像顯著性檢測算法都是基于此模型的；自頂向下的模型則是任務驅動，是針對特定目標和任務需求進行顯著性檢測，處理數據的速度相對較慢.經典的Itti模型是根據人眼視覺特性，用多尺度圖像特征的中心周圍的差異性來得到圖像的顯著性，此方法檢測出的顯著性區域比較粗糙，且含有較多的背景區域［5］.有很多學者為改進顯著性檢測效果提出了多種算法.錢曉亮等提出基于加權稀疏編碼的頻域算法，提高了算法檢測的速度［6］.郭迎春等提出了一種基于顏色空間的Local特征和Regional特征顯著性檢測算法，提高了算法的準確性［7］.Rajkumar S利用基于分塊的方法提取紅外圖像顯著性檢測結果用來做目標檢測［8］.Zhao J利用紅外圖像顯著性特征做圖像増強［9］.Yang C等采用基于圖的流行排序進行顯著性檢測，并采用二級排序的方式提升了顯著性檢測精度［10］.

目前單模態圖像顯著性檢測算法在特定測試數據集和簡單場景下已經提升到很高水平，但是算法缺乏泛化性，在圖像光照不好、顏色相近、跨邊界以及圖像包含噪聲等復雜場景下顯著性檢測效果有待提升.近年來，隨著多元傳感器的發展，一些學者嘗試融合多模態信息進行圖像檢測和視頻跟蹤等領域.Li C等融合可見光圖像和紅外圖像進行跟蹤，提高了跟蹤準確性［11］.高思晗融合可見光圖像的顏色特征和熱紅外圖像的灰度特征進行圖像顯著性檢測，有效提升了因光照不好和雨雪天氣下圖像顯著性效果，但檢測結果仍存在噪聲多、顯著目標跨邊界檢測不準確等問題［12］.本文算法主要貢獻：①利用RGB圖像和紅外圖像的互補性，融合兩種模態信息進行顯著性檢測，提升了單模態圖像對比度低，如弱光照、低溫差、前景背景相似等情況下的圖像顯著性檢測效果；②采用K-means聚類優化種子點選擇，提升了顯著目標跨邊界情況下的檢測精度.

1 算法設計流程

本文算法是在基于圖的流行排序算法的基礎上做的改進.基于圖的流行排序算法可概括為將圖中的一些節點標記為查詢節點，計算圖中標記節點和未標記節點的關聯程度，根據關聯程度排序未標記節點.算法實現流程為：①將RGB圖像和紅外圖像進行等比例融合產生融合圖像；②采用SLIC（simple linear iterative clustering）算法對融合圖像進行超像素塊分割；③利用第二步產生的超像素塊對RGB圖像和紅外圖像分別進行構圖；④以圖像邊界為先驗，結合K-means算法進行第一次排序；⑤以第一次排序結果為先驗進行第二次排序；⑥將二級排序后的以RGB為數據源產生的顯著圖和以紅外圖像為數據源產生的顯著圖進行融合產生最終的顯著圖.

2 算法實現

2.1 等比例融合紅外圖像和可見光圖像

單模態圖像顯著性檢測各有其局限性：①可見光圖像受光照影響比較大，光照過強或者太弱，顏色對比度都會受很大的影響.依據人眼對暖色比較敏感的特點，現有顯著性檢測算法大多數都是基于顏色特征來計算對比度的，因而當圖像光照不好或背景前景顏色相似時，可見光圖像的顯著性檢測效果會大幅下降.②紅外圖像是采用熱成像原理，它是成像物體表面溫度分布圖.紅外熱成像使人眼不能直接看到表面溫度分布，變成可以看到的代表目標表面溫度分布的熱圖像.所有溫度在絕對零度（-273℃）以上的物體，都會不停地發出熱紅外線.可以在完全無光的夜晚，或是在煙云密布的惡劣環境，能夠清晰地觀察到前方的情況.正是由于這個特點，紅外熱成像技術常用在安全防范的夜間監視和森林防火監控系統中.但是紅外圖像也有具有分辨率差、對比度低、信噪比低、視覺效果模糊、灰度分布與目標反射特征無線性關系的缺點.

本文算法采用RGB和紅外圖像進行等比例融合的方式，是考慮到單模態圖像可能會因為光照弱，溫差小等原因而造成的對比度弱的問題，圖像對比度弱又會影響超像素的分割和相似度矩陣的計算，進而影響顯著性檢測效果，采用融合兩種圖像的作為超像素分割的數據源能起到平衡和改善檢測效果的作用.

2.2 超像素分割

SLIC是一種簡單的線性迭代聚類算法，它將彩色圖像轉化為CIELAB顏色空間.Lab顏色模型由3個要素組成，一是亮度（L），另外兩個要素a和b是兩個顏色通道.Lab顏色空間不像RGB和CMYK色彩空間，它致力于感知均勻性，接近人類生理視覺.SLIC算法能生成緊湊、近似均勻的超像素，在運算速度，物體輪廓保持、超像素形狀方面具有較高的綜合評價，比較符合人們期望的分割效果.為了確保后續計算中矩陣維度的一致性，本文算法只對融合后的圖像進行超像素塊分割.

2.3 構圖

（1）圖節點和邊的權重.圖可記為：G=（V，E），其中V是圖節點，是由超像素塊組成的集合，E是超像素塊之間的邊，當兩個超像素塊之間滿足3個條件之一時認為它們之間有邊：①當兩個超像素塊相鄰時；②當兩超像素塊之間有共同的邊時；③當超像素塊位于圖像的四條邊上時.邊的權重計算公式為：

其中，k為模態，k可以取1和2，當k=1時，表示RGB圖像；k=2時，表示紅外圖像.是第k個模態中Vi和Vj兩節點邊的權重，為第k個模態第i個超像素塊的顏色特征值，γ為縮放參數.

（2）計算關聯矩陣.節點間的排序方程設計為：

其中Dk=diag{,…,}為度矩陣，=∑j，α 為一個參數 Wk=［］n×n，yk=［…,］T，為指示向量，對于給定數據集 Xk={,…}∈Rm×n，當為查詢節點是=0，否則=1.

2.4 第一級排序

分別以四條邊上非重疊的超像素塊為種子節點進行排序，得到四個不同的檢測結果，將四個結果融合后產生第一級排序的結果.以上邊界為例，先將上邊界的超像素塊標記為查詢節點，第k個模態的上邊界標簽向量記為：，在中只有上邊界節點對應位置設置為1，其它位置節點設置為0，再運用公式（3）計算得到上邊界的排序向量：

其中，i=1，2，…N，N 表示圖中節點的個數，fk由公式（2）計算得到.接著再對歸一化到［0，1］范圍，得到再運用公式（4）得到以上邊界為種子節點時各個點的顯著性：

同理可以得到以右邊界為種子點產生的顯著圖Srk.下邊界和左邊界相對于上邊界和右邊界來說，只有種子點選擇時操作略有不同，其它操作完全相同.考慮到圖像顯著目標經常出現跨邊界的現象，同時考慮到圖像的對稱性，只對下邊界和左邊界的種子節點進行了篩選.以下邊界為例具體篩選過程為：首先采用K-means聚類算法將圖像下邊界的超像素塊聚成兩類，如果兩類數目不相等，只選取數目多的超像素塊作為種子節點；否則，選取整個下邊界的超像素塊做種子節點，筆者采用此方法是鑒于邊界背景節點數目通常大于顯著目標節點數目這一先驗.以篩選后的下邊界和左邊界為種子節點產生的顯著圖可以分別記為，.最后再將4個顯著圖、、和運用公式（5）進行融合產生第一級排序檢測結果：

2.5 第二級排序

2.6 多模態顯著圖融合

以RGB圖像作為數據源產生的顯著圖S1和由紅外圖像作為數據源產生的顯著圖S2，采用點乘的形式將兩種模態的顯著圖進行融合產生最終的顯著圖S，即：

公式（6）計算結果見圖1，本文算法在弱光照、噪聲圖像、相似紋理和跨邊界等復雜場景下檢測效果明顯優于基于圖的流行排序算法.

圖1 本文算法與GMR算法顯著圖比較

3 實驗結果分析

筆者對包含有弱光照、相似背景、大目標、小目標、中心偏離等11種挑戰的數據集RGBT-Saliency-Dataset上進行了測試，該數據集包含821個RGB圖像和紅外圖像對.筆者將本文算法與SR［13］，SRM［14］，CA［15］，MCI［16］，NIF［17］，SS-KDE［18］，GR［19］，GMR［10］等 8 種算法進行了比較.為了實驗比較的公平，本文算法所用參數仍然沿用基于圖的流行排序算法的值.超像素數目設置為200，特征權重theta=10，公式（2）中參數α=0.99，第二級排序中二值化的閾值選擇的也是均值.用于比較的其它8種算法都保留其原有的參數，將RGB圖像和紅外圖像照等比例融合后直接計算融合圖像的顯著圖.接下來在整個數據集上比較9種算法的平均精度、平均召回率以及 F-Measure，簡稱 PRF（Precisions，Recall，F-Measure）.其中F-Measure由公式（7）計算得到：

其中，β2=0.3.在PRF的3個值中，F值更具有代表性，能綜合權衡平均精度和平均召回率.各個算法在不同模態的PRF值見表1.融合多模態進行顯著性檢測在測試的幾個算法相對于單模態都得到了很大提升，其中本文算法最終檢測結果精度和F-measure值都遠遠高出其他算法.

表1 9種算法在單模態和兩種模態融合后的PRF值

4 結語

針對復雜場景下單模態對比度低，以及顯著目標跨邊界等導致顯著性檢測效果不好的情況，利用RGB圖像和紅外圖像的互補性，結合K-means聚類算法對基于圖的流行排序算法進行改進，檢測效果提升顯著.今后準備采用動態學習兩種模態的特征，進一步提升復雜場景下圖像顯著性檢測效果.