基于增強視覺質量的圖像感興趣區域檢測研究

盧佳佳，蔡堅勇

(1. 福州理工學院計算與信息科學學院，福建 福州 350506；2. 福建師范大學光電與信息工程學院，福建 福州 350117)

1 引言

現階段，圖像和視頻已經成為多媒體發展過程中必不可少的一個環節，如何有效在大規模圖像中獲取用戶感興趣的圖像塊是現階段研究的熱點話題[1，2]，感興趣區域檢測是解決問題的核心技術。感興趣區域是立體圖像中可以引起用戶高度關注的區域，同時也可以有效凸顯圖像的細節信息。立體圖像感興趣區域檢測在圖像處理和分析領域占據十分重要的地位，同時也得到了比較廣泛的應用。

國內相關專家針對立體圖像感興趣區域檢測方面內容展開了大量研究。例如李森森等人[3]通過自適應感興趣區域提取對應的區域，同時在目標分割過程中，采用全連接的卷積網絡替換原始的卷積網絡，最終達到多目標檢測的目的。章鳴嬛等人[4]主要通過坐標匹配以及子圖切分完成圖像感興趣區域檢測。鄭哲等人[5]利用骨干網絡提取圖像不同層次的特征，將其輸入到MAFPN中，將特征融合和注意力機制融合，同時將已經提取到的特征再次輸入到分類/回歸網絡中，實現多尺度目標檢測。在以上幾種方法的基礎上，提出一種結合視覺感知特性的立體圖像感興趣區域檢測方法。經實驗測試結果證明，所提方法可以全面提升檢測率，同時可以以更快的速度完成檢測。

2 立體圖像感興趣區域檢測方法

2.1 立體圖像視覺質量增強

視覺合成主要通過基于深度圖像的繪制技術完成，視點合成主要包含以下幾個步驟，分別為：

1)將一個相機視點的圖像像素經過三維投影映射到另外一個虛擬視點的圖像平面上，進而構建投影圖像；

2)以空洞填充形成投影圖像中的缺失區域。

設定空間表面均為漫反射，在不同視點下的色彩是完全不同的，針對隨機一個空間點w(a，b，c)而言，分別將其投影至虛擬視點和相機視點，即小孔成像原理，則經過兩次投影獲取的投影方程可以表示為以下的形式

(1)

式中，cr和cv代表參考相機對應的旋轉矩陣；pr代表平移矢量；xr和xv代表深度值；wr和wv代表經過歸一化處理的焦距；P代表內參矩陣；Ra代表基準點坐標差。

為了有效簡化坐標系，需要將世界坐標系設定為參考相機對應的坐標系。對于具有一維平行排列的虛擬視點而言，可以獲取連接各個視點之間的基線距離，同時經過分析，可以獲取以下形式的三維投影矩陣：

(2)

當立體圖像的虛擬視點出現在隨機兩個參考視點之間時，將兩個參考視點的投影圖像有效融合，彌補參考視點存在的缺陷。當視點中對應點的紋理像素呈線性變化，則可以采用加權的方式補償立體圖像的亮度值，具體如式(3)所示

(3)

式中，W(t)代表立體圖像經過補償后的亮度值；V代表立體圖像的失真程度；tx代表立體圖像采樣周期。

為了確保圖像不存在空洞，還需要對圖像實施填充處理，立體圖像的內部條件以及周圍紋理具有一致性，所以可以無限延伸空洞周邊的紋理，最終可以有效實現立體圖像空洞填充。

通過上述分析，圖像邊緣失真主要是由紋理以及深度邊界的不對齊導致的。所以，可以通過降低邊界失配或者增強對齊的方式消除邊緣失真，重點從以下幾個方面展開研究：

1)修正前景不對齊區域FM中的深像素，進而增強前景紋理深度的一致性，有效防止前景腐蝕以及背景噪聲。

2)通過減少不對齊區域或者背景不對齊區域的可疑像素，不僅能夠有效降低立體圖像的背景噪聲，同時還能夠減少鄰域誤差。

通過上述分析，分析人眼視覺敏感度以及視覺暫留等多個重要視覺特性，通過時空域聯合分析受損立體圖像，通過改進視點合成原理對立體圖像展開視覺質量增強處理，詳細的操作步驟如下所示：

1)分析紋理邊界以及深度邊界的對齊情況：

以深度邊界為依據獲取立體圖像邊緣部分，同時獲取對應的邊界點信息，為后續的操作步驟奠定堅實的基礎。

2)增強前景紋理以及深度對齊性：

根據深度邊界情況，判斷需要被舍棄的前景像素，同時最大化其利用率，有效降低或者消除前景腐蝕。

3)抑制過渡和背景不對齊區域中可疑像素的投影：

針對立體圖像失配區域而言，禁止圖像投影可以有效防止背景噪聲以及可疑過渡情況的發生。

4)通過Canny檢測立體圖像的主要紋理和深度邊界[6，7]，同時修正深度邊界點，有效抑制鋸齒現象，達到全面增強立體圖像視覺質量的目的。

2.2 結合視覺感知特性的立體圖像感興趣區域檢測

一直以來，人類就對視覺感知特性有著十分深入的研究，但是由于系統十分復雜，很難通過一個確定的解析式描述。通常情況下，人眼視覺系統包含三個階段，分別為：

1)幅度非線性：主要負責從客觀亮度到主觀亮度的映射。

2)頻率選擇性：人眼屬于二維帶通函數，只有在設定范圍內才可以獲取比較高的敏感度。

3)視覺檢測性：人眼具有方向性以及多尺度等特性。

當觀察者在觀察立體圖像時，優先需要對立體圖像掃描處理，得到圖像的特征區域；將全部特征排序，并且經過計算得到不同感知區域的相關信息。其中，感知區域主要是將特征點作為中心，距離中心區域的分辨率越高，則說明立體圖像分辨率和清晰度越高；反之，則說明圖像的視覺質量較差。

設定分辨率層次集合為l{1，2，3…}，則不同層次的立體圖像可以采用式(4)描述

(4)

式中，g代表加權平均模板。

針對立體圖像中一個隨機的特征點feature(i，j)而言，隨著距離特征點越來越遠，人眼所感知的立體圖像開始越來越模糊，獲取的圖像清晰度和分辨率也開始呈下降趨勢，則需要滿足以下約束條件G(p)

(5)

式中，disw(a，b，c)代表當前點距離特征點的距離；T(i)代表閾值。

人類視覺感知特性可以快速在立體圖像中獲取感興趣區域。通常情況下，通過立體圖像相鄰幀對應的特征點可以構建基本矩陣。為了確保最終可以獲取高精度的計算結果，需要引入仿射變換完成運動背景建模。

仿射變換通過基本矩陣描述空間二維變換，則齊次坐標可以表示為式(6)的形式

(6)

式中，(x，y)代表仿射變換后的空間二維坐標值。

為了求解仿射變換基本矩陣關系，需要優先檢測圖像的前幀和后幀；然后利用Harris角點檢測算法再次對立體圖像實施角點檢測[8，9]，得到和圖像前后幀相匹配的特征點。

在提取立體圖像連續兩幀圖像的特征點之后，使用SAD算法對前后幀角點實行一對一匹配，具體的計算式為

D(p，q)=|I(i1，j1)-I(i2，j2)|2

(7)

式中，D(p，q)代表角點匹配結果；I(i1，j1)和I(i2，j2)代表不同范圍內的鄰域角點。

在獲取特征點的匹配關系之后，即可對式(6)中的仿射變換基本矩陣求解。通過仿射變換對立體圖像中隨機兩個距離不遠的幀之間構建二者時域上的關聯，則兩者之間的圖像坐標變換關系可以表示為式(8)的形式

(8)

式中，(xp，yp，zp)代表在設定時間范圍內的像素點坐標。

人類視覺感知特性主要依賴于兩種不同的深度線索組合，分別為：

1)單眼深度線索：主要包含單眼調焦以及運動遮擋等。

2)雙眼深度線索：主要包含雙眼匯聚和視差。

在深度信息的使用上，主要從以下幾個角度出發，分別為：

1)空間距離越近，則說明受到的關注度就越高；

2)物體深度邊緣具有比較高的顯著性；

3)景深模糊區域不可以作為視覺關注的核心。

使用雙目立體匹配技術可以對立體圖像視差圖展開計算，同時獲取立體圖像對應的深度信息[10，11]，當得到的視差圖取值越大，則說明觀察者距離圖像的距離越近。

通過上述分析可知，由于立體圖像的特征可以采用不同的方式提取，所以以下借助人工神經網絡完成立體圖像感興趣區域檢測。

人工神經網絡通過模仿動物的神經行為特征，對立體圖像中全部信息實行分布式計算以及處理，同時調節不同節點之間的關系，有效實現信息處理和分析。神經細胞可以表示為圖1的形式。

一個人工神經細胞可以包含多個輸入s1，s2，…，sn，同時每個輸入對應一個權重取值w1，w2，…，wn。可以將全部輸入以及關聯權重的加權總和作為神經細胞輸出的激勵值，則對應的計算公式為

圖1 神經細胞

s=w1s1+w2s2+…wnsn

(9)

通過人工神經網絡可以更好地完成立體圖像感興趣區域檢測，利用人工神經網絡訓練一個全新的多特征融合網絡，采用多特征融合網絡組建顯著圖。在檢測前期，觀察者需要通過實驗眼球的運動來探索人類的心理活動。將眼動儀得到的立體圖像和經過實驗獲取的立體圖像全部輸入到人工神經網絡中，經過一系列操作得到滿足人類視覺需求的先驗模型。

通過視覺感知特性構建視覺注意模型，提取立體圖像感興趣區域特征[12]，同時采用經過訓練的多特征融合網絡對全部特征融合[13，14]處理，形成顯著圖[15]，詳細的操作流程如圖2所示。

在經過融合處理獲取的顯著圖上通過亮度值定位感興趣區域，最終達到立體圖像感興趣區域檢測的目的。

3 實驗分析

為了驗證所提結合視覺感知特性的立體圖像感興趣區域檢測方法的有效性，實驗在ImageNet數據庫中選取150幅立體圖像作為研究圖像，將文獻[3]方法、文獻[4]方法和所提方法作為研究對象，分別分析不同場景下各個方法的檢測性能，詳細的實驗測試結果如圖3～5所示：

圖2 立體圖像特征融合流程圖

圖3 測試圖像1的檢測結果

分析圖3～5中的實驗結果可知，在目標區域內，針對背景比較復雜，背景灰度和對比度比較大的圖像而言，所提方法可以有效且完整保留立體圖像中的目標區域，更好完成立體圖像感興趣區域檢測。

在不同背景下針對不同類型的目標進一步展開實驗測試分析，選取檢測率和虛警率作為測試指標，具體的實驗結果如表1所示。

表1 不同背景下各個測試目標的檢測結果

圖4 測試圖像2的檢測結果

從表1中的實驗數據可以看出，在不同測試背景下，通過所提方法可以有效檢測出目標感興趣區域，同時具有較高的檢測率以及比較低的虛警率，說明該方法的檢測效果較好。

圖5 測試圖像3的檢測結果

在圖像采集系統中，對圖像處理算法的實時性具有很高的要求，所以需要重點考慮所提方法的檢測速度，將檢測時間作為測試指標，詳細的實驗測試結果如圖6所示：

分析圖6中的實驗數據可知，所提方法的檢測時間明顯低于另外兩種方法，說明所提方法可以以更快的速度完成感興趣區域檢測，具有檢測效率更高的特點。

圖6 不同方法的檢測時間測試結果

4 結束語

針對傳統檢測方法存在的不足，設計并提出一種結合視覺感知特性的立體圖像感興趣區域檢測方法。經大量實驗研究證明，所提方法可以準確檢測立體圖像感興趣區域，同時還能夠提升檢測速度，有效驗證了所提方法的有效性，可以為今后的立體圖像分析和處理提供有價值的參考依據。雖然所提方法取得了比較滿意的研究成果，但是仍然存在不足，后續將對其進一步完善和優化，確保所提方法的整體檢測性能得到有效增強。