基于頻率敏感三維自組織映射的立體視頻視差估計算法

任 云,程福林,黎洪松

(桂林電子科技大學 信息與通信學院,廣西 桂林 541004)

0 概述

傳統視差估計算法有2種思路[1-2],一種是基于區域,另一種是基于特征。前者的基本思想是以圖像中的某點或某塊作為一個單位,在參考圖像中搜索與其相對應的點或塊,從而得到各個點或各個塊的視差,利用這種算法計算得到的視差估計都非常集中、稠密。根據選取的不同的匹配策略,基于區域的視差估計還可以分為[3]局部法[4-6]及全局法[7-8]。代表性的局部法是基于塊[9-10]的算法,實現復雜度低,有廣泛的應用。典型的全局算法有動態規劃法、圖割法[11]和置信度傳播法等[12-13],均可得到較好的估計效果,但由于其計算復雜,因此硬件難以實現。基于特征的視差估計[14-16]的基本原理是匹配圖像自身的特征,一般其特征提取過程都比較復雜,且只能得到稀疏的視差估計。

三維自組織映射算法[17]模擬人腦對特定現象興奮的特征,在許多方面得到了應用,特別在模式識別[18]、數據挖掘等領域更是發揮了不容忽視的作用[19-21],是一種高效的數據聚類算法。

本文提出一種基于頻率敏感三維自組織映射的視差估計算法(Frequency Sensitive-3DSOM-DPR,FS-3DSOM-DPR)。將輸入視差圖像進行分類,即低亮度區域、高亮度區域,分別對這2個區域進行訓練,得到高低亮度2個模式庫,最后在編碼時將訓練圖像區域根據一定的閾值決定用哪個模式庫進行預測。在訓練模式庫的過程中引入頻率敏感算法,從而減少模式庫中的無效模式。

1 基于模式識別的立體視頻視差編碼方案

圖1給出了FS-3DSOM-DPR視差編碼方案的框圖。

圖1 FS-3DSOM-DPR視差編碼方案

其編碼步驟如下:

步驟1對立體視頻視差序列每幀分塊(一般取8×8或16×16),并對每幀取亮度均值,將均值中間值看作是分類閾值,將均值大的塊歸類于高亮度塊,將均值小的塊歸類于低亮度塊,最后形成高低亮度兩個集合。

步驟2采用FS-3DSOM算法對步驟1所得到的高低亮度2個集合進行學習訓練若干次,最后形成最優的高亮度模式庫,以及低亮度模式庫。

步驟3輸入訓練序列,并將每幀按照8×8或16×16的模板劃分為塊,計算得到每塊所對應的方差值。用以上步驟得到的閾值與之相較,給每塊劃類,并選擇相應的模式庫,運用FS-3DSOM算法對輸入模式矢量進行視差模式識別,最終獲得其所對應的預測模式矢量。

步驟4將預測模式矢量與原模式矢量作差,得到視差估計殘差。

步驟5最后對視差估計殘差進行DCT變換,將主要圖像信息集中于幾個參數上。對變換參數再進行量化,將其進一步進行壓縮,最后進行編碼形成碼流。

步驟6轉到步驟3,直至對所有的視差塊進行預測編碼。

2 FS-3DSOM算法

2.1 頻率敏感三維自組織映射算法

傳統SOM算法具有一個很大的問題,即在模式庫訓練過程中每個模式都有可能被調整,但其概率確實不一樣的。而最佳模式庫要求初始模式庫中的每個模式都能得到充分利用,都能以更為合理的概率進行調整,也就是要求每個模式都能自適應信源的輸入模式矢量。綜上所述,有必要在訓練過程中進行人為調節。

針對傳統SOM算法存在的不足,本文采用了頻率敏感三維自組織映射(FS-3DSOM)算法。記錄模式響應次數,引入參數,人為降低響應次數多的模式下一次響應的概率。

基于FS-3DSOM算法的模式庫訓練步驟如下:

對比兩組患者在經過治療后的臨床效果并計算有效率,有效率等于顯效人數與有效人數之和與總人數的百分比(評判標準:顯效:患者的臨床癥狀明顯減輕,病情保持穩定;有效:臨床癥狀有所減輕;無效:臨床癥狀無明顯變化甚至癥狀加重,病情反復不定)。

1)設置自組織特征映射網絡的規格為向量(N,M),其中前者為模式庫的大小,后者為組成模式庫的模式矢量的大小。

2)將視差圖劃分為矩陣M=8×8大小的圖像塊,一個圖像塊稱為一個訓練矢量,劃分后可得到矢量L個訓練矢量{X(t),t=0,1,…,L-1}。設置初始化模式庫為向量{Wj(0),j=0,1,…,N-1},并將模式矢量排列成的三維立體結構。

3)初始化鄰域函數為矢量Nj(0),j=0,1,…,N-1,初始化響應計數器為矢量cj=1,其中,j=0,1,…,N-1。

4)輸入訓練矢量集{X(t),t=0,1,…,L-1}。

6)以下式為調整公式,調整獲勝矢量及其周圍鄰域的權值:

(1)

其中,矢量Nj*(t)一般取Nj*(t)=A0+A1e-t/T1。A0為初始鄰域值,一般取0,A1是鄰域所能取的最大值。T1是鄰域衰減常數。在訓練初期,矢量Nj*(t)取的是A1,但隨著訓練的推進,鄰域慢慢變小。矢量α(cj)=A2e-cj/T2代表的是學習速度函數,A2為初始學習速度,也就是學習速度的最大值,T2代表的是學習衰減函數。

2.2 分類模式庫

在訓練模式庫時,之所以會產生無效模式,是因為差別大的訓練模式會給予對方負面影響。比如說高亮度區域的模式與低亮度區域的模式就會相互影響。針對該問題,在模式庫訓練時,首先利用均值將訓練矢量集分為高亮度區域和低亮度區域,分別訓練模式庫,以保證SOM算法在2個區域上的聚類性能。模式庫分類步驟如下:

步驟1將輸入的視差圖分割為8×8大小的子塊,則可分成L塊,構成訓練矢量集{X(t),t=0,1,…,L-1}。

(2)

進行分類。Th為選定的閾值,它取自所有模式塊均方差的中間值,X1代表的是高亮度訓練矢量集,X2代表的是低亮度訓練矢量集。

步驟3利用FS-3DSOM算法分別對上述2個矢量集進行訓練,最后得到所需的高亮度模式庫,以及低亮度模式庫。

3 實驗結果

實驗采用標準立體視頻測試序列Exit、Vassar的第1、2視點,每個視點再各分解為8幀,共16幀,圖像分辨率480像素×640像素。本文實驗中對重建圖像質量的評價采用峰值信噪比(Peak Signal-to-Noise Ratio,PSNR):

其中,EMSE為原圖像與重建圖像的均方誤差。3DSOM-DPR算法中,圖像壓縮比為:

其中,矩陣M代表的是模式矢量的維數大小,B0是編碼每個像素所需要的比特數,M×B0是編碼整幅原圖像所需要的比特數,BC代表的是輸出的模式矢量地址比特數。實驗中矩陣M取8×8,模式庫大小為2 048,CR為46.5。在基于塊的視差估計算法中,模式矢量維數大小,即塊的大小M設置為8×8,另外橫向搜索范圍設置為[-31,32],縱向搜索范圍設置為[-15,16],可實現的壓縮率為46.5。

圖2給出了FS-3DSOM-DPR算法與基于塊的算法的視差預測圖像的峰值信噪比分布情況,且采用FS-3DSOM-DPR算法得出的視差預測圖像的平均峰值信噪比為34.612 2 dB,采用基于塊的算法得出的視差預測圖像的平均峰值信噪比為32.824 4 dB,即采用本文算法比原始算法得出的預測圖像峰值信噪比提高了1.78 dB。

圖2 視差預測圖像的峰值信噪比分布情況

4 結束語

本文提出一種基于頻率敏感三維自組織映射的視差估計算法。視差編碼采用基于分類頻率敏感三維自組織映射的視差模式識別(FS-3DSOM-DPR)算法,以取代傳統基于塊的視差估計算法。實驗結果表明,該算法視差預測圖像的平均峰值信噪比比基于塊的算法提高了1.78 dB。下一步的工作是將該算法應用于立體視頻編碼中,結合實例進行更加深入的研究。

[1] POLLEFEYS M,VAN G L,VERGAUWEN M,et al.Visual modeling with a hand-held camera[J].International Journal of Computer Vision,2004,59(3):207-232.

[2] BROWN M Z,BURSCHKA D,HAGER G D.Advances in computational stereo[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2003,25(8):993-1008.

[3] SCHARSTEIN D,SZELISKI R.A taxonomy and evaluation of dense two-frame stereo correspondence algorithms[J].International Journal of Computer Vision,2002,47(1):7-42.

[4] YOON K J,KWEON I S.Adaptive support-weight approach for correspondence search[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2006,28(4):650-656.

[5] HOSNI A,BLEYER M,GELAUTZ M,et al.Local stereo matching using geodesic support weights[C]//Proceedings of IEEE International Conference on Image Processing.Washington D.C.,USA:IEEE Press,2010:2093-2096.

[6] WEI Y,QUAN L.Region-based progressive stereo matching[C]//Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Washington D.C.,USA:IEEE Press,2004:106-113.

[7] HONG L,CHEN G.Segment-based stereo matching using graph cuts[C]//Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Washington D.C.,USA:IEEE Press,2004:74-81.

[8] SUN J,SHUM H Y,ZHENG N N.Stereo matching using belief propagation[C]//Proceedings of European Conference on Computer Vision.Berlin,Germany:Springer-Verlag,2002:510-524.

[9] HAUBLEIN K,REICHENBACH M,FEY D.Fast and generic hardware architecture for stereo block matching applications on embedded systems[C]//Proceedings of International Conference on Reconfigurable Computing and FPGAs.Washington D.C.,USA:IEEE Press,2014:1-6.

[10] SAHLBACH H,ERNST R,WONNEBERGER S,et al.Exploration of FPGA-based dense block matching for motion estimation and stereo vision on a single chip[C]//Proceedings of IEEE Intelligent Vehicles Symposium.Washington D.C.,USA:IEEE Press,2013:823-828.

[11] WANG Y C,TUNG C P,CHUNG P C.Efficient disparity estimation using hierarchical bilateral disparity structure based graph cut algorithm with a foreground boundary refinement mechanism[J].IEEE Transactions on Circuits & Systems for Video Technology,2013,23(5):784-801.

[12] 趙 戈,藺 蘭,唐延東,等.一種基于曲率與置信度傳播的視差估計方法[J].模式識別與人工智能,2013(12):1154-1160.

[13] 劉 欣.基于立體視覺的公交客流統計方法與實現[D].秦皇島:燕山大學,2013.

[14] PODDAR S,SAHU H,BANGALE M R,et al.Feature based dense disparity estimation[C]//Proceedings of IEEE International Conference on Industrial Instrumentation and Control.Washington D.C.,USA:IEEE Press,2015:950-955.

[15] KAMENCAY P,BREZNAN M,JELSOVKA D,et al.Sparse disparity map computation from stereo-view images using segment based algorithm[C]//Proceedings of the 22nd International Conference Radioelektronika.Washington D.C.,USA:IEEE Press,2012:1-4.

[16] RAMAN S,KANOJIA G,KANOJIA G,et al.Facial stereo:facial depth estimation from a stereo pair[C]//Proceedings of International Conference on Computer Vision Theory and Applications.Washington D.C.,USA:IEEE Press,2014:686-691.

[17] KOHONEN T.Essentials of the self-organizing map[J].Neural Networks,2013,37:52-65.

[18] LI N,CHENG X,ZHANG S,et al.Realistic human-action recognition by fast HOG3D and self-organization feature map[J].Machine Vision and Applications,2014,25(7):1793-1812.

[19] KAMAL S,MUJEEB A,SUPRIYA M H.Novel class detection of underwater targets using self-organizing neural networks[C]//Proceedings of Underwater Technology (UT),2015 IEEE.Washington D.C.,USA:IEEE Press,2015:1-5.

[20] PARK S,RYU S,CHOI Y,et al.A framework for baseline load estimation in demand response:data mining approach[C]//Proceedings of IEEE International Conference on Smart Grid Communications.Washington D.C.,USA:IEEE Press,2014:638-643.

[21] MCLOUGHLIN F,DUFFY A,CONLON M.A clustering approach to domestic electricity load profile characterisation using smart metering data[J].Applied Energy,2015,141:190-199.