視差估計(jì)下的VR 全景圖像局部細(xì)節(jié)特征提取

張麗敏

VR 全景圖像是虛擬現(xiàn)實(shí)技術(shù)的核心部分之一，其由多組照片拼接而成，利用計(jì)算機(jī)技術(shù)還原實(shí)際場(chǎng)景.全景圖像細(xì)節(jié)呈現(xiàn)好壞直接決定著VR 技術(shù)的應(yīng)用效果，其主要通過(guò)局部細(xì)節(jié)特征體現(xiàn).文獻(xiàn)［1］采用基于局部緩存和查表等方式改進(jìn)雙邊濾波圖像細(xì)節(jié)算法，實(shí)時(shí)增強(qiáng)紅外圖像細(xì)節(jié).文獻(xiàn)［2］針對(duì)由于遮擋（由陰影、樹木、建筑物等引起）和道路表面的類內(nèi)差異等因素造成遙感圖像局部細(xì)節(jié)特征提取困難的問(wèn)題，利用感知?dú)埐罹W(wǎng)絡(luò)增強(qiáng)道路拓?fù)鋵W(xué)習(xí)結(jié)構(gòu)，優(yōu)化細(xì)節(jié)特征提取性能.上述方法都針對(duì)圖像細(xì)節(jié)增強(qiáng)和特征提取問(wèn)題進(jìn)行了改進(jìn)，具有一定的意義.但是由于VR 全景圖像通常包括高度復(fù)雜或變化劇烈的場(chǎng)景，將其用于VR 全景圖像特征提取中，可能存在提取不準(zhǔn)確或局部遮擋的問(wèn)題.因此，提出視差估計(jì)下的VR 全景圖像局部細(xì)節(jié)特征提取方法.首先，考慮在復(fù)雜或變化劇烈的VR 全景圖像場(chǎng)景下，噪聲可能會(huì)降低特征提取的準(zhǔn)確性，通過(guò)使用去噪算法減少圖像中的噪聲，改善細(xì)節(jié)特征提取的效果，結(jié)合人眼視覺(jué)模型提高對(duì)VR 全景圖像中重要局部細(xì)節(jié)特征的識(shí)別能力.其次，利用雙目視差估計(jì)技術(shù)獲取VR 全景圖像中不同視角下的深度信息，避免復(fù)雜或變化劇烈的VR 全景圖像場(chǎng)景影響.最后，利用SIFI 算法檢測(cè)并提取VR 全景圖像局部細(xì)節(jié)特征.

1 VR 全景圖像局部細(xì)節(jié)特征提取

1.1 VR 全景圖像去噪

VR 全景圖像由多組照片拼接構(gòu)成，在照片采集與拼接過(guò)程中，由于環(huán)境、設(shè)備振動(dòng)等多種因素的影響，致使VR 全景圖像存在灰度值分布不均、夾雜噪聲等現(xiàn)象，影響局部細(xì)節(jié)特征提取的精度，故在VR 全景圖像應(yīng)用之前，需要對(duì)其進(jìn)行一定的預(yù)處理［3］.

VR 全景圖像灰度值分布不均會(huì)降低圖像的清晰度，影響對(duì)局部細(xì)節(jié)特征尋找與提取［4］.此研究采用直方圖均衡算法解決上述問(wèn)題，處理公式為：

式中：ζf(i)表示直方圖均衡函數(shù)；m表示VR 全景圖像內(nèi)部像素點(diǎn)的總數(shù)量；n表示灰度級(jí)級(jí)數(shù)；Hf(i)表示輸入VR 全景圖像對(duì)應(yīng)的直方圖；g(x，y)表示直方圖均衡處理后的VR 全景圖像；f(x，y)表示原始VR 全景圖像.

VR 全景圖像中會(huì)夾雜著各種各樣的噪聲，例如脈沖噪聲、高斯噪聲等，對(duì)圖像細(xì)節(jié)特征的提取造成不利的影響.因此，此研究采用中值濾波器［5］對(duì)VR 全景圖像進(jìn)行去噪處理.中值濾波程序如圖1 所示.

圖1 中值濾波程序圖

應(yīng)用圖1 所示中值濾波器，獲取去噪后的VR 全景圖像，表達(dá)式為：

式中：G(x，y)表示無(wú)噪聲的VR 全景圖像；med{?}表示中值獲取函數(shù)；p與q表示隨機(jī)常數(shù)；Ω表示VR 全景圖像區(qū)域.

上述過(guò)程完成了VR 全景圖像的預(yù)處理，均衡了圖像的灰度值，去除了圖像中的噪聲，為后續(xù)研究奠定了堅(jiān)實(shí)的基礎(chǔ).

1.2 人眼視覺(jué)模型構(gòu)建與VR 全景圖像檢索

以上述預(yù)處理后的VR 全景圖像G(x，y)為依據(jù)，從用戶角度出發(fā)，構(gòu)建人眼視覺(jué)模型［6?7］，并以此為基礎(chǔ)檢索VR 全景圖像，獲取雙目視覺(jué)背景下的VR 全景圖像信息，為后續(xù)雙目視差估計(jì)提供充足的數(shù)據(jù)支撐.

常規(guī)情況下，圖像的紋理灰度更容易刺激人眼視覺(jué)的感知［8］.為了方便研究的進(jìn)行，對(duì)其進(jìn)行量化處理，其影響因子定義為：

式中：αi表示VR 全景圖像第i個(gè)區(qū)域紋理灰度對(duì)人眼視覺(jué)的影響因子；N表示VR 全景圖像劃分區(qū)域的總數(shù)量；Ωi表示VR 全景圖像第i個(gè)區(qū)域的紋理灰度.

人眼視覺(jué)對(duì)全部灰度級(jí)的分辨力并不是一致的，這也是引起雙目視差的關(guān)鍵因素之一，故此研究采用函數(shù)形式定義人眼視覺(jué)分辨力，表達(dá)式為：

式中：F(i)表示人眼視覺(jué)對(duì)灰度級(jí)i的分辨力，i的取值范圍為[ 0，255 ]；N(i)表示灰度級(jí)為i的圖像區(qū)域數(shù)量.

以公式（3）與公式（4）計(jì)算結(jié)果為基礎(chǔ)，構(gòu)建人眼視覺(jué)模型，表達(dá)式為：

式中：i[G(x，y)]表示針對(duì)VR 全景圖像的人眼視覺(jué)模型；β表示增益因子；e 表示自然常數(shù)；t表示VR 全景圖像采集時(shí)間；εi表示誤差項(xiàng)，具有提升模型精度的作用.

由于人類左、右眼之間存在一定的間距，使得雙目視角具有細(xì)微差別，這會(huì)導(dǎo)致雙目觀察到的圖像目標(biāo)存在位移現(xiàn)象，影響局部細(xì)節(jié)特征提取的精度［9］.采用公式（5）所示的人眼視覺(jué)模型檢索VR 全景圖像，獲取左、右眼VR 全景圖像信息，分別記為GL(x，y)與GR(x，y)，為后續(xù)視差估計(jì)提供支撐.

1.3 雙目視差估計(jì)

以上述獲得的雙目視覺(jué)背景下的VR 全景圖像信息GL(x，y)與GR(x，y)為基礎(chǔ)，加載當(dāng)前視差重投影后圖像S(x，y)，通過(guò)匹配代價(jià)計(jì)算、代價(jià)聚合計(jì)算、視差計(jì)算與后處理計(jì)算四個(gè)步驟實(shí)現(xiàn)VR 全景圖像雙目視差的估計(jì)，為最終圖像局部細(xì)節(jié)特征的提取做好準(zhǔn)備［10］.以下為雙目視差估計(jì)具體步驟.

步驟1：匹配代價(jià)計(jì)算.

由于左右眼VR 全景圖像信息匹配代價(jià)計(jì)算過(guò)程相同，為此，以左眼VR 全景圖像信息GL(x，y)為例，計(jì)算其與當(dāng)前視差重投影后圖像S(x，y)之間的相似度，即匹配代價(jià)數(shù)值，計(jì)算公式為：

式中：d表示圖像GL(x，y)與S(x，y)對(duì)應(yīng)點(diǎn)之間的距離，即相似度測(cè)量代價(jià))表示左眼圖像中的像素點(diǎn)；(xS，yS)表示 視差 圖像中的像素點(diǎn).

以公式（6）計(jì)算結(jié)果為基礎(chǔ)，融合像素點(diǎn)自身信息，獲取“代價(jià)體”——視差空間［11］，記為DSI(x，y，d)，至此完成了匹配代價(jià)的計(jì)算.

步驟2：代價(jià)聚合計(jì)算.

將步驟1 計(jì)算得到的匹配代價(jià)連接起來(lái)，即對(duì)全部像素相似度信息進(jìn)行加權(quán)累加處理，獲得代價(jià)聚合結(jié)果，表達(dá)式為：

式中：ξ表示代價(jià)聚合結(jié)果；ωi表示像素相似度信息的權(quán)重系數(shù)；di表示加權(quán)累加處理后的相似度測(cè)量代價(jià).

步驟3：視差計(jì)算.

采用全局方法設(shè)計(jì)能量函數(shù)，表達(dá)式為：

式中：χ(D)表示能量函數(shù)；χdata(d)表示原始代價(jià)；γ表示輔助參量，取值范圍為[ 0，1] ；χsmooth(d)表示平滑度假設(shè)下像素及其相鄰像素的視差；μ1與μ2表示懲罰系數(shù)；T[ ? ]表示布爾函數(shù)，取值為0 或者1；Dp與Dq表示像素p與q對(duì)應(yīng)的視差數(shù)值［12?15］.

當(dāng)能量函數(shù)χ(D)取值達(dá)到最小時(shí)，對(duì)應(yīng)視差圖像更加精準(zhǔn)，以此為基礎(chǔ)，計(jì)算的視差數(shù)值也更加準(zhǔn)確.

步驟4：后處理計(jì)算.

步驟3 計(jì)算的視差結(jié)果Di={D1，D2，…，Dn}呈現(xiàn)為離散狀態(tài)，由于反射、紋理低、噪聲等因素的影響，致使視差數(shù)值存在完全錯(cuò)誤、部分偏差等現(xiàn)象，通常表現(xiàn)為離群值、峰值或谷值.為了提升局部細(xì)節(jié)特征提取的效果，需對(duì)視差離群值進(jìn)行刪除處理.VR 全景圖像視差結(jié)果如圖2 所示.

圖2 VR 全景圖像視差結(jié)果示例圖

如圖2 所示，虛線圓圈內(nèi)部的視差數(shù)值為離群值，與大部分視差數(shù)值分離，對(duì)其進(jìn)行刪除處理即可獲得最為精準(zhǔn)的視差估計(jì)結(jié)果，記為為后續(xù)研究目標(biāo)的實(shí)現(xiàn)提供依據(jù).

1.4 局部細(xì)節(jié)特征提取實(shí)現(xiàn)

以上述估計(jì)的VR 全景圖像視差結(jié)果D'i=為基礎(chǔ)，利用SIFI 算法檢測(cè)并提取VR 全景圖像局部細(xì)節(jié)特征，為VR 全景技術(shù)的可持續(xù)發(fā)展提供助力［16］.

應(yīng)用高斯卷積核構(gòu)造VR 全景圖像尺度空間，記為L(zhǎng)(x，y，σ)，其中，σ表示高斯函數(shù)的方差數(shù)值.在VR 全景圖像尺度空間中，應(yīng)用SIFI 算法檢測(cè)局部細(xì)節(jié)特征點(diǎn)，表達(dá)式為：

由于雙目視差的存在，SIFI 算法檢測(cè)到的局部細(xì)節(jié)特征點(diǎn)也存在一定的視差，故應(yīng)用上節(jié)視差估計(jì)結(jié)果對(duì)特征點(diǎn)進(jìn)行適當(dāng)?shù)恼{(diào)整，獲得最終VR 全景圖像局部細(xì)節(jié)特征點(diǎn)表達(dá)式為：

將公式（10）輸出結(jié)果進(jìn)行整合即可完成VR 全景圖像局部細(xì)節(jié)特征的提取，為VR 全景圖像的應(yīng)用提供一定的支撐.

2 實(shí)驗(yàn)與結(jié)果分析

選取文獻(xiàn)［1］FPGA 與文獻(xiàn)［2］感知?dú)埐罹W(wǎng)絡(luò)作為對(duì)比方法1 與方法2，與所提出的VR全景圖像局部細(xì)節(jié)特征提取進(jìn)行對(duì)比實(shí)驗(yàn)，驗(yàn)證提出方法的應(yīng)用性能.

2.1 實(shí)驗(yàn)準(zhǔn)備階段

從TID2013 數(shù)據(jù)集（http：//www.ponomarenko.info/tid2013.htm）中選取1 421 幅VR 全景圖像作為實(shí)驗(yàn)對(duì)象，隨機(jī)將其劃分為10 個(gè)組別，獲得實(shí)驗(yàn)環(huán)境情況如表1 所示.

表1 實(shí)驗(yàn)環(huán)境信息表

如表1 所示，設(shè)置的10 個(gè)實(shí)驗(yàn)組別中，VR全景圖像數(shù)量與平均噪聲均不一致，表明實(shí)驗(yàn)環(huán)境具有明顯的差異性，符合提出方法應(yīng)用性能測(cè)試的需求.

2.2 實(shí)驗(yàn)結(jié)果分析

以上述實(shí)驗(yàn)準(zhǔn)備內(nèi)容為基礎(chǔ)，進(jìn)行VR 全景圖像局部細(xì)節(jié)特征提取實(shí)驗(yàn).通過(guò)局部細(xì)節(jié)特征點(diǎn)檢測(cè)結(jié)果與視差估計(jì)誤差顯示提出方法應(yīng)用性能，具體實(shí)驗(yàn)結(jié)果分析過(guò)程如下：

以某一幅VR 全景圖像為實(shí)驗(yàn)對(duì)象，應(yīng)用提出方法與兩種對(duì)比方法獲取局部細(xì)節(jié)特征點(diǎn)檢測(cè)結(jié)果，如圖3 所示.

圖3 局部細(xì)節(jié)特征點(diǎn)檢測(cè)結(jié)果示意圖

如圖3 所示，點(diǎn)表示局部細(xì)節(jié)特征點(diǎn)，圓圈表示特征點(diǎn)對(duì)應(yīng)的尺度空間.應(yīng)用提出方法獲得的局部細(xì)節(jié)特征點(diǎn)檢測(cè)結(jié)果與實(shí)際結(jié)果保持一致，而應(yīng)用對(duì)比方法1 與方法2 獲得的局部細(xì)節(jié)特征點(diǎn)檢測(cè)結(jié)果與實(shí)際結(jié)果存在著較大的差異，例如特征點(diǎn)缺失、尺度空間大小不一致等，表明提出方法局部細(xì)節(jié)特征點(diǎn)檢測(cè)效果更佳.

視差估計(jì)是影響局部細(xì)節(jié)特征提取精準(zhǔn)度的關(guān)鍵所在.通過(guò)實(shí)驗(yàn)獲得視差估計(jì)誤差數(shù)據(jù)如圖4 所示.

圖4 視差估計(jì)誤差數(shù)據(jù)圖

如圖4 所示，對(duì)比方法1 獲得的視差估計(jì)誤差最小值為0.35 Pixel，對(duì)比方法2 獲得的視差估計(jì)誤差最小值為0.42 Pixel，相較于兩種對(duì)比方法應(yīng)用提出方法獲得的視差估計(jì)誤差更小，最小值為0.30 Pixel.上述實(shí)驗(yàn)結(jié)果顯示：與對(duì)比方法1 與方法2 相比較，應(yīng)用提出方法獲得的局部細(xì)節(jié)特征點(diǎn)檢測(cè)結(jié)果與實(shí)際結(jié)果保持一致，視差估計(jì)誤差更小，充分證實(shí)了提出方法應(yīng)用性能更優(yōu)質(zhì).其主要原因是所提方法去除了VR 全景圖像的噪聲，同時(shí)利用人眼視覺(jué)模型，獲取了雙目視覺(jué)背景下的VR 全景圖像信息，降低了視覺(jué)估計(jì)誤差.

以10 min 作為一個(gè)單位時(shí)間，分別記錄在6 個(gè)單位時(shí)間內(nèi)，應(yīng)用提出方法、對(duì)比方法1 與方法2 獲取VR 全景圖像細(xì)節(jié)特征數(shù)量的變化情況.

分析表2 可知，隨著實(shí)驗(yàn)時(shí)間的增加，提出方法提取VR 全景圖像細(xì)節(jié)特征數(shù)量在前兩個(gè)單位時(shí)間內(nèi)，保持大幅度上升的變化趨勢(shì)，從第三個(gè)單位時(shí)間開(kāi)始，保持小幅度上升趨勢(shì)，第五、第六個(gè)單位時(shí)間內(nèi)，開(kāi)始持續(xù)保持穩(wěn)定，最大值達(dá)到10.1×1011個(gè)；兩種對(duì)比方法提取VR 全景圖像細(xì)節(jié)特征數(shù)量始終保持上升趨勢(shì)，全局最大值達(dá)到9.9×1011個(gè)和9.3×1011個(gè)，低于提出方法.綜上可知，提出方法能保證在單位時(shí)間內(nèi)更多地提取VR 全景圖像細(xì)節(jié)特征.

表2 單位時(shí)間內(nèi)提取的VR 全景圖像細(xì)節(jié)特征數(shù)量

3 結(jié)語(yǔ)

VR 全景技術(shù)的核心為VR 全景圖像，其局部細(xì)節(jié)特征情況直接決定VR 全景技術(shù)應(yīng)用的好壞，故提出視差估計(jì)下的VR 全景圖像局部細(xì)節(jié)特征提取方法.所提方法在VR 全景圖像去噪的基礎(chǔ)上，構(gòu)建了人眼視覺(jué)模型，并獲取雙目視覺(jué)背景下的VR 全景圖像信息.通過(guò)估計(jì)視差數(shù)值，結(jié)合SIFI 算法提取了VR 全景圖像局部細(xì)節(jié)特征.實(shí)驗(yàn)結(jié)果證明提出方法降低了視差估計(jì)誤差，拉近了局部細(xì)節(jié)特征點(diǎn)檢測(cè)結(jié)果與實(shí)際結(jié)果的距離，可為VR 全景技術(shù)的發(fā)展提供助力.