計(jì)算機(jī)視覺中的深度估計(jì)分析

安澤宇

（西南大學(xué)電子信息工程學(xué)院 重慶 400700）

1 引言

計(jì)算機(jī)視覺要求技術(shù)體系運(yùn)行時(shí)，通過景物二維圖像中得到三維立體結(jié)構(gòu)和景物基本屬性，在此過程中得到一副或多幅圖像信息，此過程就是深度估計(jì)。在實(shí)現(xiàn)深度估計(jì)過程中，為了使估計(jì)結(jié)果精準(zhǔn)性得到提高，一般都是利用被動(dòng)視覺和主動(dòng)視覺兩種，其是以成像光源差異區(qū)分。主動(dòng)視覺為被測(cè)量物體發(fā)出可控光束并且獲取，構(gòu)成最終影響；被動(dòng)視覺并不需要可控光源就能夠成像操作，所以應(yīng)用比較廣泛，具有較強(qiáng)的操作性[1]。以此，本文就將計(jì)算機(jī)被動(dòng)視覺深度估計(jì)方法作為研究對(duì)象，通過多維度出發(fā)，將現(xiàn)有技術(shù)作為條件分析計(jì)算機(jī)視覺深度估計(jì)方法。

2 計(jì)算機(jī)視覺中深度估計(jì)的原則

有序開展計(jì)算機(jī)視覺估計(jì)活動(dòng)，要求技術(shù)人員明確計(jì)算機(jī)視覺深度估計(jì)，基于原則框架梳理自身工作，對(duì)計(jì)算機(jī)視覺深度估計(jì)工作的實(shí)施手段與途徑進(jìn)行完善，創(chuàng)建有效計(jì)算機(jī)視覺深度估計(jì)模式。

2.1 科學(xué)性

創(chuàng)建計(jì)算機(jī)深度估計(jì)體系，要充分展現(xiàn)科學(xué)性原則，通過科學(xué)角度分析計(jì)算機(jī)視覺深度估計(jì)活動(dòng)流程、要求和重點(diǎn)、難點(diǎn)，使技術(shù)人員通過現(xiàn)有技術(shù)手段，創(chuàng)建計(jì)算機(jī)視覺深度估計(jì)全新體系。

2.2 實(shí)用性

因?yàn)橛?jì)算機(jī)視覺深度估計(jì)具有多樣化內(nèi)容，并且具有大量操作環(huán)節(jié)。為了滿足此情況，提高計(jì)算機(jī)視覺深度估計(jì)操作容錯(cuò)率，降低外部環(huán)境對(duì)計(jì)算機(jī)視覺深度估計(jì)活動(dòng)影響。使操作難度得到降低，在短時(shí)間內(nèi)開展批量操作，保證各環(huán)節(jié)計(jì)算機(jī)視覺深度估計(jì)能夠順利開展[2]。

3 計(jì)算機(jī)視覺深度估計(jì)方法

3.1 立體視覺

雙目立體視覺（DFS）指的是人類得到距離信息的主要方法，為被動(dòng)式視覺方法。此方法能夠?qū)θ绾问褂枚S投影圖像恢復(fù)三維景物進(jìn)行分析，也就是通過不同位置攝像機(jī)旋轉(zhuǎn)、移動(dòng)拍攝同幅場(chǎng)景，對(duì)兩幅圖像中空間點(diǎn)視差進(jìn)行計(jì)算，以立體視覺得到此點(diǎn)三維坐標(biāo)值。例題視覺指的是目標(biāo)點(diǎn)在不同攝像機(jī)平面中成像點(diǎn)的位置差異，圖1為雙目立體視覺成像系統(tǒng)結(jié)構(gòu)。

圖1 雙目立體視覺成像系統(tǒng)結(jié)構(gòu)

x軸為左右攝像機(jī)成像平面中心連線，y軸和x軸垂直，z 軸為光軸。在圖像1 與2 平面中心設(shè)置原點(diǎn)，兩個(gè)相機(jī)透鏡中心點(diǎn)距離為B。空間被測(cè)目標(biāo)點(diǎn)p 坐標(biāo)為（x，y，z），點(diǎn)P 在兩個(gè)圖像中坐標(biāo)為（x1，y1）、（x2，y2），同個(gè)目標(biāo)點(diǎn)兩幅圖像位置不同。假設(shè)相機(jī)焦距為f，那么此目標(biāo)點(diǎn)在兩幅圖像中立體視覺差為d，得到距離目標(biāo)。圖像之間立體視差反比于相機(jī)測(cè)量深度，表示此方法在近距離的時(shí)候測(cè)量精準(zhǔn)，遠(yuǎn)距離測(cè)量過程中無法保證測(cè)量精度。雙目立體視覺成像系統(tǒng)主要包括深度計(jì)算、圖像匹配、特征提取、相機(jī)建模和圖像差值運(yùn)算，測(cè)量過程為：

其一，通過圖像1 或者圖像2 尋找某特征點(diǎn)。

其二，尋找此特征點(diǎn)在圖像1 或者圖像2 中的匹配點(diǎn)，使其作為立體匹配。

其三，以上述點(diǎn)對(duì)匹配關(guān)系，對(duì)匹配點(diǎn)在攝像機(jī)坐標(biāo)系中空間三維坐標(biāo)進(jìn)行計(jì)算。

其四，在第三步中計(jì)算匹配點(diǎn)三維坐標(biāo)，所以其他點(diǎn)要利用差值法得到，實(shí)現(xiàn)三維重建。

立體匹配問題為雙目視覺測(cè)量主要難點(diǎn)，國內(nèi)外相關(guān)研究人員對(duì)其方面開展了大量的研究，并且提出了相應(yīng)匹配算法開展實(shí)驗(yàn)驗(yàn)證。比如兼容性約束、外極限約束、連續(xù)性約束、唯一性約束等約束條件，使匹配搜索范圍縮小，對(duì)正確對(duì)應(yīng)關(guān)系進(jìn)行確定。

3.2 運(yùn)動(dòng)視覺

運(yùn)動(dòng)視覺技術(shù)指的是使用相機(jī)和被測(cè)對(duì)象的相對(duì)運(yùn)動(dòng)恢復(fù)三維表面信息技術(shù)，運(yùn)動(dòng)視覺是將因子分解作為基礎(chǔ)的運(yùn)動(dòng)估計(jì)結(jié)構(gòu)（SFM），研究不同時(shí)間段變化場(chǎng)景的圖像，將景物的位置、運(yùn)動(dòng)、形狀等信息進(jìn)行提取。主要步驟包括：

其一，提取不同時(shí)刻相鄰兩幅或者多幅圖像的特征，并且創(chuàng)建對(duì)應(yīng)關(guān)系。

其二，以特征點(diǎn)的函數(shù)關(guān)系，對(duì)物體運(yùn)動(dòng)與結(jié)構(gòu)進(jìn)行計(jì)算。圖2 為運(yùn)動(dòng)視覺成像系統(tǒng)。

圖2 運(yùn)動(dòng)視覺成像系統(tǒng)

常見運(yùn)動(dòng)視覺估計(jì)主要包括光流法、差分技術(shù)、基于塊的運(yùn)動(dòng)分析技術(shù)等，本文對(duì)運(yùn)動(dòng)視覺估計(jì)差分技術(shù)進(jìn)行分析。差分技術(shù)指的是圖像空間域中運(yùn)動(dòng)估計(jì)技術(shù)，包括累積差分圖像分析與差分圖像分析。

3.2.1 差分圖像分析

差分圖像分析指的是對(duì)比兩幀圖像對(duì)應(yīng)像素點(diǎn)灰度值，對(duì)相鄰兩幀圖像變化進(jìn)行檢測(cè)的方法。在此方法中，幀f（x，y，j）和幀f（x，y，k）的變化利用二值差分圖像DPjkf（x，y）進(jìn)行表示：

公式中的T 指的是閾值，差分圖像中為1 的像素點(diǎn)為物體運(yùn)動(dòng)或者光照變化結(jié)果。但是差分圖像分析在使用過程中存在局限性，所以很少直接使用。

3.2.2 累積差分圖像分析

累積差分圖像分析（ADP）能夠使差分圖像分析過程中的局限性得到解決，主要思想為利用圖像序列變化的分析，對(duì)小位移或者緩慢運(yùn)動(dòng)物體進(jìn)行檢測(cè)。此方法能夠精準(zhǔn)檢測(cè)緩慢運(yùn)動(dòng)、微小運(yùn)動(dòng)物體，還能夠?qū)ξ矬w移動(dòng)速度方向、大小、尺寸大小進(jìn)行估計(jì)。累計(jì)差分圖像包括一階、二階累積差分圖像。

一階累積差分圖像的構(gòu)成為：將圖像序列中的每幀圖像和參考圖像進(jìn)行對(duì)比，在差值比某個(gè)閾值要大的時(shí)候，在累積差分圖像中加1。圖像序列第一幀為參考圖像，假如累積差分圖像的初始值為0，第k 幀圖像中差分圖像為：

二階差分圖像為：對(duì)應(yīng)第n 幀（n=0，1，...，N）的二階差分圖像處于（x，y）時(shí)候的值為1，說明此位置中第n-1 幀與第n 幀的一階差分圖像FADP 的符號(hào)不同。

利用差分技術(shù)對(duì)運(yùn)動(dòng)檢測(cè)的主要優(yōu)勢(shì)就是簡(jiǎn)單，但是差分技術(shù)會(huì)受到噪聲污染。改變攝像機(jī)、照明的位置和攝像機(jī)電子噪聲都會(huì)出現(xiàn)錯(cuò)誤數(shù)據(jù)。所以，差分技術(shù)在二維運(yùn)動(dòng)圖像全局性粗略處理中使用，在場(chǎng)景活動(dòng)區(qū)域中轉(zhuǎn)移解釋注意力，利用差分圖像特征對(duì)場(chǎng)景中事件粗略信息提取。

3.3 單視點(diǎn)圖像深度信息提取算法

通過深度圖對(duì)圖像三維場(chǎng)景深度關(guān)系表示，深度圖是指被劃分為256 個(gè)不同層次灰度圖，利用字節(jié)表示像素，和觀察者距離最遠(yuǎn)的表示為0，距離最近的表示為255。深度圖詳見圖3，將原本的物體真實(shí)深度朝著深度關(guān)系轉(zhuǎn)變。

圖3 深度圖

單視點(diǎn)圖像像素點(diǎn)深度變化具備方向性，也就是深度根據(jù)某指定方向有規(guī)律地改變，并且大部分圖像為線性變化，能夠通過深度變化的方向?qū)D像進(jìn)行分配。單視點(diǎn)圖像先驗(yàn)假設(shè)深度變化模型是通過深度梯度假設(shè)實(shí)現(xiàn)，創(chuàng)建深度梯度模式根據(jù)相應(yīng)場(chǎng)景中幾何特性信息進(jìn)行檢測(cè)。以不同場(chǎng)景表示，深度梯度創(chuàng)建模式以深度梯度變化劃分成為：從左到右增加、從右到左增加、從上到下增加、從下到上增加、從左下到右下增加、從右上到左下增加、從右下到左上增加、從左上到右下增加。

根據(jù)人眼的視覺特點(diǎn)，在二維圖像感知三維信息的時(shí)候，大部分都是通過圖像物體的深度特征展示，比如陰影、遮擋、高度信息、大小信息等。所以在對(duì)單視點(diǎn)圖像深度信息進(jìn)行提取時(shí)，通過隱含深度特性圖像特征能夠得出深度線索。以提取的邊緣輪廓信息的物體輪廓對(duì)深度圖邊緣進(jìn)行表示，展現(xiàn)圖像各個(gè)物體獨(dú)立性與相鄰性，圖像物體邊緣能夠?qū)?yīng)物體深度輪廓。圖像深度關(guān)系的增加方式為從下側(cè)到上側(cè)，這個(gè)時(shí)候輪廓線分割比與區(qū)域指定初始值都是相互對(duì)應(yīng)的。通過邊緣輪廓信息分割圖像區(qū)域，首先對(duì)每個(gè)區(qū)域指定深度值的分配進(jìn)行假設(shè)，之后得到整幅圖像深度圖。

在實(shí)際使用過程中，二維圖像深度圖一般應(yīng)用到從下側(cè)到上側(cè)在深度梯度中增加，也就是圖像下部分區(qū)域在三維場(chǎng)景中映射的最近距離觀察者也是最近，從下到上逐漸過渡，圖像上部分區(qū)域映射到三維場(chǎng)景和人員距離最短的地方。通過分析高層次圖像，和觀察者距離最近的包括大地、湖面等，距離最遠(yuǎn)的為天空，滿足從下到上深度逐漸增加的深度梯度模型。在對(duì)圖像物體深度信息進(jìn)行表示的時(shí)候，如果同個(gè)物體在場(chǎng)景中開展從近到遠(yuǎn)的排列，物體存在深度關(guān)系。為不同物體賦予指定初始深度值。以從下側(cè)到上側(cè)深度增加的深度梯度模型，物體底部深度值也就是物體覆蓋區(qū)域深度值。所以，在對(duì)圖像物體輪廓提取之后，根據(jù)物體輪廓最底端的深度初始值作為分配深度值，利用圖像底端進(jìn)行搜索，得到輪廓后對(duì)深度檢驗(yàn)，然后賦予輪廓底端相應(yīng)深度值，生成圖像深度圖。

以此可以看出來，能夠通過高度深度線索實(shí)現(xiàn)輸入圖像邊緣檢測(cè)之后，在邊緣圖中以邊緣幅度信息Elt 成為邊緣跟蹤約束：

并且添加平滑約束Es 與彈性約束Ee 跟蹤強(qiáng)邊緣，對(duì)輪廓圖進(jìn)行提取。通過深度假設(shè)深度分配輪廓圖，利用遞歸深度濾波器全局優(yōu)化深度圖，得出單視點(diǎn)圖像深度圖。還能夠以區(qū)域相似性對(duì)圖像物體邊緣信息進(jìn)行提取，圖像劃分成為4*4 的像素塊，假設(shè)像素塊中像素深度一樣，將像素塊中顏色平均值作為其灰度，相鄰像素塊之間差異利用求解像素塊平均值差的絕對(duì)值得出：

公式中的Mran（a）指的是像素塊a 的顏色平均值，Diff（a，b）指的是像素塊a 與b 的差異，使其表示a 與b 的相似性。如果Diff（a，b）值越小，說明兩個(gè)像素塊的相似性比較高，邊緣可能性比較小；相反，具有較大的邊緣可能性，以此推斷物體邊緣信息。然后通過圖論分割方法將圖像抽象化無向圖，其中的階段對(duì)應(yīng)圖像中的像素塊，通過像素塊差異Diff（a，b）表示邊權(quán)重，以此生成圖像區(qū)域最小生成樹，將圖像分割問題朝著無向圖節(jié)點(diǎn)劃分的問題進(jìn)行轉(zhuǎn)變，每個(gè)區(qū)域中的節(jié)點(diǎn)邊權(quán)重值比較低，區(qū)域之間節(jié)點(diǎn)和大權(quán)重值對(duì)應(yīng)，以此連通性將大權(quán)重值邊去除，將子集區(qū)域創(chuàng)建連通圖，以邊緣信息實(shí)現(xiàn)圖像分割。

基于物體邊緣輪廓分割圖像，利用對(duì)深度梯度檢驗(yàn)賦予不同區(qū)域的深度信息，能夠得出場(chǎng)景深度圖。如果圖像中具有不明顯的特性信息，深度要通過下側(cè)到上側(cè)進(jìn)行增加，創(chuàng)建梯度構(gòu)件模式，具有相同的分割區(qū)域深度值，分割區(qū)域深度分配的方法為：

公式中的|Wrl|+|Wud|=1，利用Wrl 和Wud 符號(hào)與大小的調(diào)整，深度分配公式能夠在不同深度梯度模式中使用。

4 結(jié)語

計(jì)算機(jī)視覺深度估計(jì)方法在實(shí)踐中使用，要求技術(shù)人員根據(jù)目前技術(shù)發(fā)展實(shí)際，使被動(dòng)視覺作為研究重點(diǎn)，對(duì)被動(dòng)視覺技術(shù)原理進(jìn)行明確。將實(shí)用性、科學(xué)性的原則作為基本框架，根據(jù)現(xiàn)有技術(shù)作為突破口形成深度估計(jì)運(yùn)行模式，將其優(yōu)勢(shì)充分發(fā)揮出來，合理化創(chuàng)建計(jì)算機(jī)視覺體系，保證技術(shù)操作能夠有序的開展。