基于雙目感知的立體視覺集成

楊陽（四川大學(xué)計算機(jī)學(xué)院，成都　610000）

基于雙目感知的立體視覺集成

楊陽
（四川大學(xué)計算機(jī)學(xué)院，成都610000）

0　引言

計算機(jī)視覺技術(shù)在近年來得到了飛速發(fā)展，廣泛應(yīng)用于工、農(nóng)、醫(yī)、軍領(lǐng)域，主要包括：軍事沙盤應(yīng)用，工業(yè)非接觸測量檢校，醫(yī)學(xué)顯微手術(shù)設(shè)備應(yīng)用等。而基于其理論和算法的研究也在近年來逐漸深入。計算機(jī)視覺是一種實(shí)現(xiàn)計算機(jī)“看”的綜合學(xué)科，涵蓋了生物理論、神經(jīng)科學(xué)、計算機(jī)科學(xué)、數(shù)學(xué)理論研究、機(jī)器智能等方向。其實(shí)現(xiàn)方法大致分為多視圖立體視覺和雙目立體視覺。多視圖立體視覺主要采用圍繞同一場景的多角度拍攝圖像，進(jìn)而從重復(fù)讀較高的多幅圖像中，獲取場景三維信息的方法。而雙目立體視覺，是采用雙目攝像機(jī)，模仿生物眼睛工作原理，如圖1所示。

圖1　雙目立體視覺工作原理模型圖

左攝像機(jī)模仿左眼，獲取場景偏左的信息，其圖像整體偏右。而右邊的攝像機(jī)主要模仿右眼的功能，獲取場景偏右的信息，圖像整體偏左。根據(jù)左右圖像中重復(fù)場景信息的信息點(diǎn)的位置偏差，求得視差，進(jìn)而得到視差圖。視差圖是三維重建中的必要信息，是得到三維場景立體信息的重要需求。根據(jù)所得視差圖，建立立體信息，進(jìn)而得到空間三維坐標(biāo)，即點(diǎn)云。如圖1所示：O1，O2是兩個攝像機(jī)工作平面的光心，是攝像機(jī)內(nèi)在參數(shù)；其中的P（x，y，z）是空間真實(shí)場景中的信息點(diǎn)；而P1，P2分別是物點(diǎn)在兩個攝像機(jī)中對應(yīng)的像點(diǎn)；兩個光心之間的距離稱為基線；兩個對應(yīng)像點(diǎn)之間的距離稱為視差。有圖可知，物點(diǎn)、像點(diǎn)對、光心之間的連線構(gòu)成了一個三角形，使得所需要求的視差和基線及攝像機(jī)焦距等構(gòu)成了數(shù)學(xué)上的三角關(guān)系，故而通過攝像機(jī)光心距離及攝像機(jī)焦距，可計算像點(diǎn)位移差值。具有“看”能力的計算機(jī)，因其強(qiáng)大的三維重建能力，得到了廣泛的應(yīng)用，也在科研領(lǐng)域得到了廣泛的關(guān)注，國內(nèi)外的科學(xué)家都在其領(lǐng)域做出很多貢獻(xiàn)。

本文所述的基于雙目感知的立體視覺集成框架，是基于人眼工作原理的雙目視覺的擴(kuò)充應(yīng)用。其中包括的模塊主要有：圖像預(yù)處理、立體匹配、點(diǎn)云處理及顯示。多模塊的集成處理，使得從空間場景到最后的立體信息顯示成為了可能。本文主要針對在框架設(shè)計中使用到的技術(shù)和原理進(jìn)行簡要介紹，為以后的研究提供理論依據(jù)和算法基礎(chǔ)。

1　圖像預(yù)處理

由雙目攝像機(jī)獲取的圖像信息，會因外界環(huán)境的不確定因素，受到一定的干擾，故在進(jìn)行三維重建前，需通過圖像預(yù)處理，進(jìn)行噪聲的前期處理。圖像預(yù)處理主要包括：圖像平滑處理、圖像銳化處理及圖像區(qū)域分割。所謂平滑處理主要是采用3×3的窗口，使用中值濾波的方法，在原圖像上，處理高頻噪聲，進(jìn)而使得圖像信息在三維重建前得到垃圾信息的過濾。而圖像銳化處理主要是采用拉普拉斯變換操作，增大圖像信息中的所需要的信息區(qū)域的信息強(qiáng)度，使其發(fā)揮更大的作用。而與此同時，區(qū)域分割主要使用設(shè)定的閾值，進(jìn)行相應(yīng)條件下的分割，得到預(yù)期的有效信息和無效信息的分離。

本文提出的框架中綜合使用了圖像預(yù)處理中的兩項預(yù)處理技術(shù)。

首先采用圖像平滑處理進(jìn)行圖像信息的高頻噪聲的去除，使得高頻自然光和反光的影響得到改善，減少對立體匹配算法的影響，提高圖像質(zhì)量；然后使用圖像銳化處理，進(jìn)行圖像信息中的物體邊緣信息的微銳化，使得在重建中影響度較高的圖像邊緣具備較大的權(quán)值，方便之后的立體匹配操作的實(shí)施和三維重建的進(jìn)行，使得框架工作速率得到一定的提升。

2　立體匹配

立體匹配問題是計算機(jī)視覺中的瓶頸問題，其算法的選擇和優(yōu)化，將直接影響計算機(jī)視覺整體的處理效果。所謂立體匹配，是通過算法進(jìn)行左右圖像中的對應(yīng)像素點(diǎn)的搜索，進(jìn)而完成視差計算，得到是插圖。其簡單工作原理模型圖如圖2所示：圖中p0為原圖像點(diǎn)，其坐標(biāo)為（x1，y1），q0為待尋找圖像中的測試點(diǎn)，其坐標(biāo)為（x2，y2）。

立體匹配算法根據(jù)其工作原理可劃分為特征匹配算法，區(qū)域匹配算法及相關(guān)算法。

其中的特征匹配算法，采用圖像的局部信息特征，進(jìn)行左圖像和右圖像間的像素點(diǎn)的對應(yīng)尋找。該類算法的算法原理是基于局部特征，故其運(yùn)算量較少，使得立體匹配的速度較快，可實(shí)現(xiàn)實(shí)時匹配。與此同時，特征匹配算法所得到的視差圖，因其局部的特征所以較稀疏，最終重建的三維信息點(diǎn)云也相對較稀疏，所承載的空間三維信息不足，在很多實(shí)際應(yīng)用場景中并不適用。

圖2　局部立體匹配工作原理模型示意圖

區(qū)域匹配算法又可進(jìn)一步根據(jù)其搜索區(qū)域的大小劃分為局部匹配算法和全局匹配算法。全局匹配算法是一種基于像素的匹配算法。圖像信息隨著其分辨率的增加，其像素信息量也隨著增加，故基于像素級別的全局匹配算法的運(yùn)算量龐大，但是其獲取的視差圖相對稠密，所承載的空間信息充足，典型的代表算法包括圖割等。局部立體匹配算法根據(jù)其匹配區(qū)域選擇方法可劃分為自適應(yīng)窗口匹配算法及自適應(yīng)權(quán)值匹配算法等。其通過特定的窗口選擇，進(jìn)行區(qū)域的匹配，實(shí)現(xiàn)精度和速度的折中。

相關(guān)算法中較為熟知的算法包括：自相關(guān)算法、互相關(guān)算法及相位相關(guān)算法。

本文所述框架主要采用局部匹配算法中的典型算法基于窗口的相位相關(guān)算法。該算法采用圖像信息的頻域特征，進(jìn)行特征匹配。圖像信息的頻域特征是圖像信息的傅里葉變換后的的結(jié)果，以歸一化互功率譜的形式呈現(xiàn)。頻域信息的選擇具有一定的優(yōu)點(diǎn)，其承載的信息不僅包含圖像的灰度信息，還涉及了圖像的變換梯度信息，從橫向和縱向兩個維度進(jìn)行信息的考量和比較，具有更強(qiáng)的實(shí)際應(yīng)用價值。而互功率譜中的信息變化，會更貼近于真實(shí)圖像中的匹配點(diǎn)的變化，其變化特征主要以峰值形式出現(xiàn)，最大值處即是所要找的匹配點(diǎn)處。

3　點(diǎn)云處理顯示

三維點(diǎn)云的處理顯示可通過特別定制的軟件進(jìn)行操作，其操作流程簡單，操作類別完善度較高，但缺點(diǎn)是集成能力不足。故本文所述框架選擇近年來提出并流行的PCL（Point Cloud Library）點(diǎn)云庫進(jìn)行集成化處理，將基于雙目感知的立體視覺系統(tǒng)的處理模塊進(jìn)行集成。PCL是基于C++進(jìn)行研發(fā)的開源庫，其中提供了關(guān)于點(diǎn)云的基礎(chǔ)算法理論是實(shí)現(xiàn)，包括：點(diǎn)云預(yù)處理、點(diǎn)云濾波、點(diǎn)云融合、點(diǎn)云顯示、點(diǎn)云表面網(wǎng)格形成等。基于PCL的平臺集成研究，可在其基礎(chǔ)理論和基礎(chǔ)算法研究基礎(chǔ)上，進(jìn)行算法的改進(jìn)，及根據(jù)實(shí)際場景的算法的選擇。PCL的優(yōu)點(diǎn)是開源，可通過其提供代碼減少基礎(chǔ)開發(fā)工作量，而將重心放到算法優(yōu)化的領(lǐng)域。

PCL處理中較為重要的是點(diǎn)云的融合處理，即通過多個點(diǎn)云，進(jìn)行點(diǎn)云的矯正和配準(zhǔn)之后，實(shí)現(xiàn)多個同場景不同設(shè)備的點(diǎn)云之間的信息互補(bǔ)，去掉多余點(diǎn)云信息，并實(shí)現(xiàn)有效信息的交叉和互補(bǔ)。PCL中另外的開發(fā)點(diǎn)在于其界面信息處理和點(diǎn)云顯示之間的融合，問題只在于如何多線程高速處理點(diǎn)云顯示及相關(guān)操作。

4　基于雙目感知的立體視覺集成

根據(jù)算法概述，可知其操作流程圖如圖3所示。

5　結(jié)語

基于雙目感知的立體視覺集成，打破了原來的模塊分離模式，實(shí)現(xiàn)了從二維圖像獲取到三維點(diǎn)云顯示的一體式操作集成。在其算法和策略選擇上，主要依據(jù)速度和質(zhì)量雙重選擇標(biāo)準(zhǔn)。其集成本身需要數(shù)據(jù)輸入和輸出的一致性選擇及傳遞，涉及到數(shù)據(jù)結(jié)構(gòu)設(shè)計和點(diǎn)云結(jié)構(gòu)設(shè)計，相應(yīng)的結(jié)構(gòu)轉(zhuǎn)換需要設(shè)定特定的函數(shù)，最終實(shí)現(xiàn)一體化操作效果。但在基礎(chǔ)算法選擇方面，可在日后進(jìn)行算法理論的進(jìn)一步完善和整理，并在此基礎(chǔ)之上進(jìn)行算法和框架結(jié)構(gòu)的優(yōu)化開發(fā)。針對立體匹配算法的選擇，應(yīng)在以后的工作中擴(kuò)充選擇維度，使得在不同應(yīng)用場景中各有長處的算法得到充分的利用，并提供可操作選擇的參數(shù)窗口，使得算法的靈活性和可用性得到提升。

圖3　

[1]朱德海，郭浩，蘇偉等.點(diǎn)云庫PCL學(xué)習(xí)教程.北京航空航天出版社，2012-10-1

[2]馬婷.點(diǎn)云數(shù)據(jù)的顯示與配準(zhǔn)，2007.

[3]J.Sun，N.Zheng，and H.Shum.Stereo Matching Using Belief Propagation.In ECCV，page II:510 ff.，2002.

[4]郭永彩，魏朋玉，高潮.采用多級動態(tài)規(guī)劃實(shí)現(xiàn)立體匹配[J].光學(xué)精密工程，2009，17(7):1745.

[5]Achanta R，Shaji A，Smith K，et al.SLIC Superpixels Compared to State-of-the-Art Superpixel Methods[J].Pattern Analysis and Machine Intelligence，IEEE Transactions on，2012，34(11):2274-2282.

[6]Thomas H.Cormen and Charles E.Leiserson.算法導(dǎo)論[M].潘金貴，顧鐵成.北京:機(jī)械工業(yè)出版社出版，2006，324

Binocular Stereo Vision;Depth Map;the Point Cloud Processing;Stereo Matching

Stereo Vision Integration Based on Binocular Views

YANG Yang

(College of Computer Science，Sichuan University,Chengdu 610065)

1007-1423（2016）05-0063-04

10.3969/j.issn.1007-1423.2016.05.014

楊陽（1990-），女，黑龍江海倫人，碩士，研究方向?yàn)橛嬎銠C(jī)視覺與圖像處理

2015-12-22

2016-02-05

雖然計算機(jī)視覺的應(yīng)用場景拓寬，關(guān)于雙目視覺的算法和理論研究達(dá)到一定的深度。雙目立體視覺感知是通過雙目攝像機(jī)在接近平行且距離較近的位置上獲取同一場景不同角度的圖像，進(jìn)而通過二維圖像獲取三維信息。基于雙目視覺工作原理，提出一種綜合的雙目感知立體視覺集成框架，其中主要包括圖像預(yù)處理模塊，立體匹配算法模塊、點(diǎn)云融合顯示模塊。在其使用算法方面進(jìn)行簡要介紹，并達(dá)到集成處理效果。

雙目；立體視覺；深度感知；點(diǎn)云處理；立體匹配

As the application of computer vision scene is broad,the theoretical studies algorithms of binocular vision have achieved a certain depth. The binocular stereo vision is to access images in different perspectives on the same scene by binocular cameras at a close range and in parallel,and then obtain 3D information from 2D images.Puts forward a comprehensive binocular stereo vision integration framework based on the binocular visions,which includes image preprocessing module,stereo matching algorithm module,point cloud fusion and display module.Carries out the brief introduction of basic algorithms and achieves the integration.