游戲引擎中基于雙目視覺采集平臺搭建探討

俞平

（杭州師范大學(xué)錢江學(xué)院電氣與機械工程系，浙江 杭州 310012）

1 引言

近年來，國家對于數(shù)字媒體科研領(lǐng)域的重視程度日益提高，投入也呈不斷上升的狀態(tài)。從國家科技部863計劃于2006年發(fā)布的“中國數(shù)字媒體技術(shù)發(fā)展白皮書”中可以看出，國家對數(shù)字媒體技術(shù)發(fā)展現(xiàn)狀進(jìn)行了深入的分析，并指出:從目前我國數(shù)字媒體技術(shù)的發(fā)展?fàn)顩r來看，內(nèi)容制作效率低、內(nèi)容缺乏創(chuàng)新、標(biāo)準(zhǔn)滯后、網(wǎng)絡(luò)整合困難、終端不足、市場不成熟、價格缺乏制度依據(jù)、核心技術(shù)有待繼續(xù)研究、產(chǎn)業(yè)鏈尚待進(jìn)一步完善、商業(yè)模式有待探索以及體制問題等諸多因素成為制約我國數(shù)字媒體產(chǎn)業(yè)的健康發(fā)展主要瓶頸。這些瓶頸問題嚴(yán)重影響了我國數(shù)字媒體產(chǎn)業(yè)和技術(shù)的發(fā)展，所有這一切都有待在未來五年的產(chǎn)業(yè)與科技規(guī)劃中得到改善和徹底解決。

經(jīng)過了兩年的努力，中國在數(shù)字媒體領(lǐng)域研究中確實取得了豐碩的成果，然而成果相對于所提出的目標(biāo)來說還太少，相應(yīng)的，數(shù)字媒體技術(shù)產(chǎn)業(yè)應(yīng)該還具有巨大的市場空間與成長機會。作為一個期望從制造業(yè)向標(biāo)準(zhǔn)制定者轉(zhuǎn)變的后來者，中國需要也應(yīng)該在此領(lǐng)域有所建樹，通過扶持和鼓勵、引導(dǎo)市場對相關(guān)項目和產(chǎn)品的研發(fā)，提升我國數(shù)字媒體產(chǎn)業(yè)的競爭力，進(jìn)而通過標(biāo)準(zhǔn)的制定確立我國在這一產(chǎn)業(yè)中的國際地位。在這樣的宏觀環(huán)境下，國家繼續(xù)大力推動數(shù)字媒體相關(guān)的研究。

2 視覺采集設(shè)備及其模型參數(shù)

網(wǎng)絡(luò)攝像頭是從用戶的角度對一類視頻采集設(shè)備的總稱。從硬件配置來看，這些攝像頭也有很多的區(qū)別，例如使用的DSP芯片的不同會影響攝像頭的性能和分辨率;使用全玻璃透鏡、玻璃和塑膠組合透鏡或者全塑膠透鏡將影響透光和成像的質(zhì)量;而所采用的USB接口版本將影響其數(shù)據(jù)傳輸速度，從而影響幀速。

綜合評比了多種品牌和規(guī)格的產(chǎn)品，我們最終選擇了性能比較平衡而且質(zhì)量可靠的藍(lán)色妖姬T620攝像頭。同時出于匹配和方便的考慮，我們在實驗中使用的兩個攝像頭均選擇了同一品牌同一型號的產(chǎn)品。

由以上的介紹我們了解到，攝像頭最原始的模型為透視投影模型，同時攝像頭的理想模型是針孔成像模型。對于針孔成像模型而言，攝像頭本身包含了一些固有的參數(shù)，稱為攝像頭的內(nèi)部參數(shù)。同時，由于攝像頭的位置和朝向等空間屬性和世界坐標(biāo)并不一定是一致的，因而我們還需要定義攝像頭和世界坐標(biāo)之間的轉(zhuǎn)換關(guān)系，即攝像頭的外部參數(shù)。攝像頭內(nèi)部參數(shù)和外部參數(shù)的表示為如下式所描述的矩陣。

需要說明的是，A矩陣中的元素Y表示攝像頭的x和y軸不垂直程度的度量，在本實驗中認(rèn)為其為0。

3 工作平臺的搭建和參數(shù)測量

3.1 工作平臺的搭建

本系統(tǒng)所使用的工作平臺是根據(jù)立體視覺原理搭建的，由于是實驗性質(zhì)的平臺，因而并沒有過多考慮靈活性，主要以可用和準(zhǔn)確為原則。實驗平臺的構(gòu)造如下圖所示。其中，攝像頭底部使用膠槍固定在實驗板上。固定之后，以其中一個攝像頭為基準(zhǔn)，在實際測量的同時，通過挖縫補膠的方式進(jìn)行角度和朝向的微調(diào)整，最終使兩個攝像頭的相對位置關(guān)系精良準(zhǔn)確。

平臺搭建之后，我們經(jīng)過測量和搜集，得到了平臺的技術(shù)參數(shù)如下:

所使用的兩個攝像頭均為藍(lán)色妖姬T620，采用CMOS感光元件作為視覺傳感器，動態(tài)像素30萬，可使用的最高實際分辨率為640 X 480，色彩深度為24bit，采用松翰120 DSP芯片，鏡頭組為全玻璃鏡頭，I/O接口規(guī)范為USB 2.0徹1 speed標(biāo)準(zhǔn)，理論傳輸速度為12Mbps，實際傳輸速度在10Mbps左右。

從這些參數(shù)來分析，該攝像頭組合能夠滿足我們系統(tǒng)的硬件要求的，同時也在一定程度上保證了系統(tǒng)實驗的普適性。首先，使用CMOS傳感器，其成像質(zhì)量較一般數(shù)碼相機使用的CCD感光元件稍差，但己經(jīng)能夠符合系統(tǒng)要求:采用全玻璃鏡片的鏡頭能夠增大透光減小畸變，對成像質(zhì)量有一定的好處。另外，攝像頭最高分辨率為640乘480，色彩深度24bit，己經(jīng)超過了系統(tǒng)對精度的要求320×240和8bit色深，因此，其帶寬約10Mbps能夠保證提供給系統(tǒng)每秒15幀以上的圖像流信息。相比系統(tǒng)的處理能力，攝像頭能夠提供的數(shù)據(jù)流稍有不及，但已經(jīng)能夠滿足系統(tǒng)需求，在一般情況下并不構(gòu)成瓶頸。

3.2 系統(tǒng)參數(shù)的測量和計算

根據(jù)標(biāo)稱參數(shù)，該攝像頭的定焦成像范圍在3cm～無窮遠(yuǎn)之間，而經(jīng)過我們的實際測試，攝像頭能成清晰的像的最短距離在2.7～2.9cm，最長距離達(dá)到10m以上。

由于測量儀器并非十分精確，因而距離范圍為一定的區(qū)間，并且兩個攝像頭在調(diào)節(jié)到極限的情況下后，其焦距也會有細(xì)微的區(qū)別。

記錄的實驗數(shù)據(jù)如下表：

?

系統(tǒng)平臺的搭建是在反復(fù)的測量和再調(diào)整之間完成的。我們測量系統(tǒng)的固定參數(shù)，然后根據(jù)測量的結(jié)果對系統(tǒng)進(jìn)行細(xì)微校調(diào)，校調(diào)之后再次測量。最終，經(jīng)過調(diào)整，系統(tǒng)的優(yōu)化參數(shù)如下:系統(tǒng)平臺底板高度為5.0cm，攝像頭中心高度約為3.4cm，攝像頭主光軸之間的夾角Y約為0.01260，攝像頭坐標(biāo)系x軸之間的平行距離d約為0.23cm，兩攝像頭光心的距離B約為15.92cm，攝像頭坐標(biāo)系y軸夾角p約為0.01310，x軸夾角a約為0.01720。

4 攝像頭參數(shù)標(biāo)定

攝像頭的標(biāo)定也稱為定標(biāo)，實際上就是根據(jù)己知的參數(shù)和模型，通過空間物體以及對物體所拍攝的圖像來尋找他們之間的對應(yīng)關(guān)系，再根據(jù)多個這樣的對應(yīng)關(guān)系方程從而求解攝像頭的模型參數(shù)的過程。

4.1 使用二維靶標(biāo)標(biāo)定內(nèi)部參數(shù)

我們使用的是張正友等人提出的基于二維平面靶標(biāo)的標(biāo)定方案，該方案要求攝像頭從兩個以上的不同方位拍攝多張二維靶標(biāo)的照片，拍攝期間攝像頭和靶標(biāo)是可以自由運動的，并且不需要知道其運動的方位朝向等過程參數(shù)，即所需的只是拍攝的結(jié)果圖像。根據(jù)假設(shè)，在拍攝的整個過程中，攝像頭的內(nèi)部參數(shù)保持不變，而外部參數(shù)則可能會改變。

標(biāo)定過程中使用的靶標(biāo)為如上圖的方格組成的圖樣，這些方格就是定標(biāo)點。

對本系統(tǒng)所使用的兩個攝像頭，我們經(jīng)過多次地理標(biāo)定，求得相關(guān)矩陣的期望如下:

?

4.2 本系統(tǒng)標(biāo)定的特殊性

以上步驟用于標(biāo)定攝像機的內(nèi)部參數(shù)矩陣以及兩個修正參數(shù)。對于外部參數(shù)，實質(zhì)上它們就是指攝像頭坐標(biāo)系相對于世界坐標(biāo)系的仿射變換矩陣。而攝像頭和世界坐標(biāo)的相對變換是標(biāo)準(zhǔn)的剛體變換，只包含旋轉(zhuǎn)和平移，因此也只有一個旋轉(zhuǎn)矩陣R和一個平移矩陣T。

需要說明的是，在以上的探討中，一方面并不存在先驗的世界坐標(biāo)系，另一方面，因為系統(tǒng)本身是一個比較獨立的體系，為了簡化問題，我們也比較傾向于使用攝像頭本身的坐標(biāo)系來描述世界。由于這些原因，對于外部參數(shù)，也就沒有標(biāo)定的必要，換言之，從攝像頭坐標(biāo)系到世界坐標(biāo)系的映射過程被省略，并且這一省略對結(jié)果不會產(chǎn)生任何影響，這只是對模型的描述存在差異的問題。

由上面的敘述我們可以得出這樣的結(jié)論:標(biāo)定是建立攝像頭圖像像素位置與場景點位置之間的關(guān)聯(lián)，其途徑是根據(jù)攝像頭模型，由已知點的圖像坐標(biāo)和世界坐標(biāo)求解攝像頭的模型參數(shù)。其中包括攝像頭的內(nèi)部參數(shù)和外部參數(shù)。標(biāo)定的目的是為了求解出對于攝像頭模型參數(shù)的完整估計，從而將模型中的位置參數(shù)變成己知，方便了計算過程。

5 小結(jié)

以上介紹了使用的視覺采集設(shè)備以及平臺的相關(guān)信息，特別是測量和計算了平臺的相關(guān)各種技術(shù)指標(biāo)。然后，考察了對于建立還原模型非常必要的攝像頭的內(nèi)部參數(shù)和外部參數(shù)，并對其進(jìn)行了標(biāo)定。

[1]馬頌德，張正友，計算機視覺一計算理論與算法基基礎(chǔ)，科學(xué)出版社，1998年

[2]李青，鄭南寧，張雪濤，用三線法標(biāo)定車載攝像頭的外部參數(shù)，光電工程，2004年