近景攝影測(cè)量下的視場(chǎng)關(guān)系定量表達(dá)

肖 怡，劉 鵬，王 瑜，張文靖，張思佳

(昆明理工大學(xué)國土資源工程學(xué)院，云南 昆明 650093)

近景攝影測(cè)量是攝影測(cè)量與遙感學(xué)科的一個(gè)分支，它通過攝影手段以確定目標(biāo)(地形以外)的外形和運(yùn)動(dòng)狀態(tài)[1]。近景攝影測(cè)量下的視場(chǎng)關(guān)系即空間范圍較小的區(qū)域中不同焦距攝像機(jī)所代表的參考坐標(biāo)系之間的旋轉(zhuǎn)量和平移量，它被用來確定攝像機(jī)之間的位姿關(guān)系。由于視場(chǎng)較大的鏡頭焦距短，視場(chǎng)角較寬(大視場(chǎng))，然而精度不足，視場(chǎng)較小的鏡頭焦距長(zhǎng)，視場(chǎng)角較窄(小視場(chǎng))，但其精度有明顯提升。因此,在視頻監(jiān)控中結(jié)合這兩種鏡頭對(duì)視場(chǎng)范圍內(nèi)的變化能夠較為準(zhǔn)確地識(shí)別。

現(xiàn)有確定視場(chǎng)關(guān)系的方法是建立在攝像機(jī)標(biāo)定的基礎(chǔ)上，攝像機(jī)的標(biāo)定可以用來獲取攝像機(jī)的外方位元素，獲得兩個(gè)攝像機(jī)的外方位元素后，即可得到其參考坐標(biāo)系之間的旋轉(zhuǎn)量與平移量，利用旋轉(zhuǎn)量和平移量即可表征不同視場(chǎng)之間的位姿關(guān)系。攝像機(jī)的標(biāo)定一般是通過建立二維圖像點(diǎn)和三維空間點(diǎn)之間的對(duì)應(yīng)關(guān)系來求解參數(shù)[2-11]。文獻(xiàn)[2]提出了基于矩形兩組對(duì)邊的消隱點(diǎn)特性和隱含的長(zhǎng)寬比信息進(jìn)行自標(biāo)定來獲取攝像機(jī)內(nèi)外方位元素。文獻(xiàn)[3]令攝像機(jī)做一組二維的平移運(yùn)動(dòng)，得到標(biāo)定所需的特征點(diǎn)，從而實(shí)現(xiàn)攝像機(jī)的標(biāo)定。文獻(xiàn)[4]提出了一種基于兩軸轉(zhuǎn)臺(tái)的無公共視場(chǎng)相機(jī)位置關(guān)系的求解方法來獲取攝像機(jī)的外方位元素。文獻(xiàn)[5]提出了僅利用空間中常見的平行線和垂直線建立攝像機(jī)參數(shù)和特征線之間的約束方程以實(shí)現(xiàn)攝像機(jī)的內(nèi)方位元素和旋轉(zhuǎn)矩陣的標(biāo)定，同時(shí)再利用空間距離已知的3個(gè)空間點(diǎn)來線性標(biāo)定兩攝像機(jī)之間的平移量。文獻(xiàn)[6]提出了利用連接光心和消影點(diǎn)向量的正交性質(zhì)以求取攝像機(jī)的內(nèi)方位元素，并提出了一種考慮畸變的非線性最優(yōu)化解法求得攝像機(jī)的外方位元素。文獻(xiàn)[7]中推導(dǎo)兩個(gè)相機(jī)之間固定相對(duì)關(guān)系的6個(gè)獨(dú)立約束條件，并利用這些約束關(guān)系按照有限制條件的間接平差模型進(jìn)行自檢校光束法整體平差解算，從而實(shí)現(xiàn)立體相機(jī)的標(biāo)定，以此得到兩個(gè)視場(chǎng)之間的位姿關(guān)系。文獻(xiàn)[8]利用一組局部區(qū)域的線性輸入-輸出模型，對(duì)攝像機(jī)的非線性映射模型進(jìn)行近似以求得攝像機(jī)外方位元素，從而確定視場(chǎng)關(guān)系。文獻(xiàn)[9]利用雙目攝像機(jī)之間的三維位姿關(guān)系是剛體變換這一屬性，標(biāo)定出左、右攝像機(jī)相對(duì)位姿參數(shù)。張正友標(biāo)定法[10]則是介于攝像機(jī)的傳統(tǒng)標(biāo)定法和自標(biāo)定法之間，因?yàn)樵摲椒ɡ昧硕S幾何信息而不是三維或純粹的特征信息，它是一種基于單平面棋盤格的標(biāo)定方法。文獻(xiàn)[11]提出了一種基于多個(gè)小棋盤的大視場(chǎng)相機(jī)標(biāo)定方法。但上述方法存在試驗(yàn)平臺(tái)要求高、計(jì)算量大、穩(wěn)健性較差等缺點(diǎn)，且難以將結(jié)果應(yīng)用到其視場(chǎng)范圍的變換檢測(cè)與識(shí)別。

本文在近景攝影測(cè)量的框架下，利用變化檢測(cè)，在大視場(chǎng)下獲取1幀原始圖像P0(下同)，小視場(chǎng)下獲取m幀樣本圖像集合Psample={P1,P2，…，Pm}(下同)。然后將P0和Psample集合進(jìn)行相對(duì)定向，獲取Psample中每一幀圖像被攝瞬時(shí)其參考坐標(biāo)系相對(duì)于P0被攝瞬時(shí)其參考坐標(biāo)系的位姿參數(shù)。將P0和Psample進(jìn)行圖像匹配，得到與P0匹配度最高的樣本圖像Pi(1≤i≤m)，利用Pi表示的位姿參數(shù)實(shí)現(xiàn)兩種不同視場(chǎng)關(guān)系定量表達(dá)。

1 求解視場(chǎng)關(guān)系試驗(yàn)

1.1 視場(chǎng)關(guān)系

本文所描述的視場(chǎng)關(guān)系是指在較小空間范圍內(nèi)大、小視場(chǎng)下的攝像機(jī)所在空間參考坐標(biāo)系之間的位姿關(guān)系，即它們之間存在著一定的旋轉(zhuǎn)量與平移量，在求取視場(chǎng)關(guān)系的基礎(chǔ)上來滿足對(duì)變化區(qū)域進(jìn)行識(shí)別與分析的需求。

1.2 試驗(yàn)設(shè)計(jì)

在大視場(chǎng)下進(jìn)行變化檢測(cè)之前，假設(shè)大視場(chǎng)下的攝像機(jī)鏡頭固定不動(dòng)，其所在參考坐標(biāo)系已知，即可以預(yù)先設(shè)定大視場(chǎng)下的攝像機(jī)鏡頭的姿態(tài)參數(shù)。這樣可以使得在一個(gè)統(tǒng)一的坐標(biāo)系中求取大、小視場(chǎng)所在空間參考坐標(biāo)系之間的旋轉(zhuǎn)量與平移量。其次，大、小視場(chǎng)下的鏡頭采用上下平行安置的方案，使得小視場(chǎng)下的攝像機(jī)鏡頭垂直于所在運(yùn)動(dòng)軸，即攝像機(jī)將整個(gè)水平方向180°范圍內(nèi)平分，這樣在對(duì)小視場(chǎng)下的攝像機(jī)鏡頭進(jìn)行校正時(shí)，可以縮短校正時(shí)間。同時(shí)盡量使得兩個(gè)視場(chǎng)所拍攝的一對(duì)圖像的上下視差盡可能小，以避免在立體像對(duì)相對(duì)定向過程中出現(xiàn)解迭代不收斂的情況。其試驗(yàn)設(shè)計(jì)如圖1所示。

在小視場(chǎng)拍攝一系列樣本圖像作為一個(gè)Psample的過程中，C1向著某一個(gè)方向做旋轉(zhuǎn)和平移運(yùn)動(dòng)，這個(gè)方向的確定依賴于變換區(qū)域中目標(biāo)的運(yùn)動(dòng)方向。其方向通過變化檢測(cè)判斷其前景圖像在相鄰時(shí)刻質(zhì)心的位置坐標(biāo)來確定。確定變化目標(biāo)質(zhì)心步驟如下：在變化檢測(cè)過程中獲取變化目標(biāo)的前景圖像，遍歷整個(gè)前景圖像，獲取顏色為白色的像素點(diǎn)的橫縱坐標(biāo)，將其分別累加，除以其數(shù)量，得到質(zhì)心在圖像坐標(biāo)系中橫縱坐標(biāo)。假設(shè)變化目標(biāo)p在t時(shí)刻其質(zhì)心坐標(biāo)為(xp(t)，yp(t))，檢測(cè)到的結(jié)果為m×n的二值圖像p(i，j)，則其計(jì)算公式為

(1)

小視場(chǎng)下的攝像機(jī)C1僅做旋轉(zhuǎn)運(yùn)動(dòng)時(shí)，當(dāng)有變換目標(biāo)出現(xiàn)在其視場(chǎng)內(nèi)，往往不能完全落入其中，如圖2所示的未平移視場(chǎng)范圍。因此需要結(jié)合攝像機(jī)的平移運(yùn)動(dòng)來對(duì)上述現(xiàn)象進(jìn)行修正。當(dāng)小視場(chǎng)下的攝像機(jī)運(yùn)動(dòng)到S′位置時(shí)，其視場(chǎng)范圍能夠完全包含變化目標(biāo)。每次旋轉(zhuǎn)量與平移量被預(yù)先設(shè)定，以順時(shí)針旋轉(zhuǎn)方向與水平向右平移為正，在小視場(chǎng)下C1拍攝樣本圖像的數(shù)量經(jīng)多次試驗(yàn)被設(shè)置為8。樣本圖像數(shù)量對(duì)于圖像在進(jìn)行圖像匹配過程中造成的影響如圖3所示。

圖3中，C1拍攝的樣本圖像集合Psample中樣本圖像的數(shù)量取8為較優(yōu)選擇。盡管選擇更多的樣本圖像會(huì)使圖像匹配的精確度變得更高，但這也會(huì)導(dǎo)致計(jì)算耗費(fèi)的時(shí)間大大增加，為了兼顧實(shí)時(shí)效率和圖像匹配度之間的矛盾，8張樣本圖像為一個(gè)折中選擇。C1在拍攝樣本圖像過程中以預(yù)設(shè)的旋轉(zhuǎn)量和平移量運(yùn)動(dòng)，平移量為1 cm，其旋轉(zhuǎn)弧度為π/180。每拍攝一張樣本圖像，C1就更新一次所在參考坐標(biāo)系中的位姿。

1.3 試驗(yàn)流程

1.3.1 P0與Psample的相對(duì)定向

在大視場(chǎng)和小視場(chǎng)分別獲取P0與樣本集合Psample后，需要對(duì)P0和Psample進(jìn)行相對(duì)定向，相對(duì)定向利用同名像點(diǎn)恢復(fù)立體像對(duì)之間的位置和姿態(tài)，從而得到Psample中每一幀圖像的外方位元素[12]。該外方位元素即是攝影瞬時(shí)小視場(chǎng)所在的參考坐標(biāo)系相對(duì)于大視場(chǎng)所在的參考坐標(biāo)系的空間位置。在多個(gè)連續(xù)模型的處理中多采用連續(xù)法相對(duì)定向，它以左影像為基準(zhǔn)，采用右影像的直線運(yùn)動(dòng)和角運(yùn)動(dòng)實(shí)現(xiàn)相對(duì)定向，其定向元素為(BY，BZ，φ2，ω,2，κ2)，如圖4所示。

同名像點(diǎn)的選取一般需要借助攝像機(jī)標(biāo)定技術(shù)，但這樣不能很好地滿足場(chǎng)景任意變換的需求，且在實(shí)際操作過程中不太方便，因此本文在圖像匹配的基礎(chǔ)上，選取被匹配到的特征點(diǎn)作為同名像點(diǎn)來滿足相對(duì)定向的要求。

1.3.2 大視場(chǎng)下的變化檢測(cè)

在C0所在參考系的視場(chǎng)內(nèi)進(jìn)行變化檢測(cè)，本文采用ViBe(visual background extractor)[13]算法。其思想是為每一個(gè)像素點(diǎn)存儲(chǔ)一個(gè)樣本集，樣本集中的采樣值為該像素點(diǎn)過去的像素值及它的鄰居點(diǎn)像素值，然后將每一個(gè)新的像素值與樣本集中的像素值進(jìn)行比較，以此來判斷該新的像素點(diǎn)是否屬于背景點(diǎn)。記P(x)為x點(diǎn)處的像素值，B(x)={P1,P2，…,Pn}，為x處的背景樣本集，該樣本集的大小為N。SR[P(x)]表示以x為中心且半徑為R的區(qū)域，計(jì)算B(x)={SR[P(x)]∩B(x)}的值，若大于所給定的一閾值，即判別x點(diǎn)屬于背景點(diǎn)。該模型的更新策略是隨機(jī)性的，體現(xiàn)在模型中隨機(jī)選擇需要替換像素的樣本，隨機(jī)選擇鄰域像素進(jìn)行更新。該方法在無法確定像素變化的模型時(shí)，隨機(jī)更新策略，在一定程度上可以模擬像素變化的不確定性。同時(shí)ViBe算法具有實(shí)時(shí)性高，內(nèi)存占有率較低，變化檢測(cè)的準(zhǔn)確率高等優(yōu)點(diǎn)。在ViBe算法的基礎(chǔ)上，本文進(jìn)一步優(yōu)化了其檢測(cè)效果，其結(jié)果如圖5所示。

圖5中，圖5(b)并沒有消除光照和陰影的影響，而圖5(c)是本文改進(jìn)其算法獲得的檢測(cè)結(jié)果，很大程度上降低了光照和陰影的影響，使得檢測(cè)的準(zhǔn)確性進(jìn)一步提高。

1.3.3P0與Psample的匹配

圖像匹配實(shí)質(zhì)就是建立圖像特征之間的相互對(duì)應(yīng)關(guān)系，找到一個(gè)變換使一幅圖像中的點(diǎn)與另一幅圖像中的對(duì)應(yīng)點(diǎn)相關(guān)聯(lián)[14]。

圖像匹配的方法總體上可以分為3大類：基于模型、基于灰度及基于特征的圖像匹配[15-19]。基于模型與灰度來進(jìn)行圖像匹配時(shí)對(duì)光照、尺度、旋轉(zhuǎn)變化等情況的適應(yīng)能力較差。本文從算法的穩(wěn)健性與實(shí)時(shí)性出發(fā)，采用由Bay等提出的SURF[20]算法來實(shí)現(xiàn)原始圖像和樣本圖像集合的匹配。SURF算法是一種能夠檢測(cè)圖像局部特征的算法。文獻(xiàn)[21]證明了局部的信息足以表征整幅圖像。

在對(duì)P0和Psample進(jìn)行立體像對(duì)相對(duì)定向的過程中，利用最小二乘原理求解，至少需要5對(duì)及以上分布較均勻的同名像點(diǎn)。本文利用原始幀圖像來獲取同名像點(diǎn)，而不選擇前景圖像，其原因在于前景圖像中的特征點(diǎn)都在前景區(qū)域內(nèi)，范圍較小，分布不均勻，這會(huì)在最小二乘中造成法方程系數(shù)矩陣病態(tài)，影響相對(duì)定向的精確性。在圖像匹配的過程中，利用圖像的特征點(diǎn)來對(duì)P0和Psample進(jìn)行匹配，由于P0和Psample均具有大致相同的背景，因此對(duì)特征點(diǎn)的選取影響較小，而真正用于匹配圖像的特征點(diǎn)大部分是由前景變化區(qū)域產(chǎn)生的，利用P0和Psample所對(duì)應(yīng)的前景圖像進(jìn)行匹配，可以大大縮短匹配時(shí)間，從而提高執(zhí)行效率。

在圖像匹配的過程中，檢測(cè)到的較優(yōu)特征點(diǎn)大部分來源于變化區(qū)域中的圖像，利用原始圖像進(jìn)行匹配時(shí)，較優(yōu)特征點(diǎn)大部分來源于前景區(qū)域，因此利用前景像片進(jìn)行圖像匹配，檢測(cè)到的特征點(diǎn)依然能夠大致上代表原始圖像中的特征點(diǎn)，且其匹配準(zhǔn)確率并沒有明顯的降低，試驗(yàn)結(jié)果如圖6所示。而在匹配準(zhǔn)確性不降低的前提下采用前景像片來進(jìn)行圖像匹配，其耗費(fèi)時(shí)間對(duì)比結(jié)果如圖7所示。

1.3.4 姿態(tài)校正

在獲取與P0匹配度最高的樣本圖像Pi后，即得到Pi所在參考坐標(biāo)系相對(duì)于P0所在參考坐標(biāo)系的位姿參數(shù)，然后將小視場(chǎng)下的攝像機(jī)鏡頭C1根據(jù)得到的位姿參數(shù)進(jìn)行旋轉(zhuǎn)與平移。在小視場(chǎng)下拍攝樣本圖像完成后，小視場(chǎng)下的攝像機(jī)C1停留的位置是拍攝最后一張樣本Pm所在的位置，其所在參考坐標(biāo)系相對(duì)于大視場(chǎng)所在參考坐標(biāo)系的位姿參數(shù)(BYm，BZm，φ2m，ω2m，κ2m)在相對(duì)定向的過程中已經(jīng)獲得，Pi所存儲(chǔ)的位姿參數(shù)(BYi，BZi，φ2i，ω2i，κ2i)被求得，因此計(jì)算Pm與Pi位姿參數(shù)之間正交旋轉(zhuǎn)矩陣即可得到小視場(chǎng)下最后一張被攝圖像相對(duì)于目標(biāo)圖像之間的旋轉(zhuǎn)量和平移量，然后C1按此量進(jìn)行旋轉(zhuǎn)與平移對(duì)準(zhǔn)變化目標(biāo)即可。

2 試驗(yàn)與分析

本文的試驗(yàn)環(huán)境為Windows 7系統(tǒng)，Intel Core i5四核處理器，攝像機(jī)為FINEPIX S205EXR。試驗(yàn)主要對(duì)在大、小視場(chǎng)組成的系統(tǒng)中可能導(dǎo)致出現(xiàn)誤差的因素進(jìn)行分析，以便進(jìn)一步改進(jìn)設(shè)計(jì)方法。

本文中選取的同名像點(diǎn)是在圖像匹配的基礎(chǔ)上獲取的，即通過大視場(chǎng)下的原始圖像P0與Psample樣本圖像集合中的每一張圖像進(jìn)行匹配，以此獲取同名像點(diǎn)。但是由于在相片匹配中是提取圖像的特征點(diǎn)來進(jìn)行匹配，在特征點(diǎn)提取完成后，設(shè)置一定的限制條件來獲取可能性較高的匹配點(diǎn)對(duì)，作為一對(duì)同名像點(diǎn)。本文所用方法與標(biāo)定求出的對(duì)于同一場(chǎng)景的左相片(或右相片)x坐標(biāo)與y坐標(biāo)的對(duì)比見表1。

表1 x像素坐標(biāo)對(duì)比 像素

如圖8、圖9所示，在表1的基礎(chǔ)上，利用本文圖像坐標(biāo)與標(biāo)定圖像坐標(biāo)作差得到圖8，圖8反映了本文所用算法得到的像素坐標(biāo)與標(biāo)定得到的像素坐標(biāo)的差值約在2個(gè)像素之間，差值的絕對(duì)值如圖9所示，整體上趨于一個(gè)穩(wěn)定的狀態(tài)。圖8、圖9表明了本文算法求得的同名像點(diǎn)的像素坐標(biāo)精度較高、穩(wěn)定性較好，能夠滿足本文試驗(yàn)設(shè)計(jì)環(huán)境的要求。

3 結(jié) 語

本文結(jié)合攝影測(cè)量與圖像匹配的方法來描述范圍較小區(qū)域內(nèi)兩種視場(chǎng)之間存在的位姿關(guān)系。利用ViBe算法檢測(cè)出變化區(qū)域，并對(duì)其算法做了優(yōu)化，本文進(jìn)一步提高了變換檢測(cè)的準(zhǔn)確性。在圖像匹配階段，利用原始圖像和樣本圖像所對(duì)應(yīng)的前景圖像進(jìn)行匹配，大大縮短了匹配時(shí)間，提高了效率。試驗(yàn)表明了其可行性，今后將對(duì)變換檢測(cè)與同名像點(diǎn)坐標(biāo)獲取方法做出進(jìn)一步的優(yōu)化，提高坐標(biāo)的精確度，以此來提升大、小視場(chǎng)之間姿態(tài)參數(shù)的準(zhǔn)確性。