視頻影像增強(qiáng)虛擬三維場景的注冊與渲染方法研究

周 凡

上海海事大學(xué)信息工程學(xué)院，上海 201306

視頻監(jiān)控系統(tǒng)是安全防范系統(tǒng)的重要組成部分，廣泛地應(yīng)用于人們的日常生活，而虛擬三維系統(tǒng)是計(jì)算機(jī)科學(xué)及其相關(guān)學(xué)科領(lǐng)域發(fā)展的重要成果，其應(yīng)用也非常廣泛。將視頻影像融入到虛擬三維系統(tǒng)中以增強(qiáng)虛擬三維場景的真實(shí)感，一方面既能夠發(fā)揮視頻影像來源廣泛、信息獲取方式靈活和實(shí)時傳輸方便的優(yōu)點(diǎn)，另一方面又能夠給虛擬三維系統(tǒng)增加時間維度，將實(shí)時、動態(tài)的客觀世界信息展現(xiàn)在靜態(tài)的虛擬三維場景中。同時，視頻信息融入到虛擬三維場景中還能夠克服視頻影像分散、無組織的缺點(diǎn)以及虛擬三維場景無動態(tài)信息的局限性，從而形成優(yōu)勢互補(bǔ)，從整體上提高二者的應(yīng)用價值。本文主要是針對當(dāng)前視頻影像增強(qiáng)虛擬三維場景過程中的注冊與渲染這兩個核心問題展開了相關(guān)的研究工作，主要研究內(nèi)容、研究方法和成果如下：

(1) 分別分析了視頻影像增強(qiáng)虛擬三維場景過程中的注冊和渲染這兩個核心問題的方法原理，基于視頻影像成像模型與虛擬三維場景成像模型的一致性，構(gòu)建了視頻相機(jī)內(nèi)外方位元素與三維渲染引擎相關(guān)函數(shù)之間的對應(yīng)關(guān)系，可以將后續(xù)計(jì)算獲得的內(nèi)外方位元素轉(zhuǎn)換為三維渲染函數(shù)的相關(guān)參數(shù)，從而將視頻影像準(zhǔn)確地注冊到虛擬三維場景中；研究分析了視頻影像三維渲染的一般性和特殊性，并基于DirectShow流媒體技術(shù)設(shè)計(jì)了視頻影像過濾器，能夠從不同來源的視頻數(shù)據(jù)中獲取實(shí)時的紋理圖片，并可以利用GPU加速渲染的方法來提高系統(tǒng)的整體效率。

(2) 在研究分析視頻監(jiān)控場景的控制條件和先驗(yàn)知識的基礎(chǔ)上，探索視頻影像對虛擬三維場景進(jìn)行注冊的方法路線，確定了視頻影像內(nèi)外方位元素分步求解的方法途徑，主要包括利用成本較低、操作方便的一維標(biāo)定法和綜合多種特征的后方交會法分別求解視頻影像內(nèi)外方位元素。

(3) 深入地分析了相機(jī)一維標(biāo)定法的誤差來源，并在此基礎(chǔ)上提出了一種改進(jìn)的單像一維標(biāo)定法和一種基于像對基礎(chǔ)矩陣的多像一維標(biāo)定法，兩種方法均能夠獲得較高精度的標(biāo)定結(jié)果，能夠在一定程度上克服一維標(biāo)定物構(gòu)造簡易、幾何約束較差的局限性，適用于視頻監(jiān)控場景中的相機(jī)內(nèi)標(biāo)定。

(4) 基于廣義點(diǎn)攝影測量理論提出了一種綜合多種特征的后方交會法，該方法能夠?qū)⑺骄€、垂直線、線段和水平圓作為控制條件聯(lián)合常規(guī)的控制點(diǎn)構(gòu)建統(tǒng)一的平差模型從而求解相機(jī)的外方位元素，能夠在一定程度上擺脫傳統(tǒng)后方交會法對控制點(diǎn)的強(qiáng)烈依賴，使基于共線方程的后方交會法具有更廣的適用范圍，適用于先驗(yàn)知識缺乏、控制點(diǎn)難以布設(shè)的視頻監(jiān)控場景。

(5) 針對視頻影像在虛擬三維場景中渲染所涉及的數(shù)據(jù)量與實(shí)時性這兩個瓶頸問題，著重研究視頻影像合理的組織、訪問與調(diào)度方法來提高視頻影像的渲染效率，主要包括：基于多線程技術(shù)提出了一種視頻數(shù)據(jù)讀取的任務(wù)分配和消息通信方法，能夠解決虛擬三維系統(tǒng)用戶操作與視頻數(shù)據(jù)讀取之間的響應(yīng)沖突；根據(jù)近大遠(yuǎn)小的原則，提出了一種視頻影像實(shí)時分辨率的計(jì)算方法；基于四叉樹原理設(shè)計(jì)了一種視頻影像的空間索引；最后，綜合上述方法和技術(shù)，設(shè)計(jì)了一種視頻數(shù)據(jù)的緩沖與調(diào)度機(jī)制，以實(shí)現(xiàn)視頻影像在虛擬三維場景中的高效渲染。另外，還針對視頻相機(jī)視角與虛擬三維場景視角不一致的問題，變相地使用了Shadow Map算法來檢測其可見性。