基于三目立體的場館數字再現增強現實技術

湯 安，樊海瑋

(長安大學，陜西 西安 710064)

1 引言

增強現實就是在虛擬現實技術基礎上信息計算機應用在人機交互上的技術。其借助光電顯示技術、交互加速、多傳感器技術、計算機圖形和多媒體技術通過計算機生成虛擬環境和用戶周圍的真實場景的組合部分，使得用戶從感官上確信虛擬環境是其周圍真實場景的組成部分。和沉浸式虛擬現實不同，增強現實技術關鍵是在現實世界的基礎上，為用戶提供一種新的感官復合的視覺效果。增強現實技術不僅擁有真實感強、建模工作量小的優點，并且更為安全可靠。所以該技術在教育機構、醫療研究等領域的得到了廣泛的應用，其中這種增強現實技術在體育場館中的應用是當前的熱點研究話題，為了讓人們能夠更加充分的了解體育場館，國內外學者也通過以下方法對其進行增強現實。

文獻[1]首先分析現實增強概念，獲得其特征，然后在將場館內的資源進行排列整理，得到場館源序列，再進行可視化檢索，得到場館的信息交互，隨后將上述得到的資源進行整合，從而構建出移動資源展示系統，通過該系統對場館進行增強現實。但是該方法，只是通過普通的檢索來得到場館圖像，并沒有過硬的濾波器，這就導致在完成現實增強后圖像會出現模糊現象。

文獻[2]首先擬定包裝的基礎資源信息，之后通過掃描疊加對包裝進行處理，獲得包裝的具體信息狀況，并將其進行分類，再進行現實增強包裝設計，隨后將信息轉換成二維圖像，再通過AR疊加信息技術轉換為三維視覺圖像，最后將上述得到的信息進行整合，并融入三維視覺圖像內，從而得到包裝的增強現實。但是該方法需要反復對信息進行狀態索取，這種操作會浪費大量的時間，導致了在構建增強現實時效率過低。

文獻[3]首先收集零件圖紙特征點信息，并將其匹配得到零件圖紙的虛擬模型信息，然后通過Uni-ty3D將模型信息轉換成虛擬的三維模型，并生成其周邊場景，隨后通過VuforisSDK添加虛擬對象和人機交互系統。最后將上述資料進行融合，就可以得到機械零件的增強現實。但是該方法并沒有進行模型銳化，導致其會出現邊角模糊和線條不均勻問題，使其首到很大的環境限制。

針對上述問題，本文提出了一種基于三目立體的場館數字再現增強現實技術，以體育場館為例，通過多尺度邊緣提取與互能量交叉獲得場館邊緣特征，并進行噪聲消除，然后利用三目極線約束與梯度方向約束將線條約束，使得后續做出的場館增強現實不會受到場地限制，之后利用掃描儀收集場館的三維點云數據，從而得到完整的場館三維立體模型，最后錄制增強現實虛擬解析人物模型、聲音解鎖和文字介紹，并將其融入到三維立體模型內，完成場館的增強現實。

2 基于三目立體的場館數字再現增強現實技術

2.1 場館數字多尺度邊緣提取

(1)

經過對小波分解圖像的帶通特質分析得出，體育場館數字邊緣處于高頻分量中，通過視覺特性可以知道，人眼視覺對圖像的垂直方向和水平方向邊緣較為敏感，其代表了圖像的關鍵邊緣。為了收集此類圖像的主要邊緣，對小波分解的三幅高頻分量子圖像D1，j、D2，j和D3，j選取適合的門限，進而得到每個圖像自己的邊緣圖像，再通過不同的集合產生所需要的邊緣圖像，將三幅高頻子圖像進行計算

De，j=D1，j⊕D2，j⊕D3，j

(2)

互能量交叉是噪聲抑制方法的關鍵出發點，一般邊緣在小波分解的每個長度都含有非常大的能量，而噪聲的能量會隨著長度的增加而對應的縮小，所以互能量交叉可以分別把通道分量進行相鄰通道能量交叉，從而將主要邊緣突出。

通過互能量交叉抑制方法對噪聲處理的擬定成

De=sgn{De，j}×|De，j|×|De，j+1|

(3)

式中，sgn{·}代表取整函數的符號，即在確保原始邊緣圖像質量[5]不變的狀態下，把邊緣圖像做臨近兩層交叉處理，進而得到完整的邊緣圖像，在處理的過程內得到抑制噪聲的效果。

其中的原因有兩種：①小波分解把噪聲散播至所有通道，因為噪聲在通道的能量位置都各不相同，而且噪音中間不會存在聯系，所以互能量交叉的結果，可以間噪聲的影響進行抑制，②信號對于噪聲在通道都含有非常大的能量，互能量交叉的結果，可以把邊緣的能量值提升，進而將圖像的主要邊緣突出。

2.2 三目立體匹配算法

上述提取出的特征點會受到噪聲因素的影響，所以點特征不及線條特征可靠。對此，匹配將分為兩種層次進行。第一層即線的匹配，首先使用三目極線約束與點的梯度方向約束對線上少量的點進行點的匹配，從而確保線和線的相應關系；第二層即點的匹配，通過上述得到線的相應關系為約束，引導線上的其它點進行匹配。下面首先講述三目極線約束[6]與點的梯度方向約束，然后給出新的匹配算法。

2.2.1 三目極線約束

三目立體視覺系統內(如圖2所示)，右、中、左三個攝像機收集的圖像分別對應平面L、M、R，O1和O2、O3代表三個攝像機的中心，P代表空間一點，該點在三個平面中的投影的像點分別是P1、P2與P3。

圖2 梯度方向約束結構圖

圖1 三目極線約束結構圖

2.2.2 梯度方向約束

相對于線的匹配，同一條直線在不同的角度上所對應的線段梯度方向是大小相鄰的，特別是對于攝像機光軸平行的立體視覺系統，用直線方向信息能夠有效的減少搜索范圍[7-8]。本文提取的邊緣線只是其中的一部分靠近直線，所以不可以直接使用直線的方向約束，不過所有視圖中相應同一邊緣的匹配像點，它們的梯度方向仍是相近的，其差值限定在一個非常小的范圍內，這時一種有效的約束方法。

在圖2內，lL、lM與lR代表一組相應的匹配線條，p1、p2與p3代表線中一組相應的匹配點，α1、α2與α3在三種像點的梯度方向角，所以三種角度應當滿足|αi-αj|

2.2.3 立體匹配

3)j=j+1，轉1)。如果在線段i中搜索到終點，那么i=i+1，轉1)。

5)對線段ks與mt已經匹配標記擬定成TRUE，繼續向后作逐點匹配，一直到(i，ks，mt)三條線內有一條到盡頭。

6)i=i+1轉1)，一直到參考圖像中能夠匹配的線段匹配結束。

通過上述能夠看出，該算法是用邊緣線中少量點的匹配確保邊緣向的相應，之后以此為強約束，繼續指引后端點的匹配。算法內除了通過邊緣點的梯度方向約束與三目立體極線集合約束外，因為點的匹配是按照順序逐一進行的，所以擁有了順序一致性約束。因為線條提取后的編號會和線條在圖像的位置存在關聯，為了提高匹配速度，在另一視圖內完全能夠憑借編號限定線條的搜索范圍。

2.3 場館數字再現增強現實實現

2.3.1 快速獲取場館數字的三維點云數據

經過FAROFocus3D掃描儀獲取三維點云數據的具體過程如下所示：

1)建造掃描儀，調整掃描儀的水平參數和重力參數，擬定掃描效率和準確度等參數。

2)配準掃描儀。

3)放置靶球。

4)掃描。

選取分辨率與參數質量，其參數會影響到點云數據的精準度，點云的密度越高分辨率與質量就越大，掃描的就越精準，每個位置掃描的時間也就越長，往往這種參數是依據需要來選取的。

2.3.2 場館三維點云數據處理

為了使場館三維模型更加逼真，在三維點云數據的基礎上，使用Gemagic和3DMax軟件分別對三維模型進行貼圖處理和點云剪輯，具體的云剪輯過程如下所示：

1)把獲取點云數據從SD卡轉移到電腦里。

2)使用Gemagic軟件將三維點云數據進行優化修補。

3)通過網格優化模型。

2.3.3 場館數字增強現實開發關鍵技術

增強現實就是將場館外形、聲音使用三維虛擬技術傳輸至互聯網、平板電腦與手機等平臺里，其超越了傳統意義的時間與空間制衡，經過JAVA語音開發場館數字的產管數字增強現實，完成的流程如下所示：

1)錄制場館數字的虛擬聲音、人物模型與文字介紹，并設定后期的場館音效、字母描述、交互動作與動作展示，直到最后的平臺發布，利用3DMAX進行內部外部模型與空間的構建，使用Unity3D技術對人機互動進行設定，從而完成系統的交互能力。然后，優化模型與貼圖，同時添加對應的粒子系統與渲染效果，將虛擬場館展示效果進行優化。同時將反光、燈光與陰影添加到虛擬場館里，然后把模型輸送到Unity3D平臺里，之后把其它的效果輸送到紋理內，使得模型出現更為真實的音影效果。

2)利用Mark識別法進行三維注冊，經過比特網法對場館圖像進行處理。首先得到三種點在顯示器坐標內的坐標，通過某種算法計算出這三種頂點在攝像機坐標內的相應點的坐標，通過計算能夠獲得四組解的點坐標集合。

將上述過程轉換成公式可以表示為：

D=CT

(4)

其中，矩陣T為攝像機里部的參數矩陣，攝像機搜索到坐標后就將其當做已知參數；矩陣T為待求轉換矩陣，使用平面幾何建造三種可見點合成的平面坐標系。C代表特征圖像坐標系與顯示器屏幕坐標系。

3)動態擬定素材的亮度和陰影，將圖像的亮度分布進行處理，憑借亮度的值匹三維素材的色澤和亮度進行配對，使場館環境更具有真實感；經過亮度分布判定環境光照的方位，進而映射出虛擬場景和之真實物體間的陰影。場館數字增強現實系統的大體構架：首先擬定模型的布局，再擬定交互模塊，在漫游瀏覽模塊里，可以自主調換動畫，自主模塊里能夠自主的挑選瀏覽的方式。

模擬在瀏覽過程中的場館虛擬環境，之后擬定聲音視頻的交互環境，其包含動畫模擬、背景音效與音樂立體3D音效等，最后就是場館內的交互界面，其關鍵點即通過用戶的觸碰，操作虛擬場館內的場景變換，熱點選擇，就是使用屏幕里的虛擬鏡頭，使用戶能夠瀏覽整體的虛擬場館。

3 仿真證明

仿真環境為Intel Celeron Tulatin1GHz CPU和384MB SD內存的硬件環境和MATLAB6.1的軟件環境。本文將利用本文方法進行場館建模，以體育館為例，得到仿真圖，如圖3所示。

圖3 體育場館仿真圖

為了證明本文方法的效果，使用文獻方法與本文方法進行比對，通過完成后增強現實模型的誤差作為比對標準，其結果如圖4所示。

圖4 不同方法的增強現實模型誤差圖

通過圖4能夠看出，本文方法對增強現實模型幀間的誤差不大，這說明本文方法做出來的增強現實可以更好的模擬現實體育場館的具體結構。文獻方法因為模擬的場館臨近圖使用的順序是搜索方法，雖然留下了場館的大體構造，但是一些微小細節，會被搜索方法連帶著冗余構造一起刪除，因此導致傳統方法在完成場館的增強現實后會出現局部不清晰的問題。

在系統構建增強現實的訓練階段，本文構建D=10層深度的隨機數，用在對場館內的關鍵點進行幀率檢測，其幀率計算過程如下所示

(5)

式中，Z(s)表示幀數；ti表示時間。在固定幀數的基礎上，利用該式實現幀率測試，實驗結果如表1所示。

表1 關鍵幀的幀率測試

分析表1可知，本文方法具有較高的幀率，此外，由于幀率受時間與幀數的影響，同時，本文限定了固定幀數，因此，本文還具有較高的實時性。而傳統方法之所以幀率低、實時性差，是由于使用交互關系數選擇關鍵幀比較耗費時間，并且虛擬場館的模型面片數量較多，干擾了系統的實時性能。在使用本文系統進行處理后，系統在雙核CPU機器中的刷新率提高了一倍，滿足了場館增強現實的實時性。

4 結論

本文針對體育場館特點，使用三目立體手段來提升場館數字再現增強現實，使用多尺度邊緣提取算法與互能量交叉算法提取出場館的邊緣特征，同時進行去噪處理，在后期的制作上不會出現邊緣模糊不清問題，之后利用三目立體匹配算法對場館的極線進行約束，使得每幀虛擬圖像不會出現掉幀現象，最后通過傳統的錄制音效方法，錄制文字減少與聲音，并將其與上述得到的資源進行融合，從而完成對場館的增強現實。