虛擬視點插值中參考視圖選擇策略

冷紅梅

（四川大學視覺合成圖形圖像技術國防重點學科實驗室，成都610065）

0 引言

近年，自由視角技術[1-2]熱度逐年提高。2020 年，湖南衛視《舞蹈風暴》節目中已經利用基于圖像的渲染技術實現了自由視角技術的一種應用——360°凝空。但遺憾的是，為了滿足觀眾觀看3D 電視時的實時觀看功能和高質量畫面效果，現階段上述應用的自由視點的操控權并未賦予給觀眾。這不僅是因為現階段網絡傳輸帶寬和速度的限制，也是因為保證畫面完整度的自由視角受到現場部署的上百個精準矯正的拍攝機位的約束，因此無法讓用戶自由發揮。當給予用戶自由視點的操控權，并且不限制用戶在規定的軌跡上選擇視點，這給基于IBR 的自由視角繪制技術的應用（即自由漫游[1-2]）帶來了更大的挑戰。

通常，利用IBR（Image-Based Rendering）技術繪制自由視角畫面需要在目標場景中拍攝或者渲染多個不同視點的圖像來渲染高質量的自由視角畫面[3]。原則上，在自由視點周圍越是密集地采樣看向目標場景的多個視圖，則渲染的自由視點畫面質量越高。但隨之而來的是明顯的渲染時間成本，嚴重影響自由視角畫面渲染的實時性。然而，越是密集的采樣，相鄰視角采樣得到的畫面的重復度越高，導致自由視角畫面渲染中大量重復的計算（圖1 中①至④重復性插值示意流程）。此時，考慮減少參考圖像的數量是減少重復計算提升性能最直接有效的解決方案。但是，隨著參考圖像數量的減少，自由視角畫面產生空洞（圖1 中⑥所指區域）的風險也隨之增大。

圖1 虛擬實現插值示意圖

基于圖像的渲染技術雖然在近些年得到了大量的關注，也有不少研究者發表了虛擬視點插值相關的論文，但在大量文獻[4-7]中并未明確指出渲染虛擬視角圖像是以哪些參考圖像作為輸入，又或者是直接手動選擇參考圖像[8]，只關注插值算法。

在實際插值應用中，基于右參考視角不能看見的東西可以在往左移動的過程中看到被前景遮擋的物體的規律，普遍認為與虛擬視角同一水平線（baseline）或者運動軌跡的左右兩個參考圖像能夠為虛擬視點提供目標場景比較完整的場景幾何信息。本文基于此，提出了快速正確計算可以合成高質量虛擬視點圖像的左右兩個參考視點的方法。

1 多參考圖像插值問題概述

在多參考圖像合成虛擬視點圖像過程中，幾何遮擋、視野范圍、光照，以及采樣率限制都會影響最終合成圖像的質量。下面分別介紹這三個主要影響合成圖像質量的三方面問題產生的原理。

1.1 遮擋問題

通常，由于不知道用戶操控的自由視角（虛擬視角）到底會出現在場景的哪個方位，參考圖像采集過程是隨機的，因此無法保證采集的圖像可以提供完整的虛擬視角可見場景的信息。我們可以根據參考圖像的深度信息直接通過二次投影得到參考圖像中像素投影到虛擬視角的位置，從而獲得插值信息。然而，當參考視點與虛擬視點位置和視角發生偏差時，因場景中幾何位置固定使得參考圖像無法采樣被遮擋的幾何表面，但該幾何表面在新視角下會被看見，從而導致空洞現象；而因視角發生變化也可能使得參考圖像中屬于背景的已采樣區域會被前景遮擋，導致該區域信息成為無用信息。一般，參考視點虛擬視點差異越大，則遮擋和視野限制問題會出現得越嚴重，導致合成虛擬視角畫面質量低下。通常，通過蠻力算法[9]不斷增加輸入的參考圖像數量可能提高畫面的質量，但卻也會帶來大量無用的計算負擔。

圖2

1.2 采樣率限制

當相機從不同的視角觀察同一表面，采樣得到的幾何面積會因視角變化得到不同的大小。如圖3 所示，最左邊的參考圖像采樣幾何表面面積S1 明顯小于右邊的參考圖像面積S2。假設虛擬視點的Ground Truth 采樣到的幾何表面面積S3 與S1、S2 存在關系：S1 ＜S3 ＜S2，則當S1 中像素表面信息被投影到S3 中時，會出現不連續的插值結果，即虛擬視點Ground Truth S3 面積不能被完全插值填充導致空洞失真（如圖1）；因為S2 采樣的幾何表面面積大于S2，因此當S2 中幾何表面像素信息投影到S3 中時，很可能能夠獲得完整的S3 幾何表面信息。然而，通常采樣場景信息時，我們不知道用戶會如何操控虛擬視點的移動。因此，無法保證在任何情況下都存在幾何采樣面積大于虛擬視點所需要的采樣面積大小，此時還是不能避免出現空洞現象。但是，可以確定的是當采樣面積越大時，虛擬視點插值的效果會比采樣面積小時更好。

圖3 對同一幾何表面的不同視角采樣結果示意圖

1.3 光照問題

捕獲自然場景中非Lambertian 表面需要遵循微觀光照反射的物理規律，導致最終從不同采樣視角下采樣得到的幾何表面顏色也不同，即采樣的顏色L與光線的落點wo（觀察視點）有關。基于物理的光照采樣結果規律，在圖形學中抽象表示為如下公式。

如圖4 所示，當從Eye1～Eye4 分別捕獲幾何表面同一點，得到的光強不同。其中隨著視角偏離反射光線，捕獲的光照強度逐漸減弱，導致最終呈現的顏色也不同。因此，將幾何信息從不同視角投影到虛擬視點時，可能會因此導致插值同一幾何表面信息過渡不正常，或者光照強度不正確的問題。

圖4 宏觀光照反射示意圖

1.4 視野范圍受限

視野范圍受限具體變現為不同視角中會采樣新的場景空間，這個新增場景空間應區別于在1.1 小節中提到的被遮擋的幾何情況。如果把視角光軸方向看作是場景的縱向擴展方向，那么水平軸的方向則是場景橫向擴展。1.1 小節中提到的遮擋問題屬于場景縱向擴展中出現的問題，而視野范圍屬于場景橫向擴展導致的問題。

2 參考圖像或視點選擇策略

前文提到在實際拍攝過程中，當視角從左往右或者從右往左的方向移動時，能夠使得前一個視角被遮擋的物體逐漸被視角捕獲，也可以逐漸捕獲新的場景空間。當虛擬視點處于兩個視角中間意味著能夠很大程度上減少試圖合成中出現場景物體丟失的概率。但是隨著左右兩個視點差距變大，兩者捕獲的場景內容相關性也會降低，使得兩個視點間無法進行相互補充，而違背初衷。因此，本小節主要針對如何快速準確地計算與虛擬視點最相鄰的參考視點。

通過歐氏距離可以直接計算參考視點與虛擬視點的距離：

其中，Ci和Cv分別視點在場景空間中的參考視點和虛擬視點的世界坐標。但歐氏距離選擇最近鄰參考視點的方法只適用于參考視點在直線或者曲線均勻分布的情況，當參考視點是隨機且不均勻的情況下，該方法計算的一對參考視點很可能屬于虛擬視點的同一方位，從而導致虛擬視點無法獲取完整的橫向和縱向的場景空間信息并產生空洞，如圖5 所示。

圖5 非均勻分布參考視點與虛擬視點位置分布案例1

如圖5 所示，當與虛擬視點最近的參考視點3 周圍存在一個與參考視點3 十分靠近的另一個參考視點2 時，另一個參考圖像則很有可能被選擇。這種情況下參考視點2、3、4 存在關系：Dc2→c3+Dc3→v＜Dc4→v。因此，為了避免上述同側選擇問題，可以添加反向約束條件：

但是，當虛擬視點在圖6 的情況下，該反向約束條件可能導致正確的參考視點對被丟棄，而選擇錯誤的參考視點對。

圖6 非均勻分布參考視點與虛擬視點位置分布案例2

此時，Dc3→c4＜Dc4→cv且Dc4→c5＞Dc4→cv，因此，錯誤地選擇了同側的兩個參考視點。

為了能夠在本文方法下正確地選擇虛擬視點左右方位的參考視點，我們需要確定一對參考視點方案中的視點是否在虛擬視點兩側。原本計算歐氏距離采用的是世界坐標系下的視點坐標，而視點本身具有一個坐標系，相機坐標系。在線性代數中，兩個坐標可以通過一個變換矩陣R 來實現變換，變換等式如下式。其中，為了將原世界坐標的視點都轉換到虛擬視點的相機坐標系下，R 設為相機的虛擬視點的旋轉矩陣。

將參考視點坐標轉換到相機（視點）坐標系后，我們可以很容易地根據坐標中x 軸數值的正負來判斷參考視點是否在虛擬視點的兩側。

圖7 OpenGL下的相機（視點）坐標系

最終，通過改進條件約束，我們能夠得到預期的參考視點對。改進約束條件如下：

3 實驗結果

本節將展示通過本文方法計算得到的最佳參考圖像對來合成虛擬視點圖像，以及任意選擇參考圖像對合成虛擬圖像的效果對比結果來展示，本文方法的是否符合最鄰近兩側參考點是否能產生更加高質量的虛擬視點圖像來證明該方法的應用性。

CPU：Intel Xeon CPU E3-1230 V2 3.30GHz

System：Windows 10

圖8 最佳參考圖像對合成虛擬視點

圖9 自設參考圖像對合成虛擬視點

自設參考圖像選擇是最佳參考圖像對周圍的更遠的參考視點，從圖8 和圖9 我們可以看到，即使稍微增加參考視點的x 軸距離，自設參考圖像對合成的虛擬視點缺失的信息明顯更多（空洞-黑色），而通過本文方法得到插值結果空洞相對較少。當合成圖像中缺失信息的面積越大，尤其是連續缺失信息的區域的修復難度增加，修復的可信度也會降低。本文方法，可以在給出的參考視點中找出合成虛擬視點圖像空洞最少的最佳參考圖像對。

4 結語

由于本文參考十點選擇方法不依賴于場景模型以及虛擬視點插值算法，僅依賴于視點（相機）的信息，因此可以快速計算虛擬視點最鄰近兩側參考視點。從而獲得原則上場景信息缺失最少的參考圖像選擇策略，得到高質量的虛擬視點合成圖像。

但是，遺憾的是本文方法僅適用于視點的視角方向一致或者看向極遠處同一點的情況下適用，而在采樣視角也是隨機時，無法保證獲取能夠渲染出最高質量虛擬視點圖像的參考視點。當參考視點的視角與虛擬視點視角方向偏差較大時，即使是最鄰近距離，也對虛擬視點合成圖像沒有太大的增益效果。因此，如果在視點和視角完全隨機設定的背景下，我們則需要考慮視線方向對場景采樣結果和虛擬視點插值的影響。