基于點云和高清影像數據的文化遺產多分辨率三維重建

朱 黎，胡 濤，鄭明輝

(湖北民族學院，湖北 恩施 445000)

基于點云和高清影像數據的文化遺產多分辨率三維重建

朱 黎，胡 濤，鄭明輝

(湖北民族學院，湖北 恩施 445000)

以不同類型的文化遺產為研究對象，提出了基于點云和高清影像數據的文化遺產多分辨率三維重建方法。該方法首先闡述了基于三維點云和高清影像數據的文化遺產三維重建的流程，然后提出了一種基于地理位置的不同分辨率遺址文物模型融合與展示方法。本文將該方法用于世界文化遺產——唐崖土司城遺址的虛擬展示，按照文物虛擬化方法精細重建了石人、石馬、牌坊等文物模型，并且實現了文物模型和遺址模型的融合展示。

文化遺產數字化展示；點云獲取；模型重建；模型融合

隨著國民素質的不斷提高，文物文化遺產越來越受到社會各界的關注。運用數字化技術、虛擬化技術保護和傳承文化遺產這一科學問題越來越受到學術界的重視。目前較常用的文化遺產展示技術主要為基于虛擬模型的文化遺產數字化展示。

在基于虛擬模型的文化遺產數字化展示方面，主要是通過重建逼真的文化遺產虛擬化模型，從形態、紋理等方面展示文化遺產內涵。李德仁院士闡述了虛擬現實技術在文化遺產保護中的應用[1]，胡偉爔等從數字化獲取和數字圖像處理角度對世界自然文化遺產保護關鍵技術作了全面的描述，并且指出了利用激光掃描儀可以獲得精確和完整的點云數據[2]。師國偉等提出了利用增強技術把虛擬物體有機地融合到真實環境中[3]，并且研發了數字圓明園增強現實系統，但該文獻并沒有闡述設計大范圍虛擬場景的方法。朱慶等利用GIS三維可視化技術實現了建筑文化遺產的逼真化展示[4]，并且設計了基于不同建筑尺寸的LoD數據集成管理方法，但該文獻未對如何在同一場景中動態展示不同尺寸文化遺產模型的問題進行說明。潘志庚等設計了一種基于B/S結構的文化遺產虛擬展示系統[5]，并且以二維動畫和漫游技術為基礎建立了京杭大運河虛擬展示平臺。周國奎等利用無人機航攝等測繪手段對某王陵進行了三維數字化重建[6]。

從上述文獻可以看出，較多的學者都是從設計文化遺產數字化展示系統角度出發，對所涉及的關鍵技術作了全面描述，很少提及如何虛擬地動態展示文化遺產的紋理細節。本文針對文化遺產的多樣性和復雜性的特點，重點研究了如何在同一場景中完成不同精度的文化遺址數字虛擬展示。

1 基于點云和高清影像的文化遺產多分辨率三維重建

本章將重點闡述如何利用高密度的點云數據和大尺寸的高清影像數據重建文化遺產三維模型，對點云融合、模型網格化、曲面擬合等文化遺產三維重建關鍵問題提出了解決辦法。在重建不同精度的遺址文物三維模型后，闡述了基于地理位置的多分辨率遺址文物模型的融合方法[7]，為在同一場景中動態地虛擬展示多分辨率文化遺產提供了解決方案。

1.1 基于點云數據和高清影像的文化遺產三維重建

通過激光掃描儀和高清影像設備采集文化遺產的點云數據和多角度高清影像數據后，首先需要對點云數據進行處理加工以生成文化遺產三維模型，然后在UV坐標系下利用高清影像數據完成文化遺產的紋理映射。基于點云數據和高清影像的文化遺產三維重建的流程如圖1所示。

圖1 基于點云數據和高清影像的文化遺產三維重建流程

對于遺址和文物，本文都采用了多站激光掃描技術獲取遺址文物的初始點云數據。首先對每一站點云數據進行雙邊濾波[6]，通過將噪聲點沿點的法矢方向移動，不斷地修正由于操作、遮擋等因素引起的較小噪聲。點云數據的雙邊濾波原理公式為

(1)

融合后的點云數據具備了高密度的特點，雖然可以最大限度保證重建模型的紋理細節，但對計算機處理能力提出了較高的要求。在保證重建模型質量的前提下，使用基于曲率采樣的點云數據稀釋方法減少單位體積內的點云數量[9]，降低點云數據的密度，從而提高點云處理的速度。根據點云坐標提取點云X-Y邊界，估算所有點云的曲率，并且估算點云曲率閾值和曲率極值；根據當前點云及其κ-最近鄰域點的曲率大小確定當前點的精簡距離，從而計算整個點云數據的精簡距離；最終通過遍歷整個點云，在曲率變化大的部分對應較小的精簡距離，在曲率變化小的部分對應較大的精簡距離，從而實現點云數據的稀釋。圖2為唐崖土司城遺址張王廟左石人點云數據采用基于曲率采樣點云數據稀釋的對比圖。

利用基于曲面warp的方法對經過稀釋后的點云數據集進行網格化，建立遺址文物的三維網格化模型。基于warp的點云數據三角化方法利用形變的超二次曲面對點云數據集進行曲面擬合，實現了曲面與輸入點云數據集較好的近似匹配。在曲面擬合過程中，離散的點云數據到超二次曲面的距離越近，三角化的模型精度就越高。由于在點云數據三角化的過程中會存在三維模型孔洞現象(如圖2(c)所示)，通過人工交互的方式對三角化模型中存在的孔洞進行識別，并利用優先前序網格技術(AFM)[9]建立空洞初始化匹配網格，然后通過解泊松方程計算初始化匹配網格中所有頂點的新坐標，經過多次迭代，實現對網格孔洞的填補(如圖2(d)所示)。

采用NURBS曲面擬合方法對修補后的遺址文物三維網格進行曲面擬合[10]，實現遺址文物模型的三維曲面重構。NUBRS曲面擬合方法是根據已經具有拓撲結構的模型三維網格利用最小二乘非均勻B樣條[15]推導曲面的控制頂點Di,j和對應權值Wi,j，從而得到遺址文物模型的在水平方向u和垂直方向v的曲面參數方程N(u,v)。

建立遺址文物在NUBRS曲面方程后，利用UV映射創建二維紋理坐標將圖像紋理映射到曲面網格。由于在采集遺址文物點云數據過程中完成了遺址文物的高精度影像數據的采集，然后利用控制頂點和對應影像數據的紋理坐標，確保了模型細節上的紋理完整性，最后通過紋理渲染制作出具有真實感的文物三維模型(如圖2(e)所示)。

圖2 基于點云數據和高清影像的文化遺產三維重建過程示例

1.2 基于地理位置的不同分辨率遺址文物模型整合

本文利用遺址文物的絕對位置坐標，完成不同分辨率遺址文物模型的數據融合[10]，實現了在同一場景下不同精度的遺址文物模型整合展示。遺址文物由于占有一定范圍，需要進行多站的掃描，采用衛星定位手段進行多站的絕對定位。利用三維激光掃描儀進行遺址文物掃描過程中，可以獲得掃描儀所處的地理位置信息{φ,λ,l}，其中，φ為經度信息、λ為緯度信息，l為海拔高度。根據空間參照系統理論，在進行地理坐標匹配時，需要將球面經緯度坐標轉換成投影平面坐標。考慮到遺址文物三維模型融合需要利用高度信息完成各自模型在Z軸上的匹配，將掃描儀的海拔高度l轉換成三維投影空間的Z軸坐標。由于需要多次掃描才能完成遺址文物的三維數據獲取，在進行地理位置信息向三維投影空間轉換之前，需要利用n站掃描儀地理位置信息確定掃描對象中心點的近似地址位置信息{φo,λo,lo}，轉換公式如下

(2)

假設對m個模型按照地理位置進行融合，利用高斯-克呂格投影理論[11-12]，第j個模型中心點的三維投影空間坐標為

(3)

圖3 遺址文物模型坐標變換示意

2 文化遺產三維模型重建實例

基于本文提出的基于點云和高清影像的文化遺產三維模型重建流程，對世界文化遺產——湖北唐崖土司城遺址的核心遺址文物進行了數字化重建和展示等試驗。傳統的分離式遺址文物虛擬展示，不僅不能完整地展示整個遺址的整體風貌，而且將遺址文化內涵進行了人為的分割。針對這種現象，本文在對唐崖土司城遺址和文物進行三維虛擬化的基礎上，基于遺址地圖和文物絕對位置，將遺址和相關的文物進行了三維虛擬融合。首先根據地理位置坐標將不同精度的遺址和文物模型歸一到同一三維虛擬空間中，然后利用虛擬漫游等展示技術實現了同一空間中不同精度的虛擬遺址文物模型的展示。圖4(a)、(b)為左右石人文物精細文物模型實例；圖4(c)、(d)為張飛廟遺址模型與石人石馬文物模型的融合展示效果圖，從圖中可以看出高分辨率的石人石馬模型較張飛廟遺址模型具有更為逼真的細節紋理；圖4(e)、(f)是衙署區遺址模型與“荊南雄鎮”牌坊文物模型的融合展示效果圖，從圖中也可以清楚地看出牌坊的紋理較遺址的紋理更為豐富和逼真。總體上來看，多分辨率遺址文物模型融合與展示技術在保證了遺址完整性的前提下，充分突出了遺址上關鍵文物的細節和特點。

圖4 多分辨率遺址文物模型融合與展示效果圖

3 結 論

本文針對文化遺產的數字化展示問題，提出了基于點云和高清影像的多分辨率三維模型重建流程和方法，該流程包括點云數據的預處理、多站點云數據融合、點云稀釋(采樣)、點云三角化、三維模型修補、三維模型曲面重建和三維模型紋理映射整個過程。最后針對不同精度的三維模型如何在同一虛擬空間進行展示的問題，設計了一種基于地理位置的多分辨率遺址文物模型融合的方法，利用在獲取三維點云過程中的激光掃描儀的經緯度坐標和海拔高度信息，確定了不同精度模型的近似中心點在同一三維虛擬投影空間的三維坐標。本文最后從文化遺產的三維重建、遺址模型與文物模型融合等多方面驗證了提出方法的可用性，并為同類型文化遺址的虛擬展示提供了參考。

[1] 李德仁. 虛擬現實技術在文化遺產保護中的應用[J]. 云南師范大學學報(哲學社會科學版), 2008, 40(4):1-7.

[2] 胡偉爔, 潘志庚, 劉喜作,等. 虛擬世界自然文化遺產保護關鍵技術概述[J]. 系統仿真學報, 2003, 15(3):315-318.

[3] 師國偉, 王涌天, 劉越,等. 增強現實技術在文化遺產數字化保護中的應用[J]. 系統仿真學報, 2009, 21(7):2090-2093.

[4] 朱慶, 盧丹丹, 張葉廷. GIS三維可視化在數字文化遺產中的應用[J]. 測繪科學, 2006, 31(1):55-57.

[5] 潘志庚, 沈華清, 陳勝男,等. 文化自然遺產數字化與保護——漫游京杭大運河[C]∥ 世界遺產論壇暨全球化背景下的中國世界遺產事業學術研討會. 南京：[s.n.]，2008.

[6] 周國奎, 張帆, 張慎滿,等. 靖江王陵三維數字化系統設計與關鍵技術研究[J]. 測繪通報, 2015(8):105-109.

[7] 段偉, 閆利. 融合圖像的頻率定量分析及其空間分辨率的確定方法[J]. 測繪學報, 2016, 45(6):691-697.

[8] 毛華超, 彭功狀, 張和明,等. 面向模型粒度控制的多分辨率建模方法[J]. 系統仿真學報, 2015, 27(11):2630-2637.

[9] 公羽, 呂志鵬. 基于雙邊濾波的點云數據預處理方法[J]. 測繪與空間地理信息, 2016, 39(1):125-127.

[10] ZHAO W, GAO S, LIN H. A Robust Hole-filling Algorithm for Triangular Mesh[J]. The Visual Computer, 2007, 23(12): 987-997.

[11] 曹娟, 歐陽永昇, 陳中貴,等. 非均勻B樣條曲面的自適應節點設置方法[J]. 計算機輔助設計與圖形學學報, 2015, 27(1):60-67.

[12] 李崇瑞, 張錦, 肖杰. 應用TLS點云數據確定邊坡特征對象區域和形變分析[J]. 測繪通報, 2016(7):94-97.

[13] USINKIEWICZ S, LEVOY M. Efficient Variants of the ICP Algorithm[C]∥Proceedings of Third International Conference on 3D Digital Imaging and Modeling. [S.l.]: IEEE, 2001: 145-152.

[14] NURUNNABI A, WEST G, BELTON D. Outline Detection and Robust Normal-curvature Estimation in Mobile Laser Scanning 3D Point Cloud Data[J]. Pattern Recognition, 2015, 48(4): 1404-1419.

[15] MALING D H. Coordinate Systems and Map Projections[M]. [S.l.]: Elsevier, 2013.

[16] 袁修孝, 張雪萍, 付建紅. 高斯-克呂格投影坐標系下POS角元素的轉換方法[J]. 測繪學報, 2011, 40(3):338-344.

3DModelMulti-scaleReconstructionBasedonCloudPointandHDVideo

ZHU Li,HU Tao,ZHENG Minghui
(Hubei University for Nationalities, Enshi 445000, China)

In this paper, we propose a 3D model reconstruction for different types of cultural heritage based on cloud point and HD video. The three-dimensional reconstruction technology with multi-resolution on the basis of three-dimensional point cloud and high definition image data is described firstly. Then, we describe the method of cultural relics model fusion and display based on location. In this paper, the proposed method is employed to display of Tangya Tusi castle ruins which is the world’s cultural heritage. Shiren, shima, arches and other relic’s model were rebuilt according to the fine cultural relics virtual reconstruction method. Through model fusion the multi-resolution digital presentation for Tangya Tusi castle ruins was completed.

digital presentation for cultural heritage; point cloud acquisition; model reconstruction; model fusion

朱黎，胡濤，鄭明輝.基于點云和高清影像數據的文化遺產多分辨率三維重建[J].測繪通報，2017(10)：111-114.

10.13474/j.cnki.11-2246.2017.0326.

2017-06-08；

2017-09-01

國家自然科學基金(61562025)；國家科技支撐計劃(2015BAK27B03)；恩施州科技計劃(XYJ2016000155)

朱 黎(1984—)，女，講師，研究方向為民族文化數字化保護，激光掃描測量，數字圖像處理。E-mail: lier_zhu@163.com

P234

A

0494-0911(2017)10-0111-04