多源數(shù)據(jù)融合的三維重建技術(shù)在文物保護(hù)中的應(yīng)用*

陳思瀚，孫保燕，蔣嘉鑫，李東遠(yuǎn)，李天瑋

（桂林電子科技大學(xué)建筑與交通工程學(xué)院， 廣西 桂林 541004）

1 研究背景

實景三維作為真實、 立體、 時序化反映人類生產(chǎn)、 生活和生態(tài)空間的時空信息， 是國家重要的新型基礎(chǔ)設(shè)施。 實景三維中國也為數(shù)字中國提供統(tǒng)一的空間定位框架和分析基礎(chǔ)， 是數(shù)字政府、 數(shù)字經(jīng)濟(jì)重要的戰(zhàn)略性數(shù)據(jù)資源和生產(chǎn)要素。 實景三維中國建設(shè)是貫徹新發(fā)展理念、 構(gòu)建新發(fā)展格局的重要舉措， 是未來測繪地理信息服務(wù)的發(fā)展方向和基本模式， 是產(chǎn)業(yè)發(fā)展新的增長點[1]。

文物遺產(chǎn)承載了豐富的歷史文化信息和文化內(nèi)涵， 具有很高的藝術(shù)價值、 展示價值和科學(xué)價值。由于極端天氣等自然環(huán)境的侵害以及人為因素?fù)p害， 許多歷史文物收到了大小程度的損壞， 造成了不可挽回的損失。 傳統(tǒng)測繪多利用卷尺、 全站儀等測繪儀器進(jìn)行簡單的距離、 高度、 面積測量， 極易受空間地形限制； 測繪成果以二維圖紙與照片的形式保存， 對于不規(guī)則、 構(gòu)件精細(xì)的文物測繪周期長、 測量精度也較低， 且極易造成文物數(shù)據(jù)遺漏缺失[2]， 存在成本高、 效率低等諸多共性問題， 難以實現(xiàn)對文物有效地保護(hù)與利用。 為了更好地對文物進(jìn)行保護(hù)， 同時為今后的修繕與利用工作提供詳實的數(shù)據(jù)支持與科學(xué)依據(jù)， 需要利用人工智能技術(shù)與計算機(jī)技術(shù)對文物進(jìn)行數(shù)據(jù)建檔保存， 而文物的三維數(shù)字化是實現(xiàn)此目的的最有效方法。

近年來， 隨著測量儀器技術(shù)水平的日新月異，文物的三維數(shù)字化重建方法也逐漸呈現(xiàn)多角度、 多層次態(tài)勢發(fā)展。 空中影像數(shù)據(jù)采集技術(shù)通常為無人機(jī)傾斜攝影測量技術(shù)， 地面常用的數(shù)據(jù)采集技術(shù)包括地面近景多基線攝影測量技術(shù)、 三維激光掃描技術(shù)， 這種現(xiàn)代化數(shù)字測繪技術(shù)因其相較于傳統(tǒng)測繪方式具有測量精度高、 數(shù)據(jù)信息完整、 工作效率高等優(yōu)勢， 已廣泛應(yīng)用于實景三維測繪與建模[3]。

王棋[4]利用無人機(jī)傾斜測量技術(shù)并采取貼近攝影測量方案， 重建了明月禪寺的三維模型， 由于多方面因素的限制， 三維模型存在漏洞、 拉花等問題， 模型完整度較差。 王巍等[5]利用近景攝影測量技術(shù)采集竹木雕文物影像信息并重建點云數(shù)據(jù)， 經(jīng)處理與渲染后雖得到文物三維數(shù)字模型， 但此方法只能滿足大型、 紋理簡單或小型文物， 且模型優(yōu)化過程復(fù)雜， 技術(shù)適用范圍較窄。 李楠等[6]等利用三維激光掃描技術(shù)結(jié)合Smart 3D 軟件完成對歷史建筑文物的三維重建， 三維模型成果中頂部數(shù)據(jù)缺失嚴(yán)重， 且出現(xiàn)頂部碎片現(xiàn)象， 受到陽光影響造成了色彩還原度低的問題。

目前， 技術(shù)研究主要集中在單類（單臺） 設(shè)備應(yīng)用上， 較少將多類設(shè)備數(shù)據(jù)源有機(jī)融合應(yīng)用， 解決實景三維模型錯位、 碎片、 空洞和提高效率的研究。 單一建模技術(shù)受各方面的限制， 在外業(yè)數(shù)據(jù)采集工作中存在一定局限性， 難以精準(zhǔn)記錄并還原文物精美的紋理細(xì)節(jié)與雕刻文字， 導(dǎo)致無法建立滿足文物三維模型電子檔案的精細(xì)化實景三維模型。 地面三維激光掃描技術(shù)可快速、 非接觸地獲取文物精細(xì)點云數(shù)據(jù)， 但受部分文物高度及復(fù)雜構(gòu)造的影響， 以及三維激光掃描儀器架設(shè)點的限制， 無法實現(xiàn)頂部構(gòu)造及紋理細(xì)節(jié)的重建， 導(dǎo)致三維模型的空洞缺失； 地面近景多基線攝影測量技術(shù)雖具有采樣靈活的優(yōu)勢， 但其受采樣區(qū)域的限制， 無法建立文物完整三維模型電子檔案， 只能滿足小范圍細(xì)節(jié)紋理的重建； 無人機(jī)空中傾斜攝影技術(shù)可獲取文物頂部的圖像數(shù)據(jù)與紋理細(xì)節(jié)， 建立高精度、 精準(zhǔn)定位、 大范圍帶有紋理細(xì)節(jié)信息的實景三維模型， 但其采樣過程中存在較多的拍攝盲區(qū)與攝影死角， 受影像分辨率限制， 較多文字與圖案精度較差， 造成信息遺漏的問題。 因此， 研究如何結(jié)合各建模技術(shù)的優(yōu)勢從而高效逆構(gòu)文物的精細(xì)化三維模型， 對文物進(jìn)行有效地保護(hù)與利用具有重要的現(xiàn)實意義。

2 多源數(shù)據(jù)融合的三維重建技術(shù)分析

多源數(shù)據(jù)融合的三維重建技術(shù)融合地面三維激光掃描技術(shù)、 地面近景多基線攝影測量技術(shù)與空中無人機(jī)傾斜攝影測量技術(shù)， 可充分結(jié)合3 種建模技術(shù)的優(yōu)勢， 對被測物進(jìn)行全方位影像數(shù)據(jù)采集； 將采集的影像數(shù)據(jù)經(jīng)同名特征點信息匹配融合， 以提高三維模型的完整度和精細(xì)度[7]， 一次性、 快速高效重建含有文物完整細(xì)部紋理細(xì)節(jié)的三維模型電子檔案。 圖1 為多源數(shù)據(jù)融合的三維重建技術(shù)流程。

圖1 多源數(shù)據(jù)融合的三維重建技術(shù)流程

2.1 外業(yè)數(shù)據(jù)采集

通過對文物進(jìn)行現(xiàn)場勘測， 從測量目標(biāo)的結(jié)構(gòu)形式、 結(jié)構(gòu)復(fù)雜度、 尺度體量、 紋理精細(xì)度等多方面出發(fā)， 設(shè)計出適合目標(biāo)數(shù)據(jù)采集的個性化方案。

商業(yè)級無人機(jī)因其低成本、 輕質(zhì)、 構(gòu)造簡單等優(yōu)勢， 已廣泛應(yīng)用于非接觸測繪領(lǐng)域。 利用消費級無人機(jī)搭載單鏡頭進(jìn)行5 架次飛行的數(shù)據(jù)采集方式， 可多角度獲取測量目標(biāo)頂部與側(cè)面的數(shù)據(jù)； 在數(shù)據(jù)采集過程中應(yīng)注意以下4 點： 一是依據(jù)現(xiàn)場勘測結(jié)果提前規(guī)劃好飛行路線， 應(yīng)覆蓋整個測區(qū)以防止數(shù)據(jù)漏失； 二是確保相鄰影像間具有足夠的重疊度， 一般設(shè)置航向重疊度高于80%、 旁向重疊度高于50%； 三是避免陽光直射， 減少陰影對精細(xì)化建模的影響； 四是無人機(jī)保持較低速度勻速飛行， 保證對焦準(zhǔn)確。

三維激光掃描儀可以以設(shè)備本身為中心主動發(fā)射激光束， 激光束接觸目標(biāo)后的反射信號可被設(shè)備接收， 從而快速獲取目標(biāo)完整點云數(shù)據(jù)。 通過現(xiàn)場勘測確定最佳掃描路線， 盡可能選擇遮擋處少、 掃描區(qū)域較廣的站點， 同時應(yīng)保證相鄰站點有足夠的重合度， 從而減少點云數(shù)據(jù)缺失； 在站點上架設(shè)設(shè)備， 選擇相鄰且通視的站點設(shè)置標(biāo)靶， 將二者整平， 即可進(jìn)行數(shù)據(jù)采集工作。

無人機(jī)傾斜攝影和三維激光掃描掃描技術(shù)受到測量條件限制， 只可對目標(biāo)外立面輪廓進(jìn)行重建，對于一些細(xì)部紋理細(xì)節(jié)的還原精度較差， 因此選擇技術(shù)采集靈活的地面近景多基線測量技術(shù)進(jìn)行數(shù)據(jù)補(bǔ)拍。 在拍攝時應(yīng)保證相鄰影像的重疊度， 按順時針或逆時針同方向有序進(jìn)行； 對于遮擋處數(shù)據(jù)采集可借助其他工具進(jìn)行補(bǔ)光， 同時結(jié)合固定支架與快門線以消除抖動影響。

2.2 多源數(shù)據(jù)融合

Context Capture（Smart 3D） 是由Bentley 公司研發(fā)出的一款基于攝影相片自動建立實景三維模型的軟件。 這款軟件可以利用符合要求的原始相片數(shù)據(jù)在少量人工干預(yù)下甚至無人工干預(yù)下進(jìn)行高效、快速地實景三維建模。 該軟件集合利用了影像處理、 計算機(jī)虛擬現(xiàn)實以及幾何圖形學(xué)算法， 可對多種數(shù)據(jù)源進(jìn)行快速處理， 生成基于真實空間坐標(biāo)的實景三維模型， 因此廣泛應(yīng)用于三維模型重建[8]。

將無人機(jī)空中傾斜攝影與地面近景攝影影像數(shù)據(jù)進(jìn)行篩選， 除去對焦模糊的不合格影像， 校正剩余影像鏡頭畸變， 并對影像進(jìn)行修正曝光處理與勻色勻光處理， 以保證后續(xù)同名特征點的識別、 提取與拼裝。 將預(yù)處理后的二維影像數(shù)據(jù)導(dǎo)入Context Capture， 設(shè)置RTK 空間坐標(biāo)， 進(jìn)行多視覺影像密集自動匹配、 空中三角測量計算， 從而獲取高密度三維點云數(shù)據(jù)； 將三維激光掃描所獲取的大而無序的點云數(shù)據(jù)利用軟件完成點云數(shù)據(jù)的配準(zhǔn)、 去噪、采樣、 封裝等工作。

各類儀器設(shè)備在對文物數(shù)據(jù)采集過程中的優(yōu)勢作用、 架設(shè)地點、 數(shù)據(jù)采集方式均不同， 擁有各自的基準(zhǔn)點坐標(biāo)、 采樣區(qū)域、 變形誤差， 將空中傾斜攝影坐標(biāo)系、 地面三維激光掃描儀坐標(biāo)系、 地面近景攝影坐標(biāo)系進(jìn)行融合、 數(shù)據(jù)匹配合成課題所需要的大數(shù)據(jù)， 成為本課題成功的關(guān)鍵。

在不同采集的數(shù)據(jù)中， 掃描點的相對位置是一致的， 因此需要將空中傾斜攝影測量坐標(biāo)系、 地面攝影測量坐標(biāo)系與三維激光測量坐標(biāo)系三者進(jìn)行轉(zhuǎn)換統(tǒng)一[9]。 基于計算機(jī)視覺理論原理， 通過選取同名特征點進(jìn)行對旋轉(zhuǎn)矩陣和平移矩陣的求解。 通過求得的旋轉(zhuǎn)矩陣與平移矩陣的解， 將無人機(jī)傾斜攝影數(shù)據(jù)與三維激光掃描數(shù)據(jù)各點坐標(biāo)轉(zhuǎn)化為同一坐標(biāo)系下的坐標(biāo)值， 通過對同名特征點的提取與匹配進(jìn)而完成兩種數(shù)據(jù)融合。

2.3 精細(xì)化實景三維模型逆構(gòu)

空中無人機(jī)傾斜攝影建模技術(shù)與地面三維激光掃描建模技術(shù)融合雖可結(jié)合兩種建模技術(shù)的優(yōu)勢，但仍有部分精細(xì)的文物數(shù)據(jù)無法完整保存。 借助地面多基線近景攝影的高清影像以彌補(bǔ)紋理缺失。 將經(jīng)預(yù)處理的地面相片與已經(jīng)過融合的數(shù)據(jù)在Context Capture 建模軟件中進(jìn)行同名特征點的匹配， 完成最終的數(shù)據(jù)融合。

通過多源數(shù)據(jù)融合可自動完成不合理三角網(wǎng)表面的優(yōu)化處理， 構(gòu)建TIN 三維網(wǎng)格模型， 進(jìn)而生成白膜模型， 將文物紋理信息進(jìn)行紋理映射， 最終逆構(gòu)帶有真實的、 具有完整紋理信息的精細(xì)化實景三維模型。

2.4 建模成果對比

通過多源數(shù)據(jù)融合的三維重建技術(shù)可建立完整精細(xì)的文物三維模型電子檔案， 對所得的精細(xì)化實景三維模型分析可知： 該技術(shù)彌補(bǔ)了無人機(jī)傾斜測量建模技術(shù)對視野盲區(qū)建模存在空洞、 碎片化、 三維激光掃描建模技術(shù)難以重建文物頂部的問題， 與近景攝影照片后的模型線條鮮明、 紋理清晰， 三維模型完整度與精細(xì)度顯著提高， 滿足建立文物三維模型電子檔案的要求。

3 技術(shù)特點

1） 相比于傳統(tǒng)測繪方式， 全程人工陸地遙控操作測繪儀器代替人工登高作業(yè)， 突破空間地形的限制， 大大提高測繪人員的作業(yè)安全系數(shù)； 非接觸式數(shù)據(jù)采集， 在最大程度上保護(hù)文物的同時對其進(jìn)行數(shù)據(jù)地完整采集。

2） 多源數(shù)據(jù)融合的三維重建技術(shù)實現(xiàn)3 種現(xiàn)代化建模技術(shù)優(yōu)勢互補(bǔ)， 利用價格低廉的測繪設(shè)備可一次性實現(xiàn)對精細(xì)數(shù)據(jù)地采集工作， 解決了目前實景三維模型空洞、 碎片、 錯位、 低效率高成本等共性問題， 所建立起的三維模型電子檔案更加精細(xì)完整、 更具有參考意義與保存意義， 為文物后續(xù)保護(hù)、 修繕、 研究、 利用提供數(shù)據(jù)支撐。

3） 實景三維模型可對現(xiàn)實世界高精度、 強(qiáng)現(xiàn)實性刻畫， 基于多源數(shù)據(jù)融合的三維重建技術(shù)“ 所見即所得” 的特點， 經(jīng)技術(shù)推廣， 可實現(xiàn)在建筑質(zhì)量無損檢測、 交通基礎(chǔ)設(shè)施智能化運(yùn)維巡檢、 “ 不打烊” 數(shù)字博物館、 鄉(xiāng)村振興、 CIM 等領(lǐng)域數(shù)字孿生應(yīng)用。

4 精細(xì)化實景三維模型成果應(yīng)用

4.1 文物電子檔案庫應(yīng)用

將前期所采集對影像數(shù)據(jù)、 點云數(shù)據(jù)及精細(xì)化實景三維模型成果進(jìn)行整理， 同時引入檢索技術(shù)以便于后續(xù)快速查看與利用， 建立統(tǒng)一的精度標(biāo)準(zhǔn)，確保電子檔案庫的質(zhì)量與真實性； 當(dāng)文物電子檔案庫初步成型后可上傳至共享服務(wù)平臺， 實現(xiàn)文物數(shù)據(jù)的可讀與共享。 積極與文物保護(hù)部門進(jìn)行合作，以期繼續(xù)對文物電子檔案庫進(jìn)行完善； 后期依托文物電子檔案庫數(shù)據(jù)真實的特點， 可應(yīng)用于文物異地修復(fù)、 旅游開發(fā)、 文創(chuàng)產(chǎn)品生產(chǎn)等領(lǐng)域， 促進(jìn)文化事業(yè)的發(fā)展[10]。

4.2 “ 不打烊” 線上博物館

通過非接觸測繪方案采集文物三維點云數(shù)據(jù)，將實體文物數(shù)字化； 智能提取文物空間曲面邊緣線， 根據(jù)輪廓線的匹配結(jié)果， 利用三維模型曲面拼接、 三維模型曲面融合、 三維模型曲面編輯等AI技術(shù)結(jié)合手動調(diào)整， 實現(xiàn)對破損文物無接觸數(shù)字化修復(fù)。 利用互聯(lián)網(wǎng)技術(shù)與數(shù)字化手段將線下文化遺產(chǎn)復(fù)刻至線上， 打破時空限制， 實現(xiàn)主流展示端口無插件瀏覽（PC 端、 移動端、 VR 設(shè)備） ， 拉近文物與大眾之間的距離， 充分發(fā)揮其教育展示、 文化傳播意義[11]。

4.3 文物復(fù)刻

依托完整精細(xì)、 含有細(xì)部紋理的文物三維模型電子檔案， 結(jié)合3D 打印技術(shù)與FDM- 熔融沉積成型技術(shù)， 實現(xiàn)1∶1 精準(zhǔn)復(fù)刻完整的實體文物模型，可應(yīng)用于文物研究、 展示等。

5 結(jié)束語

無人機(jī)傾斜攝影建模技術(shù)、 地面三維激光掃描技術(shù)、 多基線近景測量技術(shù)等現(xiàn)代化新型測繪技術(shù)， 具有高精度、 快速獲取文物數(shù)據(jù)優(yōu)勢， 已經(jīng)成為獲取現(xiàn)實文物空間數(shù)據(jù)的重要方法。 針對單一建模技術(shù)難以重建文物精細(xì)化實景三維模型的問題，提出將3 種技術(shù)融合的三維重建技術(shù)， 在建模效率、 精細(xì)度、 完整度方面均有較大提升， 可完成文物三維模型電子檔案重建工作， 為文物保護(hù)與利用提供精準(zhǔn)數(shù)據(jù)支持， 滿足文物保護(hù)事業(yè)發(fā)展要求。