視頻幀影像和傾斜攝影點云融合精細建模方法研究

摘要：傾斜攝影技術是目前三維建模的重要方式，具有效率高、成本低且靈活快捷的優點，然而其模型結構不完整、表面拉花的問題也同樣存在，這種情況在構建筑物部分尤為嚴重。為解決傾斜攝影建模精度的不足問題，提出一種視頻幀影像與傾斜攝影融合精細建模方法。首先，通過無人機采集測區的傾斜影像并通過內業處理生成傾斜點云數據；其次，使用運動相機獲取測區構建筑物的視頻幀影像，利用增量式運動恢復結構（Structure"From"Motion，SFM）算法和多視圖立體視覺（Multi-View"Stereo，MVS）算法進行三維重構生成點云數據；最后，在點云配準的基礎上將兩部分點云數據統一到相同坐標系統，再對兩部分點云數據進行融合建模，實現三維模型的精細化呈現。結果表明：該方法能夠快速、精確地融合視頻幀影像和傾斜攝影影像，生成高質量的三維模型，為不同數據的融合精細建模提供一種新的思路。

關鍵詞：傾斜攝影"視頻幀影像"點云融合"精細建模

中圖分類號：P231

Research"on"Fine"Modeling"Method"of"Point"Cloud"Fusion"of"Video"Frame"Image"and"Oblique"Photography

HUANG"Lizhang

Water"Survey"and"Design"Co.，Ltd."of"Fujian"Water"Resources"Investment"and"Development"Group"Co.，"Ltd.，"Fuzhou，"Fujian"Province，"350001"China

Abstract："Oblique"Photography"technology"is"an"important"way"of"three-dimensional"modeling"at"present，"with"the"advantages"of"high"efficiency，"low"cost"and"flexible"and"fast，"but"its"model"structure"is"not"complete，"and"surface"scratches"also"exists，"which"is"particularly"serious"in"the"construction"of"buildings."In"order"to"solve"the"problem"of"insufficient"modeling"accuracy"in"oblique"photography，"this"paper"proposes"a"fine"modeling"method"of"video"frame"image"fusion"with"oblique"photography."Firstly，"the"oblique"image"of"the"survey"area"is"collected"by"UAV"and"the""obliquepoint"cloud"data"is"generated"by"internal"processing;"Secondly，"the"motionnbsp;camera"is"used"to"obtain"the"video"frame"image"of"the"buildings"in"the"survey"area，"and"the"incremental"Structure"From"Motion（SFM）"algorithm"and"Multi-View"Stereo（MVS）"algorithm"are"used"to"reconstruct"the"three-dimensional"point"cloud"data;"Finally，"on"the"basis"of"point"cloud"registration，"the"two"parts"of"point"cloud"data"are"unified"into"the"same"coordinate"system，"and"then"the"two"parts"of"point"cloud"data"are"fused"to"achieve"the"fine"presentation"of"the"three-dimensional"model."The"results"show"that"this"method"can"fuse"video"frame"image"and"oblique"photographic"image"quickly"and"accurately，"and"generate"high"quality"3D"model，"providing"a"new"idea"for"fine"modeling"of"different"data"fusion.

Key"Words："Oblique"photography;"Video"frame"image;"Point"cloud"fusion;"Fine"modeling

傾斜攝影技術作為三維模型構建的重要手段之一，近幾年獲得巨大的發展，在眾多領域得到廣泛應用[1]。傾斜攝影測量主要通過在無人機飛行平臺上掛載多鏡頭相機實現同一時間對同一地物進行不同角度影像數據采集。相較于傳統的航空攝影測量技術，傾斜攝影測量具有效率高、成本低且靈活快捷的特點[2]。然而，無人機拍攝過程中由于影像重疊度不夠、拍攝角度的限制以及地面遮擋等原因，傾斜攝影三維模型成果常存在模型變形明顯、表面拉花的問題。

為解決傾斜攝影三維模型變形的問題，目前常采用的解決方法有：（1）傾斜攝影結合無人機近景攝影測量進行融合精細建模；（2）在傾斜攝影模型的基礎上利用相關軟件（如3DMax等）人工手動建模[3-5]；（3）傾斜攝影結合地面激光點云采集，進行融合建模。本文在現有傾斜攝影模型精細建模的研究基礎上，根據視頻數據的特點，提出一種視頻幀影像和傾斜攝影點云融合精細建模方法。

1研究方法

三維建模的基本原理是利用獲取的數據生成點云數據，從而構建不規則三角網，最后對不規則三角網進行貼膜處理[2]。本文介紹的精細建模的方法是將傾斜攝影生成的點云與視頻幀影像生成的點云進行配準融合，進而生成質量更高的三維模型。

（1）外業數據采集方面，傾斜攝影數據通過無人機航拍獲取；視頻的采集利用運動相機對建筑物進行拍攝完成。（2）影像數據處理方面，傾斜攝影數據采用CC（Context"Capture）軟件進行像控刺點和空三處理，生成傾斜攝影模型和點云數據。視頻經分幀處理后，利用增量式運動恢復結構（Structure"From"Motion，SFM）算法生成稀疏三維點云數據，再利用多視圖立體視覺（Multi-View"Stereo，MVS）算法進一步將稀疏點云數據重建為密集點云數據。（3）點云數據配準融合處理方面，點云數據配準利用特征點采用手動粗配準結合迭代最近點（Iterative"Closest"Point，ICP）算法精配準的方式進行，在配準的基礎上導入CC軟件進行點云融合，生成高精度三維模型。

2研究結果與分析

本次選用某住宅小區為研究測區，測區面積0.17"km2，地勢較平緩，以住宅和倉儲用地為主，范圍內高低建筑分布均勻。測區數據的獲取和處理具體流程如圖1所示。

2.1測區傾斜攝影數據采集與處理

利用大疆M300RTK無人機搭配大疆禪思P1相機對測區進行傾斜攝影影像采集。設置無人機固定飛行高度120"m，重疊度設置航向為80%，旁向為70%，飛行速度8"m/s，測區共飛行兩個架次，采集影像2"687張。

在測區范圍內均勻布設10個像控點和6個檢查點并利用RTK采集其三維坐標，平面坐標系采用CGCS2000坐標系，高程系統采用1985國家高程基準。

對采集的原始外業資料進行飛行質量的檢查和影像質量的檢查后，將合格的影像數據和Pos文件導入CC軟件，手動對影像像控點進行測點，并進行空中三角測量，得到測區的傾斜攝影模型和點云數據。

2.2測區視頻幀數據采集與處理

本次視頻數據的采集通過運動相機以定焦環繞方式，人工拍攝測區內建筑物的四周立面視頻，拍攝過程中應盡量保證相機的穩定，并使視頻的中心點在同一直線上。

將外業拍攝的視頻數據導入CC軟件，利用視頻分幀功能將其轉換為視頻幀影像。視頻分幀的結果直接影響到后續精細建模結果，通過設定合理的視頻分幀流程，以獲得最優抽幀時間間隔，可有效避免外業數據二次采集，其處理計算公式為：

式（1）中：i表示間隔時間下提取影像幅數；T表示優化視頻分幀總時長；b表示提取時間間隔；G表示讀取速率；Wi表示當前抽幀序號；Wi+1表示下一抽幀序號。

SFM是從一定重疊區域、存在不同視覺之間的多幅影像中恢復出相機位姿和場景中加密點坐標[6]。SFM算法可以分為全局式SFM算法和增量式SFM算法，增量式SFM算法具有數據處理更精確且不容易受到異常值的影響的特點，本次實驗采用增量式SFM算法將視頻幀影像處理生成點云數據。經增量式SFM算法生成的三維點云數據仍較稀疏，為了提高與傾斜攝影點云數據的配準精度，還需使用MVS算法[7]對稀疏三維點云數據進行密集化重建，生成稠密點云數據。

2.3傾斜攝影點云與視頻幀影像點云融合建模

經過上述流程處理的視頻幀點云與傾斜攝影點云坐標系不統一，為實現兩者的融合，還需對視頻幀點云數據進行配準。

點云數據的配準通過選取兩部分點云數據的特征點，采用手動粗配準結合ICP算法精配準的方式進行。兩部分點云數據經配準后，再次導入CC軟件進行融合，經空三處理獲得精細化三維模型。

對測區范圍內某建筑物模型融合精細重建，重建前后對比如圖2所示，其中，圖2（a）為原始傾斜攝影模型，模型變形明顯、表面拉花嚴重；圖2（b）為融合精細建模模型，模型細節清晰，更接近實際情況。結果表明，該方法不但可實現建筑物的三維精細建模，而且相對傾斜模型建模效果更優。

2.4模型精度分析

為評價精細化重建模型的精度，將測區預留的6個檢查點的三維坐標分別與原始傾斜攝影模型和精細化重建模型中的對應點的坐標進行比對，利用中誤差計算公式分別計算兩模型的點位中誤差。

式（2）中：ms平面中誤差；mh為高程中誤差；△si為平面殘差；△hi為高程殘差，n為檢查點個數。

根據以上公式可求得原始傾斜攝影模型的平面中誤差為±3.41"cm，高程中誤差為±4.02"cm；精細化重建模型的平面中誤差為±2.69"cm，高程中誤差為±3.98"cm。平面中誤差及高程中誤差均滿足《三維地理信息模型數據產品規范》（CH/T"9015—2012）的要求[8]。

2.5建模效率分析

在外業實施方面，地面激光點云數據外業采集需要提前做好控制測量、站點布設等準備，工作耗時較長；無人機近景攝影測量數據的采集，主要依靠手動操作，對外業人員的要求比較高，另外在樹木遮擋嚴重地區和人口密集區實施起來也有諸多限制；本文所采用的方法只需利用運動相機以定焦環繞方式采集傾斜攝影盲區視頻即可完成外業工作，外業操作優勢更明顯，耗時較少。

在內業建模方面，以圖3建筑物為例，將本文提出精細建模方法設置為實驗組；將傾斜攝影結合無人機近景攝影測量融合精細建模設置為對照A組；將基于專業修模軟件的精細修模方法設置為對照B組；將傾斜攝影與地面激光點云采集融合精細建模方法設置為對照C組。以對照C組精細建模時間作為比較中間數（h），通過比較相對時間，統計各種方法的內業建模耗時，實現各種方法內業精細建模效率的比對，比對結果如圖3所示。

從圖3中可以看出，對照C組因外業采集的激光點云數據量龐大，內業對點云數據的處理耗時較多，建模時間最長，為1"h；對照B組的修模時間與構建筑物結構復雜程度密切相關，處理模型的時間浮動性較大，耗時0.8"h；對照A組對影像重疊度要求較高，在影像滿足條件的情況下耗時0.3"h；實驗組方法精細建模處理內業耗時為0.2"h，相較于其他對照組其內業建模耗時更少。

通過幾種精細建模方法的內外業作業情況對比可知，本文提出的方法具有外業可操作性更強，內業建模效率更高的優勢。

3結語

本文在傳統精細建模研究的基礎上提出一種視頻幀影像與傾斜攝影點云融合精細建模方法。該方法具有對外業人員要求低、實際可操作性強和建模效率高的特點，為三維模型的精細化建模提供一種新的思路。

參考文獻

[1]顧廣杰，姜堅，陶占杰.無人機傾斜攝影測量技術在應急測繪保障中的應用[J].測繪通報，2017（S1）：100-101，110.

[2]謝云鵬，呂可晶.多源數據融合的城市三維實景建模[J].重慶大學學報，2022，45（4）：143-154.

[3]卞敏.空地一體精細化三維模型構建方法[D].徐州：中國礦業大學，2020.

[4]譚仁春，姚嵐.城市三維快速建模方法探討[J].測繪科學，2015，40（5）：136-138.

[5]董富強，喜文飛.基于傾斜攝影測量的三維精細建模研究：以睿智五號樓為例[J].測繪與空間地理信息，2019，42（12）：65-67，70.

[6]江曉斌.基于無人機影像的增量式SFM關鍵技術研究[D].淄博：山東理工大學，2020.

[7]張茂正，燕寧娜，袁宜紅，等.復雜異形古建下基于SfM的視頻幀影像三維重構方法[J].測繪通報，2023（10）：54-60.

[8]龍勝.無人機傾斜攝影測量精細化三維建模及數字鄉村可視化應用研究[D].成都：成都理工大學，2021.