天地一體全景影像快速獲取與應用技術

余建軍，徐攻博，郭望成，葉嘉琦，李 杰

(1. 浙江省地理信息中心，浙江 杭州 310012； 2. 浙江省第二測繪院，浙江 杭州 310012)

?

天地一體全景影像快速獲取與應用技術

余建軍1，徐攻博2，郭望成2，葉嘉琦2，李 杰2

(1. 浙江省地理信息中心，浙江 杭州 310012； 2. 浙江省第二測繪院，浙江 杭州 310012)

天地一體的高分辨率全景影像快速獲取與應用技術，采用移動采集車、船舶、定制背包等多種交通設備載體，以及普通相機、定制化全景相機和GPS、運動傳感器等配套設備，快速地獲取空中、地面、水面等復雜場景的高分辨率全景影像。本文利用全景拼接融合軟件、FlyPano處理軟件、Krpano發布軟件實現了全景影像實時處理與發布，同時結合天地圖、行業應用系統接口等，提供了API接口形式與專業應用進行結合與集成，真正實現了復雜場景的全景影像標準化、規?；a，以期在各行業中得到快速應用。

天地一體；全景影像；FlyPano；無人機；Krpano

全景影像具有全視角、虛擬真實和高現勢性的特點，已經逐漸成為一種新穎的地理信息數據，與傳統測繪和地理信息產品互為補充。全景影像的獲取方式多種多樣，谷歌與騰訊等互聯網公司采集方式較為單一、應用主要面向公眾，而缺少與行業結合的深入應用。全景技術在20世紀60年代就開始得到應用，ФТ全景轉機是蘇聯自己設計和研發并大量制造推向市場的最早的全景相機[1]。目前工業化生產比較成熟的全景相機有ladybug系列相機，其中高分辨率ladybug5相機分辨率為3000萬像素，全景的采集方式和新設備不斷出現，如德國Panono公司開發出一種拋向空中、在最高點拍攝全景照片的球形相機Panono的改良版，分辨率達到1億800萬像素[2]。同時全景影像開始與激光點云結合，實現了集成激光掃描儀及全景相機的多傳感器城市實景移動測量系統[3]。

政府及行業的應用有自身的特點和需求，對于影像的分辨率，拍攝的地物隨著全景影像應用面越來越廣泛，采集設備需要滿足在多種環境和條件下進行作業，如空中、路面、室內、鄉村小道、河面、山上、景區等。對于相機的便攜性要求、采集效率、系統穩定性、后期數據處理的快速便捷性等方面都提出了更高的要求。天地一體全景技術的研發，使全景數據更好地融入基礎地理信息數據主流，為傳統測繪提供了一種去專業化的面向公眾的表達形式。

1 全景采集技術

1.1 單站式

全景影像屬于共心圖像，多幅圖像同用一個攝影中心，拍攝時相鄰圖像保證重疊度達到30%。單站式全景采集技術是最為傳統的全景攝影技術，采集設備主要有單反相機、魚眼鏡頭、全景節點云臺、三角架及相關的配套設備。為保證后期照片拼接精度，需保證不同角度照片的拍攝必須在同一個攝影節點，即為鏡頭的光學中心。每個型號的鏡頭都只有一個攝影節點，全景節點云臺能精確控制相機的拍攝方向和拍攝位置，同時確保拍攝時處在同一個攝影節點上。利用魚眼鏡頭建立全方位視覺系統[4]。單站式全景采用一個單反相機和全景云臺(如圖1所示)完成采集，云臺實時地調整相機的朝向，并保證曝光時為同一光學中心；曝光參數可根據環境自行設置，雖然效率較低，但視覺效果比較好，是一種精細化的全景，適合于各種可達性場地拍攝。

圖1 全景拍攝原理與云臺實現共心曝光

1.2 全景相機

普通的相機在同一位置拍攝多張照片也可以合成全景，但是采集效率低，每張照片的曝光時間不一致。利用6個相機組合成一個全景相機，將全景相機、GPS設備、車輪傳感器、曝光控制器等進行集成控制，各個裝置通過中心控制器進行信息通信與信息采集，制作成可以快速采集影像與空間位置信息的全景采集設備，全景相機的控制系統如圖2所示。

圖2 定制全景相機控制系統

車輪傳感器主要用來將車輛與主控制器進行連接，實現全景相機按照距離進行曝光，曝光距離可以在5～20 m之間進行調整，車輛的行駛速度保持在30 km/h。曝光距離不能太小，曝光時間間隔太小可能引起相機故障。曝光控制器控制相機的各種不同曝光方式，可依據時間、距離、手動曝光等方式進行曝光。定制全景相機采集影像的分辨率與飽和度較高，具備快速、大批量高分辨率全景影像數據采集能力，同時方便自動及半動化全景影像快速處理，后期影像經過正畸后進行相機位置標定后，對各個相機照片進行融合拼接。該全景相機及相關設備可搭載于普通車輛、船舶等多種載體(如圖3所示)進行全景數據的采集。

圖3 全景相機搭載于三輪車、皮劃艇、汽車

1.3 無人空中全景

無人機是一種由無線電遙控或由自身程序控制的不載人飛行器，與衛星遙感，航空航天遙感相比，無人機低空遙感系統靈活、機動，能云下作業，受天氣影響小，飛行高度低，獲取的地理信息數據具有高精度、高清晰等優點，因此，無人機低空遙感技術廣泛應用于局部區域的監測和地理信息獲取。

無人機是空中全景數據采集的主要設備，空中全景具有分辨率高、場景大，視角范圍廣，以及能更好地顯示立體三維效果的特點。空中全景影像數據采集主要使用無人直升機，以無人機航拍的同一視點的照片素材為基礎[5]，一張全景影像像素達到3.2億像素?？罩腥皵z影系統基本構成包括旋翼無人飛行平臺、任務設備、飛行導航與控制系統、地面監控系統、數據傳輸系統及圖像處理系統等?？罩腥安杉夹g除載體為無人機外，基本原理與單站式采集相同，但航拍拍攝范圍大，視覺效果比地面要好。

2 全景處理步驟與原理

天地一體的全景數據來源可分為兩種基本類型，以定制全景相機采集的標準分幅影像和以普通相機采集的非標準分幅影像，分別采用模板與自動匹配拼接的方式生成全景圖。全景影像需要經過預處理、拼接融合、調色、糾偏、人臉車牌隱私處理、空間坐標處理、切片發布、系統集成等一系列處理步驟，主要步驟與過程如圖4所示。

2.1 全景拼接融合

目前圖像配準的方式大致可以分為3大類：基于變換域的方法、基于灰度相關的方法和基于圖像特征的方法。基于圖像特征的拼接方法是目前圖像拼接最常用的方法[6]?；谔卣鞯膱D像配準算法有：基于邊緣特征的配準方法、基于輪廓特征的配準方法、基于區域特征結構的配準方法、基于特征點的配準方法。其中基于特征點的配準方法與其他算法相比具有諸多優點：計算量低、配準精度高、噪聲的影響小等，因此成為目前圖像的配準算法。

圖4 天地一體全景處理流程

對于不同類型的全景采集方式，采用不同拼接融合方式，全景相機采集圖片為標準分幅的6張照片，相機型號、魚眼鏡頭及ISO、快門、光圈等曝光參數均保持一致，影像數據量大，通過制作拼接模板的形式統一進行拼接融合。通過單張影像特征點匹配，人工輔助添加控制點的形式，以制作模板，將制作的模板應用于同一工程，現勢性低時認為相機相對位置不發生變化，采集間隔較長時全景相機之間相對位置會發生形變，需要制作多套模板。使用模板方式拼接融合全景主要步驟包括載入圖像、鏡頭設置、投影模型選擇、控制點設置、蒙版、優化處理、輸出圖片。在實際使用中，最為重要的幾個步驟為投影模型選擇、控制點設置和蒙版?？梢愿鶕D像的實際情況添加需要的控制點，使圖像的拼接效果更加完美。如圖5所示。

圖像拼接是全景圖生成技術中最為重要的步驟之一。圖像拼接的流程主要分為3個階段：圖像預處理階段、特征匹配階段和圖像融合階段。圖像處理階段包括預處理和提取圖像特征兩部分。在特征匹配階段的主要工作是剔除誤匹配點且對提取出的特征點進行匹配。圖像融合階段對圖像重疊部分進行平滑處理，使獲得的最終圖像有更好的視覺效果。圖像配準和圖像融合是圖像拼接涉及的兩個關鍵技術。精確找出相鄰兩張圖像中重疊部分的位置，確定兩張圖像的配準函數映射關系是圖像配準的關鍵。圖6為空中全景拼接效果。

圖5 全景控制點匹配與添加

圖6 空中拍攝全景拼接效果

2.2 隱私處理

全景最終發布在互聯網或局域網，人臉與車牌涉及個人隱私，需要對這些隱私信息進行識別與處理。利用機器學習方法，從大量的訓練樣本中自動抽取特征，在圖像中將行人與其他運動目標及干擾背景區分開來，并準確定位[7]。通過模式識別機器學習算法進行識別，然后對人臉與車牌進行高斯模糊處理。全景圖像與普通圖片存在差異，拼接融合后全景圖片屬于圓柱投影，變形較大，球赤道位置無變形，越接近極點變形越大，頂部和底部的極點拉升成與球赤道長度相等的直線。圖形圖像學中模式識別一般針對普通圖片，設計了一種針對全景影像進行隱私處理的方法。方法針對容易誤識的路牌、斜視角的車牌等進行幾何變換識別，整體識別精度為80%左右。如圖7所示，基于模式識別的隱私信息處理步驟如下：

Step1:人臉車牌正、負樣本的采集；

Step2:形態學處理及仿射變換；

Step3:cnn卷積神經網絡樣本機器學習；

Step4:基于紋理共生矩陣、harr特征檢測的圖像特征提取；

Step5:模式識別決策樹構建；

Step6:人臉車牌識別與高斯模糊。

圖7 人臉車牌信息處理結果

2.3 發布集成

全景影像圓柱投影圖片作為成果，采用球形投影方式進行發布展現，每一曝光位置對應一幅全景影像，單點之間通過熱點進行鏈接。單幅全景數據量較大，空中全景數據一般為地面全景的3～4倍，為保證全景瀏覽效率，采用二維地圖切片技術，基于四叉樹將圖片分級切片，每一級圖幅數均為上一級的4倍，原理效果如圖8所示。

圖8 基于四叉樹的圖像切片原理

測繪與地理信息數據表現形式具有多樣化的特點，傳統測繪與地理信息數據(如4D產品)表達抽象、專題信息豐富，但專業化程度高，不夠直觀。全景影像的特點正好與這些數據產品或衍生產品互為補充。全景圖切片在瀏覽器前端組合，通過Html5及Flex的富客戶端技術，瀏覽時只調用某一個級別范圍內的切片，達到實時瀏覽的效果，以球形投影、立方體投影或小行星投影表現，利用krpano提供的二次開發接口，以及Web網頁開發技術，結合天地圖接口等，將全景與天地圖、視頻、POI等進行集成，部署于云服務器，并提供基于全景的API開發接口，在其他系統中也能調用全景進行瀏覽和功能展現。如圖9所示。

圖9 全景與其他信息集成展現

3 展 望

天地一體全景影像快速獲取與應用技術，實現了多方位的高分辨率全景影像數據快速采集、處理與發布。全景影像作為一種新穎的地理信息數據形式，可以作為傳統地理信息數據的重要補充,可服務于國土、旅游、水利、交通等多個行業，在“五水共治”、浙江美麗鄉村建設、浙江省山塘水庫監測、德清數字社區建設、浙東引水工程及浙江省地理國情普查等多個項目中得到應用，既可以作為一種新的基礎地理信息數據，又可作為立面的歷史影像數據進行留存，同時還能與業務數據進行集成，深入開發應用展示與管理系統。

[1] 田金良.前蘇聯最早3P全景相機-ФТ系列轉機[J].照相機,2009(12)：87-88.

[2] 拋到空中拍照的球形全景相機.傳感器世界[J].2014(1)：48-48.

[3] 宋楊.基于RIEGLVZ-400及Ladybug3全景相機的移動激光測量系統的研制及應用[J].城市勘測，2014(2)：91-95.

[4] 馮為嘉,張寶峰,曹作良. 基于魚眼鏡頭的全方位視覺參數標定與畸變矯正[J].天津大學學報，2011,44(5)：417-424.

[5] 楊學軍,崔叢健.全景采集技術在外業調查中的應用探討[J]. 交通科技與經濟，2015(2)：125-128.

[6] 周智勇,丁玉蘭.基于多旋翼無人機的空中全景地圖制作研究[J]. 城市勘測，2016(2)：101-104.

[7] 張景輝,熊自明.基于無人機的空中全景監測系統[J]. 中國電子商情：通信市場，2011(6)：125-129.

[8] 張敏,劉軍,羅穎. 無人機航拍合成球面全景技術研究[J].警察技術，2014(3)：63-66.

[9] 金淼,易愛華,朱家文,等.歷史保護建筑的三維全景展示研究[J].土木建筑工程信息技術，2013,5(2)：37-40.

[10] 閆利,王奕丹.車載組合全景相機單片影像匹配算法[J]. 遙感信息，2016, 31(2)：1-5.

[11] 李樂,熊志輝,王斌,等. DSP+FPGA折返射全景視頻處理系統中雙核高速數據通信[J].電子與信息學報，2010(3)：649-654.

[12] 李海亭,李艷紅,彭清山,等.全景地圖隱私信息處理的關鍵技術研究[J].測繪通報，2015(12)：74-76.

[13] 朱齊丹,李科,雷艷敏,等.基于全景視覺的機器人回航方法[J].機器人，2011,33(5)：606-613.

[14] 張春梅,楊志敏,張義明,等.太原市全景地圖數據采集與發布[J]. 城市勘測，2013(4)：29-32.

[15] 熊秋林,葉春,段福洲,等.基于JavaScript和Ajax技術的車載全景地圖發布[J].地理空間信息，2013, 11(5)：155-157.

Rapid Acquisition and Application of Air and Ground Panoramic Images

YU Jianjun1,XU Gongbo2,GUO Wangcheng2,YE Jiaqi2,LI Jie2

(1. Geomatics Center of Zhejiang, Hangzhou 310012, China; 2. The Second Surveying and Mapping Institute of Zhejiang Province, Hangzhou 310012, China)

The technology of rapid acquisition and application of air and ground panoramic images uses a variety of transportation equipment carriers, such as mobile collection vehicles, ships, and customized backpacks, combined with other ancillary equipment like ordinary cameras, customized panoramic cameras, GPS, and motion sensors, so that high-resolution panoramic images of air, ground, water or other complex scenes can be quickly obtained. Panoramic images can be processed and released in real time using panoramic images mosaic and fusion software, FlyPano processing software, and Krpano releasing software. This technology is also capable of integrating with professional applications in API forms combined with Map World or other application system interfaces. The standardized and large-scale production of panoramic images of complex scenes can be truly achieved using this technology, so that it has a very good application in various industries.

air and ground; panoramic image; FlyPano; UAV; Krpano

余建軍，徐攻博，郭望成，等.天地一體全景影像快速獲取與應用技術[J].測繪通報，2017(7)：103-107.

10.13474/j.cnki.11-2246.2017.0233.

2016-12-02；

2017-03-07

余建軍(1973—)，男，碩士生，主要從事地理信息、攝影測量與遙感工作。E-mail：105586765@qq.com

P237

A

0494-0911(2017)07-0103-05