蒙版殘差卷積神經(jīng)網(wǎng)絡(luò)輔助的輸電桿塔快速傾斜空三建模

王卓林，盧晨，黃昊，馬霄雯，吳名洲

(1.國網(wǎng)上海市電力公司工程建設(shè)咨詢分公司，上海 200122；2.武漢市迪特影像科技有限公司，武漢 430077)

0 引言

近年來電力行業(yè)三維數(shù)字化設(shè)計(jì)和管理進(jìn)入快速發(fā)展時期，高壓電力輸電線路的快速建模和調(diào)查監(jiān)測要求逐步提高。采用傳統(tǒng)的測量方式對輸電線路走廊資源進(jìn)行踏勘調(diào)查及規(guī)劃設(shè)計(jì)工作量大、效率低、成本高，且在復(fù)雜環(huán)境中的適用性差，難以滿足電網(wǎng)建設(shè)需求[1-2]。而基于無人機(jī)傾斜攝影測量技術(shù)的高壓電力輸電線路三維實(shí)景建模的這項(xiàng)新興技術(shù)得到了廣泛應(yīng)用。無人機(jī)傾斜攝影測量通過無人機(jī)獲取多視角地面物體的影像信息，快速重建地面物體的三維模型，可應(yīng)用于電力線路走廊影像采集、地形測繪以及線路和桿塔的幾何量測[3]。基于傾斜攝影測量技術(shù)的實(shí)景三維模型為電力工程三維數(shù)字化設(shè)計(jì)和管理提供了一個全新的途徑。

基于無人機(jī)傾斜攝影的高壓電力桿塔建模技術(shù)，是通過獲取的多個不同的角度，帶有一定重疊度的高分辨率影像、位置和姿態(tài)信息，經(jīng)過內(nèi)定向、相對定向、絕對定向、空中三角測量、多視密集匹配、泊松重建、紋理映射等技術(shù)構(gòu)建實(shí)景三維模型[4]。該項(xiàng)技術(shù)具有以下特點(diǎn)和優(yōu)勢：①無人機(jī)的飛行高度相對較低，可以快速獲取高壓電力桿塔的多角度影像數(shù)據(jù)；②實(shí)現(xiàn)自動影像匹配和建模，減少了人工干預(yù)；③傾斜攝影獲取影像的顏色信息真實(shí)，分辨率高，能夠提供實(shí)景三維模型需要的精細(xì)紋理[5]；④實(shí)景數(shù)據(jù)采集快速，綜合成本相對較低。

高壓電力輸電線路三維實(shí)景建模的主要對象是電力桿塔。由于桿塔屬于線狀結(jié)構(gòu)地物，在進(jìn)行傾斜攝影三維重建電力桿塔的過程中，往往需要更加貼近桿塔攝影才能拍攝到桿塔細(xì)節(jié)，由此產(chǎn)生大量照片，增加內(nèi)業(yè)處理時間。在傳統(tǒng)的實(shí)景三維重建中，桿塔和背景是一起作為重建對象進(jìn)行空三、密集點(diǎn)生成和三維建模的。從電力桿塔重建的效率來說，大量時間都被耗費(fèi)在與桿塔無關(guān)的背景地物的重建上。可以發(fā)現(xiàn)，電力桿塔在圖像上占比要遠(yuǎn)小于背景的占比，因此如果能夠精確選定電力桿塔范圍的圖像區(qū)域進(jìn)行三維重建，就可以極大提高建模效率，減少無效信息。

精確選定電力桿塔范圍的圖像區(qū)域可以通過圖像蒙版技術(shù)實(shí)現(xiàn)。Photoshop自2018版本以來就添加了基于機(jī)器學(xué)習(xí)的“選擇主體”功能，只需利用該功能便可對圖像中較為明顯的主體做出選擇，方便進(jìn)行批處理，從而實(shí)現(xiàn)主體的快速自動選取和蒙版生成。然后在三維重建軟件中導(dǎo)入蒙版，圈出照片中參與三維重建的主體區(qū)域，主體區(qū)域只占圖片的很小部分，在同名點(diǎn)匹配環(huán)節(jié)大大減小匹配范圍，從而提高重建速度。

Photoshop自動化的“主體選擇”功能要求主體和背景有較大的反差，故當(dāng)主體和背景沒有明顯差異時，“主體選擇”功能無法主動識別出主體。而在室外攝影測量場景中，由于天氣的影響包括云朵遮擋等導(dǎo)致照片偏暗、地面顏色與電力塔顏色相近或者地面背景較為復(fù)雜時，Photoshop基本上識別不出主體。如圖1所示，紅色圓圈為Photoshop識別結(jié)果，存在識別范圍不全、識別范圍過大、識別錯誤和未識別出來的情況。

圖1 Photoshop的桿塔“主體選擇”結(jié)果

為解決基于機(jī)器學(xué)習(xí)的方法在電力桿塔提取方面的不準(zhǔn)確問題，本文通過標(biāo)注少量電力桿塔樣本，采用Mask RCNN深度學(xué)習(xí)網(wǎng)絡(luò)來進(jìn)行訓(xùn)練和識別，自動形成每張圖像對應(yīng)的桿塔蒙版。相比Photoshop中的“主體識別”，Mask RCNN網(wǎng)絡(luò)專門識別電力桿塔，更具針對性，且該網(wǎng)絡(luò)對光照變化不敏感，不完全依托于背景識別主體，因此，具備比Photoshop更好的識別能力。最后對每張識別出電力桿塔的圖像，進(jìn)行基于蒙版選擇的空三重建和密集匹配，快速生成電力桿塔實(shí)景三維模型。

1 Mask RCNN電力桿塔蒙版的自動生成

電力桿塔蒙版的自動生成屬于模式識別的技術(shù)范疇。隨著CNN[6]、Fast RCNN[7]、Faster RCNN[8]以及Mask RCNN[9]的出現(xiàn)，目標(biāo)識別逐漸由目標(biāo)檢測[10]、語義分割[11]，發(fā)展到實(shí)例分割[12]。實(shí)例分割技術(shù)是通過對圖像多次進(jìn)行卷積運(yùn)算得到原始圖像中的目標(biāo)特征圖，結(jié)合語義特征完成對圖像中目標(biāo)的識別，有效檢測目標(biāo)的同時能輸出高質(zhì)量的實(shí)例分割。何愷明提出的Mask RCNN是當(dāng)前工業(yè)界最為流行的目標(biāo)檢測與分割框架之一，既能準(zhǔn)確檢測出圖像中的目標(biāo)，又能為一個目標(biāo)生成具有較高質(zhì)量的Mask[13]。Mask RCNN利用模型中的特征提取網(wǎng)絡(luò)及特征的金字塔網(wǎng)絡(luò)，通過空間金字塔池化獲取特征及特征圖，引入Mask分支生成候選框及邊界框，而二者又分別繼承了Fast RCNN和Faster RCNN的技術(shù)優(yōu)勢[14]，其技術(shù)流程如圖2所示。

圖2 實(shí)例分割技術(shù)流程圖

如圖3所示，在Mask RCNN中輸入單幅圖像進(jìn)行色彩、分辨率、長寬比預(yù)處理；把結(jié)果輸入到預(yù)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)，處理得到對應(yīng)的特征圖；為特征圖設(shè)定預(yù)定數(shù)量興趣區(qū)域(ROI)，將候選ROI送入?yún)^(qū)域候選網(wǎng)絡(luò)(RPN)，運(yùn)行二值分類和邊框回歸運(yùn)算，濾掉部分候選ROI；對剩余ROI進(jìn)行興趣區(qū)域匹配(ROIAlign)操作；對ROI進(jìn)行N類別分類、邊框回歸和Mask生成。(在每一個ROI里面進(jìn)行全卷積(FCN)操作)。

圖3 Mask RCNN結(jié)構(gòu)圖

2 基于蒙版選擇的電力桿塔三維重建

在多數(shù)三維重建軟件中提供導(dǎo)入蒙版功能。通過蒙版導(dǎo)入，可以圈出照片中參與重建的區(qū)域，這些區(qū)域只占圖片的一小部分，在同名點(diǎn)匹配環(huán)節(jié)大大減小匹配范圍，從而提高重建速度。基于蒙版選擇的桿塔三維重建的主要流程和普通三維重建流程相同。但需要導(dǎo)入蒙版，并且在空三解算環(huán)節(jié)選擇蒙版。

以Photoscan為例，基于蒙版選擇的電力桿塔三維重建流程如圖4所示。右擊模塊→Import→Import Masks，選擇從Alpha通道輸入模板、替換、應(yīng)用于所有圖片。在連接照片環(huán)節(jié)(空三解算，Align Photos)選擇將蒙版應(yīng)用于關(guān)鍵點(diǎn)(Key points)。再經(jīng)過IMU、DGPS(差分GPS)數(shù)據(jù)的聯(lián)合處理，利用POS(定位定向系統(tǒng))輔助空中三角測量技術(shù)，獲取每張像片的多個外方位元素，導(dǎo)入到Photoscan軟件后，實(shí)現(xiàn)多視角影像區(qū)域網(wǎng)的平差，經(jīng)過多次的迭代計(jì)算，得到符合精度要求的空中三角測量成果。

圖4 Photoscan中基于蒙版的三維重建界面

基于蒙版選擇的電力桿塔三維重建中，多視影像聯(lián)合平差和多視影像密集匹配是關(guān)鍵技術(shù)，相對于傳統(tǒng)垂直攝影測量，多視影像聯(lián)合平差充分考慮了多視影像的影像畸變和地物間的遮擋關(guān)系[15]。結(jié)合POS和IMU的外方位元素，在多級影像上進(jìn)行同名點(diǎn)自動匹配和自由網(wǎng)光束法平差，得到更優(yōu)的同名點(diǎn)匹配結(jié)果，然后把連接點(diǎn)和連接線、控制點(diǎn)坐標(biāo)加入到自檢校區(qū)域網(wǎng)平差的誤差方程后，展開聯(lián)合結(jié)算平差，確保平差精度[16]。影像匹配是傾斜攝影測量三維重建的關(guān)鍵問題之一，多視影像具有覆蓋范圍大、分辨率高等特點(diǎn)[17]。因此，如何在匹配過程中充分考慮冗余信息，快速準(zhǔn)確地獲取多視影像上的同名點(diǎn)坐標(biāo)，進(jìn)而獲取地物的三維信息，是多視影像匹配的關(guān)鍵。由于單獨(dú)使用一種匹配基元或匹配策略往往難以獲取建模需要的同名點(diǎn)，近年來隨著計(jì)算機(jī)視覺發(fā)展起來的多基元、多視影像匹配逐漸成為人們研究的焦點(diǎn)，通過搜索多視影像上的邊緣和紋理特征來進(jìn)行密集匹配。

3 高壓電力桿塔快速三維重建實(shí)驗(yàn)對比與分析

實(shí)驗(yàn)區(qū)位于上海市金山區(qū)楓涇鎮(zhèn)，地形多為平地，實(shí)驗(yàn)覆蓋亭涇線169～174號共六座基塔，以及周邊其他五條電力線路、一條動車線路、兩個村莊、一條干線公路在內(nèi)的約1 km2的電力大通道，如圖5所示。

圖5 實(shí)驗(yàn)區(qū)概況

經(jīng)現(xiàn)場踏勘，為確保飛行作業(yè)數(shù)據(jù)的穩(wěn)定性及精度要求，制定了荷載達(dá)5 kg的六軸多旋翼行業(yè)應(yīng)用無人機(jī)大疆M600Pro，搭載索尼A7R IV全畫幅微單實(shí)測方案。于2020年5月13—18日對實(shí)驗(yàn)區(qū)進(jìn)行了傾斜攝影，航飛當(dāng)天風(fēng)力小于5級，晴朗無云，飛行高度150 m，飛行速度8.7 m/s，完成了向下傾斜40°、呈“米”字型八個方向以及垂直正攝共九條航線飛行作業(yè)，航線設(shè)計(jì)如圖4所示。對項(xiàng)目擬定線路區(qū)域進(jìn)行了高重疊度精細(xì)化航片采集，并分別對區(qū)域內(nèi)各電力桿塔在多條交錯的線路之間進(jìn)行了多角度上下垂直影像采集。針對單體電力鐵塔(鏤空建筑)建模效果差的問題，為獲得更加精細(xì)的桿塔模型，進(jìn)行了區(qū)域內(nèi)各電力桿塔空中圓周環(huán)繞飛行拍攝，共獲取影像3 247張，采用WGS 84坐標(biāo)系和正高高程系統(tǒng)，航拍影像如圖6所示。通過對影像質(zhì)量檢查分析可知，航向重疊度80%，旁向重疊度70%，測區(qū)最高點(diǎn)地面分辨率為2 cm/像素，符合《電力工程數(shù)字?jǐn)z影測量規(guī)程》(DL/T 5138—2014)相關(guān)要求；通過對GPS和慣性測量單元(IMU)以及獲取的影像照片進(jìn)行分析，本次傾斜攝影飛行姿態(tài)穩(wěn)定，設(shè)計(jì)航線的航向航高保持良好，影像成果的分辨率合格，顏色、亮度及對比度均衡。

圖6 實(shí)驗(yàn)區(qū)航線(正射)布設(shè)圖

圖7 桿塔樣本采集

實(shí)例分割技術(shù)流程首先進(jìn)行樣本制作，如圖7所示。樣本制作工具選用麻省理工大學(xué)計(jì)算機(jī)科學(xué)和人工智能實(shí)驗(yàn)室研發(fā)的圖像標(biāo)注工具LabelMe，可以使用該工具創(chuàng)建定制化標(biāo)注任務(wù)或執(zhí)行圖像標(biāo)注，常用于實(shí)例分割、語義分割、目標(biāo)檢測、分類任務(wù)的數(shù)據(jù)集標(biāo)注工作。樣本制作完成后，在Mask RCNN中進(jìn)行網(wǎng)絡(luò)訓(xùn)練，并利用測試數(shù)據(jù)進(jìn)行模型驗(yàn)證和優(yōu)化，從而建立識別分類器，最后對全部原始圖像進(jìn)行桿塔目標(biāo)的自動識別提取。

從圖8和圖9可以看到，Mask RCNN識別生成的蒙版能夠緊緊包圍電力塔，并且沒有遺漏。表1定量給出了蒙版識別質(zhì)量評價，顯示基于Mask RCNN的實(shí)例分割可以生成質(zhì)量較好的蒙版，為快速三維重建提供良好數(shù)據(jù)基礎(chǔ)。

圖8 Mask RCNN識別生成的蒙版(全部)

圖9 Mask RCNN識別生成的蒙版(局部)

表1 蒙版識別質(zhì)量評價 %

空三處理的影像成功率為99.97%，平差報(bào)告中各項(xiàng)誤差值均優(yōu)于1像素。查看重建后模型，區(qū)域地形地物紋理顏色基本與現(xiàn)實(shí)環(huán)境相同，高壓電力桿塔外觀結(jié)構(gòu)清晰，紋理覆蓋均衡，空中三角測量誤差如表2所示。

表2 空中三角測量誤差

如表3所示，在Photoshop自動提取蒙版、手動提取蒙版、Mask RCNN提取蒙版和不使用蒙版等四種不同蒙版狀態(tài)下進(jìn)行空三和密集匹配時效性對比。結(jié)果顯示，通過蒙版選擇照片區(qū)域，可減少約四倍密集匹配用時，同時生成的點(diǎn)云數(shù)量也減少四倍左右；這充分說明了采用Mask RCNN提取蒙版的技術(shù)在高壓電力桿塔快速三維重建中的優(yōu)勢。

表3 不同蒙版狀態(tài)下的空三和密集匹配時效性對比

最后通過羅列自動提取模板和手動提取模板的密集點(diǎn)云生成效果(圖10至圖13)可以看出：①通過蒙版選擇圖片處理范圍，可以極大程度地減少無效點(diǎn)云生成；②雖然Photoshop自動提取的模板在某些照片上沒有包含整個電力塔，但是因?yàn)檎掌啥鄠€角度獲取得到，某些角度的照片可能會彌補(bǔ)相應(yīng)的電力塔缺失，因此電力塔總體看起來較為完整(圖10)；③在不提取蒙版的情況下，生成了最完整的拍攝場景，但是電力塔提取不完整，下半部分嚴(yán)重缺失，此情況的發(fā)生極有可能是因?yàn)殡娏λ儆跅U狀地物，當(dāng)不使用蒙版時，其在照片中占比較少。Photoscan算法存在一定的缺陷，在密集匹配的深度圖生成以及深度圖過濾環(huán)節(jié)中，電力塔的深度值難以正確計(jì)算并保存。④從圖11至圖13可以看出，自動蒙版提取、Mask RCNN蒙版提取下的電力塔三維重建的完整程度同手動模板提取的三維重建完整程度一致，而不使用蒙版時，從各個角度觀察電力塔重建均不完整。

圖10 重建出的總體密集點(diǎn)云

圖11 桿塔側(cè)面點(diǎn)云(視角1)

圖12 桿塔側(cè)面點(diǎn)云(視角2)

圖13 桿塔俯視點(diǎn)云

4 結(jié)束語

針對高壓電力走廊的特點(diǎn)，將桿塔三維重建從整個環(huán)境三維重建的任務(wù)中分離出來，通過桿塔樣本和實(shí)例分割技術(shù)，自動生成傾斜攝影圖像的桿塔蒙版，采用基于蒙版的空三和密集匹配方法，直接對桿塔對象進(jìn)行實(shí)例化三維重建，從而顯著地提高了桿塔重建的效率。此外，通過引入蒙版縮小密集匹配搜索范圍的同時，有可能避免背景中重復(fù)紋理或者單一顏色的干擾，提高密集匹配準(zhǔn)確率，進(jìn)而提高了模型重建的完整性，這在本文研究的農(nóng)田或者山林等場景中的桿塔提取具有極大的應(yīng)用意義。

無人機(jī)傾斜攝影測量在輸電線路工程中具有顯著的技術(shù)優(yōu)勢，通過優(yōu)化設(shè)計(jì)航飛路線和成像參數(shù)，結(jié)合無地面控制的全局空中三角測量技術(shù)可以得到高精度的空三成果。在三維建模過程中基于蒙版的實(shí)例分割技術(shù)可以顯著提高桿塔建模的效率。無人機(jī)傾斜攝影三維實(shí)景建模技術(shù)將線路走廊用數(shù)字化、圖像化、模型化的技術(shù)手段重現(xiàn)，使得輸電線路設(shè)備及其走廊環(huán)境變得直觀、客觀真實(shí)和可量測。相對于傳統(tǒng)的測繪，無人機(jī)傾斜攝影測量能快速獲取輸電線路場景的影像信息，各流程的中間成果評價分析合理，處理后各種數(shù)據(jù)直觀展示，能快速高效重建輸電線路及桿塔設(shè)備真實(shí)準(zhǔn)確的三維空間場景，為電力工程三維數(shù)字化管理、設(shè)計(jì)和監(jiān)測提供了一個全新的途徑。

本文的研究成果對于安全檢測也具有重要意義。如“三跨”跨越架的安全檢測，對規(guī)劃線路周邊的高速公路、鐵路及有電線路開展真實(shí)三維場景的模擬后，規(guī)劃跨越架安裝工程的形體檢測(高度、寬度、長度)的三維可視化場景，保證跨越架安全和順利搭建。如抱桿安裝的安全檢測，對周邊已通電線路開展真實(shí)三維場景的模擬后，建立抱桿吊裝點(diǎn)(完全張開后半徑9 m，最大吊裝高度約70 m))的運(yùn)行三維的可視化模擬，實(shí)現(xiàn)抱桿安裝的安全距離的碰撞檢測，保證抱桿離通電節(jié)點(diǎn)最短6 m的安全范圍。針對安全檢測，對高壓輸電線路兩側(cè)各300 m，開展真三維平行世界建模，實(shí)現(xiàn)場景的高精度再現(xiàn)和坐標(biāo)、長度、高度的可量測；對跨越架、抱桿真實(shí)尺寸的高精度建模；通過三維可視化分析實(shí)現(xiàn)碰撞空間的檢測，對跨越架、抱桿的安裝規(guī)劃實(shí)現(xiàn)數(shù)據(jù)可視化的檢測依據(jù)，指導(dǎo)施工的安全開展。