基于無人機巡檢的高層建筑物外觀檢測系統設計

皇甫森森

(廈門大學嘉庚學院信息科學與技術學院 福建 漳州 363123)

0 引言

高密度、大體量房屋建筑健康狀態的高時效監測評估是維持城市功能正常運行的根本保障,已經成為“城市體檢”的緊迫任務和重要內容[1]。目前國家在大部分城市已經禁止建立350 m以上的超高建筑物,就是因為高層建筑物隨著時間的推移,日常維護成本越來越高,那么無人機巡檢高層建筑物將會在未來幾年,發揮重要的作用。人工巡檢高層建筑物,具有安全性低、檢查耗時、成本高等問題。由此結合無人機可以高空作業的性能,設計出一套智能化的巡檢系統,為高層建筑物的外觀巡檢帶來了便利。

1 高層建筑物外觀巡檢要求

本文主要對城市中高層建筑物進行巡檢,巡檢主要以裂紋檢測為主,同時也會進行檢測玻璃碎裂和樓頂違建情況。通過無人機對表1包含內容進行定期巡檢,避免產生高空違建,高空墜物,墻體以及樓頂裂紋帶來的危險并及時防范。在日常維護高層建筑物的同時也保護大家的人身財產安全。

表1 無人機巡檢項目表

2 無人機巡檢系統設計

本設計整個系統的目的是對高層建筑物外觀進行巡檢,以無人機為載體,實現智能拍照,對高層建筑物外觀巡檢提供解決方案。無人機通過自主設計的巡檢路徑,執行自動化任務檢測。具體設計如圖1所示。

圖1 無人機巡檢整體框圖

2.1 無人機平臺硬件框架設計

本系統所使用的無人機包含以下模塊:飛控模塊、5G通信模塊、定位導航模塊、遙控模塊、供電模塊以及地面站所需要的其他硬件。

5G通信模塊采用的是中興通信ZM9000 IOT 5G模塊,該模塊基于高通7 mm SDX55芯片平臺進行設計,可以同時支持NSA/SA組網模式,覆蓋中國三大運營商全部4 G/5G頻段。

飛控采用的是開源PX4固件,運行在Pixhawk4飛控電路板之上。是整個飛行控制的核心。

遙控模塊采用的是樂迪AT9S Pro,FHSS 與 DSSS 混合雙擴頻,具有避免干擾和抗干擾雙重功能,使無人機能在復雜環境中仍能穩定控制,最長距離可達 3400 m。

定位導航模塊采用的是M8N GPS,它包含一個UBLOX M8N模塊、IST8310 指南針、三色LED指示燈和一個安全開關。

供電模塊采用的是25C高倍率16 000 mAh容量22 V 6S12S14 S無人機電池。并結合FTDI(USB轉串口適配器)這個硬件串口,實現電壓轉換[2]。

2.2 無人機巡檢路徑設計

由于此系統設計是針對高空建筑物巡檢設計,重在建筑物高空巡檢,對于建筑物相對較低區域可以人工巡檢,無人機不予考慮巡檢。針對此巡檢設計思路,無人機的飛行路徑設計要以高空為主,為此規劃以下飛行路徑。如圖2所示,先從地面垂直上升到最高處,先拍攝樓頂圖片,之后圍繞建筑物螺旋式下降檢測,最后檢測完高空區域再垂直下降。此設計路徑既能達到巡檢要求,又能使得無人機電源消耗降到最低。

圖2 無人機路徑規劃設計示意圖

2.3 無人機巡檢圖像處理

對于無人機拍攝的樓頂、高層幕墻玻璃,以及墻體瓷磚相關圖片進行收集,將拍攝大量的圖片放入已經建立好的模型,進行識別處理,如有出現相關墻體裂紋,瓷磚脫落,樓頂違建等相關類型圖片,會相應彈出識別的圖片進行查看,如圖片屬實,再對高層建筑物進行維護處理。

3 圖像處理技術

以下圖像處理技術主要針對墻體裂紋圖像進行處理,對于上文提到的瓷磚脫落以及玻璃碎裂等情況暫不考慮。對于圖像裂紋圖像處理主要用OpenCV技術做相關處理,針對裂紋圖像分別進行灰度化處理,濾波處理,圖像閾值二值化處理,形態學算法處理以及對裂紋輪廓的繪制,最終驗證無人機所傳輸圖像結果,如有裂紋圖像即進行彈窗預警處理。

3.1 圖像灰度化處理

無人機采集的 RGB 格式彩色原始圖像,數據量大,直接使用處理時間長,效率低。而灰度圖像中的三個顏色分量R、G、B取值相等,灰度值在0～255的范圍內變化,只包含亮度信息但不包含顏色信息[3]。對于墻體裂紋檢測,相較于彩色圖像,灰度圖像更具優勢,基于人眼對顏色的感知習慣,文中使用加權平均值法先對原始圖像進行灰度處理[4]。其計算公式如式(1)。

F(i,j)=A1*R(i,j)+A2*G(i,j)+A3*B(i,j)

(1)

式(4)中,F(i,j)表示為灰度圖中(i,j)處的灰度值;A1,A2,A3 為加權系數。使用加權平均值法不僅能對R、G、B三種顏色分量進行加權平均處理,還可以在不同的情況下調節權重因子對圖像進行關鍵處理,在視覺的感知情況下人眼對綠色最強,紅色次之,藍色最弱,所以A2>A1>A3 時將能夠得灰度特征更好的圖像。如圖3、圖4所示。

圖3 無人機采集原圖像

圖4 灰度圖像

3.2 圖像濾波處理

灰塵等雜物的干擾以及相機的像素等都會造成圖像中存在一些形狀不規則的點與線,這就是圖像中的噪聲,它會給圖像識別造成影響,因此需要進行濾除。通常為了減少這些圖像中的噪聲,用高頻干擾的方法進行去噪[5]。

由卷積濾波可知式(2):

G(u,v)=F(u,v)*H(u,v)

(2)

式(4)中,G(u,v)是濾波后的傅里葉變換輸出,它是通過F(u,v)*H(u,v)卷積得到的,其中F(u,v)是原圖的傅里葉變換,H(u,v)是一個近似與高斯函數的傳遞函數,通過此算法就能有效過濾圖像中的高頻干擾。H(u,v)定義為式(3):

(3)

由此,對濾波函數H(u,v)的推導就是對圖像濾波處理。以圖像中的一個 3*3像素區域為例,對圖像中的每一個像素點H(x,y)進行濾波系數與模板面積的乘法價值掃描,推出所有的產品的綜合。見式(4)。

R=ω(-1,-1)f(x-1,y-1)+ω(-1,0)

f(x-1,y)+…+ω(1,1)f(x+1,y+1)

(4)

則可得到G(x,y),設圖像的大小為M*N,則M=2A+1,N=2B+1,見式(5)。

(5)

讀取一個灰度圖像并定義了一個3×3的卷積核。使用cv2.filter2D函數將卷積核應用于圖像并返回一個濾波后的圖像。最后,使用cv2.imshow函數將原始圖像和濾波后的圖像顯示在屏幕上,并使用cv2.waitKey,cv2.destroyAllWindows等函數來進行處理顯示,如圖5所示。

圖5 高斯濾波圖

3.3 圖像二值化處理

對墻體裂紋圖像采用自定義閾值法的方式進行圖像二值化(Binarization)處理[6];因墻體裂紋提取后的圖像去掉了復雜的背景只保留了墻體和裂紋信息,所以在此基礎上采用該方法能夠有效保留墻體的積核特征,能夠較好地反映圖像整體和局部特征,從而達到分割出裂紋缺陷目標。該算法實現步驟:

選取一個初始閾值G,G=(Gmin+Gmax)/2,式中Gmin 為缺陷圖像最小灰度值,Gmax為缺陷圖像最大灰度值;

根據閾值G把給定圖像分割成兩組圖像,記為R1和R2;R1由灰度值大于G的所有像素組成,R2由灰度值小于等于G的所有像素組成。

計算R1和R2均值μ1和μ2;計算出新的閾值G1,且G1=(μ1+μ2)/2;

通過OpenCV調用相關函數,處理的二值化結果如圖6所示。

圖6 二值化圖

3.4 形態學算法

基于自定義閾值法得到的圖6二值化圖像,可以看到,該算法可有效對墻體裂紋缺陷進行有效提取。但是二值圖像在特征提取后可能仍會出現一些細小的噪點,邊緣出現不相干的信息,影響判斷的準確性。因此可以再進行形態學算法進行優化處理。形態學分為膨脹與腐蝕、開運算與閉運算[7]:

針對此墻體裂紋二值化圖片做了膨脹和腐蝕處理如圖7、圖8所示。

圖7 膨脹處理圖

圖8 腐蝕處理圖

3.5 輪廓檢測與篩選

輪廓檢測是指在數字圖像處理中,通過對圖像中物體的邊緣進行提取,生成表示其形狀的輪廓線。輪廓檢測常用于圖像分析和計算機視覺領域中的物體檢測、圖像識別和形狀匹配等方面。輪廓檢測的一般步驟包括圖像預處理、邊緣檢測、輪廓提取和輪廓特征提取等。其中,邊緣檢測是輪廓檢測的重要步驟之一,常用的邊緣檢測算法包括Sobel算子、Prewitt算子、Canny算子等[8-9]。

在此實驗中用的Canny算子[10],首先圈定裂紋的輪廓,再對圖中的墻體裂紋進行篩選處理。這樣做的主要目的是去除無關的輪廓或者將目標物體的輪廓從圖像中分離出來。輪廓篩選的方法包括基于形狀特征、面積、周長、方向等特征的篩選。常見的輪廓處理方法包括輪廓的填充、輪廓的平滑、輪廓的擬合和輪廓的裁剪等,來進行篩選。

3.6 繪制裂縫

對于識別到的墻體裂縫進行相關繪制步驟如下:

(1)讀取圖像:使用OpenCV庫中的imread()函數讀取需要處理的墻體圖像。

(2)選擇裂縫區域:使用OpenCV庫中的矩形選擇函數cv2.rectangle()選擇需要添加裂縫的墻體區域。

(3)創建新圖層:使用OpenCV庫中的圖像拷貝函數cv2.clone()在圖片墻體區域上創建一個新圖層。

(4)繪制主要的裂縫:使用OpenCV庫中的線段繪制函數cv2.line(),在新圖層上繪制主要的裂縫。

(5)添加細節:在主要的裂縫上,使用OpenCV庫中的線段繪制函數cv2.line()添加更多細節。這些細節可以是更細小的裂縫、碎片、脫落的表面等等。這些細節可以使繪畫更加真實。

4 實驗結果與分析

經過以上對圖像預處理、灰度處理、二值化處理、濾波降噪處理、形態學處理、輪廓檢測與篩選處以及最后的裂縫繪制處理等圖像處理技術,最后檢測到墻體裂紋圖片如圖9、圖10所示。紅色矩形框定裂縫區域,紅色線來繪制相關裂縫。

圖9 繪制裂縫圖

圖10 輪廓圖

為進一步驗證本文所提算法對裂紋識別的有效性,本文對無人機采集的120張圖像進行驗證,其中100張圖像含有不同的墻體裂縫,20張為正常無裂縫圖像,其裂縫圖像用紅色矩形框標記出裂縫位置并預估大小,用以驗證所提出算法對于墻體裂紋檢測的準確程度。記錄下識別帶裂縫圖片的總個數并對其圖片預測處理,統計準確檢測出缺陷的個數。見表2。

表2 無人機巡檢裂紋圖像檢測結果

5 結語

針對人工巡檢高層建筑物出現的檢測困難、風險高、效率低下等問題,利用無人機可以高空作業,實時傳輸圖像的優點,從無人機的硬件設計到無人機巡檢高層建筑物的路徑規劃以及到無人機所采集圖片的圖像處理等相關技術,設計出一套完整的無人機對高層建筑物巡檢系統。該系統能夠根據用戶需求,進行高層建筑物巡檢,包含樓頂違建、瓷磚脫落、墻體裂紋等要素進行巡檢;可以實現偵查、拍照、視屏等功能,并對視頻、照片信息進行云存儲;能夠對各個要素進行圖像分類、歷史數據追蹤;能夠以網站的形式展示巡檢結果、生成可視化巡檢報告;能夠采用OpenCV圖像處理技術對潛在的墻體問題進行預警。利用無人機巡檢及可視化巡檢結果追蹤預警,給高層建筑物巡檢帶來了極大便利。