面向大型建筑物形變監測的圖像角點檢測方法

王長庚, 韓瑜,2*

(1.中山大學智能工程學院， 廣州 510006； 2.廣東省消防科學與智能應急技術重點實驗室， 廣州 510006)

大型建筑物形變在自然災害中普遍存在，建筑物形變在一定限度內是安全的，一旦超過限定值，則會造成災害的發生，因此需要對大型建筑物進行形變監測。形變監測是指使用專門的儀器或者方法去監測變形體的形變情況[1]。大型建筑物表面的形變通常很小，需要用專門的檢測方法去檢測形變大小。針對大型建筑物形變監測的方法主要有全球定位系統(global positioning system，GPS)衛星定位與導航技術[2]、全站儀定位系統(totalstation positioning sytem，TPS)測量系統[3]、三維激光掃描測量技術[4]、基于攝影測量技術的形變監測方法[5]等，本文重點研究基于攝影成像的大型建筑物形變安全監測。

基于攝影測量技術的形變檢測方法根據攝影成像的圖片進行形變監測，其誤差和難點在于大樓建筑物圖片的角點檢測。角點檢測算法一般分為基于圖像邊緣輪廓和基于圖像梯度的角點檢測算法，其中Harris角點檢測算法因其原理簡單、檢測效果好以及適用性廣等優點而成為目前使用較為廣泛的角點檢測算法。但Harris算法仍存在角點檢測精度低、計算量大、不具有尺度變化性、角點聚簇現象嚴重等問題，一直以來研究者們不斷對Harris算法進行改進，如文獻[6-10]通過構造內外圓環模板、Harris算法和比例積分微分控制(proportion integral differential, PID)算法相結合、圖像灰度變化的自相關性角點篩選和非極大值抑制、提出模板邊緣思想和自適應閾值、結合深度學習進行參數調整等方法改善了原算法的角點聚簇現象，提高了角點檢測的準確性。文獻[11-15]通過B樣條函數替代高斯窗口函數和采用自適應閾值、灰度差預處理剔除非角點、計算待測點周圍鄰域內與之相似的像素點數目進行預篩選、鄰域比較法濾掉大部分非特征點、通過結合角點灰度特征分析與類曲度檢測特征點等方法改進了原算法計算量大、角點檢測實時性較差的不足，文獻[16-17]通過雙邊濾波預處理和引入多尺度空間表示、采用多尺度Retinex算法構建圖像邊緣輪廓特征檢測模型等方法提高了算法的尺度多樣性。文獻[18]通過提出一種自適應閾值和改進算法角點的判別方式，提高其準確性和算法速度。然而上述研究只研究其算法本身，并沒有將角點檢測與亟待解決的建筑物形變監測聯系起來，研究建筑物形變監測過程中的關鍵點檢測精度和響應速度對監測建筑安全具有重大意義。

因此,針對傳統Harris算法應用于大型建筑物圖像角點檢測時角點檢測精度低、偽角點較多、運算時間長以及角點聚簇現象嚴重的現有不足出發，現提出一種基于提升尺度單一性和灰度差值預篩選的改進算法，以提高其在建筑物形變檢測中的角點檢測效果和響應速度。

1 本文改進算法

1.1 Harris算法基本原理

Harris算法[19]是一種基于圖像灰度變化的角點檢測算法。算法核心思想是根據計算待測像素點的灰度變化值判斷是否為角點，具體計算方法是根據圖像水平方向和垂直方向上的梯度自相關函數得到自相關矩陣M，計算出矩陣M的兩個特征值，當兩個特征值都很高時認為該點為角點。計算公式為

(1)

(2)

CRF(x,y)=det(M)-k[tr(M)]2

(3)

式中：Eu,v(x,y)為目標像素(x,y)在水平和垂直方向上分別移動u和v后的灰度變化值；wu,v為高斯函數；u為在x方向上移動的距離;v為在y方向上移動的距離；o為無窮小項；I(x+u,y+v)為像素點在(x+u,y+v)處的像素灰度值；I(x,y)為(x,y)處的像素灰度值；Ix和Iy為像素點在(x,y)處水平和垂直方向上的一階偏導數；CRF(x,y)為角點響應函數；det(M)表示矩陣M的行列式；tr(M)為矩陣M的跡；k為常數，一般在0.04～0.06取值。

1.2 提升尺度多樣性

為了使本文算法對尺度變化下的相同圖像穩定地檢測出角點，本文研究中引入高斯核卷積函數與灰度圖像進行卷積運算，得到多個尺度下的灰度圖像，在這基礎上進行角點檢測。一個大小為m×n的數字圖像I的尺度空間L(x,y,δ)可以定義為該固定尺度參數下的高斯函數G(x,y,δ)與其自身的卷積，如式(4)和式(5)所示：

L(x,y,σ)=G(x,y,σ)*I(x,y)

(4)

(5)

式中：*為卷積運算；σ為高斯模板的大?。?x,y)為像素點位置，通過連續變化的尺度參數對圖像進行變換可以獲得圖像的多尺度序列。

通過與圖像序列進行卷積得到變換后的卷積序列，高斯核的大小不同代表著不同尺度下的圖像，圖像在較小尺度下會保留著圖像的細節信息，在一些應用場景如大型建筑物角點檢測方面顯得尤為重要，而在較大尺度下圖像的全局信息會顯示得很清楚。而角點具有穩定性和鄰域不變性，通過高斯核變換在多次尺度變換后檢測到的角點會自動篩除掉那些在大尺度下檢測到的點，這種在大尺度下檢測到的點由于檢測較為模糊，往往容易引入噪聲點和冗余點，而在較小的尺度下則會被舍去。

1.3 初始像素點集篩選效率提升

為了減少對大型結構物圖像的檢測時間，提高響應速度，本文算法通過對待測像素點周圍鄰域的8個像素點進行灰度差計算，設置一個閾值g，灰度差小于閾值時則保留該像素點，不滿足閾值條件則舍去該像素點，依次循環直至將所有滿足條件的像素點檢測出來?；叶炔钣嬎愎綖?/p>

(6)

設待測像素點坐標為(x,y)，與其鄰域8像素點的灰度差分別為d1～d8，判斷閾值為g，具體計算公式如式(7)所示，依次遍歷圖像中的所有像素點，直到所有的初始角點被檢測出來，如式(8)所示。

設待測像素點鄰域中與其相似的像素數目為n(x,y)，則計算公式為

(7)

(8)

式中：C(x,y)為計算待測像素點與其鄰域內灰度差值較大的點；n(x,y)為待測像素點與其鄰域內灰度差值較大的點的集合；(x,y)為模板上的待測像素點；Ω為待測圖像上所有點的集合；g為灰度差閾值；i=1,2,…,8。

1.4 基于SUSAN思想的偽角點去除

通過上述步驟得到初始角點后，不可避免地會存在偽角點，經過初步檢測到的初始角點相比之前的像素點極大的減少，故可以用SUSAN[20]檢測的思想來進一步提取出真實角點。定義一個一定大小的圓形模板，在圖像上依次移動圓形模板，如果模板中的像素與核點像素之間的灰度差低于某個閾值，則認為該點與核點相似，所有這些像素點組成的區域稱為核值相似區(univalue-segment-assimilating-nucleus, USAN)，如式(9)所示。根據USAN面積的大小判斷該像素點是否為角點，具體判斷公式如式(10)所示。

定義直徑D=7的圓形模板，記經過初步篩選后的像素點集為n(u,v)，其USAN面積為g(u,v)，則

(9)

將USAN的面積和給定的閾值d進行比較，計算出角點響應函數R(u,v)，即

(10)

當計算邊緣角點時，g一般取3/4Nmax，當計算角點時，g一般取1/2Nmax，一般g不用調整就能取得很好的角點檢測效果，最后通過非極大值抑制獲得最終角點。

2 實驗結果與分析

2.1 5種算法實驗對比結果

將本文研究中基于提升尺度單一性和灰度差值預篩選算法和Harris原算法、文獻[21]算法、文獻[22]算法、文獻[23]算法對大樓建筑物進行角點檢測對比實驗，為了避免各種算法運行時各項指標的偶爾誤差發生，本文將所有算法統一運行在7-8700 CPU、3.20 GHz，3.19 GHz的處理器，16 GB的內存、Windows 10專業版64位的操作系統，NVIDIA GeForce GTX 1060 6GB的雙顯卡的臺式電腦上，該電腦統一在開機一段時間后電腦運行平穩后再進行角點檢測，同時后臺未運行其他任何軟件，禁止所有程序在運行過程中彈出窗口，運行程序為MATLAB R2020b。為了保證實驗數據的真實性和避免實驗圖片數量過少帶來偶然誤差，本文實地拍攝了30張具有代表性的大樓建筑物圖像，建立了數據庫DATASET，記該數據庫的大小為n，n代表數據庫中圖像的數量，本文中n為30。

在相同的硬件條件和外部環境下，為了避免單一實驗造成的隨機誤差，對所有算法在同一條件下均運行N次，本文研究中N為30，對所有數據量取其平均值，最大限度地避免隨機誤差的產生，使實驗數據更具有說服力。為了更好地表現其角點檢測效果，以及增強角點檢測的實用性，本文研究中實地拍攝了具有代表性的大樓建筑物作為實驗對象，5種算法實驗結果如圖1～圖5所示。

圖1 Harris算法角點檢測結果圖Fig.1 Harris algorithm corner detection result

圖2 文獻[21]算法角點檢測結果圖Fig.2 The corner detection result of the algorithm in ref.[21]

圖3 文獻[22]算法角點檢測結果圖Fig.3 The corner detection result of the algorithm in ref.[22]

圖4 文獻[23]算法角點檢測結果圖Fig.4 The corner detection result of the algorithm in ref.[23]

圖5 本文算法角點檢測結果圖Fig.5 The corner detection result of the proposed algorithm

2.2 5種算法實驗數據對比

為了科學地比較5種算法的角點檢測結果，統計了Harris原算法、文獻[21]算法、文獻[22]算法、文獻[23]算法以及本文算法對同一建筑物圖像角點檢測的具體數據，為了避免其偶然誤差，將5種算法在同一條件下分別對每張圖片檢測N次，N取取30，將每次的數據記錄后取其平均值作為參考數值。

涉及的角點檢測算法在評價準確性和可靠性時需和真實角點位置進行對比，為了對比本文涉及的角點檢測算法的優劣，需要圖像的真實角點作為參考量。采用圖像標注軟件Labelme對STRUCTURE_DEFORMATION_DATASET中的大樓建筑物圖像進行標注。為了進一步計算和比較5種算法對建筑物圖像檢測的實際效果，分別比較了其準確性、可靠性和高效性。

2.2.1 準確性比較

采用正確率η和偽檢率δ來描述算法的準確性，其中正確率為算法檢測出來的真實角點數占檢測到的角點總數百分比，具體計算公式為

(11)

式(11)中：η為正確率，即η算法檢測的正確角點數占檢測角點總數的比重；a為正確角點數；b為檢測角點總數。5種算法均對數據庫圖像進行30次角點檢測實驗，統計并計算出相關平均值指標，求出其平均正確率，具體數值如表1所示。

表1 5種算法的平均正確率Table 1 The average accuracy of the five algorithms

偽檢率為算法檢測出來的偽角點數占檢測到的角點總數的百分比，具體計算公式為

(12)

式(12)中：δ為偽檢率，即算法檢測的偽角點數占檢測角點總數的比重；c為偽角點數；b為檢測角點總數。δ越大說明算法檢測出來的偽角點數多，算法的準確性較差，5種算法均對數據庫圖像進行30次角點檢測實驗，統計并計算出相關平均值指標，依次求出五種算法對數據庫中30張實驗圖片的偽檢率，如表2所示。

由于實地拍攝的大樓建筑物表面大都是凹凸不平的，或多或少存在細坑、凸起、附著物等，Harris原算法檢測時的區分角點與周圍像素點之間的閾值選取的比較小，導致檢測到的角點數量非常多，角點聚簇現象明顯，正確率低，偽檢率高，而本文研究中的4種改進算法均修正了角點篩選標準，只有與周圍像素點對比比較明顯的角點才被判定出來。

表2 5種算法的平均偽檢率Table 2 The average false detection rate of the five algorithms

其中文獻[21]中將非極大值抑制中的方形窗口替換為圓形窗口有效地減少了誤檢；文獻[22]中加入一種加權系數自適應的加權均值濾波來有效地減少偽角點的形成；文獻[23]中引入自適應的灰度差分理念和積分圖像的思想提高了角點提取的準確性，本文算法中通過引入多尺度的高斯核函數，結合了在高斯核小尺度下定位準確和大尺度下抗噪能力強的優點，提高了準確性。從表1和表2中可以看到4種Harris改進算法相較于Harris原算法在正確率上都有著明顯的提高，在偽檢率上有著明顯的降低，而本文算法相較于其他3種Harris新算法有著更明顯的效果，正確率更高，偽檢率更低，算法檢測的準確性更好。

2.2.2 可靠性比較

用檢測率來表示可靠性的大小，當算法檢測出來的真實角點數在整個圖像的真實角點總數的比例越大時，認為該算法越可靠，具體計算公式為

(13)

式(13)中：θ為檢測率，表示算法檢測的正確角點數占標注角點數的比重來描述可靠性；a為正確角點數量；d為待測圖像的標注角點數。當θ越大，表明該算法檢測出來的真實角點數越多，可靠性越好，當θ越小，表明該算法檢測出來的真實角點數越少，可靠性越差。將5種算法對數據庫圖像進行30次角點檢測實驗，統計并計算出相關平均值指標，平均檢測率結果如表3所示。

Harris算法對圖像中的每個像素點都進行角點判斷，通過閾值的判斷和非極大值抑制的篩選后，不容易丟失角點，同時可以較穩定地檢測出角點，但計算量大實時性不高，而在Harris改進算法中是通過減少初始遍歷的角點數來進行修正，不可避免地丟失一些處于孤立處的角點，檢測率相比Harris原算法來說沒有得到很大的提高，但加快了響應速度。由表3角點平均檢測率可知Harris原算法的檢測率也并不低，4種改進算法的檢測率都優于Harris原算法，進一步地提高了角點檢測的精確度，并且本文算法的檢測率略微好于其他3種改進算法。

2.2.3 高效性對比

用5種算法對每張大樓建筑物圖像角點檢測運行N次的平均時間作為對該圖像的角點檢測所需時間，當所需時間越少，則說明該算法的運行速度更快、算法的高效性更好，具體計算公式為

表3 5種算法的平均檢測率Table 3 The average detection rate of the five algorithms

(14)

式(14)中:Ti為角點檢測算法運行第i次的時間。將5種算法對數據庫圖像進行30次角點檢測實驗，求出5種算法的平均檢測時間，具體數據如表4所示。

由表4可知Harris原算法的運行時間最長，4種Harris改進算法相對于Harris原算法都減少了角點檢測時間，提高了角點響應速度，與文獻[21]算法、文獻[22]算法及文獻[23]算法相比，本文算法在實時響應、檢測速度上具有更快的優勢。

將5種算法對30張數據庫圖像角點檢測的相關指標取其平均值，得到5種算法相關指標比較表，如表5所示。

表4 5種算法的平均檢測時間Table 4 The average detection time of the five algorithms

表5 5種算法平均指標值Table 5 The average index value of the five algorithms in this paper

由于實際條件下拍攝的大樓建筑物存在諸多干擾信息，圖像表面大多凹凸不齊，給大樓建筑物的形變監測帶來了困難。由表5可知，Harris原算法對30張大樓建筑物圖像角點檢測的正確率較低，偽檢率較高，而文獻[21]算法、文獻[22]算法、文獻[23]算法、本文算法均提高了對大樓建筑物圖像角點檢測的正確率，降低了偽檢率。

本文算法結合多尺度下的角點檢測以及初始像素點預篩選，對大樓建筑物圖像角點檢測的正確率提升優于其他3種改進算法，平均正確率提高了近14.78%。同時檢測率代表著算法檢測效果的好壞，文獻[21]算法、文獻[22]算法、文獻[23]算法以及本文算法相對于Harris原算法來說，檢測率提升不大，但相比之下本文算法的平均檢測率仍提升了近6.40%。結合5種算法平均檢測時間來看，可以得出在檢測率相差不大的檢測結果下，后4種算法所需時間更少，其中本文算法在初始像素點預篩選中使用鄰域像素點作差比較來代替原Harris算法中的乘法運算，進一步地縮短了檢測時間，綜合5種算法的平均檢測時間來看，本文的檢測時間最短，平均檢測時間提升了近21.26%，高效性最好，角點響應速度更快。

本文算法提升了Harris算法的檢測精度和響應速度，由圖1～圖5可知本文算法同樣提升了建筑物的角點檢測中，可以更好地應用于建筑物形變監測中，擴展了Harris算法的應用范圍。近年來，研究者們對Harris算法不斷進行改進，應用于不同的實際背景中。如蔡欣展等[24]通過將Harris算法、FAST算法以及Brute-Force匹配相結合，提高了圖像配準的速度和精度。許鑫等[25]通過K-means聚類分割算法進行特征提取，再利用Harris算法對小麥苗莖基部端點進行識別，實現了大田小麥基本苗的快速、精確、智能化監測識別。周偉等[26]通過多邊形逼近方法提取目標輪廓拐角頂點和最小二乘法對最長邊頂點進行直線擬合的改進，提高了對芯片圖像的快速校正效率。苗榮慧等[27]通過提出一種基于圖像塊改進Harris角點檢測的農田圖像拼接算法，旨在構造大視場的農田圖像。而本文算法改進了Harris算法的檢測精度和響應速度，在對建筑物形變監測中有著較好的檢測效果，因此可以用于地震等自然災害中建筑物的損毀狀況監測，擴展了算法的實際應用領域。

3 算法誤差分析

圖1～圖5即5種算法對順序排列的1～30張圖像進行角點檢測的實驗結果圖，從圖1～圖5中可以看出本文算法對大樓建筑物圖像的角點檢測圖相比Harris原算法和3種改進算法來說大部分檢測效果較好，但也存在少數檢測效果較差的結果圖，本節特列舉3張典型的實驗結果圖進行分析說明，如圖6～圖8所示。

由圖6可知，在圖像25的角點檢測中Harris原算法存在角點聚簇現象嚴重，檢測時間較長等缺點。4種算法均在一定程度上進行了優化，由圖6可以看出本文算法的檢測效果低于文獻[22]算法、文獻[23]算法，圖像25表面顏色較深，本文算法在進行像素點預篩選灰度計算時，角點和周圍鄰域內的像素點之間的灰度差較大，此時算法檢測到過多的偽角點，導致角點聚簇現象嚴重，由圖6(e)可知角點聚簇現象嚴重，檢測率較低。

而文獻[21]算法中將非極大值抑制的方形窗口優化為圓形窗口，增強了角點檢測的旋轉不變性，角點檢測的準確度得到改善，但丟失了大量真實角點。文獻[22]算法中引入加權均值濾波函數進行角點篩選，進一步減少了角點聚簇現象，但仍存在較多偽角點。文獻[23]中利用自適應灰度差分思想和積分圖像可以更好地去除偽角點，但明顯檢測到的真實角點數也大量減少。

圖6 圖像25的5種算法角點檢測結果圖Fig.6 Five algorithms of corner detection results of image 25

圖7 圖像28的5種算法角點檢測結果圖Fig.7 Five algorithms of corner detection results of image 28

圖8 圖像6的5種算法角點檢測結果圖Fig.8 Corner detection results of five algorithms in image 6

如圖7(a)所示，Harris原算法對圖像28角點檢測時同樣存在角點聚簇現象嚴重，準確度較差，運算時間較長的不足。文獻[21]算法進一步降低了Harris算法的聚簇效應，提高了實時性，但由圖7(b)可知丟失了大量角點。文獻[22]算法引入加權均值濾波進一步提高了角點檢測的抗噪能力和實時性，從圖7(c)中可以清晰地看到角點聚簇現象得到很大改善，角點提取精度進一步提升。文獻[23]算法在積分圖像和自適應灰度差分思想的改進下提高了對圖像28角點檢測的準確度，但同樣丟失了對大量真實角點的檢測。由圖7對比可知本文算法雖角點聚簇現象較為嚴重，但檢測出了其他3種改進算法沒有檢測到的角點，檢測率得到提高。

如圖8所示，5種算法對圖像6的角點檢測效果都較差，圖像6在拍攝時離相機較遠，光線較暗，關鍵角點信息難以檢測出來，算法改進后依然無法將大部分角點檢測出來，圖像11、圖像20、圖像27情況類似，由于圖像拍攝時成像較差，導致角點檢測效果很差。所以在實際大樓建筑物的形變監測中，必須保證大樓建筑物圖像拍攝的質量，可以多次拍攝進行角點檢測取其平均值降低誤差。

4 結論

從大型建筑物需進行形變監測的實際需求出發，通過攝影成像的方法進行角點檢測得到大型建筑物形變前后的位置誤差，提出了一種基于提升尺度單一性和灰度差值預篩選的角點檢測算法。首先通過引入高斯核函數進行卷積操作實現在多種尺度下角點檢測的目標，然后通過對待測像素點與其周圍8鄰域像素點進行作差篩選像素點以減少計算量，最后再利用最小核值相似區的思想進行角點篩選提升角點檢測的精度。實驗結果表明，本文算法相比Harris算法及其他改進算法來說更能準確提取出大樓建筑物的角點，正確率平均提升了近15%，平均檢測時間縮短了近21%，可以更好地適用于大樓建筑物的形變檢測實際應用中，提高其形變檢測的準確性和檢測速度，擴大實際應用范圍。