基于計算機(jī)視覺的鋼橋螺栓松動檢測方法

勞武略，徐 威，張清華，羅純坤，崔 闖，陳 杰

(1.西南交通大學(xué) 土木工程學(xué)院，四川 成都 610031；2.保利長大工程有限公司，廣東 廣州 510620)

螺栓連接件結(jié)構(gòu)簡單、裝卸便捷,已成為鋼橋建設(shè)中的主要連接方式之一[1]。但在車輛、溫度等動力荷載作用下螺栓極易發(fā)生松動,造成栓接結(jié)構(gòu)預(yù)緊力不足、承載力下降。目前常用扭矩扳手進(jìn)行螺栓松動檢測,但該方法檢測效率低、漏檢率高,且因螺栓參數(shù)差異導(dǎo)致檢測誤差較大。因此,為保證鋼橋栓接結(jié)構(gòu)服役性能,需研發(fā)智能化、自動化的螺栓松動檢測方法,提高檢測效率和精度。

針對上述實際工程問題,國內(nèi)外學(xué)者提出了以結(jié)構(gòu)振動、壓電阻抗、超聲導(dǎo)波等為基本原理的螺栓松動檢測方法[2]。在基于振動的技術(shù)中,主要通過結(jié)構(gòu)的固有頻率、模態(tài)和頻響函數(shù)等動態(tài)特性分析螺栓狀態(tài)[3]。在基于壓電阻抗的技術(shù)中,利用壓電材料將激勵電壓轉(zhuǎn)換為振動信號,使得壓電材料與螺栓結(jié)構(gòu)形成的耦合系統(tǒng)發(fā)生諧振,根據(jù)諧振頻率反演螺栓的預(yù)緊力[4]。在應(yīng)用超聲導(dǎo)波技術(shù)時,先利用壓電材料激勵出更高頻的振動信號,從而在板件中產(chǎn)生超聲導(dǎo)波,再根據(jù)導(dǎo)波的線性或非線性特征檢測螺栓的狀態(tài)變化[5]。然而這幾類方法檢測結(jié)果易受環(huán)境影響,且均需提取信號特征與螺栓狀態(tài)間的復(fù)雜映射關(guān)系[6]。

近年來,基于計算機(jī)視覺的健康監(jiān)測方法因其具有低成本、易部署、非接觸測量等眾多優(yōu)點而受到學(xué)者們的廣泛關(guān)注[7-9]。Pan等[10]利用終端設(shè)備采集松動前后螺栓頭上預(yù)置的編碼圖像,在識別其編碼特征后計算松動角度,但該方法檢測成本較高,不適用于鋼橋螺栓群的松動監(jiān)測。隨著深度學(xué)習(xí)理論的發(fā)展,國內(nèi)外學(xué)者又提出以RCNN[11]、Yolo[12]、SSD[13]為代表的目標(biāo)檢測模型,其中Yolo已更新至YoloV5且具有較高的檢測效率。陳永等[14]在Mask-RCNN的基礎(chǔ)上提出一種鐵路異物檢測方法。Zhang等[15]和Yuan等[16]分別利用RCNN、Mask-RCNN檢測外露螺桿的螺栓。程敦誠等[17]利用SSD定位并截取鐵路接觸網(wǎng)頂緊螺栓區(qū)域,并由此判斷螺栓狀態(tài)。為檢測螺栓的松動角度,還需檢測與螺栓相關(guān)的幾何圖素,并根據(jù)圖素的相對位置關(guān)系計算角度。Yu等[18]和Zhao等[19]以SSD檢測出的螺栓標(biāo)記物為角度計算依據(jù),但當(dāng)標(biāo)記物被遮擋或脫落時該方法將失效。文獻(xiàn)[20-22]通過邊緣檢測、Hough變換等圖像處理方法檢測螺栓邊線進(jìn)而計算松動角度,但所采用的圖像處理技術(shù)對外界干擾較為敏感且易發(fā)生誤檢,這導(dǎo)致其穩(wěn)定性與精度均難以保證。為規(guī)避上述圖像處理技術(shù)中的缺點,本文采用深度學(xué)習(xí)方法檢測螺栓關(guān)鍵點,即六角螺栓的6個角點,并將其作為計算螺栓松動角度的幾何圖素。

基于深度學(xué)習(xí)的關(guān)鍵點檢測是計算機(jī)視覺領(lǐng)域的另一個熱點研究問題,其核心思想是利用神經(jīng)網(wǎng)絡(luò)提取圖像特征,并由此確定關(guān)鍵點類別及位置[23]。多個目標(biāo)的關(guān)鍵點檢測可分為自上而下[24]和自下而上[25]2種方法。自上而下的方法中需先檢測出圖像中的目標(biāo),然后對每個目標(biāo)的關(guān)鍵點進(jìn)行檢測。自下而上的方法則包含圖像中所有關(guān)鍵點的檢測與檢出關(guān)鍵點的聚類組合。較于自下而上的方法,自上而下的方法檢測精度較高,但檢測速度稍遜。由于螺栓關(guān)鍵點檢測精度將直接影響后續(xù)的角度計算,故本文采用自上而下的方法檢測螺栓關(guān)鍵點。既有研究[24]表明,自上而下的方法中,在目標(biāo)檢測算法可檢測出所有目標(biāo)的前提下,其檢測框的精度對后續(xù)關(guān)鍵點檢測影響較小,如何提高關(guān)鍵點檢測的精度才是至關(guān)重要的。為提高檢測效率,本文先利用YoloV5檢測圖像中的螺栓目標(biāo),然后基于深度學(xué)習(xí)理論建立螺栓關(guān)鍵點檢測模型,在比選出性能較優(yōu)的關(guān)鍵點檢測模型后,再利用該模型檢測各個螺栓目標(biāo)的關(guān)鍵點。

綜上所述,本文提出一種基于計算機(jī)視覺的鋼橋螺栓松動檢測方法:首先建立螺栓關(guān)鍵點檢測模型,分別構(gòu)建YoloV5數(shù)據(jù)集和關(guān)鍵點檢測模型數(shù)據(jù)集;然后訓(xùn)練檢測模型,并在訓(xùn)練過程中比選出性能較優(yōu)的關(guān)鍵點檢測模型;利用訓(xùn)練后的YoloV5模型和關(guān)鍵點檢測模型自上而下檢測初始、松動狀態(tài)圖像中的螺栓目標(biāo)及關(guān)鍵點,并根據(jù)關(guān)鍵點確定各個螺栓的中心點位置,再以中心點的相對位置矯正兩幅圖像的幾何變形,并求解透視變換矩陣;最后利用透視變換矩陣對關(guān)鍵點進(jìn)行重投影,根據(jù)松動前后關(guān)鍵點間的位置變化判斷螺栓松動,并計算松動角度。

1 鋼橋螺栓松動檢測方法

1.1 基本原理

鋼橋螺栓松動檢測方法框架見圖1。圖1中,圖像數(shù)據(jù)準(zhǔn)備、模型訓(xùn)練是該方法的準(zhǔn)備階段,目的是生成2個數(shù)據(jù)集,分別訓(xùn)練Yolov5模型和關(guān)鍵點檢測模型。該過程中螺栓目標(biāo)和關(guān)鍵點均由人工標(biāo)注,其中,目標(biāo)標(biāo)注結(jié)果中包含目標(biāo)框的坐標(biāo)和長寬信息,關(guān)鍵點標(biāo)注結(jié)果中包含關(guān)鍵點的坐標(biāo)信息。螺栓關(guān)鍵點檢測步驟中,需利用訓(xùn)練后的2個模型檢測初始、松動狀態(tài)圖像中的螺栓目標(biāo)和關(guān)鍵點,檢測結(jié)果包含檢測框的坐標(biāo)和長寬信息,以及關(guān)鍵點的坐標(biāo)信息。其中螺栓目標(biāo)裁剪時,需將目標(biāo)框或真實框向外擴(kuò)展20%后作為裁剪框,以保留充足的螺栓邊緣信息。螺栓松動識別步驟中,需同時對初始狀態(tài)圖像和松動狀態(tài)圖像執(zhí)行以下操作:

圖1 螺栓松動檢測方法框架

Step1將6個關(guān)鍵點坐標(biāo)的平均值作為中心點的坐標(biāo),并采用基于Voronoi圖確定邊界點的方法分類匹配中心點。

Step2根據(jù)匹配結(jié)果擬合透視變換矩陣的最小二乘解,并利用該矩陣對螺栓關(guān)鍵點與中心點進(jìn)行重投影。

Step3根據(jù)松動前后螺栓各點間的位置變化判斷螺栓松動,并計算松動角度。

1.2 螺栓目標(biāo)與關(guān)鍵點檢測

鋼橋螺栓通常分布較為密集,因此本文采用先檢測螺栓再檢測其關(guān)鍵點的方法。首先將圖像輸入至YoloV5得到螺栓目標(biāo)的檢測框,根據(jù)檢測框裁剪原始圖像得到螺栓子圖塊,然后利用關(guān)鍵點檢測模型檢測子圖塊中的關(guān)鍵點。螺栓目標(biāo)、關(guān)鍵點檢測過程見圖2。圖2中,w、h分別為檢測框的長、寬;裁剪框為檢測框向外擴(kuò)展20%,即裁剪尺寸為1.2w×1.2h。

圖2 螺栓目標(biāo)、關(guān)鍵點檢測過程

1.2.1 螺栓目標(biāo)檢測模型

螺栓目標(biāo)檢測模型見圖3。圖3中,Backbone(骨干網(wǎng)絡(luò))、Neck(特征融合提取結(jié)構(gòu))、Head(檢測頭)3個模塊組成YoloV5[12];原始輸入圖像的像素尺寸為640×640×3(3個顏色通道);在Backbone模塊,首先利用注意力機(jī)制對輸入進(jìn)行像素間隔采樣生成4張圖像,并對其進(jìn)行卷積后生成初始特征圖,再利用DarkNet53網(wǎng)絡(luò)提取特征圖中的紋理、形狀等特征;在Neck模塊,利用特征金字塔對不同尺度特征進(jìn)行拼接融合,生成的特征圖尺寸分別為128×80×80、256×40×40、512×20×20;在Head模塊,將特征圖映射為候選框的坐標(biāo)、置信度、概率分布等7個參數(shù),其中,置信度反映候選框內(nèi)是否有目標(biāo)的概率,概率分布是螺栓目標(biāo)的分類概率。Head模塊中的3組特征圖分別用于預(yù)測大、中、小目標(biāo),各特征值的先驗框數(shù)量為3,因此每個尺度下的參數(shù)預(yù)測數(shù)量為s×s×3×7,s為特征圖的大小。

圖3 螺栓目標(biāo)檢測模型

1.2.2 螺栓關(guān)鍵點檢測模型

螺栓關(guān)鍵點檢測模型見圖4。當(dāng)前常用的關(guān)鍵點檢測思路有2種[26]:①利用Backbone提取圖像特征,由全連接層直接回歸關(guān)鍵點坐標(biāo),如圖4(a)所示;②直接利用Backbone輸出Heatmap(熱圖),通過Heatmap信息反算關(guān)鍵點的像素坐標(biāo),如圖4(b)所示。前者在全連接層回歸坐標(biāo)時不會丟失數(shù)據(jù)精度,但缺乏泛化能力,即對未知數(shù)據(jù)的檢測效果較差;后者需要高分辨率的Heatmap才能保證檢測精度,但這使得模型計算量大,且反算關(guān)鍵點坐標(biāo)過程是不可微的,導(dǎo)致無法對模型進(jìn)行端到端的訓(xùn)練。綜合考慮2種方法的特性,本文在Heatmap后接DSNT(可微變換)模塊[26],將Heatmap回歸為關(guān)鍵點坐標(biāo),使模型完全可微,如圖4(c)所示。

圖4 關(guān)鍵點檢測模型

圖5 DSNT模塊結(jié)構(gòu)

(1)

(2)

式中:winput、hinput分別為輸入圖像的寬度、高度。

X、Y矩陣的維度與Heatmap相同,X、Y矩陣中(i,j)處的元素Xi，j、Yi，j為

(3)

由此可知,DSNT模塊不會引入額外的訓(xùn)練參數(shù),且可通過低分辨率的Heatmap得到具有數(shù)據(jù)精度的關(guān)鍵點像素坐標(biāo)。

在Heatmap回歸過程中,由于螺栓關(guān)鍵點間的特征較為類似,為避免在某個通道的Heatmap中出現(xiàn)多個局部峰值,需將關(guān)鍵點分為6類。又由于螺栓關(guān)鍵點分布方位不同,考慮到關(guān)鍵點檢測模型中的回歸過程具有位置記憶,即可根據(jù)關(guān)鍵點的相對位置關(guān)系對其進(jìn)行分類,故本文以左上關(guān)鍵點作為第一類關(guān)鍵點P1,然后沿逆時針依次為關(guān)鍵點P2～P6。左上關(guān)鍵點的判斷準(zhǔn)則為:螺栓中心點O與6個關(guān)鍵點構(gòu)成向量集合OPi,i=1,2,…,6,單位向量[1 1]記為OP0,計算OPi與OP0之間的順時針夾角值θi,θi最小的關(guān)鍵點作為螺栓的左上關(guān)鍵點。螺栓關(guān)鍵點分類見圖6。

圖6 螺栓關(guān)鍵點分類

關(guān)鍵點檢測模型中的待訓(xùn)練參數(shù)僅來源于Backbone,其特征提取能力直接影響模型檢測性能,而Heatmap大小將直接決定Backbone提取出的信息量。因此本文選取4種經(jīng)典的圖像分類網(wǎng)絡(luò):EfficientNet[27]、ResNet[28]、DenseNet[29]、MobileNet[30]分別作為模型的Backbone,對比不同Heatmap大小時的模型性能,以比選出更優(yōu)的關(guān)鍵點檢測模型。上述4種圖像分類網(wǎng)絡(luò)的輸入圖像像素尺寸為224×224,下采樣率為25(5個步長均為2的下采樣階段),網(wǎng)絡(luò)末端輸出的特征圖尺寸為dc×7×7,dc為通道數(shù),經(jīng)過池化層與全連接層后輸出當(dāng)前圖像的分類結(jié)果。為將上述分類網(wǎng)絡(luò)應(yīng)用于關(guān)鍵點檢測模型中,需進(jìn)行以下改動:①將分類網(wǎng)絡(luò)中某個下采樣階段的步長改為1,減小下采樣率,使得網(wǎng)絡(luò)末端輸出的特征圖尺寸變?yōu)閐c×14×14;②將分類網(wǎng)絡(luò)末端的池化層與全連接層改為卷積層,將dc×7×7(或dc×14×14)的特征圖轉(zhuǎn)換為6×7×7(或6×14×14)的Heatmap。

對上述關(guān)鍵點檢測模型還需建立損失函數(shù)。本文將歸一化的關(guān)鍵點坐標(biāo)預(yù)測值與真實值的L2范數(shù)、Heatmap預(yù)測值與真實值的JS散度正則項共同作為損失函數(shù),如圖4(c)所示。L2范數(shù)可直接量化關(guān)鍵點預(yù)測位置與實際位置之間的距離,其計算式為

(4)

(5)

1.3 圖像幾何矯正

圖像采集過程中,視平面與螺栓所在平面(物面)難以保證平行關(guān)系,導(dǎo)致圖像存在幾何變形,此時視平面中的物像無法正確反映出物體的角度特征。因此需矯正圖像的幾何變形,使圖像中的角度關(guān)系具有實際的物理意義。首先將1.2節(jié)中檢測出的6個關(guān)鍵點的坐標(biāo)平均值作為中心點的坐標(biāo),并匹配中心點,即將各中心點坐標(biāo)作為矯正前的坐標(biāo),在確定各中心點的相對位置后,指定各中心點幾何矯正后的坐標(biāo)。隨后根據(jù)矯正前后的中心點坐標(biāo)求解透視變換矩陣,并對關(guān)鍵點進(jìn)行重投影,圖像幾何矯正過程見圖7。圖7中,物面、視平面、視點構(gòu)成了基本的透視投影模型,其實質(zhì)是以中心點的相對位置關(guān)系為參照,重新建立投影體系,將視平面中的物像投影至與物面平行的重投影面上。

圖7 圖像幾何矯正

1.3.1 螺栓中心點匹配

螺栓中心點匹配過程見圖8。由于圖像中的螺栓數(shù)量未知,且在幾何矯正前螺栓中心點呈不規(guī)則離散分布,如圖8(a)所示,這對中心點匹配方法的準(zhǔn)確性和穩(wěn)定性提出了較高要求。為實現(xiàn)中心點的自動化匹配,本文采用基于Voronoi圖確定邊界的方法對螺栓中心點由外至內(nèi)逐層分類,再根據(jù)過各點特定斜率直線的坐標(biāo)軸截距確定每層邊界點的拐點,并以這些點為參考將各點與實際的螺栓逐個對應(yīng),最終確定矯正后各點的像素坐標(biāo)。

圖8 螺栓中心點匹配

對于本文中的螺栓中心點,其Voronoi圖的定義為[31]:設(shè){O1,O2,…,On}為螺栓中心點集合,對于該集合中任意點Oi,平面中與Oi最為接近的點集構(gòu)成一個多邊形區(qū)域Vi,稱為Oi的Voronoi區(qū)域,如圖8(b)所示。由此可以看出,Voronoi圖將無限平面劃分為有限個區(qū)域,記為{V1,V2,…,Vn},當(dāng)Vi無界時,可判斷與其相關(guān)聯(lián)的Oi為邊界點。圖8(b)中的V1～V12均是無界的,因此可將O1～O12分類為第1層邊界點。剔除中心點集合中的第1層邊界點后,對剩余點重復(fù)上述分類過程,并依次記為第2層邊界點、第3層邊界點,等等,直至對所有點均進(jìn)行了分類。

完成螺栓中心點分類后,先求解圖像坐標(biāo)系中,過各點且斜率分別為±1的直線與坐標(biāo)軸的截距,并根據(jù)截距大小關(guān)系篩選出各層邊界點的拐點,如圖8(c)中所示。對于第1層邊界點,過所有點且斜率為-1的直線與豎軸的截距最小值、最大值分別對應(yīng)的點為O1、O7,過所有點且斜率為1的直線與橫軸的截距最小值、最大值分別對應(yīng)的點為O4、O10;第2層邊界點、第3層邊界點等同理。確定每層邊界點的4個拐點后再分別指定各中心點矯正后的像素坐標(biāo),如圖8(d)所示。

1.3.2 透視變換原理

從數(shù)學(xué)角度而言,透視變換就是坐標(biāo)系的轉(zhuǎn)換,包含線性變化、平移變化、透視變化。其中,線性變化與平移變化不會改變圖像中的平行關(guān)系,透視變化會在三維空間中改變重投影面方位。本文為計算圖像中的角度特征,取重投影面與物面平行,即屬于二維平面的透視變換,該變換過程[32]可表示為

(6)

式中:M為透視變換矩陣;(xo,yo)為中心點矯正后的像素坐標(biāo);(x′o,y′o)為中心點矯正前的像素坐標(biāo);f為尺度因子。M矩陣中有8個未知參數(shù),每個中心點變換前后像素坐標(biāo)可提供2個獨立方程,因此求解M矩陣至少需要4個中心點的變換前后像素坐標(biāo)。

1.4 螺栓松動檢測

利用求解出的透視變換矩陣對螺栓關(guān)鍵點進(jìn)行重投影,可使各點的相對位置反映出真實的角度關(guān)系,并進(jìn)一步根據(jù)松動前后關(guān)鍵點間的位置變化計算松動角度。但關(guān)鍵點檢測時存在離散誤差,且該誤差會在透視變換矩陣求解與重投影過程中放大,這將會影響向量夾角的計算精度。因此,需統(tǒng)計分析螺栓向量夾角的誤差分布,并確定判斷螺栓松動的閾值。

圖9 角度計算

2 試驗與數(shù)據(jù)分析

2.1 圖像數(shù)據(jù)準(zhǔn)備

利用消費級相機(jī)采集某鋼橋栓接結(jié)構(gòu)的高強(qiáng)螺栓圖像,并通過變換圖像采集的角度、距離、光照等獲得大量不同質(zhì)的螺栓圖像,以保證數(shù)據(jù)集的復(fù)雜性與多樣性,最終共采集螺栓圖像1 340張。

圖像采集完成后,需對圖像進(jìn)行標(biāo)注,標(biāo)注過程見圖10。首先標(biāo)注每張圖像中的螺栓目標(biāo)真實框,如圖10(a)所示,然后將真實框向外擴(kuò)展20%后作為裁剪框,裁剪完成后得到1.4萬張螺栓子圖塊。為便于將子圖塊輸入到關(guān)鍵點檢測模型中,本文將所有子圖塊的像素尺寸統(tǒng)一為224×224。其次按圖6所示的關(guān)鍵點分類順序標(biāo)注每個子圖塊中的6類關(guān)鍵點,標(biāo)注過程見圖10(b)。所有關(guān)鍵點的分布見圖11。由圖11可知,每類關(guān)鍵點分布集中且相對位置關(guān)系明確,關(guān)鍵點檢測模型可學(xué)習(xí)到這種關(guān)鍵點的分布特征,并在預(yù)測過程中根據(jù)位置關(guān)系判斷點的類別。

圖10 圖像標(biāo)注

圖11 關(guān)鍵點分布

2.2 模型訓(xùn)練過程

2.2.1 目標(biāo)檢測模型

采用遷移學(xué)習(xí)方式對YoloV5進(jìn)行訓(xùn)練,即預(yù)加載已在其他大型數(shù)據(jù)集中訓(xùn)練后的模型參數(shù),使其快速收斂。為真實反映模型檢測性能,需統(tǒng)計分析YoloV5識別結(jié)果的精確率p和召回率r,其計算式分別為

(7)

式中:TP為真陽性識別結(jié)果;FP為假陽性識別結(jié)果;FN為假陰性識別結(jié)果。同時引入交并比IoU,反映預(yù)測框與真實框的相關(guān)度。對于所有預(yù)測框,其IoU為

(8)

取交并比閾值為0.6,當(dāng)預(yù)測框的IoU值大于0.6時預(yù)測結(jié)果為TP,當(dāng)預(yù)測框的IoU值在0～0.6范圍內(nèi)時預(yù)測結(jié)果為FP,當(dāng)預(yù)測框與真實框沒有交集即IoU值為0時預(yù)測結(jié)果為FN。因此p衡量了模型檢測的查準(zhǔn)度,r衡量了模型的查全度。

YoloV5訓(xùn)練過程中p、r變化趨勢見圖12。由圖12可知,訓(xùn)練前期網(wǎng)絡(luò)泛化能力較差,網(wǎng)絡(luò)性能波動較大;經(jīng)40次迭代訓(xùn)練后,p、r趨于平穩(wěn),訓(xùn)練結(jié)束后p、r分別達(dá)到了0.99、0.98,表明網(wǎng)絡(luò)已達(dá)到較好的檢測性能。

圖12 YoloV5性能曲線

2.2.2 關(guān)鍵點檢測模型

影響關(guān)鍵點檢測模型性能的主要因素有2個:①Backbone特性與數(shù)據(jù)集特征的匹配程度;②Heatmap的大小。因此針對4種Backbone,分別取7×7與14×14兩種Heatmap大小,組合成多種不同的網(wǎng)絡(luò)結(jié)構(gòu),其中ResNet、DenseNet、EfficientNet、MobileNet的參數(shù)量分別為23.5、7.0、4.2、3.1 MB,訓(xùn)練過程中各網(wǎng)絡(luò)的損失函數(shù)見圖13。由圖13可知:訓(xùn)練過程中,ResNet由于待訓(xùn)練參數(shù)量較大,其損失收斂較慢,而MobileNet則收斂較快;訓(xùn)練結(jié)束后,當(dāng)輸出Heatmap維度為14×14時,其模型損失低于Heatmap維度為7×7時的模型,原因是此時Heatmap所描述的分布概率更加精細(xì),其預(yù)測結(jié)果也更加精準(zhǔn),不同Heatmap大小時關(guān)鍵點的分布概率見圖14。由于ResNet參數(shù)量較大,其特征提取能力更強(qiáng),因此本文將以ResNet作為螺栓關(guān)鍵點檢測模型的Backbone,Heatmap大小取14×14。最終,利用YoloV5與關(guān)鍵點檢測模型對圖像中的所有螺栓關(guān)鍵點進(jìn)行檢測,檢測結(jié)果見圖15。

圖13 關(guān)鍵點檢測模型損失函數(shù)

圖14 不同Heatmap大小時關(guān)鍵點的分布概率

圖15 螺栓關(guān)鍵點檢測結(jié)果

2.3 透視變換矩陣求解

在得到螺栓關(guān)鍵點的像素坐標(biāo)后,將其坐標(biāo)的均值作為螺栓中心點的坐標(biāo),采用1.3節(jié)中所述方法對中心點由外至內(nèi)逐層分類并確定各點矯正后的像素坐標(biāo),圖像矯正過程見圖16。為求解透視變換矩陣,式( 6 )可改寫為

圖16 圖像矯正過程

(9)

式中:n為螺栓中心點數(shù)量。當(dāng)n=4時,該方程組有唯一解,即透視變換矩陣唯一確定;當(dāng)n>4時,該方程組為超定方程組,其最小二乘解即為最優(yōu)的透視變換矩陣。利用該矩陣對螺栓圖像進(jìn)行透視變換,結(jié)果見圖16(b)。

圖17 分布

2.4 方法有效性驗證

為驗證本文所提出的鋼橋螺栓松動檢測方法的有效性,分別對不同采集環(huán)境下的螺栓松動進(jìn)行識別,螺栓松動識別過程見圖18～圖22。驗證步驟如下:

圖18 螺栓松動圖像采集

Step1選取某背景較為復(fù)雜的鋼橋拼接板結(jié)構(gòu)采集初始狀態(tài)圖像,如圖18所示。

Step2將4、6號螺栓分別松動20°、25°,并分別控制圖像采集距離d=0.9～1.8 m(θ=0°)、角度θ=10°～40°(d=0.9 m),得到多個松動狀態(tài)圖像。其中,d為圖像采集設(shè)備視點至螺栓平面的距離;θ為圖像采集設(shè)備視線與螺栓平面法向的夾角。

Step3利用本文方法分別對初始狀態(tài)圖像和松動狀態(tài)圖像,進(jìn)行螺栓目標(biāo)及關(guān)鍵點檢測、圖像幾何矯正、關(guān)鍵點定位誤差分析、角度計算,如圖19～圖21所示,最終得到螺栓松動檢測結(jié)果,見表1。

表1 螺栓松動檢測結(jié)果

圖19 螺栓目標(biāo)及關(guān)鍵點檢測

圖20 螺栓松動圖像幾何矯正

圖21 螺栓松動識別過程中分布

上述步驟在配置CPU和GPU的實驗平臺上進(jìn)行,其中運(yùn)算量較大的步驟是螺栓目標(biāo)檢測和關(guān)鍵點檢測,分別為16.3 GFLOPS和32.3 GFLOPS,最終檢測每張圖像耗時約0.33 s,即可達(dá)到3幀/s的檢測速度。

由圖18～圖22、表1可知:

圖22 螺栓松動識別過程中分布

1)本文采用的目標(biāo)、關(guān)鍵點檢測方法在不同圖像采集環(huán)境下均能檢測出螺栓目標(biāo)及關(guān)鍵點。

5)利用本文方法識別螺栓松動時,4、6號螺栓的松動角度計算誤差在不同圖像采集環(huán)境下的最小值分別為1.0%、0%,最大值分別為9.0%、9.6%,均在可接受范圍內(nèi),最終在所有圖像采集環(huán)境下僅發(fā)生3例誤檢,誤檢率為2.7%,表明本文所提出方法具有較高的檢測精度與穩(wěn)定性。

3 結(jié)論

對于不同圖像采集條件下的鋼橋螺栓,本文提出基于計算機(jī)視覺的螺栓松動識別方法,可實現(xiàn)螺栓目標(biāo)及關(guān)鍵點檢測、圖像幾何矯正、角度計算等,并通過對比初始狀態(tài)圖像與松動狀態(tài)圖像中關(guān)鍵點的位置變化識別螺栓松動,大幅提升螺栓松動檢測的自動化程度。結(jié)果表明:

1)由于鋼橋螺栓分布較為密集,本文采用自上而下的方法檢測螺栓關(guān)鍵點,先利用YoloV5檢測螺栓目標(biāo),然后基于深度學(xué)習(xí)理論建立多個關(guān)鍵點檢測模型,通過比選各個網(wǎng)絡(luò)的性能最終確定以ResNet作為Backbone,并取特征圖尺寸為14×14;利用該目標(biāo)檢測模型與關(guān)鍵點檢測模型可較為準(zhǔn)確地檢測出螺栓的6個關(guān)鍵點。

2)由螺栓關(guān)鍵點確定中心點位置,基于Voronoi圖分類、匹配中心點進(jìn)而矯正圖像的幾何變形的方法具有較好的穩(wěn)定性,且由所有中心點像素坐標(biāo)擬合透視變換矩陣最小二乘解,可提高圖像幾何矯正的精度。

3)利用本文方法檢測不同圖像采集環(huán)境下的關(guān)鍵點時,檢測誤差總體上表現(xiàn)出隨圖像采集距離、角度的增大而增大,且對圖像采集角度更為敏感,因此還需提高關(guān)鍵點檢測的魯棒性,提高本文方法在惡劣圖像采集環(huán)境下的適用性。

4)不同圖像采集環(huán)境下,松動螺栓的角度檢測誤差在0%～9.6%之間,誤檢率僅為2.7%,表明本文所提出方法的檢測精度和穩(wěn)定性均較高。