視覺跟蹤多轉(zhuǎn)子位移測(cè)量

摘要

針對(duì)當(dāng)前傳統(tǒng)振動(dòng)傳感器在測(cè)量旋轉(zhuǎn)體位移時(shí)受限于安裝和測(cè)點(diǎn)數(shù)量等問題，將高速工業(yè)相機(jī)作為采集媒介，在轉(zhuǎn)子振動(dòng)試驗(yàn)臺(tái)上進(jìn)行轉(zhuǎn)子振動(dòng)視頻的采集，并利用基于多目標(biāo)跟蹤的視覺振動(dòng)測(cè)量方法跟蹤多個(gè)轉(zhuǎn)子目標(biāo)的全場(chǎng)振動(dòng)位移。將注意力機(jī)制引入殘差神經(jīng)網(wǎng)絡(luò)，結(jié)合特征金字塔網(wǎng)絡(luò)結(jié)構(gòu)建立改進(jìn)的特征提取骨干網(wǎng)絡(luò)，并利用身份重新識(shí)別方法來強(qiáng)化相鄰幀間目標(biāo)位移的關(guān)聯(lián)性，跟蹤旋轉(zhuǎn)體全場(chǎng)振動(dòng)位移信號(hào)。在轉(zhuǎn)子振動(dòng)位移測(cè)量數(shù)據(jù)集上對(duì)不同網(wǎng)絡(luò)模型進(jìn)行定性和定量的比較。結(jié)果表明，本文構(gòu)建的網(wǎng)絡(luò)模型在邊界框回歸時(shí)能夠獲取更為緊密的貼合度；將采集的電渦流位移信號(hào)作為標(biāo)準(zhǔn)量進(jìn)行兩個(gè)轉(zhuǎn)子位移信號(hào)的對(duì)比實(shí)驗(yàn)，結(jié)果表明，本文多目標(biāo)跟蹤算法擬合的波形和頻譜噪聲最小，且能與電渦流信號(hào)相匹配；在目標(biāo)對(duì)象模糊情況下的實(shí)驗(yàn)也證明本文算法所具有的泛化性能，這也體現(xiàn)出視覺測(cè)量在旋轉(zhuǎn)體振動(dòng)位移跟蹤領(lǐng)域的工程應(yīng)用價(jià)值。

關(guān)鍵詞

視覺測(cè)振; 深度學(xué)習(xí); 多目標(biāo); 視覺跟蹤; 模糊圖像; 旋轉(zhuǎn)體位移測(cè)量

引 言

旋轉(zhuǎn)機(jī)械是工業(yè)生產(chǎn)中的基礎(chǔ)性設(shè)施，廣泛的應(yīng)用于航空發(fā)動(dòng)機(jī)、動(dòng)量輪、高速分子泵等旋轉(zhuǎn)設(shè)備中。這些設(shè)備中的旋轉(zhuǎn)體在復(fù)雜工況下長(zhǎng)期服役后，時(shí)常出現(xiàn)不對(duì)稱、不對(duì)中、磨損和斷裂等故障。基于振動(dòng)信號(hào)測(cè)量的結(jié)構(gòu)體健康監(jiān)測(cè)技術(shù)在有效避免人員傷亡和經(jīng)濟(jì)損失方面發(fā)揮了不可替代的作用［1?2］。目前，基于高頻響振動(dòng)的觸覺式加速度傳感器測(cè)量是一種常用的旋轉(zhuǎn)體故障檢測(cè)方法，但附加質(zhì)量效應(yīng)和無法直接吸附被測(cè)體而引起的誤差必然會(huì)影響測(cè)量的精度。因此，基于非接觸式的位移測(cè)量傳感器在特定的工業(yè)場(chǎng)景發(fā)揮了獨(dú)特的檢測(cè)優(yōu)勢(shì)，如利用電磁感應(yīng)原理測(cè)量探頭與金屬導(dǎo)體之間相對(duì)位移變化的電渦流傳感器。列舉的兩種傳感器只能獨(dú)立測(cè)量單點(diǎn)的一維信號(hào)，而多點(diǎn)甚至多目標(biāo)測(cè)量時(shí)只能依靠數(shù)量彌補(bǔ)其缺陷。因此，研究一種非接觸式的多振點(diǎn)、全場(chǎng)測(cè)量方法進(jìn)行可靠的結(jié)構(gòu)體健康監(jiān)測(cè)具有重要的經(jīng)濟(jì)價(jià)值和意義。

作為一種遠(yuǎn)距離、非接觸、多維的振動(dòng)位移測(cè)量方法，視覺測(cè)量逐步得到廣大專家和學(xué)者的認(rèn)可。該方法根據(jù)提取的目標(biāo)特征選擇合適的數(shù)字圖像相關(guān)算法，獲取視頻中既定目標(biāo)的類別和位置信息，通過映射目標(biāo)在圖像中的像素值回歸出目標(biāo)指定點(diǎn)的位移偏移量信息。但是大部分基于數(shù)字圖像相關(guān)的視覺測(cè)量方法因本身固有的缺陷而導(dǎo)致其在目標(biāo)識(shí)別和位移關(guān)聯(lián)方面陷入理論和技術(shù)方面的瓶頸。如工業(yè)相機(jī)在振動(dòng)視頻采集過程中會(huì)產(chǎn)生畸變效應(yīng)，這種不可避免的物理缺陷會(huì)放大目標(biāo)產(chǎn)生未知幾何變形的程度；基于灰度［3］、形狀［4］、顏色［5］和梯度［6］特征進(jìn)行視覺測(cè)量算法也會(huì)因少量的特征參數(shù)無法對(duì)旋轉(zhuǎn)體有效識(shí)別，尤其在面臨高頻、微幅和無表面處理的振動(dòng)測(cè)量時(shí)略有不足。因此，盡管視覺測(cè)量位移的方法具有較強(qiáng)的適用性，但是如何增強(qiáng)目標(biāo)識(shí)別和振動(dòng)位移之間的聯(lián)系是實(shí)現(xiàn)視覺位移可靠性測(cè)量的關(guān)鍵所在。

視覺位移測(cè)量可根據(jù)應(yīng)用場(chǎng)景、結(jié)構(gòu)對(duì)象選擇基于序列幀的視頻跟蹤方法。視頻跟蹤方法納入幀間相對(duì)運(yùn)動(dòng)信息，將時(shí)域信息和空間信息相互融合。與常規(guī)圖像檢測(cè)方法相比，視頻追蹤方法可以在振動(dòng)信號(hào)位移的處理速度和檢測(cè)精度之間進(jìn)行有效平衡，如基于時(shí)空上下文［7］、支持向量機(jī)模糊融合［8］和遺傳算法［9］等相關(guān)搜索算法。而基于亮度不變和小范圍運(yùn)動(dòng)假定，用于估計(jì)局部位移的速度場(chǎng)的光流法［10］仍無法解決特征點(diǎn)數(shù)量區(qū)間不確定的難題。也有學(xué)者嘗試采用雙目視覺［11］、模式匹配［12］、遠(yuǎn)程智能感知［13］等方法測(cè)量結(jié)構(gòu)的位移和幾何變形。

近期，基于深度學(xué)習(xí)的視覺檢測(cè)方法開始應(yīng)用于結(jié)構(gòu)體的位移測(cè)量，深度神經(jīng)網(wǎng)絡(luò)開始逐漸在視覺振動(dòng)測(cè)量領(lǐng)域展現(xiàn)出普適性優(yōu)勢(shì)，但算法仍然存在部分瑕疵。如利用Mask?RCNN網(wǎng)絡(luò)測(cè)量結(jié)構(gòu)體位移偏移量時(shí)［14］，像素級(jí)分割方法會(huì)存在固有的耗時(shí)缺陷；將多分辨率深度學(xué)習(xí)特征框架用于橋梁振動(dòng)位移監(jiān)測(cè)時(shí)［15］，常規(guī)卷積中的規(guī)格采樣會(huì)導(dǎo)致網(wǎng)絡(luò)難以適應(yīng)幾何形變［16］。因此，嘗試將模板匹配、光流法、視覺增強(qiáng)［17］等算法與深度學(xué)習(xí)算法相結(jié)合［18］，是提高位移測(cè)量精度的另外一條主線，或者結(jié)合長(zhǎng)短期記憶?遞歸神經(jīng)網(wǎng)絡(luò)（LSTM?RNN）和多目標(biāo)學(xué)習(xí)［19］進(jìn)行振動(dòng)信號(hào)分量預(yù)測(cè)。除此之外，利用生成對(duì)抗網(wǎng)絡(luò)重建高分辨率邊緣信息［20］以提高人工標(biāo)志物的清晰度也同樣有利于提高振動(dòng)測(cè)量的準(zhǔn)確度，但這些方法仍未考慮測(cè)量多目標(biāo)振動(dòng)信息時(shí)因目標(biāo)相似而發(fā)生信息切換的問題。與傳統(tǒng)目標(biāo)檢測(cè)算法比較，深度學(xué)習(xí)方法可以自動(dòng)學(xué)習(xí)包含上萬參數(shù)的特征表示，同時(shí)深度模型使學(xué)習(xí)過程效率更高。

雖然深度學(xué)習(xí)方法在檢測(cè)精度上具有獨(dú)特的優(yōu)勢(shì)，但是在選定振動(dòng)對(duì)象進(jìn)行算法框架和模型的遷移、微調(diào)和推理過程中仍然存在一些亟待解決的問題。如在考慮檢測(cè)精度的同時(shí)需考慮時(shí)間成本，檢測(cè)的目的在于目標(biāo)的存在，而振動(dòng)測(cè)量是計(jì)算目標(biāo)位移偏移量；檢測(cè)模型回歸邊界框只注重是否覆蓋振動(dòng)目標(biāo)而非邊界框的貼合度；在多目標(biāo)表觀特征相似時(shí)，目標(biāo)身份切換也會(huì)引發(fā)振動(dòng)信號(hào)混亂；另外，除考慮工業(yè)相機(jī)受采樣定理約束而引發(fā)丟幀現(xiàn)象外，高幀率下的目標(biāo)檢測(cè)也會(huì)因算法缺乏時(shí)空關(guān)聯(lián)性而產(chǎn)生“短時(shí)失憶”，這些都會(huì)導(dǎo)致部分時(shí)間節(jié)點(diǎn)內(nèi)的位移偏移量缺失。

因此，本文將轉(zhuǎn)子作為視覺測(cè)量的研究對(duì)象，以高速工業(yè)相機(jī)作為采集媒介，利用設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)模型跟蹤視頻中多個(gè)旋轉(zhuǎn)體目標(biāo)中心點(diǎn)的振動(dòng)位移，與相對(duì)應(yīng)電渦流傳感器采集的振動(dòng)信號(hào)進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果驗(yàn)證了視覺測(cè)量旋轉(zhuǎn)體振動(dòng)信號(hào)的可靠性。

1 多目標(biāo)視覺跟蹤方法

本文在基于先檢測(cè)后跟蹤網(wǎng)絡(luò)框架Fair?MOT［21］基礎(chǔ)上，將殘差網(wǎng)絡(luò)（ResNet）與注意力機(jī)制（SE）相結(jié)合，強(qiáng)化學(xué)習(xí)多目標(biāo)邊緣信息；引入特征金字塔（FPN）組合成骨干網(wǎng)絡(luò)，精細(xì)化局部信息和輪廓全局信息；通過無錨框的檢測(cè)算法估算旋轉(zhuǎn)體圖像的熱力映射特征、對(duì)象中心偏移量和邊界框大小，并利用身份重新識(shí)別（ReID）方法強(qiáng)化旋轉(zhuǎn)體在圖像幀之間的位移時(shí)空關(guān)聯(lián)性，最后根據(jù)視頻中每一幀目標(biāo)的中心點(diǎn)坐標(biāo)回歸出旋轉(zhuǎn)位移偏移量曲線。本文方法的整體流程如圖1所示。

1.1 旋轉(zhuǎn)體圖像目標(biāo)檢測(cè)

目標(biāo)檢測(cè)通常是指在圖像中利用邊界框檢測(cè)出待識(shí)別對(duì)象的類別和位置。以本文實(shí)驗(yàn)對(duì)象轉(zhuǎn)子為例，基于關(guān)鍵點(diǎn)的無錨框算法CenterNet［22］更加強(qiáng)調(diào)獲取目標(biāo)的形狀結(jié)構(gòu)和位置特征，對(duì)規(guī)則的旋轉(zhuǎn)體進(jìn)行無錨框檢測(cè)無疑是改善檢測(cè)精度最好的方式之一。CenterNet通過“目標(biāo)即是點(diǎn)”的原則，將目標(biāo)檢測(cè)問題轉(zhuǎn)變?yōu)闃?biāo)準(zhǔn)關(guān)鍵點(diǎn)的估計(jì)問題，也就是將轉(zhuǎn)子目標(biāo)檢測(cè)表達(dá)為整個(gè)轉(zhuǎn)子中心點(diǎn)的檢測(cè)。利用真實(shí)框中代表轉(zhuǎn)子目標(biāo)左上和右下的坐標(biāo)值，每個(gè)關(guān)鍵點(diǎn)可表示為：

1.1.1 特征提取模塊

鑒于轉(zhuǎn)子目標(biāo)結(jié)構(gòu)特征明顯且算法需滿足精度和速度要求，本文將較為淺層的特征提取網(wǎng)絡(luò)ResNet18［24］結(jié)合注意力機(jī)制（SE）和特征金字塔（FPN）作為骨干網(wǎng)絡(luò)，以提取高速轉(zhuǎn)子振動(dòng)試驗(yàn)臺(tái)的轉(zhuǎn)子特征。圖2中Conv2_X至Conv5_X分別表示數(shù)目為2并結(jié)合SE的殘差卷積（Conv3×3）層。Res34網(wǎng)絡(luò)Conv2_X至Conv5_X分別表示數(shù)目為3，4，6，3的殘差卷積網(wǎng)絡(luò)。同一殘差結(jié)構(gòu)層可通過捷徑連接和元素相加執(zhí)行圖3（a）的同等維度映射，不同殘差結(jié)構(gòu)層可由圖3（b）的不同維度映射連接。這種跳躍連接方式不會(huì)增加額外的參數(shù)運(yùn)算和計(jì)算復(fù)雜度。兩種計(jì)算方式分別表示為：

y=F（x，Wa）+x

y=F（x，Wa）+x

（10）

y=F（x，Wb）+Wlx

y=F（x，Wb）+Wlx

（11）

式中 WaWa和WbWb分別表示不同層的權(quán)重系數(shù)。

1.1.2 特征金字塔模塊

常規(guī)的目標(biāo)檢測(cè)算法僅采用頂層特征進(jìn)行高層語義特征預(yù)測(cè)，這種高尺度的全局定位只能粗略地獲取轉(zhuǎn)子目標(biāo)的輪廓位置，而且多次的降采樣和上采樣操作使深層網(wǎng)絡(luò)的定位信息存在逐尺度遞增的偏移誤差。采用自底向上的金字塔多尺度特征融合方式將處理過的低層特征和高層特征進(jìn)行累加，可以綜合獲取轉(zhuǎn)子目標(biāo)的精細(xì)化局部信息和輪廓全局信息，提高目標(biāo)檢測(cè)的魯棒性和定位錨框的貼合度。因此，構(gòu)建一個(gè)更深層的特征金字塔（Feature Pyramid Networks，F(xiàn)PN）［25］可以有效融合多層特征信息，提高目標(biāo)跟蹤環(huán)節(jié)中轉(zhuǎn)子位移偏移量預(yù)測(cè)的準(zhǔn)確性。以圖4中構(gòu)建的4層FPN架構(gòu)為例，殘差網(wǎng)絡(luò)提取的轉(zhuǎn)子目標(biāo)特征通過不同的卷積層下采樣（Downsample）后可以生成4個(gè)不同尺度的特征（C1，C2，C3，C4）。而FPN則是通過尺寸為1×1的卷積C4側(cè)向連接生成的特征層P4，經(jīng)反卷積上采樣（Upsample）后將其與1×1逐點(diǎn)卷積后的C3相加生成P3，利用同樣的運(yùn)算方式可以得到P2和P1。P3的計(jì)算公式可表示為：

P3 = Conv（1，1）⊙C3+?P4?

P3 = Conv（1，1）⊙C3+P4

（12）

1.1.3 注意力機(jī)制

在檢測(cè)骨干網(wǎng)絡(luò)殘差結(jié)構(gòu)中加入SE［26?27］注意力機(jī)制不僅能夠提高網(wǎng)絡(luò)通道之間的關(guān)聯(lián)性，而且能夠促使模型主動(dòng)鎖定不同通道特征的優(yōu)先程度。如圖5所示，注意力機(jī)制首先在輸入特征圖層上執(zhí)行全局池化（GAP），壓縮當(dāng)前特征圖的全局特征量；再通過兩層全連接結(jié)構(gòu)激發(fā)得到特征圖中每個(gè)通道的權(quán)值，并將加權(quán)（Scale）后的特征圖作為下一層網(wǎng)絡(luò)的輸入。圖2中改進(jìn)殘差結(jié)構(gòu)主要通過加入注意力機(jī)制以提高骨干網(wǎng)絡(luò)在邊緣特征提取的能力，有效應(yīng)對(duì)轉(zhuǎn)子微幅振動(dòng)時(shí)不明顯的邊緣變化，因此能夠在位移提取時(shí)獲得更好的位移信號(hào)。

1.2 旋轉(zhuǎn)體目標(biāo)幀間匹配與跟蹤

提高轉(zhuǎn)子圖像中檢測(cè)目標(biāo)的匹配相似度和定位精度可以通過跟蹤分支強(qiáng)化旋轉(zhuǎn)體圖像幀間的位移時(shí)空關(guān)聯(lián)性來實(shí)現(xiàn)。如圖6中的跟蹤流程圖所示，跟蹤分支包含邊界框（Bbox）、置信度（Confidence，取值0.6）、身份重新識(shí)別（ReID）嵌入的轉(zhuǎn)子特征（Embeddings）。其中，置信度對(duì)檢測(cè)器生成的轉(zhuǎn)子邊界框進(jìn)行篩選，將設(shè)定之外的目標(biāo)框剔除，邊界框和Embeddings則用于跟蹤分支的匹配計(jì)算。本文將檢測(cè)分支并行輸出作為跟蹤分支的輸入，利用跟蹤器對(duì)第一幀軌跡進(jìn)行初始化操作。首先利用卡爾曼濾波器進(jìn)行轉(zhuǎn)子目標(biāo)的身份預(yù)測(cè)、級(jí)聯(lián)匹配和迭代更新。其次，級(jí)聯(lián)匹配根據(jù)不同優(yōu)先級(jí)將賦予每個(gè)轉(zhuǎn)子目標(biāo)一個(gè)單獨(dú)的跟蹤器，即確定目標(biāo)身份并保持至下一幀。上一幀最先匹配的跟蹤器具有匹配的優(yōu)先權(quán)，而未完成匹配的跟蹤器則降低優(yōu)先權(quán)。卡爾曼濾波器根據(jù)當(dāng)前狀態(tài)進(jìn)行下一幀目標(biāo)中心點(diǎn)的狀態(tài)預(yù)測(cè)，再將預(yù)測(cè)結(jié)果與測(cè)量結(jié)果進(jìn)行迭代更新，若完成匹配和更新，則達(dá)到跟蹤轉(zhuǎn)子目標(biāo)的目的。

更新模塊部分包括匹配、追蹤更新和特征更新。匈牙利匹配算法是一種完成目標(biāo)與跟蹤器匹配的常用算法，但該算法為了完成盡可能多的匹配任務(wù)而極易陷入目標(biāo)身份切換。因此，本文針對(duì)運(yùn)動(dòng)信息和外觀信息的計(jì)算特點(diǎn)，利用馬氏距離（Mahalanobis）和余弦距離（Cosine）比較目標(biāo)與跟蹤器的相似度，將目標(biāo)與跟蹤器的交并比作為置信度的高低，并通過優(yōu)化度量方式實(shí)現(xiàn)更優(yōu)匹配。追蹤更新包含三個(gè)階段：已被匹配的轉(zhuǎn)子目標(biāo)在當(dāng)前幀繼續(xù)保持匹配狀態(tài)，并利用卡爾曼濾波器進(jìn)行更新；未匹配的轉(zhuǎn)子目標(biāo)將更新一個(gè)新的跟蹤器進(jìn)行目標(biāo)匹配；完全未匹配到目標(biāo)的跟蹤器則直接刪除。

1.3 旋轉(zhuǎn)振動(dòng)體位移提取

旋轉(zhuǎn)體視覺振動(dòng)位移測(cè)量本質(zhì)上是獲取振動(dòng)視頻中每一幀每個(gè)轉(zhuǎn)子目標(biāo)的中心點(diǎn)坐標(biāo)。本文分別提取視頻測(cè)試幀圖像中每個(gè)轉(zhuǎn)子目標(biāo)的中心點(diǎn)，以轉(zhuǎn)子目標(biāo)在視頻第一幀中心點(diǎn)的位置信息作為計(jì)算位移偏移量的參考幀，計(jì)算公式為：

{D1n=（X1cn?X1c0，Y1cn?Y1c0）D2n=（X2cn?X2c0，Y2cn?Y2c0）

D1n=（Xcn1-Xc01，Ycn1-Yc01）D2n=（Xcn2-Xc02，Ycn2-Yc02）

（13）

式中 （X1cn，Y1cn）（Xcn1，Ycn1）和（X2cn，Y2cn）（Xcn2，Ycn2）代表振動(dòng)視頻中第n幀轉(zhuǎn)子1和轉(zhuǎn)子2中心點(diǎn)坐標(biāo)，D1nD1n和D2nD2n分別代表轉(zhuǎn)子1和轉(zhuǎn)子2在第n幀的振動(dòng)位移偏移量。

以公式（13）的計(jì)算方式分別回歸出所有視頻幀各轉(zhuǎn)子目標(biāo)中心點(diǎn)在像素坐標(biāo)系內(nèi)的振動(dòng)位移偏移量，最后分別對(duì)其數(shù)據(jù)歸一化處理。振動(dòng)位移時(shí)域信號(hào)提取的流程如圖7所示。圖中Tn代表視頻序列幀。

2 實(shí) 驗(yàn)

為了驗(yàn)證視覺測(cè)量對(duì)旋轉(zhuǎn)體振動(dòng)位移跟蹤的可靠性，本文將常見的轉(zhuǎn)子作為實(shí)驗(yàn)對(duì)象構(gòu)建高轉(zhuǎn)速下的轉(zhuǎn)子振動(dòng)位移測(cè)量數(shù)據(jù)集，并利用該數(shù)據(jù)集進(jìn)行不同網(wǎng)絡(luò)模型的訓(xùn)練和測(cè)試比較。本文將同步采集的電渦流位移信號(hào)作為標(biāo)準(zhǔn)位移偏移量，對(duì)不同深度學(xué)習(xí)算法視覺位移測(cè)量結(jié)果進(jìn)行比較。同時(shí)，在目標(biāo)對(duì)象模糊情況下的實(shí)驗(yàn)，驗(yàn)證本文算法所具有的泛化性能。

2.1 實(shí)驗(yàn)設(shè)置和設(shè)備

由于旋轉(zhuǎn)體本身難以直接使用接觸式傳感器測(cè)量振動(dòng)信號(hào)，因此實(shí)驗(yàn)特意選用同樣是非接觸式采樣的電渦流傳感器進(jìn)行振動(dòng)信號(hào)的采集。由于電渦流采集信號(hào)屬于連續(xù)時(shí)間域的近距離振動(dòng)響應(yīng)測(cè)量，局部振點(diǎn)的測(cè)量精度相對(duì)較高，因此本文將其作為參照的標(biāo)準(zhǔn)振動(dòng)信號(hào)評(píng)價(jià)視覺振動(dòng)測(cè)量算法的可行性，將其同步采集的多通道局部位移信號(hào)進(jìn)行離散化處理，與基于圖像的離散時(shí)間域全域空間測(cè)量進(jìn)行多個(gè)振點(diǎn)的一一對(duì)應(yīng)。本節(jié)將高速工業(yè)相機(jī)（千眼狼5F01，分辨率為512×16時(shí)幀率最高可達(dá)到128000 fps）和電渦流傳感器（上海歐多?9000，Scale Factory為2.5 V/mm，VT為15 V）兩種不同采集原理的傳感器作為旋轉(zhuǎn)體位移采集的計(jì)量器，同步采集高速轉(zhuǎn)子振動(dòng)試驗(yàn)臺(tái)（南京東大Z?03）上轉(zhuǎn)子的振動(dòng)視頻和電壓位移信號(hào)。為了使轉(zhuǎn)子在旋轉(zhuǎn)過程中產(chǎn)生輕微的振動(dòng)，在轉(zhuǎn)子的左側(cè)安裝了一個(gè)緊固螺釘以誘發(fā)轉(zhuǎn)子產(chǎn)生不對(duì)中現(xiàn)象。光源（金貝EF?200LED）明暗度的適當(dāng)調(diào)節(jié)可以有效增加圖像畫面的對(duì)比度，高速相機(jī)采集的圖像序列以設(shè)定的幀率直接存儲(chǔ)在自帶的設(shè)備中。實(shí)驗(yàn)時(shí)將信號(hào)采集卡（NI?9234）的兩端分別與筆記本電腦（Honor Magic book pro）和電渦流傳感器相連接，利用編譯的同步采樣模塊采集設(shè)定時(shí)間段內(nèi)的圖像信息和電渦流位移信息。通過模擬臺(tái)調(diào)速器調(diào)節(jié)不同的電壓值，保證轉(zhuǎn)子轉(zhuǎn)速一定。在振動(dòng)位移數(shù)據(jù)采集前，實(shí)驗(yàn)設(shè)定高速相機(jī)的鏡頭與轉(zhuǎn)子的垂直距離為1500 mm，光源與相機(jī)呈45°擺放，并采集不同方向標(biāo)定板圖像對(duì)相機(jī)參數(shù)進(jìn)行標(biāo)定；電渦流傳感器的探頭方向與轉(zhuǎn)子的水平中心線重合，兩者之間的距離為2.5 mm。整套實(shí)驗(yàn)設(shè)備的真實(shí)現(xiàn)場(chǎng)圖如圖8所示。設(shè)置高速相機(jī)采集圖像的分辨率大小為512×512，像素精度為0.125 mm/pixel，幀率為2000 Fps，同時(shí)設(shè)置電渦流傳感器的信號(hào)采樣率為2000 Hz；兩個(gè)電渦流傳感器分別測(cè)量?jī)蓚€(gè)轉(zhuǎn)子振動(dòng)位移信息。因此，實(shí)驗(yàn)在5 s內(nèi)獲取轉(zhuǎn)速為24 r/s下的轉(zhuǎn)子圖像共10000序列幀；此外，單獨(dú)采集同種工況下圖像1000幀作為訓(xùn)練集，并利用標(biāo)注軟件YOLO?mark制作GT。因?yàn)檗D(zhuǎn)子目標(biāo)在圖像序列中目標(biāo)大小不變，為減小人工標(biāo)注誤差，使用統(tǒng)一的尺寸框進(jìn)行人工標(biāo)注。

本文的所有實(shí)驗(yàn)均在臺(tái)式機(jī)（Intel（R） Core（TM） i5?10600KF CPU @ 4.10 GHz，16G內(nèi)存，GPU為GeForce RTX 2080 super ，GPU顯存為8G）上進(jìn)行，所有深度學(xué)習(xí)算法全部配置統(tǒng)一的運(yùn)行環(huán)境（Ubuntu18.04， Cuda10.2， Pytorch1.7， torchvision0.8）。

2.2 模型測(cè)試

本次實(shí)驗(yàn)共標(biāo)注順序幀300幅圖像，并在不同骨干網(wǎng)絡(luò)中各訓(xùn)練1000個(gè)epoch，實(shí)驗(yàn)使用多目標(biāo)轉(zhuǎn)子數(shù)據(jù)集進(jìn)行網(wǎng)絡(luò)模型目標(biāo)分類精度與定位精度的訓(xùn)練、驗(yàn)證與測(cè)試。本文使用的損失函數(shù)Total_loss如下式所示：

TLoss=LHm+LWH+LOff+LReID

TLoss=LHm+LWH+LOff+LReID

（14）

式中 LHm表示目標(biāo)中心點(diǎn)損失，LWH表示目標(biāo)邊界框?qū)捀邠p失，LOff表示目標(biāo)中心偏置估計(jì)損失，LReID為目標(biāo)身份損失。總損失的變化體現(xiàn)算法學(xué)習(xí)的速度，總損失值的大小體現(xiàn)了真實(shí)值與網(wǎng)絡(luò)模型預(yù)測(cè)結(jié)果的差異大小。

原始?xì)埐罹W(wǎng)絡(luò)（Res18）、結(jié)合注意力機(jī)制的殘差網(wǎng)絡(luò)（Res18_SE）、結(jié)合特征金字塔的殘差網(wǎng)絡(luò)（Res18_FPN）、更深層殘差網(wǎng)絡(luò)（Res34）、以及本文網(wǎng)絡(luò)（結(jié)合注意力機(jī)制和特征金字塔的殘差網(wǎng)絡(luò)）在進(jìn)行1000次epoch訓(xùn)練后獲得的總損失變化曲線如圖9所示。從圖9中可以看出本文使用算法的TLoss下降較快，且損失值小于其他的算法。這也表明本文算法能夠更快更好地學(xué)習(xí)轉(zhuǎn)子表觀特征，因此能夠在跟蹤振動(dòng)位移時(shí)獲得更精準(zhǔn)的位移信號(hào)。深度學(xué)習(xí)算法對(duì)轉(zhuǎn)子目標(biāo)進(jìn)行檢測(cè)的準(zhǔn)確性可以通過不同網(wǎng)絡(luò)對(duì)轉(zhuǎn)子預(yù)測(cè)的Bbox貼合度來反映。利用不同算法對(duì)圖像序列幀中轉(zhuǎn)子推理測(cè)試后發(fā)現(xiàn)，深度學(xué)習(xí)方法確實(shí)能夠?qū)崿F(xiàn)有效的轉(zhuǎn)子目標(biāo)檢測(cè)與跟蹤。

以隨機(jī)挑選圖像數(shù)據(jù)集中的三幅圖像為例，本節(jié)分別將Template matching（模板匹配），Res18，Res_SE，Res_FPN，Res34和本文網(wǎng)絡(luò)共6種方法的跟蹤結(jié)果列舉在圖10中，并逐個(gè)與對(duì)應(yīng)的人工標(biāo)注結(jié)果進(jìn)行定性比較。從圖10中可以看出，所有視覺位移測(cè)量方法回歸的Bbox均能實(shí)現(xiàn)目標(biāo)跟蹤，各種算法回歸的目標(biāo)區(qū)域與人工標(biāo)注極度相似。從圖像目標(biāo)檢測(cè)和追蹤的角度來看，轉(zhuǎn)子目標(biāo)的檢測(cè)已經(jīng)完全符合目標(biāo)完整度的要求，但是從振動(dòng)位移測(cè)量的角度來說，這種完整度的測(cè)量標(biāo)準(zhǔn)還遠(yuǎn)遠(yuǎn)達(dá)不到位移測(cè)量精確度的嚴(yán)格要求，需要在位移信號(hào)曲線擬合度的實(shí)驗(yàn)中進(jìn)行更加詳實(shí)的實(shí)驗(yàn)證明。在圖中通過橙色（多框選）、綠色矩形框（欠框選）對(duì)不同算法檢測(cè)兩個(gè)轉(zhuǎn)子（圖像中左右轉(zhuǎn)子分別稱為轉(zhuǎn)子1，2）的結(jié)果進(jìn)行誤差區(qū)域標(biāo)記，可以看出，Res18網(wǎng)絡(luò)回歸轉(zhuǎn)子1，2的邊界框在四個(gè)方向上都存在空白區(qū)域，說明了此算法并不能充分學(xué)習(xí)轉(zhuǎn)子邊緣特征，即不能精細(xì)化回歸轉(zhuǎn)子目標(biāo)邊界框。Res18_SE網(wǎng)絡(luò)回歸轉(zhuǎn)子1的邊界框在上下兩個(gè)方向上存在欠框選區(qū)域，而在左右兩個(gè)方向區(qū)域擬合較好，回歸轉(zhuǎn)子2的邊界框時(shí)貼合緊密。這也表明加入SE注意力機(jī)制能夠有效學(xué)習(xí)轉(zhuǎn)子的邊緣信息，并回歸更緊密的邊界框。Res18_FPN檢測(cè)結(jié)果與人工標(biāo)注的標(biāo)準(zhǔn)框相比，雖然轉(zhuǎn)子1邊界框存在空白區(qū)域，而轉(zhuǎn)子2存在欠框選區(qū)域，但相比于原網(wǎng)絡(luò)Res18較準(zhǔn)確的邊界框，加入FPN可以有效融合高低層語義信息，提高預(yù)測(cè)目標(biāo)的魯棒性。更深層的Res34網(wǎng)絡(luò)回歸轉(zhuǎn)子邊界框也存在多框選的情況。與人工標(biāo)注標(biāo)準(zhǔn)框再次比較時(shí)可以發(fā)現(xiàn)，結(jié)合FPN，SE后本文目標(biāo)跟蹤算法回歸的邊界框能夠獲取更為緊實(shí)的貼合度。根據(jù)表1中最小損失（MINloss）、權(quán)重大小（Weight）、每秒跟蹤幀數(shù)（Fps）和均值平均精度（MAP）的定量比較結(jié)果可知，雖然本文算法的Fps略小于Weight較小的算法，但在權(quán)衡速度和精度前提下，本文算法速度仍高于傳統(tǒng)模板匹配算法和較深網(wǎng)絡(luò)Res34。結(jié)合各網(wǎng)絡(luò)回歸兩個(gè)轉(zhuǎn)子邊界實(shí)例可以看出，圖像中轉(zhuǎn)子2有更規(guī)整的表觀特征，從而在預(yù)測(cè)時(shí)更易貼合目標(biāo)邊界。

2.3 不同傳感器信號(hào)對(duì)比

圖11和圖12分別為不同視覺振動(dòng)測(cè)量算法與電渦流采集信號(hào)進(jìn)行兩個(gè)轉(zhuǎn)子目標(biāo)同步比較的時(shí)域圖。如圖所示，除模板匹配外的其他視覺測(cè)量算法均在回歸的位移軌跡上與電渦流采集的類正弦信號(hào)相似，且表現(xiàn)出的近似穩(wěn)定的周期特性，但不同視覺測(cè)量算法獲取的位移信號(hào)中卻存在噪聲較大和幅值不對(duì)應(yīng)等問題。從圖11和12中顯示的結(jié)果中可以看出，模板匹配算法得到的結(jié)果是像素級(jí)位移，因此在回歸轉(zhuǎn)子位移曲線時(shí)導(dǎo)致所屬曲線上的采樣點(diǎn)在近似周期內(nèi)產(chǎn)生頻繁或間歇性的階躍跳動(dòng)。在圖11中，Res18算法在回歸轉(zhuǎn)子1的位移信號(hào)時(shí)存在較大噪聲且峰底幅值偏低，很難與電渦流位移信號(hào)相擬合，此類異常的原因可以歸結(jié)于第2.2節(jié)Res18回歸轉(zhuǎn)子1邊界框時(shí)存在空白區(qū)域，在表2中峰值也有很好的體現(xiàn)。Res18_SE也因欠框選原因使峰底信號(hào)丟失，從而發(fā)生信號(hào)局部突變現(xiàn)象。Res18_FPN回歸的整段信號(hào)雖然在幅值和周期上與電渦流信號(hào)差異不大，但信號(hào)存在較多噪點(diǎn)。Res34網(wǎng)絡(luò)在峰底時(shí)存在信號(hào)堆疊，存在一定噪聲；而本文算法回歸轉(zhuǎn)子1位移信號(hào)相比于其他視覺測(cè)量方法噪聲較小。Res18算法在跟蹤轉(zhuǎn)子2的位移時(shí)，位移曲線峰底出現(xiàn)信號(hào)堆疊且整體存在較多噪聲點(diǎn)。由表2的定量分析結(jié)果也可以發(fā)現(xiàn)，其峰峰值、有效值與標(biāo)準(zhǔn)電渦流值相差較大。圖12中Res18_SE整體位移信號(hào)噪聲較小且在表2中各類值回歸均準(zhǔn)確，但峰頂信號(hào)缺失的現(xiàn)象與轉(zhuǎn)子檢測(cè)時(shí)出現(xiàn)的欠框選區(qū)域有極大的關(guān)聯(lián)。Res18_FPN回歸的位移曲線要比上述兩種算法平滑，但是與電渦流信號(hào)相比仍然存在一定的噪聲。與較深網(wǎng)絡(luò)Res34回歸轉(zhuǎn)子2時(shí)域信號(hào)相比，本文算法噪聲小，且曲線能與電渦流曲線較好擬合。由圖11中回歸轉(zhuǎn)子1的位移曲線可知，由于實(shí)驗(yàn)時(shí)高速工業(yè)相機(jī)拍攝轉(zhuǎn)子1時(shí)引入過多無關(guān)信息，因此所有視覺算法在擬合曲線上升和下降階段存在一定差異，且峰值點(diǎn)與電渦流到達(dá)時(shí)間也不一致。由圖12中回歸轉(zhuǎn)子2位移曲線可知，高速工業(yè)相機(jī)拍攝存在些許角度偏移導(dǎo)致擬合位移曲線下降階段滯后電渦流傳感器信號(hào)。對(duì)比圖11和圖12，轉(zhuǎn)子1相比于轉(zhuǎn)子2視覺回歸位移信號(hào)存在一定的噪聲，證明視覺測(cè)量位移擬合會(huì)因表觀特征造成差異。即使視覺測(cè)量方法在檢測(cè)轉(zhuǎn)子目標(biāo)時(shí)精度都高達(dá)99%以上，但并不意味著這些算法具有較好的位移測(cè)量性能。由于目標(biāo)轉(zhuǎn)子屬于特征明顯的規(guī)則結(jié)構(gòu)體，而網(wǎng)絡(luò)模型的訓(xùn)練會(huì)在很短的訓(xùn)練頻次內(nèi)出現(xiàn)數(shù)據(jù)快速擬合現(xiàn)象，這就導(dǎo)致總損失值在較長(zhǎng)的一段時(shí)間內(nèi)收斂速度降慢。雖然網(wǎng)絡(luò)模型的檢測(cè)精度很高（MAP值為1），但預(yù)測(cè)框無法貼合轉(zhuǎn)子的實(shí)際邊界會(huì)引起其他視覺位移測(cè)量曲線產(chǎn)生周期性的誤差，而本文算法結(jié)合SE，F(xiàn)PN能夠保證轉(zhuǎn)子目標(biāo)存在特征差異時(shí)，位移信號(hào)擬合精準(zhǔn)且噪聲較小。

綜合圖11和圖12的結(jié)果后發(fā)現(xiàn)，同類別算法在回歸轉(zhuǎn)子1，2曲線時(shí)，轉(zhuǎn)子2的位移曲線擬合更好，這也驗(yàn)證了第2.2節(jié)中轉(zhuǎn)子2因比轉(zhuǎn)子1特征明顯而在回歸時(shí)更好地貼合轉(zhuǎn)子目標(biāo)的定論。如圖13和圖14所展示的頻譜分析結(jié)果，不同算法學(xué)習(xí)轉(zhuǎn)子特征時(shí)有不同的側(cè)重點(diǎn)，因此不同算法2倍頻特征存在明顯差異。此外，在零倍頻和1倍頻上，頻率幅值上有明顯的差別，這與時(shí)域信號(hào)有關(guān)，如圖11和圖12所示，即時(shí)域信號(hào)噪聲越大，零倍頻幅值越大，1倍頻幅值越小。本文算法體現(xiàn)出主峰峰值幅值一致性以外且頻率噪點(diǎn)小，而其他算法較多的頻率峰值與電渦流相比均有差別。這也能夠說明本文的算法在回歸位移曲線時(shí)，頻率和振幅能與電渦流信號(hào)相匹配。

2.4 對(duì)象模糊狀態(tài)下測(cè)試

在視覺振動(dòng)測(cè)量中，過分追求較高幀率和處理速度必然促使采集設(shè)備降低圖像分辨率，從而導(dǎo)致采集的低分辨率視頻出現(xiàn)模糊現(xiàn)象，同時(shí)也會(huì)存在典型背景干擾導(dǎo)致拍攝目標(biāo)特征不明顯的現(xiàn)象。為了模擬復(fù)雜高動(dòng)態(tài)場(chǎng)景下的工業(yè)現(xiàn)場(chǎng)，將采集的圖像進(jìn)行4倍下采樣后獲取低分辨率的圖像和目標(biāo)。采集的原始圖像和下采樣后對(duì)應(yīng)的低分辨率圖像如圖15所示，圖15（b）中兩個(gè)轉(zhuǎn)子邊界存在明顯的邊緣模糊現(xiàn)象。對(duì)視覺振動(dòng)測(cè)量而言，邊緣模糊無疑給振動(dòng)測(cè)量的可靠性帶來很大的干擾。對(duì)于圖16中由于拍攝角度引入過多無關(guān)信息的轉(zhuǎn)子1而言，模糊后回歸的位移曲線與原始圖像回歸的位移曲線相比雖然在單個(gè)周期內(nèi)的位移曲線上均產(chǎn)生了微弱的偏差，但仍然保持近似的周期性。而因本文算法穩(wěn)健的魯棒性測(cè)試轉(zhuǎn)子2目標(biāo)的位移輸出依舊，在曲線擬合度方面保持近似一致的周期性。因此，本文網(wǎng)絡(luò)對(duì)于模糊場(chǎng)景下的視覺振動(dòng)測(cè)量具有一定的優(yōu)勢(shì)，且頻域圖17中降采樣后的模糊圖像測(cè)量數(shù)據(jù)與原始圖像、電渦流信號(hào)的1倍頻峰值以及頻率都能有效對(duì)應(yīng)，這也驗(yàn)證了本文網(wǎng)絡(luò)在實(shí)際應(yīng)用場(chǎng)景的泛化性。

3 結(jié) 論

視覺位移測(cè)量因具有遠(yuǎn)距離、非接觸和多點(diǎn)測(cè)量等特性，近年來開始逐漸應(yīng)用于結(jié)構(gòu)體健康監(jiān)測(cè)領(lǐng)域。本文在提高旋轉(zhuǎn)目標(biāo)檢測(cè)精度的同時(shí)增強(qiáng)振動(dòng)位移的關(guān)聯(lián)性，利用深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行視覺跟蹤測(cè)量多目標(biāo)振動(dòng)位移。將視頻信息和電壓位移信息進(jìn)行不同視覺測(cè)量算法性能比較，本文網(wǎng)絡(luò)在旋轉(zhuǎn)體視覺位移多目標(biāo)振動(dòng)測(cè)量時(shí)具有較高的精度；對(duì)比不同振動(dòng)測(cè)量方式后發(fā)現(xiàn)，視覺在測(cè)量點(diǎn)數(shù)、距離有獨(dú)特的優(yōu)勢(shì)，但會(huì)因目標(biāo)特征造成信號(hào)擬合的差異。不同轉(zhuǎn)子測(cè)量結(jié)果也體現(xiàn)出視頻幀間的目標(biāo)重復(fù)識(shí)別有利于相鄰位移點(diǎn)之間的位置關(guān)聯(lián)。否則即使是識(shí)別精度更高的圖像檢測(cè)算法，在振動(dòng)位移信號(hào)提取時(shí)還是存在較大的抖動(dòng)誤差。另一方面，由于轉(zhuǎn)子具有較強(qiáng)的通用性和互換性，其形態(tài)規(guī)則、特征明顯，所以基于關(guān)鍵點(diǎn)的追蹤網(wǎng)絡(luò)尤其適用于旋轉(zhuǎn)體的視覺振動(dòng)位移測(cè)量。考慮到在對(duì)象模糊的情況下，本文將原始采集圖像進(jìn)行四倍下采集操作，并與原始圖像測(cè)試比較，實(shí)驗(yàn)結(jié)果驗(yàn)證本文算法在目標(biāo)不清晰的情況下仍然有較好的振動(dòng)測(cè)量能力。

本文目前的實(shí)驗(yàn)主要關(guān)注簡(jiǎn)單背景下多目標(biāo)轉(zhuǎn)子的位移測(cè)量，后期工作會(huì)將逐漸增加背景的復(fù)雜度和單個(gè)轉(zhuǎn)子的跟蹤維度，關(guān)注圖像拍攝角度對(duì)振動(dòng)測(cè)量的影響，以構(gòu)建出適用于復(fù)雜工業(yè)場(chǎng)景下的多目標(biāo)視覺位移追蹤網(wǎng)絡(luò)。

參考文獻(xiàn)

1

Lu S L， He Q B， Zhao J W. Bearing fault diagnosis of a permanent magnet synchronous motor via a fast and online order analysis method in an embedded system［J］. Mechanical Systems and Signal Processing， 2018， 113： 36-49 [百度學(xué)術(shù)]

2

Jia F， Lei Y G， Guo L， et al. A neural network constructed by deep learning technique and its application to intelligent fault diagnosis of machines［J］. Neurocomputing， 2018， 272： 619-628. [百度學(xué)術(shù)]

3

Dong C Z， Ye X W， Jin T. Identification of structural dynamic characteristics based on machine vision technology［J］. Measurement， 2018， 126： 405-416. [百度學(xué)術(shù)]

4

Ehrhart M， Lienhart W. Development and evaluation of a long range image-based monitoring system for civil engineering structures［C］//Structural Health Monitoring and Inspection of Advanced Materials， Aerospace， and Civil Infrastructure 2015. San Diego， California， USA， 2015： 94370K. [百度學(xué)術(shù)]

5

Ye X W， Dong C Z， Liu T. Image-based structural dynamic displacement measurement using different multi-object tracking algorithms［J］. Smart Structures and Systems， 2016， 17（6）： 935-956. [百度學(xué)術(shù)]

6

Celik O， Dong C Z， Catbas F N. A computer vision approach for the load time history estimation of lively individuals and crowds［J］. Computers amp; Structures， 2018， 200： 32-52 [百度學(xué)術(shù)]

7

Dong C Z， Celik O， Catbas F N. Long-term structural displacement monitoring using image sequences and spatio-temporal context learning［C］//Structural Health Monitoring 2017.Stanford， CA，2017：3217-3223. [百度學(xué)術(shù)]

8

錢承， 鄂加強(qiáng). 基于 FSVM 的起重機(jī)臂筒焊接變形測(cè)量研究［J］. 振動(dòng)、測(cè)試與診斷， 2018， 38（6）： 1229-1233. [百度學(xué)術(shù)]

Qian Cheng， E Jiaqiang. Measurement research on welding distortion of crane arm tube based on Fusion of SVM and fuzzy logical theory［J］. Journal of Vibration， Measurement and Diagnosis， 2018， 38（6）： 1229-1233. [百度學(xué)術(shù)]

9

葛朋祥， 葉沛， 李桂華. 基于遺傳算法的數(shù)字圖像相關(guān)法在微位移測(cè)量中的應(yīng)用［J］. 光學(xué)學(xué)報(bào)， 2018， 38（6）： 198-203. [百度學(xué)術(shù)]

Ge Pengxiang， Ye Pei， Li Guihua. Application of digital image correlation method based on genetic algorithm in micro-displacement measurement［J］. Acta Optica Sinica， 2018， 38（6）： 198-203. [百度學(xué)術(shù)]

10

Khaloo A， Lattanzi D. Pixel‐wise structural motion tracking from rectified repurposed videos［J］. Structural Control and Health Monitoring， 2017， 24（11）： e2009. [百度學(xué)術(shù)]

11

邱志成， 汪先鋒. 基于雙目視覺的振動(dòng)測(cè)量及控制［J］. 振動(dòng)、測(cè)試與診斷， 2018， 38（1）： 51-58. [百度學(xué)術(shù)]

Qiu Zhicheng， Wang Xianfeng. Vibration measurement and control based on binocular vision［J］. Journal of Vibration， Measurement and Diagnosis. 2018， 38（1）： 51-58. [百度學(xué)術(shù)]

12

Lydon D， Lydon M， Taylor S， et al. Development and field testing of a vision-based displacement system using a low cost wireless action camera［J］. Mechanical Systems and Signal Processing， 2019， 121： 343-358. [百度學(xué)術(shù)]

13

邵帥， 周志祥， 鄧國軍， 等. 基于非接觸遠(yuǎn)程智能感知的橋梁形態(tài)監(jiān)測(cè)試驗(yàn)［J］. 中國公路學(xué)報(bào)， 2019， 32（11）： 91-102. [百度學(xué)術(shù)]

Shao Shuai， Zhou Zhixiang， Deng Guojun， et al. Experiment of structural morphology monitoring for bridges based on non-contact remote intelligent perception method［J］. China Journal of Highway and Transport， 2019， 32（11）： 91-102. [百度學(xué)術(shù)]

14

Zhang Y， Liu P， Zhao X F. Structural displacement monitoring based on mask regions with convolutional neural network［J］. Construction and Building Materials， 2021， 267： 120923. [百度學(xué)術(shù)]

15

Zhu J S ， Zhang C， Lu Z Y ， et al. A multi-resolution deep feature framework for dynamic displacement measurement of bridges using vision-based tracking system［J］. Measurement， 2021， 183：109847. [百度學(xué)術(shù)]

16

Dai J F， Qi H Z， Xiong Y W， et al. Deformable convolutional networks［C］//Proceedings of the IEEE International Conference on Computer Vision.Venice， Italy，2017： 764-773. [百度學(xué)術(shù)]

17

Huang M F， Zhang B Y， Lou W J， et al. A deep learning augmented vision-based method for measuring dynamic displacements of structures in harsh environments［J］. Journal of Wind Engineering and Industrial Aerodynamics， 2021， 217：104758. [百度學(xué)術(shù)]

18

Xu Y， Zhang J， James B. An accurate and distraction-free vision-based structural displacement measurement method integrating Siamese network based tracker and correlation-based template matching［J］. Measurement， 2021， 179：109506. [百度學(xué)術(shù)]

19

Liu J T， Yang X X， Li L. VibroNet： recurrent neural networks with multi-target learning for image-based vibration frequency measurement［J］. Journal of Sound and Vibration， 2019， 457： 51-66. [百度學(xué)術(shù)]

20

Son K S， Jeon H S，Chae G S， et al. A fast high-resolution vibration measurement method based on vision technology for structures［J］. Nuclear Engineering and Technology， 2021， 53：294-303. [百度學(xué)術(shù)]

21

Zhang Y F， Wang C Y， Wang X G， et al. A simple baseline for multi-object tracking［J］. arXiv：2004. 01888， 2020. [百度學(xué)術(shù)]

22

Zhou X Y， Wang D Q， Kr?henbühl P. Objects as points［J］. arXiv：1904.07850， 2019. [百度學(xué)術(shù)]

23

Law H，Deng J. Cornernet： detecting objects as paired keypoints［J］.International Journal of Computer Vision，2020，128：642-656. [百度學(xué)術(shù)]

24

Kipf T N， Welling M. Semi-supervised classification with graph convolutional networks［J］. arXiv preprint arXiv：1609.02907， 2016. [百度學(xué)術(shù)]

25

Lin T Y， Dollár P， Girshick R， et al. Feature pyramid networks for object detection［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Honolulu， Hawaii， USA，2017： 936-944.. [百度學(xué)術(shù)]

26

Hu J，Shen L， Albanie S，et al. Squeeze-and-excitation networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2019，42（8）：2011?2023. [百度學(xué)術(shù)]

27

Wang Q L，Wu B G，Zhu P F， et al. ECA-Net： efficient channel attention for deep convolutional neural networkss［J］. arXiv： 1910.031512019. [百度學(xué)術(shù)]