基于深度學(xué)習(xí)的起重機(jī)械螺栓識(shí)別方法研究

陳松

（福州大學(xué)物理與信息工程學(xué)院，福建 福州350108）

1 起重機(jī)械的螺栓檢測(cè)問(wèn)題分析

隨著鋼結(jié)構(gòu)在高層和超高層建筑中迅速發(fā)展，被大量應(yīng)用在土木結(jié)構(gòu)工程中。鋼結(jié)構(gòu)采用鋼板逐漸代替了鋼筋混凝土，比鋼筋混凝土具有更高的強(qiáng)度和更好的抗震性能。而且其組件可以在工廠預(yù)制，從而大大縮短了施工周期。作為起重機(jī)械中重要的接頭，高強(qiáng)度螺栓廣泛用于鋼結(jié)構(gòu)中。與其他起重機(jī)系統(tǒng)相比，在建筑工地上建造高層建筑時(shí)，塔式起重機(jī)具有不可替代的優(yōu)勢(shì)。隨著塔式起重機(jī)日益廣泛的應(yīng)用，其安全問(wèn)題也引起了關(guān)注。如今，幾乎所有塔式起重機(jī)仍然依靠手動(dòng)操作，這不僅需要經(jīng)驗(yàn)豐富的操作員，而且不能保證準(zhǔn)確的定位或高效率。此外，人工操作具有重大的潛在風(fēng)險(xiǎn)，輕微的錯(cuò)誤可能導(dǎo)致嚴(yán)重的事故和無(wú)法彌補(bǔ)的損失。為了確保起重機(jī)械的安全使用，國(guó)家質(zhì)檢總局批準(zhǔn)頒布的《起重機(jī)械定期檢驗(yàn)規(guī)則》對(duì)建筑工地使用起重機(jī)械的檢測(cè)和使用進(jìn)行了規(guī)定。

1.1 塔式起重機(jī)在使用過(guò)程中應(yīng)經(jīng)常進(jìn)行周期性檢測(cè)與日常維護(hù)。塔式起重機(jī)、升降機(jī)、流動(dòng)式起重機(jī)每年檢驗(yàn)1 次。對(duì)那些易損部件必須時(shí)常檢查或更換，至少每隔半個(gè)月左右檢查一次。尤其要經(jīng)常檢查塔身連接的螺栓是否松動(dòng)。

1.2 檢查主要受力結(jié)構(gòu)零件的焊接是否有裂紋，結(jié)構(gòu)是否變形損壞，金屬疲勞強(qiáng)度等。如果檢查中發(fā)現(xiàn)異常情況，應(yīng)立馬進(jìn)行處理。塔吊在每工作80 小時(shí)后應(yīng)進(jìn)行一次由上而下地檢查、緊固兩側(cè)的螺栓，直至全部檢查、緊固完成。且塔吊司機(jī)在交接班時(shí)，也應(yīng)做好各連接部位螺栓的緊固情況記錄。

目前，自升式塔式起重機(jī)是建筑工地塔式起重機(jī)的首選。塔吊采用高強(qiáng)度螺栓連接并緊固標(biāo)準(zhǔn)節(jié)，各標(biāo)準(zhǔn)節(jié)承載著螺栓預(yù)緊力引起的接合面摩擦力。理論上講螺栓不能抵抗剪力。而松動(dòng)的螺栓既受拉力又受剪力。塔架支撐著塔式起重機(jī)的全部組件傳遞的軸向壓力，水平力。因此，在塔吊螺栓連接松動(dòng)后，塔式起重機(jī)標(biāo)準(zhǔn)截面的接觸面的摩擦力會(huì)受到載荷的影響,有減少甚至丟失的現(xiàn)象[1]。此時(shí)，沖擊載荷會(huì)使得塔身斷裂，引起安全事故。常規(guī)的結(jié)構(gòu)健康監(jiān)測(cè)方法主要收集加速度、位移和應(yīng)變。然后通過(guò)小波變換和貝葉斯變換對(duì)這些特征進(jìn)行分析，得到損傷的位置和大小。然而，這些方法依賴于大量的分布式傳感器，并且特征提取過(guò)程需要干預(yù)。損壞特征參數(shù)直接確定損壞檢測(cè)的結(jié)果，而目前大部分塔吊巡檢采用的是人工爬塔檢查。

基于上述塔吊巡檢過(guò)程中存在的問(wèn)題，用深度學(xué)習(xí)識(shí)別螺栓松動(dòng)將成為提高巡檢效率、解放勞動(dòng)力、減低塔吊維護(hù)費(fèi)用的必然趨勢(shì)。塔吊螺栓松動(dòng)識(shí)別的關(guān)鍵步驟就是先識(shí)別出螺栓，需要將螺栓從復(fù)雜的環(huán)境中快速準(zhǔn)確的識(shí)別出來(lái)，獲取螺栓的大致位置信息。

近年來(lái)，隨著深度學(xué)習(xí)的迅速發(fā)展，各種算法已經(jīng)出現(xiàn)，具有高精度分類和識(shí)別結(jié)構(gòu)特征的能力。這樣可以實(shí)現(xiàn)自動(dòng)化，并且無(wú)需手動(dòng)處理和比較處理過(guò)的圖像結(jié)果與假定的恒定基線之間的需求。事實(shí)上，到目前為止，深度學(xué)習(xí)已經(jīng)廣泛應(yīng)用于自動(dòng)駕駛[2]，以及文學(xué)翻譯、醫(yī)學(xué)診斷[3]，數(shù)據(jù)挖掘取得了顯著的成果。特別是由于卷積神經(jīng)網(wǎng)絡(luò)（CNNs）的顯著性能，在圖像分類方面取得了顯著的成就。因此，將深度學(xué)習(xí)與機(jī)器視覺(jué)相結(jié)合，可以很容易地應(yīng)用于土木工程結(jié)構(gòu)的損傷識(shí)別。

在此基礎(chǔ)上，文章提出了一種基于深度學(xué)習(xí)的起重機(jī)械螺栓識(shí)別方法。為后續(xù)尋求出高精度、準(zhǔn)確的損傷檢測(cè)，實(shí)現(xiàn)自動(dòng)、端到端、螺栓松動(dòng)損傷檢測(cè)提供了基礎(chǔ)。

2 圖像數(shù)據(jù)處理

本文選用無(wú)人機(jī)拍攝的60 張塔吊螺栓照片作為訓(xùn)練圖片。數(shù)據(jù)集從不同角度不同光照的情況下拍攝塔吊螺栓照片，來(lái)模擬工地施工時(shí)戶外的復(fù)雜環(huán)境，以提高識(shí)別的準(zhǔn)確度。

圖1 塔吊螺栓

3 系統(tǒng)設(shè)計(jì)

基于百度的圖形化深度學(xué)習(xí)平臺(tái)EasyDL，訓(xùn)練塔吊螺栓檢測(cè)模型。該平臺(tái)采用PaddlePaddle 深度學(xué)習(xí)框架，結(jié)合自動(dòng)搜索模型技術(shù)（Auto Model Search），保證模型效果領(lǐng)先訓(xùn)練物體檢測(cè)模型，支持選擇多種算法，可滿足不同場(chǎng)景對(duì)性能、效果的不同需求[4]。目前，EasyDL 基于少量數(shù)據(jù)就能獲得出色性能和模型效果，可支持創(chuàng)建圖像分類、物體檢測(cè)、圖像分割等模型。

3.1 主要技術(shù)手段

AI Workflow 是百度用于機(jī)器學(xué)習(xí)從培訓(xùn)到上線構(gòu)建工作流引擎。EasyData 提供覆蓋采集、清洗、標(biāo)注、加工等一站式數(shù)據(jù)處理功能。百度AI 開(kāi)放平臺(tái)為了滿足人們?cè)趫D像識(shí)別領(lǐng)域的個(gè)性化需求，結(jié)合了AI 模型訓(xùn)練與大數(shù)據(jù)的工程系統(tǒng)。它包含了存儲(chǔ)培訓(xùn)數(shù)據(jù)，ETL（提取，交互式轉(zhuǎn)換和加載），啟動(dòng)模型培訓(xùn)任務(wù)，調(diào)度培訓(xùn)集群資源，同步培訓(xùn)狀態(tài)監(jiān)視，自動(dòng)部署模型，發(fā)布上線服務(wù)等全部環(huán)節(jié)。

通常，AI 工作流的主要過(guò)程可以細(xì)分為四個(gè)步驟：第一步創(chuàng)建系統(tǒng)模型，確定模型功能，再將準(zhǔn)備好的數(shù)據(jù)集進(jìn)行圖像規(guī)格化，尺寸裁剪和數(shù)據(jù)增強(qiáng)等。第二步是訓(xùn)練模型，將處理好的數(shù)據(jù)集提交上傳。第三步在模型訓(xùn)練好后，驗(yàn)證模型的效果，以云端API 的方式進(jìn)行部署，用上傳的數(shù)據(jù)一鍵訓(xùn)練模型并校驗(yàn)?zāi)Ｐ托Ч?。第四步是服?wù)的啟動(dòng)或訓(xùn)練對(duì)象的部署。在此過(guò)程中，我們可以將訓(xùn)練后的模型加載到云中并提供外部服務(wù)，也可以將其打包為一組移動(dòng)開(kāi)發(fā)工具包，以進(jìn)一步集成到其他任務(wù)提供接口。

3.2 EasyDL 訓(xùn)練步驟

該系統(tǒng)主要基于對(duì)象檢測(cè)技術(shù)來(lái)訓(xùn)練塔吊螺栓監(jiān)控模型。對(duì)象檢測(cè)模型可以識(shí)別圖像上的對(duì)象的名稱、數(shù)量和位置，并且可以識(shí)別圖像中具有多個(gè)對(duì)象的場(chǎng)景。當(dāng)用戶進(jìn)入平臺(tái)后，一開(kāi)始先自定義創(chuàng)建模型和數(shù)據(jù)集，上傳螺栓圖像，并在數(shù)據(jù)集管理中標(biāo)記圖像。然后，基于百度PaddlePaddle 框架進(jìn)行模型訓(xùn)練并檢驗(yàn)?zāi)Ｐ徒Y(jié)果。最后，可以選擇將模型上線以獲取API，步驟如圖2 所示。

圖2 EasyDL 訓(xùn)練步驟

3.3 主要參數(shù)說(shuō)明

mAP 作為評(píng)估模型效果的指標(biāo)。在不同的閾值下進(jìn)行多次計(jì)算或?qū)嶒?yàn)后，可以得到每種類型的P-R 曲線，計(jì)算出曲線下的面積就是AP 的值?！癿ean”是指平均每個(gè)類別的AP，結(jié)果是mAP 值。mAP 值越接近1，說(shuō)明創(chuàng)建的模型效果越好。對(duì)不同的檢測(cè)對(duì)象，將計(jì)算出不同的準(zhǔn)確性和召回率。召回率是代表正確識(shí)別的對(duì)象數(shù)與實(shí)際物體數(shù)之比，準(zhǔn)確度是代表正確識(shí)別的對(duì)象數(shù)和識(shí)別對(duì)象總數(shù)之比。

4 測(cè)試結(jié)果分析

當(dāng)選擇的應(yīng)用程序類型為云服務(wù)且版本為v1 時(shí)，該模型最終訓(xùn)練結(jié)果的mAP 值高于99%，其訓(xùn)練準(zhǔn)確性也高達(dá)92.3%，各訓(xùn)練參數(shù)值如表1 所示。

表1 云服務(wù)測(cè)試結(jié)果

對(duì)云服務(wù)模型識(shí)別螺栓的效果如圖3 所示，實(shí)驗(yàn)結(jié)果表明，該訓(xùn)練模型可以更準(zhǔn)確地識(shí)別圖像中的螺栓，并在圖中標(biāo)記出螺栓的位置和螺栓的數(shù)量。在Easy DL 訓(xùn)練模型的基礎(chǔ)上，通過(guò)擴(kuò)展訓(xùn)練，它可以提高不同情況下螺栓的識(shí)別能力，并支持公共云部署、本地服務(wù)器部署、常規(guī)小型設(shè)備部署，以滿足各種場(chǎng)景的需求，用戶可以根據(jù)自己需求部署。

圖3 云服務(wù)模型檢測(cè)結(jié)果

5 結(jié)論

目前，塔式起重機(jī)的螺栓檢測(cè)主要基于人工定期檢查，使用深度學(xué)習(xí)來(lái)識(shí)別螺栓是不可避免的趨勢(shì)。本文基于百度定制的圖像識(shí)別系統(tǒng)平臺(tái)Easy DL，為了驗(yàn)證該方法的可行性和實(shí)用性，設(shè)計(jì)并完成了一系列實(shí)驗(yàn)。對(duì)螺栓識(shí)別模型進(jìn)行了訓(xùn)練?；谏疃葘W(xué)習(xí)的螺栓檢測(cè)方法操作過(guò)程方便簡(jiǎn)單、識(shí)別速度快、檢測(cè)精度高，為以后對(duì)起重機(jī)械設(shè)備的螺栓松動(dòng)識(shí)別技術(shù)的研究奠定了基礎(chǔ)，也為促進(jìn)AI 在塔吊螺栓檢測(cè)方面的應(yīng)用提出了新的思路。