深度學習圖像字幕應用于施工現場視覺管理研究

袁啟旺 蘆健秋 戶傳真 涂小雅 周志文

淮陰工學院管理工程學院 江蘇淮安 223003

施工現場視頻包含工程項目管理所需的施工設備、施工對象及其活動關系等重要的視覺信息?；谝曈X技術分析施工視頻,可以通過自動監控施工效率,識別施工安全風險、優化施工空間等實現工地智慧化。近年來,基于視覺的土方開挖效率提升、施工現場臨空護欄管理等智慧化管理方法逐漸得到應用。相較于激光掃描儀、射頻識別和全球定位系統等智慧工地管理技術相比,基于視覺的施工現場監測技術成本低、施工現場布置及維護簡便。

現有的基于視覺的施工方法包括目標檢測、目標跟蹤、活動識別、場景分析等,許多施工現場智慧化管理均基于這四種類型方法開發得到。對象檢測方法從施工圖像或視頻中檢索施工對象(如機器、工人和材料)的定位和分類信息,這是多數基于視覺的施工管理研究的基本步驟。目標跟蹤的目的是在連續幀中檢索和解釋施工物體的運動,通過為每個物體分配標識號(ID)來生成軌跡信息。已有研究表明,活動識別可以有效地用于基于視覺智慧管理,包括安全控制、生產率分析等。

場景分析是指通過識別人、料、機、法、環等施工要素來解釋施工圖像,提供施工管理圖像中的視覺信息。場景分析主要應用于包括違反施工安全規則的自動檢測、道路資產評估和施工危險識別等。但場景分析目前多通過物體檢測或活動識別分別檢索施工要素,并將所有信息組合到預定義的模板中,這種方法在不同場景檢測極其耗時,而按預定義的順序進行分組,并生成語句時極易出錯。而圖像字幕基于計算機視覺和自然局域網測量處理,可用于施工場景分析。近來,深度學習能夠自動從圖像中提取高級特征,用于計算機視覺、自然語言處理、強化學習等各種應用。圖像字幕技術結合深度學習,可以通過在有標記的圖像數據集上訓練而得到精確而簡潔的文本描述。通過采用深度學習圖像字幕技術,可以將施工圖像或視頻中的場景信息以自然語句的形式進行整體檢索。盡管深度學習圖像字幕在計算機視覺領域應用廣泛,但基于施工場景的應用很少,其可行性尚需驗證。目前多數深度學習圖像字幕技術都基于日常生活場景,用于施工圖像標注的語言模式尚未建立,施工場景搜索通常只采用基本的卷積神經網絡(CNN)和循環神經網絡(RNN)方法,而深度學習方法尚未在施工應用中得到測試。為此本研究提出一種將深度學習圖像字幕技術集成到施工構建場景中的方法。該方法包括三個主要步驟:數據集開發、模型建立和實驗評估。

1 數據集開發

構建注釋圖像數據集是將深度學習圖像字幕應用于施工現場管理的基礎步驟。數據集建構一般包括三項內容:圖像采集、選擇和注釋。

1.1 圖像采集與選擇

收集具有尺寸、顏色、形狀和照明水平等一系列視覺特征的施工圖像,提高了深度學習圖像說明方法在建筑場景中的魯棒性和泛化性。本文采用文獻[1]中的圖像進行圖像標注,包括挖掘機、夯實機、推土機、平地機、自卸汽車、混凝土攪拌車、輪式裝載機、反鏟裝載機、塔式起重機和移動式起重機,該文獻中124500幅施工圖像來自在線資源37500幅施工圖像,由智能手機、固定位置相機和無人機拍攝。然后,對采集的16.2萬張圖像進行手動處理,去除重復圖像、低分辨率圖像、刪除過大和過小的圖像及隱私保護處理。圖1為示例圖像,3800張施工圖像參與運算。

圖1 施工圖像示例

1.2 語言圖式與圖像標注

對于圖像字幕數據集,每張圖像都需要手動標注簡單語句來描述圖像內容。必須使用專業術語描述施工對象、施工活動和工作內容。

首先根據語言圖式從施工形象中解構出施工機械及其配套設備、施工內容及活動情況,以及顏色、數量、天氣等補充信息;其次,將專業術語與施工元素匹配;最后用詞語來描述施工圖像中進行的活動,形成一個邏輯正確的語句。選擇挖掘機、夯實機、推土機、平地機、自卸卡車、混凝土攪拌車、輪式裝載機、反鏟裝載機、塔吊和移動吊車等作為主要施工對象和輔助施工對象術語。

1.3 標題數據集摘要

對3800張圖像進行注釋,共生成8122個注釋。字幕數據集中的元素分布包括機器術語和活動術語,挖掘機和自卸卡車是字幕數據集中出現頻率最高的兩個對象術語,而裝載和傾倒是使用頻率最高的兩個活動術語。字幕數據集劃分為訓練集(80%)和驗證集(20%),為實驗評價步驟。

2 模型建構

施工領域目前大多數圖像字幕使用CNN-RNN方法構建,本研究選擇六種深度學習圖像字幕方法。

2.1 方法選擇

2.1.1 基線方法(Baseline method,Base)

選擇由CNN和RNN網絡組成的基線方法進行評估,采用ResNet101網絡作為編碼器,采用LSTM網絡作為解碼器。施工管理中多使用基線方法進行施工圖像字幕技術研究。

2.1.2 注意法(Attention meth attention method,Att)

注意方法結構采用文獻[3]的描述,選擇注意方法作為檢測施工圖像解碼器(已選擇ResNet101作為編碼器)。注意力解碼器允許神經網絡在序列的不同步驟上查看圖像的不同部分。通常,注意力解碼器的功能是一個小型神經網絡,將工作添加到LSTM神經網絡中,將隱藏狀態作為輸入,并輸出一組圖像特征的權重,表明LSTM應該關注哪些較大的權重區域。對圖像特征施加權重,得到特征內容,然后將內容發送回LSTM以幫助生成輸出。與基線方法相比,在集中注意力方法中,LSTM作為注意網絡,而編碼器網絡保持不變。

2.1.3 轉換方法(transformer method,Tsfm)

轉換解碼是一種多頭注意機制,在計算機視覺應用中取得了比注意解碼器更好的性能,通過集成ResNet101編碼器和轉換解碼器來實現。轉換前解碼器由多線程注意層、歸一化層和前饋層組成。多頭注意層是一組計算注意權重的并行注意網絡,前饋層負責進行大量的解碼工作。

2.1.4 自我臨界序列訓練(self-critical sequence training,SCST)

該法整合了自—關鍵序列訓練(SCST)策略,采用強化學習方法訓練深度學習圖像字幕生成,通過不可微的任務指標進行優化。在SCST中,在推理測試過程中估計了兩個序列,分別是從softmax分布中抽樣,另一個是貪婪抽樣。兩個序列的獎勵組合為自我批判的最終損失,這使得SCST在深度學習圖像字幕中更有效地訓練。在本研究中,上述三種方法均應用SCST策略。

這樣,六種深度學習圖像字幕生成方法(即Base、Base-SCST、Att、Att-SCST、Tsfm和Tsfm-SCST)可以進行測試字幕數據集。

2.2 評價指標選擇

目前計算機視覺研究中,并沒有單一的評價圖像字幕技術的通用指標。本文采用了5個自動評價指標,通過比較事實語句和生成語句,來評估深度學習圖像字幕方法在語句層級的性能。這些評價指標包括雙語評價替補研究(BLEU)、基于回憶的引文評價(ROUGE)、基于顯式排序的翻譯評價指標(METEOR)、基于共識的圖像描述評價(CIDEr)和語義命題圖像標題評價(SPICE)。對于這些指標,需要更高的值表示更好的字幕性能。CIDEr的數值范圍是0到10,其他四個指標的范圍是0到1。

2.3 模型實現

在前述圖像字幕訓練集上對深度學習圖像字幕生成模型進行訓練。所有六種深度學習圖像字幕方法都是用Python語言實現,編碼器(ResNet101)和解碼器(LSTM、attention和transformer)均使用Pytorch庫實現,ResNet101在ImageNet數據集和Opencv庫上進行預訓練用于圖像輸入/輸出。

3 實驗評價與結果

3.1 語句層級評價結果

對上述圖片進行字幕生成,如圖2示例圖片,六種方法對其圖像字幕生成結果如下表所示。

示例圖片的字幕生成結果表

圖2 六種方法得到的圖像字幕生成結果示意

從語句層級評價結果看,Tsfm-SCST施工筑圖像字幕處理性能最好,證明了轉換解碼器和SCST策略用于深度學習圖像字幕的可行性。在大多數情況下能夠正確描述施工圖像內容;Base方法在性能上排名第二,施工場景中優于Att和Tsfm;在計算機視覺方面,Att和Tsfm取得了比Base方法更好的性能。這表明圖像字幕在施工管理中技術難度度低于傳統計算機視覺應用。

3.2 元素層級評價結果

在元素級評估中,同樣使用Tsfm-SCST方法進行訓練與進行驗證。結果表明,Tsfm-SCST在驗證集的平均精度為91.1%,召回率為83.3%,F1得分為86.6%,這意味著它在施工場景中與最先進的對象檢測方法具有接近但略低的性能。Tsfm-SCST方法在識別塔機時達到100%的最高精度,在識別分級施工設備及材料時達到92.9%最高召回率。

4 結論

模型實驗結果表明:

(1)對于施工場景分析,圖像字幕方法相對于現有的施工方法,推理速度更快。

(2)在施工監控中,圖像字幕方法可以從圖像/視頻中生成自然語句描述施工現場實際狀況,有可能以文本格式自動記錄項目進度和安全問題,減少大量的人工記錄工作及手動報告。由于生成語句包含解釋性信息,圖像字幕可用于評估基礎設施損壞情況。

(3)SCST策略被證明可以提高施工中圖像字幕方法的性能。模型試驗結果表明,在訓練中應用特定策略可提高圖像字幕方法的性能。

但本研究數據集的數量相對較少,僅對比了基于編碼器—解碼器的圖像字幕方法,而有一些基于其他機制的深度學習圖像字幕方法尚需進一步研究。