一種基于圖像模板的圖像建模及識別框架研究

褚紅健,李佑文,丁桃勝

(南京國電南自軌道交通工程有限公司,江蘇 南京 210032)

0 引言

隨著計算機硬件設備性能的不斷提升,以及人工智能、圖像信息處理等技術的不斷發展,使得這些技術可以在多種傳統或新興的工業領域創新應用[1-2]。

從圖像識別的技術角度看,可使用的技術手段主要包括2個方面:基于圖像處理的方法和基于深度學習的方法[3-5]。基于傳統的圖像識別算法,該方法對圖片數據要求較低,處理結果也比較機械化,對于背景簡單、識別目標復雜度小的對象效果較好。由于其僅能提取圖像的形狀、方向和顏色等淺層特征,識別泛化能力較弱,難以挖掘圖像的豐富內涵信息。因此,對于場景復雜的目標識別效果較差。基于數據驅動的深度學習方法能夠有效克服圖像處理方法中人工設計特征的主觀性、模糊性和不確定性,并能夠充分挖掘圖像數據的深層語義特征,應用場景相對圖像處理方法較廣泛,但是嚴重依賴于數據量的大小、多樣性,樣本數量的平衡性等數據本身因素。為了更好地適應實際工程現狀,可將基于圖像處理的方法和基于深度學習的方法相結合應用,但如何將針對不同的圖像識別場景所設計的各種智能識別算法進行統一的管理、調度及靈活地維護升級,是本文考慮解決的主要問題。

1 基于圖像模板的圖像建模及識別框架概述

針對上述問題,本文提出了一種基于圖像模板的圖像建模及識別方法,搭建了通用且易于擴展的智能圖像識別算法管理及協作框架,完成了對基于圖像處理和基于深度學習的人工智能算法的統一管理和調度。

基于圖像模板的圖像建模及識別方法具體包括以下步驟:(1)通過數據采集功能采集供電變電所各種類型設備的圖像數據,由攝像機云臺管理系統和圖像識別請求客戶端配合完成。攝像機云臺管理系統用于設置待巡檢球機的預置位,圖像識別請求客戶端負責調用攝像機云臺管理系統接口進行巡檢并拍攝設備圖像。(2)通過設備圖像識別模板建模工具完成對變電站不同類型設備的圖像識別模板建模。(3)通過圖像識別服務完成對不同類型的變電站設備的圖像識別和結果反饋。

2 基于圖像模板的圖像建模及識別方法框架設計

2.1 圖像模板建模及識別整體協作總體框架

本文設計的圖像識別建模模板和圖像識別服務程序一體化的圖像識別框架,包含圖像采集、圖像識別服務、圖像識別模板建模標注、識別算法調度管理4個主要功能模塊,如圖1所示。各個子模塊功能可獨立開發其中識別算法調度管理子模塊,可被圖像識別服務和圖像識別模板建模標注子模塊復用。該框架采用基于圖像處理和深度學習相結合,并依據逐步豐富的現場數據樣本迭代優化算法的策略,可實現被識別圖像模板的統一建模、識別及算法調度和管理,能有效克服工程實施初期的數據集依賴、外界環境干擾等問題,解決了不同類型設備同時識別以及算法升級維護難度大的難題;同時,通過提供必要的通信和功能接口與其他關聯子系統進行交互,實現接收各類圖像識別指令、識別結果反饋以及各子功能模塊間數據交互。

圖1 圖像模板建模及識別整體協作總體框架

2.2 圖像采集服務

圖像采集服務主要依靠固定點位網絡攝像機或巡檢機器人對指定區域被識別的對象進行圖像采集或視頻錄制,按照用戶要求的巡檢周期及入侵觸發條件將圖像、視頻采集后進行存儲,用于后續對儀表設備的讀數、設備狀態的識別以及對人員入侵或作業是否安全的判斷。受相機或機器人不同位置、不同角度、不同光照以及震動等因素的影響,需要對相機角度、點位進行調試,對于特殊對象的數據采集,可以考慮采用多相機多角度配合使用。圖像采集模塊采集的質量影響后期對象檢測的準確率。

2.3 圖像識別模板建模標注

圖像識別模板建模標注子模塊,具備對被識別圖像的識別輔助信息標注功能、綁定圖像識別算法功能、圖像預識別功能、標注信息和模板圖像保存以及圖像識別模板建模標注信息和對應模板圖像的導入功能。為方便后續算法靈活擴展,可針對不同類型設備設置建模全局配置信息主要包含設備類別、算法編號、同一算法編號包含的識別方法以及設備狀態不同取值選項等關鍵內容的設置,該配置信息僅需設置一次,后續可根據新增設備類型、算法進行靈活擴展或更新。

2.3.1 圖像識別模板和輔助標注信息導入功能

用于選擇需要打開的圖像模板集合及對應的標注信息,可以選擇模板庫中的任意圖像或批量圖像模板進行導入。導入成功后,可以通過模板圖像的導航功能切換展示模板圖像信息并載入其對應的標注信息。

2.3.2 圖像識別模板建模標注功能

該功能支持對被識別圖像上的多個相同或不同類型的設備分別進行信息標注、識別算法綁定和參數設置。先對數據采集功能采集的預置位圖像進行圖像識別輔助信息標注,然后通過綁定圖像識別算法功能對不同的被識別設備綁定不同的圖像識別算法。

識別輔助標注信息包含公共標注信息和私有標注信息。其中,公共標注信息包含標注坐標、預置位號、與外部系統約定的數據點號、數據類型信息;私有標注信息,根據不同類型設備的自身特點進行設計,如指針表類型,包括起始量程坐標、中心坐標、起始量程、是否鏡像;液位類型設備包括最大刻度值、最小刻度值。

綁定圖像識別算法功能包含一個核心元組,記作。其含義為:設備類別、算法編號(算法編號與設備子類別一一對應)、同一算法編號包含的識別方法、設備狀態不同取值選項。其中,algorithm和ways主要用于控制綁定識別算法的粒度和靈活性,一般不同的設備子類別對應一種識別算法,當滿足識別需求時,ways可以不進行進一步指定。當同一個設備子類可采用多種深度學習或圖像處理的識別方法時,可以通過配置ways進一步擴展可選的圖像識別算法集合,以便適用于工程不同實施階段設備圖像識別的需求,并且便于后期的算法更新和替換。map 為可定義映射數據結構,主要將識別的布爾類型、數值類型、枚舉類型的結果轉化為可被理解的內容標注在被識別圖片上。

綁定圖像識別算法功能進行識別算法綁定時,首先,設置設備大類;然后設置算法類別(設備子類),若所要綁定識別算法的設備配置了不同的識別方法,則根據配置可選項設置其中一種識別方法;最后,設置識別結果映射信息,即完成識別結果和可被理解的顯示內容之間的映射設置。

2.3.3 圖像預識別及識別模板和標注信息保存功能

被識別圖像上所要被識別的多個設備完成信息標注、識別算法綁定和參數設置后,通過該功能根據綁定的識別算法編碼識別算法調度管理模塊的算法接口,完成預覽圖像識別結果,確認無誤后,可將當前標注的信息保存到標注結果文件,同時將該圖像保存為圖像識別模板。

2.4 圖像識別服務

圖像識別服務將實際需要進行圖像識別的圖像數據作為輸入,與圖像模板進行特征匹配并解析輔助標注信息獲取圖像識別算法編碼,然后通過識別算法調度管理模塊進行圖像識別算法的調度和實際識別工作。

首先,對請求數據進行解析,若符合約定參數請求格式,則加載被識別圖片。

其次,加載圖像建模模板,若存在模板信息,則對被識別圖片和圖像建模模板進行特征匹配。

然后,根據圖像建模所標注的信息,確定圖像中不同類型的設備所設置的識別算法和參數,根據算法編號獲取對應的識別算法處理類,進行設備狀態或設備量程、讀數的識別。

最后,將識別結果返回客戶端。

識別結果包含2種形式,其一為圖片形式的識別結果,其二為文本格式的識別結果。所述圖片形式的結果會將被識別圖片上不同類型的設備框選中,并將設備的狀態、量程、讀數等識別結果,分別標注在設備所在位置上方。

2.5 識別算法調度管理

識別算法調度管理模塊主要負責對具體識別算法的管理,為圖像識別模板建模標注子模塊的圖像識別預覽功能以及圖像識別服務提供識別算法調用接口。在設計上,以面向對象的設計方法設計圖像識別算法接口規范,構建適用不同識別場景的算法管理模塊。首先,定義算法處理抽象接口,然后,對于每一種新增設備類型的圖像識別算法(算法子類)都實現圖像算法接口,最后完成其相應的圖像識別算法。

圖像識別算法接口規范為具體的識別算法提供方法函數,包括求仿射變換矩陣、繪制結果、提取JSON格式數據、截取圖像、圖像匹配、圖像切割、坐標選擇、圖像識別執行。

不同的算法子類繼承自算法接口規范,同一算法類別的不同方法可以根據實際設計采用不同的分支函數處理,也可以定義不同的處理類進行處理。從而滿足開閉原則,便于后期算法的升級替換。

3 結語

基于本文所提出的框架,采用對圖像模板的建模和特征標注和統一規范的算法調度管理,不僅能夠靈活地實現對識別對象中所包含的不同類型設備的并發識別及異常檢測,還可針對工程不同實施階段的數據樣本情況,制定針對不同設備圖像識別場景的智能圖像識別算法,并能依據數據樣本的逐步完善進行識別算法策略的靈活調整。