目標檢測中語義約束檢查算法的研究與實現

楊佳云，么一諾，于 鯤，柳秀梅，于明鶴，趙志濱

1.東北大學 計算機科學與工程學院，沈陽 110000

2.東北大學 軟件學院，沈陽 110000

近幾年，隨著卷積神經網絡的快速發展，基于卷積神經網絡的目標檢測算法越來越成熟。基本的目標檢測算法是在圖像中識別每個目標的所屬類別和位置信息，缺少對于目標所應滿足的應用語義的檢查。例如在生產安全監控視頻中，目標檢測不僅要識別出安全防護裝備，還要檢測這些安全防護裝備是否被規范穿戴。

本文提出了一種目標檢測中語義約束檢查算法，基本思想是：形式化描述應用對于目標的語義約束，然后與實際的目標檢測結果進行一致性判定，從而在目標檢測的過程中同步實現語義約束檢查。附加語義約束檢查的目標檢測算法具有非常廣泛的應用，如標準工裝檢查、消防和安防設備檢查等等。本文的主要貢獻有：

（1）分析了目標檢測中的語義約束類別，并據此提出語義約束的描述模型，其中包括單類別下目標的數量約束和多個目標之間的相對位置約束。

（2）基于基本的目標檢測算法，提出了目標的數量計算方法和多個目標的空間相對位置計算方法；進一步，提出了目標檢測結果與語義約束的一致性判定方法，實現了語義約束檢查。

（3）以電力施工的防護裝備檢查任務為例，將目標檢測中語義約束檢查算法在真實數據集上進行驗證，通過檢查安全帽、安全帶和絕緣手套是否規范佩戴這一應用實例驗證算法的有效性。

1 相關工作

在計算機視覺領域內，目標檢測是一個基礎的視覺識別任務。基本的目標檢測算法是從給定圖像中檢測出每個目標的類別信息和位置信息[1]。近幾年，基于卷積神經網絡的目標檢測算法愈加成熟[2]。

文獻[3-5]提出的R-CNN系列是深度學習應用到目標檢測的開山之作，改進后的Faster R-CNN雖然檢測準確率明顯上升，但檢測速度仍然達不到實時的需求。文獻[6]提出的SSD目標檢測算法檢測速度可以達到實時，但對于小目標的檢測效果略差。

從2016年開始，文獻等[7-9]陸續推出了YOLO系列的端到端目標檢測算法。因為具有實時的檢測速度和愈來愈高的準確率，YOLO系列算法備受歡迎。YOLOv1由于輸出層為全連接層，在檢測時，模型只支持與訓練圖像相同的輸入分辨率，且檢測準確率比之前的R-CNN和SSD都要低。YOLOv2在YOLOv1的基礎上將輸出層改為卷積層，同時引入了Faster R-CNN中anchor box[10]的思想，改進了網絡結構的設計，使模型更加容易學習。YOLOv3在YOLOv1和YOLOv2的基礎上調整了網絡結構，搭建并訓練出了最新的Darknet-53模型。使用多尺度預測的方法提高了對小目標物體的檢測精度；同時，將softmax分類器改為logistic分類器[11]改善了目標重疊的檢測效果，檢測精度大幅提高。

由于基本的目標檢測算法檢測信息的局限性，一些學者在傳統目標檢測算法的基礎上增加了對圖像的語境分析[12]。圖像中的語境分析一般是從全局和局部兩個層次考慮。全局語境是從圖像整體出發考慮圖像的統計信息；局部語境是利用目標周圍的區域檢測其他的目標或像素，分為目標級交互和像素級交互[13]。

文獻[14]針對傳統目標檢測方法中語義關系漂移和位置建模偏差的問題，總結語境信息基本類型和應用方法。從圖像空間約束、視頻時空約束和語義語境約束三個方面建立目標之間的語義和位置先驗模型，改善目標檢測的效果。文獻[15]將語義約束與視覺定位算法相結合提出了一種基于語義約束的特征點定位算法，該算法可以剔除大量的誤匹配特征點，有效減少定位匹配階段提取特征點的區域和特征點的個數，提高特征提取的效率。文獻[16]提出了一種語義規則和模板相結合的安全帽佩戴圖像描述生成方法，根據預定義規則結合語句模板生成描述語句，有效完成了安全帽佩戴描述生成的任務。

基于以上相關工作，本文以YOLOv3目標檢測模型為基礎提出了一種目標檢測中語義約束檢查算法。該算法不僅可以檢測圖像中單類別下目標的數量，還可以檢測出多個目標的空間位置信息，實現從圖像中提取更加豐富的內容，具有重要的現實意義。

2 語義約束檢查算法

語義約束檢查的目標是根據用戶指定的約束對目標檢測結果進行一致性檢查，其中的約束包括單類別下目標的數量約束和多個目標的空間位置約束。為此，本文算法需要：提出一種語義約束描述模型；獲得帶有語義信息的目標檢測結果，包括檢出目標的數量和空間位置關系；帶有語義信息的目標檢測結果與語義約束進行一致性檢查。本章對這三方面工作進行詳細介紹。

2.1 語義約束的模型定義

目標檢測任務輸入是一幅靜態圖像，其中包含的目標也是靜態的。目標檢測中的語義約束可描述為式（1）的形式：

其中，L表示用戶定義的目標類別的集合，F表示目標實例應滿足的語義約束條件的集合。L和F來自于應用需求，由用戶定義。靜態目標的語義約束有單類別目標的數量約束和多個目標之間的空間位置約束。

（1）單類別目標的數量約束

單類別目標的數量是指屬于同一類別的目標的個數，用 |N(L i)|( ?L i∈L)表示，那么類別L i下的實例可以表示為O L i( ?L i∈L)。所以，單類別下目標實例的數量約束如式（2）所示：

（2）多目標之間的位置約束

多目標之間的空間位置約束是指多個目標實例的中心點在空間中的相對位置關系，由中心點的坐標決定。任意多個目標之間的相對空間位置均可通過多組雙目標之間的空間位置關系來描述。因此，只需要定義兩個目標實例的空間位置關系即可，如式（3）所示：

其中，d x表示O L i與O L j的水平方向上的空間位置關系。設d x表示O L i與O L j的水平距離，當d x＞0，表示O L i中心在水平方向上沿正向移動d x個單位距離到達O L j中心；反之，表示O L i中心在水平方向上沿反向移動d x個單位距離到達O L j中心。同理，d y表示O L i與O L j的垂直方向的空間位置關系。設d y表示O L i與O L j的垂直距離，當d y＞0，表示O L i中心在垂直方向上沿正向移動d y個單位距離到達O L j中心；反之，表示O L i中心在垂直方向上沿反向移動d y個單位距離到達O L j中心。

所以，多個目標實例之間的位置約束可以描述為式（4）的形式：

2.2 帶有語義信息的目標檢測

目標檢測是圖像分析的基礎，基本的目標檢測算法是從圖像中逐個識別出目標的所屬類別和位置信息。其中，位置信息由目標的中心坐標(x,y)和目標的寬度w、高度h表示，目標所屬類別為給定標簽中置信度最高的標簽。

然而，僅提取單個目標的類別信息和位置信息往往不足以滿足實際檢測的需要。很多應用中的目標檢測任務常常帶有語義約束，典型的包括單類別目標的數量約束和多個目標之間的空間位置約束。為此，本文在基本的目標檢測的基礎上，提出帶有目標數量和目標相對空間位置的語義信息檢測方法。

單類別目標的數量信息可以通過統計目標所屬類別標簽獲得，只有屬于同一類別的目標才進行累加計算目標數量。類別L i所包含的目標實例數量?(OL i)的計算式可以表示為公式（5）：

其中，Detect()為基本目標檢測函數對檢出目標實例的分類結果。當判定目標實例屬于某一類別時，該類別數量加1，反之，則加0。

兩個目標的相對空間位置是通過計算兩個目標的中心坐標位置關系獲得的。兩個目標中心橫坐標差值的絕對值表示目標間水平方向上的距離，差值的正負表示目標間水平方向上的相對方位信息；同理，兩個目標中心縱坐標差值的絕對值表示目標間豎直方向上的距離，差值的正負表示目標間豎直方向上的相對方位信息。因此，目標之間的位置關系計算式如式（6）所示，形象化描述如圖1所示。

圖1 目標間位置信息Fig.1 Location information between objects

算法1帶有語義信息的目標檢測算法SemDetect

輸入：Image

1. Inpu（tImage）

2. {}=detec（tImage）

3.for?in{?}：4.//Count the number of single category objects

6.forO L iin{?}：

7.forO L jin{?}：

8.//Calculate location information between objects

2.3 模板匹配

為了檢查目標是否符合語義約束條件，需將帶有語義信息的目標檢測結果與用戶設定的約束條件進行一致性檢查。由于本文定義了單類別目標的數量約束和多個目標之間的位置約束兩種約束條件，所以根據這兩種約束設計兩條匹配規則：一是目標數量匹配規則；二是目標間相對位置匹配規則。

（1）目標數量匹配

將帶有語義的目標檢測結果中同一類別的目標數量與約束條件設定的該類別目標數量進行一致性檢查，如式（7）所示：

（2）目標間空間相對位置匹配

將指定目標間的位置關系與約束條件設定的位置關系進行一致性檢查，檢查目標間的距離是否在最大約束距離允許的范圍之內。如式（8）所示：

總體上，當所有檢測結果及其語義均符合用戶指定的語義約束時，才認為目標檢測結果滿足語義約束。

算法2目標檢測中語義約束檢查算法

3 實驗設計與結果分析

3.1 實驗方法

本文實驗將使用所提出的目標檢測中語義約束檢查算法，判定安監視頻中電力工人是否嚴格按照安全生產規范要求穿戴施工防護裝備。

按照電力公司的安全生產規范要求定義約束條件，工人必須佩戴安全帽、安全帶和絕緣手套。同時，安全帽必須佩戴在頭頂，安全帶必須穿戴在身上，絕緣手套必須戴在手上。上述規范描述如表1所示。

表1 安全生產規范的約束條件Table1 Constraints of safety production standard

用YOLOv3模型檢測圖片中的安全帽和臉部、安全帶和胸部、絕緣手套和手部。統計檢測出的安全帽、安全帶和絕緣手套的數量，并根據臉部位置檢查安全帽位置；根據胸部位置檢查安全帶位置；根據手部位置檢查手套位置。最后，對目標檢測結果與語義約束進行一致性判定。所有檢查均合格判定該工人的穿戴符合公司的標準，若有一條不符合則判定該工人的穿戴不合格。

本文采用某電力公司采集的施工防護設備佩戴視頻作為實驗數據集。數據集中包含僅戴安全帽、僅戴安全帶、僅戴絕緣手套的圖片，戴其中兩種設備的圖片和3種設備均佩戴的圖片，2分鐘左右的視頻，共計4 050幀圖片。根據統一的標注規則進行標注，將視頻的80%作為訓練集，20%作為測試集進行實驗。

本文實驗所使用的操作系統為Ubuntu16.04 LTS，開發語言為C++，硬件為GeForce GTX 1060 6 GB。

3.2 實驗結果與分析

本文提出的方法主要解決的是一個二分類的問題。對于二分類問題的評價，通常使用準確率（Accuracy）、精確率（Precision）、召回率（Recall）和F1-Score作為評價指標來評價分類算法的整體性能。其中，準確率表示是否規范穿戴的檢出準確率；精確率表示規范穿戴的精確率；召回率表示規范穿戴的召回率；F1-Score表示規范穿戴的精確率和召回率的加權平均。

表2記錄的是在不同閾值設定下檢測安全帽是否規范佩戴的實驗結果；表3記錄在不同閾值設定下檢測安全帶是否規范穿戴的實驗結果；表4記錄在不同閾值設定下檢測絕緣手套是否規范穿戴的實驗結果；表5為最優閾值設定下整體約束檢查的效果評價。

表2 不同閾值設定下的安全帽佩戴檢測實驗結果Table 2 Testing results of helmet wearing under different threshold settings

表3 不同閾值設定下的安全帶佩戴檢測實驗結果Table 3 Testing results of safetybelt wearing under different threshold settings

表4 不同閾值設定下的絕緣手套佩戴檢測實驗結果Table 4 Testing results of insulating gloves wearing under different threshold settings

表5 整體約束檢查實驗結果Table 5 Testing results of overall constraint check

在進行整體約束檢查時，檢查規則為當所有目標均符合約束條件時才認為合格。那么，整體目標檢測效果與每個目標的檢測效果息息相關。因此，表5中呈現的檢測指標不高。

圖2為目標檢測中語義約束檢查算法檢查規范佩戴施工防護設備實驗的檢測效果圖。其中，圖（a）表示單獨檢測安全帽佩戴情況；圖（b）表示單獨檢測安全帶佩戴情況；圖（c）表示單獨檢測絕緣手套佩戴情況；圖（d）表示整體約束檢測。

圖2 實驗檢測效果Fig.2 Experimental detection results

本文提出的目標檢測中語義約束檢查算法檢測一幀圖片的耗時為130 ms左右，幀率為每秒8幀。同時，為了提高檢測準確率，設置當連續3幀圖片均不合格時才認定其佩戴不規范。實驗證明該算法能夠有效完成約束條件檢查的任務。

4 結束語

針對基本目標檢測算法僅識別目標類別信息和位置信息的問題，本文提出了一種目標檢測中語義約束檢查算法。該算法定義了一種語義約束模型，提出了帶有語義信息的目標檢測算法，將該目標檢測算法提取出的單類別目標數量信息和多個目標之間的位置信息與語義約束模型進行一致性匹配，從而檢查目標是否符合約束條件。實驗表明本文算法在電力施工防護裝備檢查任務中表現出了良好的檢查效果。

隨著圖像分析技術的成熟，監控系統朝著智能化的方向發展將是必然趨勢。本文提出的算法仍然需要深入研究的內容：

（1）除了本文提到的兩個約束條件之外，還可以從其他維度對目標進行更細致的描述，比如顏色、大小等，從而提高檢測準確率；

（2）除了本文使用的檢查目標檢測結果與語義約束是否一致的模板匹配函數之外，可探尋更加準確有效的匹配函數檢查目標是否滿足約束條件。