結合對象分割的運動行人檢測①

宮法明，呂軒軒，宮文娟，王曉寧

(中國石油大學(華東)計算機與通信工程學院，青島 266580)

1 概述

近年來，運動目標檢測已經成為計算機視覺領域的研究熱點，引起了眾多學者的關注，在視頻監控系統、對象跟蹤等方面發揮了巨大的作用.行人檢測的研究隨著機器學習的巨大發展取得了重大進步，研究內容為在圖像中快速而精確地識別和定位出行人.基于外觀的行人檢測器在大規模的數據集上進行訓練已經成為主流，目前流行的訓練目標檢測器的方法是使用監督算法(如AdaBoost[1]，神經網絡[2]，支持向量機[3]).但是這種方法需要大量的人工標注訓練數據集，而且隨著檢測模型的擴大，需要標注的數據集也快速增長，人工標記大型訓練集的過程是耗時且乏味的.因為訓練出適應特定場景的檢測器需要海量的數據集來覆蓋各種視點、分辨率、光照條件、天氣環境以及各種復雜的場景，當訓練用于大規模視覺系統的檢測器時，例如在幾百個場景中配置攝像機的視頻監控網絡中，從每個場景人工收集和標記正面以及負面的訓練圖像的成本是非常大的.隨著大數據時代的到來，需要處理海量視頻數據，人工獲取數據集的方式已經無法滿足實際需要.

目前目標檢測圖片標注的方式主要以全手工標注為主，進行重復人工類別標注的成本太高，效率低下且不可擴展，尤其是在需要大量標注樣本的情況下.在這種情況下，數據集的獲取方式變得尤為重要.為了應對大量增長的視頻數據，提高效率.本文針對靜止的單目攝像機拍攝的監控視頻圖像，在已有框架上進行步驟改進，提出了一種融合對象分割的半自動標注方法，極大減少了人力參與，降低經濟成本.

本文的實驗數據來源于海上石油平臺的監控視頻.海上作業危險性很高，為了保證石油工人的安全等問題，對海上石油平臺的監控尤為重要.海上平臺的攝像頭數量巨大，且安裝角度各異，使得視頻背景及海上石油平臺工作人員在視頻中出現的位置復雜，更增加了訓練集制作的難度.

本文的主要貢獻如下:

1)設計一個用于行人檢測任務的融合對象分割的半自動標注方法，能夠提供大量的訓練樣例；

2)將運動信息與視覺相似性相結合，更好地分割出前景目標，并將其應用于數據集的生成.

首先，為了更加精確地分割前景目標和背景，本文結合了短期線索的運動信息和跨越大時間圈的視覺相似性，首先將圖像分割成超像素[4]，通過光流[5]大小來提取運動信息，給出每個超像素的初始顯著性分割(前景或者背景)，通過跨越時間的連續幀在空間區域的外觀相似性迭代的糾正每個超像素的分割結果.在空間區域和時間區域的相似特征將豐富多樣的信息傳播到整個視頻序列，得到準確的分割結果.根據提取出的前景目標進行數據集的制作；其次，用制作好的數據集學習一個針對特定場景的行人檢測器，最后將其應用于行人檢測.如圖1所示，為本文的框架流程圖.

文章的組織結構如下:第2 部分介紹了行人檢測的研究現狀；第3 部分提出了一種新的數據集標注方法，將得到的數據集用于行人檢測器的學習；第4 部分在海上石油平臺的監控視頻數據集中對本文提出的算法進行了實驗驗證；第5 部分對全文進行了總結.

圖1 行人檢測框架流程圖

2 相關工作

監督學習的行人檢測算法一般需要手工標注大量的數據集，這種方式耗費大量的時間和人力.目前已經有相關的無監督學習或者半監督學習實現了無需標注數據集的方式來訓練行人檢測模型.香港中文大學的王曉剛等[6]提出了一種遷移學習框架，自動地將通用行人檢測器轉換成針對特定場景的行人檢測器，過程中無需手工標注數據集.弗萊堡大學的Dosovitskiy A等[7]基于數據增強提出了一種僅使用未標記數據訓練卷積神經網絡的無監督的目標檢測方法，使用代理類通過一系列基本變換進行數據增強，如:旋轉、縮放、平移、顏色、對比度等.卡內基梅隆大學的Rosenberg C 等[8]使用一組弱標記的示例來增強一小組標記的訓練實例去訓練出一個目標檢測器，表現優于完全使用標記數據訓練出的目標檢測器.巴塞羅那自治大學的Marin J[9]使用來自虛擬世界的數據集，免除了手工標注的煩瑣過程.

對于監督學習，YOLO[10]和SSD[11]在目標檢測方面基于大量數據集的人工標注取得了良好的效果.麥吉爾大學的Nair V 等[12]使用背景減法手動設計了一個自動標注機，自動標注在辦公室走廊上的行人，免除了手工標注數據集的枯燥乏味，但是對于復雜場景下，這種方式可能并不適用.

監督學習和無監督學習是人工神經網絡的兩種主要的學習方式.無監督學習不需要帶有標簽的訓練樣本，但是訓練過程繁瑣且時間冗長.監督學習從帶標記的訓練樣本中學習特征，但是需要大量的訓練數據.根據研究現狀可知，以上成果主要基于訓練數據集的無監督訓練，數據增強或者虛擬現實來實現無需標注數據集的目的，基于監督學習表現良好，本文旨在構建一個應用于監督學習的復雜場景下的數據集類別半自動標注的方法.本文的半自動標注方法允許人力參與，對標注結果進行修正.

3 基于對象分割的數據集半自動標注

在下面的章節中描述了所提出方法的細節，3.1 節將運動信息與視覺相似性相結合，提取出前景目標，為之后的數據集標注做準備；3.2 節將3.1 節提取的前景目標應用于數據集的半自動標注，可以人工調整目標框；3.3 節使用深度學習方法對本文方法進行了驗證.

3.1 前景背景分割

圖像前景區域提取有很多應用，包括對象檢測和識別，視頻摘要，圖像壓縮等等.因此，國內外的學者也在這個方向進行了大量的研究.Mitra NJ 等[13]提出的算法僅僅考慮顏色顯著性，這顯然是不夠的，因為一些不同顏色的區域可能是非顯著的；還有算法僅僅考慮檢測不同的模式，如前景對象和背景區域之間的邊緣信息，但這可能導致顯著物體的均勻區域缺失；背景減除法也是是一種有效的對象檢測算法，基本思想是利用背景的參數模型來近似背景圖像的像素值，將當前幀與背景圖像進行差分比較實現對運動區域的檢測由于監控環境的不同，真實的背景可能隨時會發生變化，背景模型如果不能及時更新，則會導致運動目標提取的失敗.針對傳統方法存在的不足，我們既考慮運動顯著性，也考慮跨越大時間圈的視覺相似性.這些線索都不足以提供良好的分割結果.我們的方法是以簡單而有效的方式融合這兩個線索.本文核心算法流程圖如圖2所示.

圖2 算法流程圖

算法包含了4 部分:(1)將視頻序列分割成超像素；(2)根據光流信息獲得每個超像素的前景可能性(0-1)，其中1 代表前景，0 代表背景；(3)將每個超像素用一個外觀描述符表示在特征空間中，特征空間中相鄰描述符代表相似的區域，每一個區域都有一個前景可能性；(4)根據特征空間中的相鄰描述符的前景可能性來更新初始前景可能性.

3.1.1 初始前景可能性結果

最初的光流算法由Horn 和Schunck[14]提出，假定在時刻t處于圖像坐標(x，y)位置的點，在時刻t+d運動到了圖像坐標的點(x+dx，y+dy)處，在時刻t的像素灰度值為I(x，y，t)，在時刻t+dt的像素灰度值為I(x+dx，y+dy，t+dt)，時間變化很小的情況下，認定像素灰度值不變，那么像素的運動矢量即為運動物體的光流變化.光流算法根據物體的運動信息來判斷物體位置以及顯著性特征.它代表圖像中的模式運動的速度，如果圖像中沒有運動目標，那么，光流矢量在整個圖像區域連續變化；如果物體和圖像背景存在著相對運動時，運動物體形成的速度矢量的大小和方向和鄰域背景必然不同，從而檢測出運動物體的位置以及輪廓特征.

本文利用連續幀間差分方法定位運動目標，獲得二值圖像，然后計算二值圖像中特征點處的光流.因為計算二值圖像中值為1的特征點的光流場分布比計算整個圖像的光流場要準確.

本文利用光流信息獲取視頻幀的初始前景可能性結果，但是在復雜背景下的視頻序列中，短期的運動顯著性只能很好地指示物體位置.假如前景物體在視頻序列中只有一部分移動而另一部分靜止，只用光流的方法是不夠的.這些前景可能性結果很嘈雜，需要通過視頻序列的特征空間的相鄰描述符的前景可能性來更新初始結果.

3.1.2 超像素分割

超像素分割技術是指將圖像分割為許多小的區域，這些成為超像素的小區域在顏色和紋理上具有同質性.由于超像素空間緊湊性高、大小均勻，并且能夠很好地保留了圖像中目標的邊界結構，這種過度碎片化使得我們即使在高運動模糊或低分辨率的情況下提取有意義的邊界.本系統采用超像素分割方法為簡單線性迭代聚類(Simple Linear Iterative Clustering，SLIC)[15]，該方法預先設定的超像素個數，采用K-mean 聚類方法生成一系列大小一致且保持目標邊界的超像素區域R.超像素分割示例如圖3所示.

3.1.3 前景可能性的迭代更新

特征空間中的相鄰描述符表示相似的區域，在視頻中可能在空間和時間上相隔很遠.我們的描述符有以下幾種類型:RGB 和LAB 顏色直方圖，HOG 描述符.首先我們需要找到超像素區域R在特征空間上的N個最鄰近區域(Nearest Neighbors)，計算出區域R和它的N個最鄰近區域的相似性:

其中，d(R)代表區域R的高維特征描述符.

圖3 SLIC 超像素分割圖像

然后，計算圖像上所有超像素區域的最鄰近距離矩陣S(i，j)，并歸一化；用N個最鄰近區域的前景可能性的加權平均值更新每個區域R的前景可能性:

我們將算法分為兩個階段:首先限制最鄰近區域搜索的視頻幀數量，將每個超像素搜索的范圍設置為在F等于10 幀的時間半徑之內的包括自身在內的TNN(即2F+1 幀)，這樣的做法保證了算法的效率以及減少了混淆背景和前景區域的機會；然后放寬對于鄰近區域的搜索時間限制，可以在整個視頻序列中搜索，得到最終的分割結果.

3.2 數據集的半自動標注

我們的半自動標注數據集的方法是根據3.1 節中提取的前景目標設計而來.在行人檢測任務中，半自動標注方法允許人力的參與，當然我們盡力讓提取的前景目標更加精確，以免除或者減少人力參與，使得標注結果更加精確:

(1)當目標框不夠精確時，可以手動調整目標框的大??；

(2)當出現將背景像素標記為前景目標等錯誤標記情況時，可以通過刪除目標框按鈕，刪除已經標記的錯誤目標框；

(3)當出現遺漏標記的情況，可以通過添加目標框按鈕來標記遺漏目標.

3.3 深度學習分類器

卷積神經網絡[16]作為深度學習模型的一種，能從數據中自動學習并提取特征，其泛化能力顯著優于傳統方法，已經成功應用于物體檢測和識別等領域.包含輸入層、輸出層和隱層，它的隱層由若干個卷積層、池化層和全連接層組成.簡化的神經網絡結構圖如圖4所示.

圖4 卷積神經網絡結構圖

其中，Conv1、Conv3是卷積層，Pool2、Pool4為池化層，FC 為全連接層.卷積層中有多個Feature Map，每個Feature Map 對應一種濾波器，以此提取不同的特征.

4 實驗

基于本文提出的方法，我們開發了一個半自動標注行人實例的系統.為了驗證本文方法的魯棒性，在石油海洋平臺的多個場景中進行了實驗驗證.本實驗采用普通的臺式機，將CPU 為Core(TM)i7、主頻3.4 GHz，內存為8 G的臺式機作為硬件平臺，搭載英偉達GTX1060 型號顯卡.軟件開發環境為:64 位Windows 10 操作系統、MATLAB R2015b 軟件開發平臺、Visual Studio 2013 平臺、Caffe 深度學習框架.

實驗所用的視頻來自石油海洋平臺的靜止監控攝像頭.在實驗中，監控設備保持固定不動，視頻序列以海洋工作平臺作為背景.圖5 為方法實現過程.

圖5(a)為輸入視頻幀；圖5(b)為經過光流算法得到的初始前景可能性結果；圖5(c)為限制鄰近區域搜索空間得到的第一階段分割結果；圖5(d)為在整個視頻序列中搜索鄰近區域得到的第二階段分割結果；圖5(e)為使用本文半自動標注方法得到的訓練樣例標注結果；圖5(f)為本文所提出的目標檢測框架所得結果圖.

圖5 本文框架實現過程

如表1所示，為兩種標注方法在同一數據集上進行實驗的結果.人工標注與操作人員的標注效率有關，本實驗選用七個標注人員的平均效率作為參考.其中，包含目標幀為所選視頻中包含行人的幀數，不包含目標幀為視頻幀中沒有行人的幀數，錯誤標注率為標注錯誤的視頻幀占不包含目標幀的比例，遺漏標注率為標注遺漏的視頻幀占包含目標幀的比例，標注時長為標注該組數據集所消耗的時間.

表1 實驗結果對比表

由實驗可以看出:

(1)在相同的數據集上進行標注，本文提出的方法在效率上要優于人工標注數據集.

表2 為在不同場景下使用本文方法的表現對比結果，其中，場景1 為畫質清晰且目標行人尺寸較大的數據集；場景2 為畫質清晰但目標行人尺寸較小的情況；場景3 為背景較為復雜且行人較小的數據集.

(2)在相同的數據集上進行標注，本文提出的方法在標注質量上要低于人工標注，但在資源消耗上要優于人工標注方法.

(3)在不同的數據集上進行標注，本文提出的方法在畫質清晰且目標行人尺寸較大的場景中表現明顯優于背景模糊場景或者目標行人尺寸較小的場景.圖像質量以及目標尺寸大小對實驗結果(標注效率、標注質量、資源消耗)有很大影響.

表2 不同場景下實驗結果對比表

圖6 為使用本文的方法針對不同場景下的結果.實驗表明，本文提出的半自動標注行人實例的方法能夠較精確地實現單目標場景中行人訓練實例的分割問題，同時對多場景視頻中的復雜環境等有較好的適應性，提高標注訓練實例的效率.

圖6 不同場景下的實驗結果.第一列為相應場景的分割結果圖，第二列為對應于第一列的使用本文提出的方法的標注結果圖

5 結束語

本文所提出的行人檢測框架，結合了對象分割，能較準確的分割出視頻中的運動目標，并將其應用于訓練數據集的標注.一定程度上減輕了人力負擔，提高了數據集標注效率.但是對于多目標場景，本文還不能很好地解決.由于海上采油平臺遠離陸地，工作環境相對復雜，我們下一步的工作就是解決多目標復雜場景下的前景分割及標注.