基于可變形部件模型的漁船安全監控系統

洪志恒　陳　明　秦玉芳　李　凈

(上海海洋大學信息學院　上海 201306)

0　引　言

近些年，海上漁船的安全問題一直是國家漁業管理部門關心的重點問題。而漁船的安全事故大多是由駕駛室人數不夠造成的，因此在近海通信環境下對漁船駕駛室人數進行安全監控直接關系到整個漁船的安全。受北斗衛星傳輸系統的帶寬限制，尚不能進行實時視頻流的傳輸，所以對駕駛艙環境進行人員檢測和人數識別就顯得非常重要。對人體檢測的方式包括：雷達、紅外、射頻、視頻4種方式。其中雷達無法分辨出障礙物是否是人，更無法檢測數目；基于熱成像的紅外傳感器價格昂貴，但卻只能夠分辨有沒有人，也無法得到具體人數；射頻方式通過檢測RFID卡代替檢測人，如果人卡分離檢測結果無法正確反映駕駛室的情況，所以基于視頻的人體檢測是唯一真實有效的方式。

目前基于視頻流的人員檢測大多采用傳統的行人檢測的方法，Dalal等提出HOG梯度直方圖特征是目前使用最多的特征，這種方法對遠景全身的行人效果較為好，對多姿態多角度人員檢測較為不好[1]。Wojek等[2]對比了幾種人員檢測方法，結論表明提取的特征中，沒有其他單一特征的檢測效果超越HOG特征。在此基礎上，Felzenszwalb等提出了可變形部件模型DPM(Deformable Part Models)，采用隱變量支持向量機進行訓練，通過進行多模板匹配的方式提高了檢測精度[3-5]，但是其在遮擋和目標粘連的場景下效果不好。Tang等利用DPM模型進行粘連遮擋行人的重新建模，獲得了不錯的效果[6]。曾接賢等針對交通場景訓練出了單雙人DPM模型在遮擋嚴重的交通環境中提高了檢測的精度[7]。而俞先國利用傳統形變模型，提出了基于貪婪搜索的DPM檢測算法，并進行了多線程優化，大大提高了模型的檢測速度[8]。針對DPM算法在速度上的瓶頸，李春偉等提出了快速特征金字塔匹配的算法，明顯提高了DPM算法特征計算的速度[9]。此后Ouyang等將可變形部件模型同卷積神經網絡相結合提出了深度部件模型，但由于模型過于復雜造成效率較低[10]。最近幾年，深度學習技術被大量應用于目標識別和行人檢測領域，Girshick等首先分析了傳統的DPM方法和深度卷積網絡(CNN)的特點和共性[11]，提出了基于R-CNN的一系列方法[12-13]，取得了不錯的效果，但這些方法對計算機資源消耗較大，尚不能適應船上普通的工控PC機的要求。除此之外，漁船駕駛艙的人員檢測比傳統的行人檢測的場景更具挑戰，因為駕駛室內環境較為狹小，遮擋嚴重，場景內的人員姿態多樣，有全身、半身、正面、側面、甚至只有近景頭部的情況。

針對上面的問題，本文提出了一種基于可變形部件模型，并利用Tang的方法對漁船駕駛艙的特殊人員場景進行重新建模。并通過改變各部件的權重模型的打分函數的方式，對模型和算法優化后進行人員檢測和人數統計。最后利用北斗衛星通信系統將最后結果傳輸至陸地，以實現對漁船的安全監控。系統由船上北斗星通海洋漁業船載終端和陸地監控系統組成，通過船上視頻監控系統采集的視頻流，利用本文方法進行人數識別和人員檢測，并將檢測結果通過北斗終端傳輸到陸地檢測系統，若連續幾次的結果不正常，將啟動警報裝置，對船上人員進行安全提醒[14]。

1　系統結構與圖像獲取

海洋漁船安全駕駛監控系統由硬件和軟件兩部分構成，硬件部分為自主研發的工控PC機，北斗/AIS/GPS一體接收機，Intel(R)Core(TM)2，2 GB內存，1 TB硬盤空間，標準VGA，256色顯示模式顯示器，攝像頭型號為海康威視(Hikvision)DS-2CD864-E13，攝像頭架設在船艙的斜上方的位置。

設置高清攝像頭的分辨率為1 280×720像素，真彩RGB格式，每個通道都是256級。利用網絡攝像頭獲取的視頻流，間隔若干秒截取相關幀畫面作為背景建模。

由于整體的監控設備在漁船上，通過對采集到的實時視頻流利用幀差法進行穩定性判斷，從而選擇人體姿態較為穩定的視頻幀作為待測圖像。然后利用改進的多部件可變形部件模型進行人員的檢測和人數的識別，多結果校驗后利用北斗通信將結果傳輸到陸地端程序中。整個系統的流程如圖1所示。

圖1　整個系統的流程介紹

但是近景人員的高速運動容易造成模糊的視頻幀，因此在相鄰多幀間提取非模糊視頻幀是關系到后續人員檢測準確與否的關鍵。由于視頻中人員多處于靜止狀態，非模糊幀前后兩幀差較小，于是本文采用基于幀差法的多幀校驗作為判別待檢幀模糊與否的標準。具體的步驟如下：

1) 把圖像變為灰度圖像。

2) 把圖像分成N×N的塊，根據式(1)計算相鄰視頻的每一塊的灰度差，若每一塊的差值大于一定閾值，該塊為運動塊B(i,j)=1，否則為非運動塊[15]，即B(i,j)=0。

(1)

式中：Fn(x,y)表示第n幀圖像在(x,y)處的灰度值，Tb為閾值。

3) 最后統計運動塊的數量，若小于設定閾值Tc，則該幀為穩定視頻幀，作為待識別的視頻畫面。

2　基于優化可變形部件模型人員檢測

為了有效解決漁船駕駛艙內由于空間狹小造成的人員多姿態，特征不完整還有人員之間，以及人員與設備之間的遮擋等問題，在傳統可變形部件模型的基礎之上，對船艙這種室內小環境下重新進行場景建模，減少駕駛臺設備線路對檢測結果的影響，降低虛檢的概率。并在傳統方法的基礎之上，提出了組件權重的概念，通過微調各組件的權重，深化重要組件對打分結果的影響。同時針對近景人員的遮擋問題，通過優化非極大抑制法NMS(Non Maximum Suppression)，緩解了駕駛艙人員的部分遮擋問題。

2.1　特征提取與檢測流程

可變形部件模型采用的是增強的HOG特征。HOG特征作為目前目標識別領域使用得最多的底層特征，具有較好的魯棒性。HOG特征通過計算相鄰重合度為1/2的圖像塊的梯度方向信息，將180度的范圍劃分為9個區間，每塊區域具有9維的特征向量。

傳統的HOG方法需要較大的特征維數，故需要進行降維操作，把36維的HOG特征圖像對9維梯度方向應用到4個不同的歸一化值。降維后發現前11個主方向為相應的主特征，對模型劃分的影響較大，將36維的特征向量按矩陣排列后分別沿著各個行方向和各個列方向，得到9+4=13個新的特征，實驗發現降維后的13維HOG特征與傳統36維檢測效果幾乎相同。圖2描述了完整的可變形部件模型的檢測流程。

圖2　可變形部件模型完整的檢測流程

2.2　參數權重與模型優化

本文檢測流程基于可變形部件模型。模型由一個根濾波器和若干組件濾波器構成。如圖2所示，根濾波器決定檢測窗口位置，組件濾波器決定目標的打分結果。根濾波器覆蓋行人輪廓，組件濾波器刻畫出頭、肩、軀干和四肢等部件信息，各組件對檢測打分函數的影響并不是等價的，在行人檢測領域中頭肩特征和腿部特征對于行人分類起到了更為重要的作用。漁船駕駛艙環境狹小，目標距離較近，故很難獲得完整目標特征，所以各組件對模型的影響不同，所以根據模型中組件的打分結果調節相關組件的打分權重可以降低非關鍵組件的負面影響，提高整體模型的打分結果，產生較好的效果。

圖3　組件分布檢測結果和濾波器可視化圖

定義F是HOG特征空間里w×h大小的模板濾波器，H表示圖像的HOG特征金字塔，p=(x,y,l)定義為H上第l層左上角位置為(x,y)的位置。此時濾波器F在位置p處的得分為F′·φ(H,p,w,h)，F′表示將F中的權重向量按行優先串聯起來得到的向量。

故F·φ(H,p)為模板濾波器P在位置p的濾波器相應分數。本文中的人員目標有8個組件組成濾波器形成了8+2=10元組(F0,P1,…,P8,b)，F0為根濾波器，Pi表示第i個部件模型，b表示偏差值，其中Pi=(Fi,Vi,di,wi)，這其中Fi是第i個組件濾波器，Vi是表示組件目標位置的二維向量，di是一個四維向量代表目標位置距離錨節點位置的形變代價，wi代表給不同組件濾波器賦予的不同的權重。另外每個目標假設都指定了模型中每個濾波器在特征金字塔中的位置z=(p0,…,pn)，其中pi=(xi,yi,li)表示第i個濾波器所在的層和位置坐標，值得注意的是這里的組件所在的特征分辨率都是根濾波器所在層的特征分辨率的兩倍。

于是目標假設的得分等于每個濾波器在各自位置的得分減去此位置相對于根位置的變形花費再加上偏差值：

φ(H,pi)-wi·di·φd(dxi,dyi))+b

(2)

式中：

(dxi,dyi)=(xi,yi)-(2(x0,y0)+vi)

(3)

φd(dxi,dyi)=(dx,dy,dx2,dy2)

(4)

根據式(2)可以求出組件的打分值：

wi·di·φd(dxi,dyi))

(5)

這里的組件權重和組件打分值的關系如式(5)所示，這里類似于文獻[16]的方法，將權重引入到與組件打分有關的指數函數中，得到公式：

wi=apartscore(p1,p2,…,pn)

(6)

在圖像中檢測目標時，根據各個部件的最佳位置計算每個根位置的綜合得分，如公式：

(7)

最后通過使模型融合了部位和形變的信息，提高了模型的整體判別能力，通過部位和形變的配置與判別閾值相比較從而判定是否為待測目標[16]。

傳統的形變部位模型，將原始圖片利用多尺度模型縮放到相應大小的層數，所有的濾波器都要在相關的每一層內進行濾波操作。本文利用文獻[8]的方法進行多線程優化的同時，利用單點計算模型和快速層定位算法，在圖像中先選擇一些點進行score測試，在原有得分基礎之上分值較高的區域進行進一步的目標搜索，得到相鄰柵格內的最大值。這種基于貪婪搜索的可變形部件模型可以快速得到相關的一塊區域中的最大得分的值。

2.3　NMS非極大值抑制優化

非極大值抑制NMS作為目標檢測領域的一種重要方法，主要是避免相同目標的多重檢測。在傳統的DPM算法中，NMS也是作為重要的一個步驟，采用貪心非極大值抑制法把目標檢測結果大于相應閾值的結果篩選出，按照相應得分的值進行排列后依次選取分值最高的矩形框測試接下來的矩形框的重合度，若重合度超過某個閾值，則拋棄該檢測結果，最后篩選出每個目標的最佳匹配結果，如公式所示：

(8)

在實際應用的過程中也發現了相應的弊端，閾值設定完全是經驗值，對船艙這種室內小環境的場景，如圖4(a)所示，多目標距離較近，并且大量存在遮擋的情況，對于這種情況來說傳統的NMS應用過程中面臨很多問題。如圖4(b)所示，實驗將閾值設定為50%，近景的遮擋目標會造成后面目標的漏檢，而提高閾值又會造成單目標的多檢。從實驗中發現，被遮擋目標與前景目標的打分結果差異較大，而虛檢目標的打分結果相差不大，所以在此基礎上，本文通過設定多重閾值，比較目標打分結果差異的方式來優化傳統的非極大抑制法。

圖4　優化NMS結果示意圖

根據上面總結出的問題，本文根據船艙實際情況融合傳統方法做了優化。設原模型的檢測閾值為thord，NMS過程中的重合度閾值為thoro，抑制窗口BBu的檢測分數為Scoreu，被抑制窗口的BBd的檢測分數為Scored。具體的步驟如下：

1) 設thoro=60%，以thord為閾值進行檢測，得到備選框集B(optionbox)。

2) 令thoro=75%和thord=130%thord，得到備選框集B(testbox)。

3　實驗結果與分析

本文通過近海漁船中已有的拍攝視頻圖像進行測試，使用Windows 7操作系統，使用Matlab 2013a進行已有數據的訓練工作，將訓練結果轉化成txt后利用Visual Studio 2012進行圖像幀的檢測。

3.1　模型訓練結果

實驗中，訓練樣本圖像的大小統一為800×450，利用線性SVM作為分類器，提取特征階段未采用傳統HOG默認的36維向量，而是對每個8×8的cell提取31位特征向量，再利用主成分分析法(PCA)的結果中選取13位特征，后利用Latent-SVM模型進行訓練和優化。

由于沒有針對船內的相關數據集，所以制作了針對駕駛室內的各種姿態訓練圖片800張。為了防止訓練過程中的過擬合問題，并且提高整個模型的泛化能力，在此基礎上增加了標準PASCAL VOC 2007的person類圖片400張，共1 200張圖片進行訓練。負樣本為通過圖片-3-背景自動生成，訓練出模型的可視化結果如圖5所示。

圖5　訓練模型根的濾波器、部件濾波器和空間位置模型的可視化結果

通過圖5可以看出，訓練出的模型采用的是6個組件8部件的模型。圖中的濾波器的可視化模型顯示的是不同方向的正權重。空間位置模型的可視化圖顯示的將部件的中心的變形花費。

3.2　人員檢測結果

通過對不同時間段不同人數的艙內視頻測試集進行測試，該艙內數據集包括了各種姿態各種角度情況進行測試。人員有較多部分遮擋的情況存在，通過對視頻幀的檢測結果統計，統計出人數和識別正確的次數占總次數的比例來評價實驗的效果。

為驗證本文改進模型和方法的有效性，將與文獻[4]中的傳統可形變部件模型相對比。選用的測試圖像分別是白天狀況下和夜晚狀況下的駕駛艙監控視頻幀中截取的圖像。從表1可以看出，本文改進的方法和模型在白天和夜晚狀態下的駕駛艙場景內的人員檢測的精度都有所提高，模型具有一定的光線適應性，在夜晚和部分遮擋的情況下檢測效果有較大的提升，并且可以有效地緩解這種室內小環境下其他設備造成的虛檢問題。其中PT表示正確檢測的人員數量，PFP表示虛警率，RPC表示檢測的準確率，NS表示總視頻幀數。

表1　船艙視頻流下的檢測結果對比

圖6和圖7分別是利用文獻[4]中的傳統的可變形部件模型和本文中的基于改進多部件模型的檢測結果。4張圖片分別來自同一場景下的4段不同的視頻。從結果可以看出，本文的方法對近景和姿態較為復雜的情況檢測效果較好，針對部分遮擋問題也具有不錯的效果。對船艙的環境，算法有著較強的適應能力，大大降低了誤檢的概率，并且對多人情況下也同樣適用。與此同時，針對上下兩組圖片的對比，在黑夜光線較差的條件下同樣取得了不錯的效果。但是，實驗中也發現了以下問題，遮擋比例超過一定限制，檢測效果就會出現誤判；針對駕駛室內的視頻死角檢測的效果不理想，并且受到駕駛臺相關設備的影響還是存在一定的虛檢問題。

圖6　傳統可變形部件模型[4]檢測結果

圖7　本文優化多部件模型檢測結果

由于目前沒有專門針對船艙場景的測試集，也沒有這種針對室內復雜小環境下的測試集，所以為了很好地測定模型的準確率，我們隨機從船艙環境下的視頻流中截取了400幀作為測試集來測試模型，測試結果如圖8所示。根據結果顯示本文的方法和模型，基本符合漁船安全監控系統的系統要求。

圖8　船艙視頻流下檢測結果

在電腦配置為Intel (R) Core (TM)計算機(3.30 GHz主頻，8 GB內存，i3-2120 CPU)，Microsoft Studio 2012環境和 OpenCV2.4.4庫下進行測試。實驗結果較為滿意，與其他方法相比對該場景下的誤檢情況有較大的改善，可以有效應用于室內小環境下的人員檢測和監控的系統之中。整個系統的界面如圖9所示。

圖9　系統運行圖

4　結　語

本文提出了一種基于改進的可變形部件模型和北斗傳輸數據的近海漁船駕駛艙人員檢測模型的安全監控系統。通過優化傳統可形變部件模型的權重及打分函數，針對場景對NMS進行優化并訓練出了符合室內小環境監控下的多部件模型來進行駕駛艙內的人員檢測和人數統計，并將檢測的人數結果通過北斗通信傳輸給陸地監測系統。檢測結果表明本系統的識別精度較高，能得到較為滿意的檢測結果，基本可以實現對近海漁船的安全監控。但是也有部分內容值得完善，如：算法的整體的執行速度還有待提高，這也是下一步的工作方向，另外，結合攝像頭的不同位置，改善監控的方式也是有待進一步提高的內容。

[1] Dalal N,Triggs B.Histograms of oriented gradients for human detection[C]//IEEE Conference on Computer Vision & Pattern Recognition,2005:886-893.

[2] Dollar P,Wojek C,Schiele B,et al.Pedestrian Detection:An Evaluation of the State of the Art[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2012,34(4):743.

[3] Felzenszwalb P,Mcallester D,Ramanan D.A discriminatively trained,multiscale, deformable part model[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition.DBLP,2008:1-8.

[4] Felzenszwalb P F,Girshick R B,Mcallester D,et al.Object Detection with Discriminatively Trained Part-Based Models[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2010,32(9):1627-1645.

[5] Felzenszwalb P F,Girshick R B,Mcallester D.Cascade object detection with deformable part models[C]//Computer Vision and Pattern Recognition.IEEE,2010:2241-2248.

[6] Tang S,Andriluka M,Schiele B.Detection and Tracking of Occluded People[J].International Journal of Computer Vision,2014,110(1):58-69.

[7] 曾接賢,程瀟.結合單雙行人DPM模型的交通場景行人檢測[J].電子學報,2016,44(11):2668-2675.

[8] 俞先國.改進的可變形部件模型及其在行人檢測中的應用[D].國防科學技術大學,2013.

[9] 李春偉,于洪濤,高超,等.結合快速特征金字塔計算的可變形部件模型[J].小型微型計算機系統,2016,37(11):2532-2536.

[10] Ouyang W,Wang X.Joint Deep Learning for Pedestrian Detection[C]//IEEE International Conference on Computer Vision and Pattern Recognition.IEEE Computer Society,2013:2056-2063.

[11] Girshick R,Iandola F,Darrell T,et al.Deformable part models are convolutional neural networks[C]//IEEE Conference on Computer Vision and Pattern Recognition.IEEE,2015:437-446.

[12] Girshick R,Donahue J,Darrell T,et al.Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation[J].Computer Science,2014:580-587.

[13] Ren S,He K,Girshick R,et al.Faster R-CNN:Towards Real-Time Object Detection with Region Proposal Networks.[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2017,39(6):1137-1149.

[14] 陳海生,郭曉云,王峰,等.基于北斗短報文的漁獲信息壓縮傳輸方法[J].農業工程學報,2015,31(22):155-160.

[15] 張霞,黃繼風.結合LBP直方圖和SVM的視頻火焰檢測[J].計算機應用與軟件,2016,33(8):216-220.

[16] Li T,Pang Y,Pan J,et al.Weighted Deformable Part Model for Robust Human Detection[M]//Intelligent Computing Theory,2014:764-775.