智能視頻監(jiān)控系統(tǒng)中改進(jìn)YOLO算法的實(shí)現(xiàn)

劉 君，謝穎華

(東華大學(xué) 信息科學(xué)與技術(shù)學(xué)院，上海 201620)

0 引言

智能視頻是一項(xiàng)安全監(jiān)控的手段，是當(dāng)今社會(huì)研究的熱點(diǎn)[1]。傳統(tǒng)的視頻監(jiān)控僅提供視頻捕獲、存儲(chǔ)和回放功能，智能視頻監(jiān)控系統(tǒng)可以起到報(bào)警預(yù)警、實(shí)時(shí)監(jiān)控的作用。智能視頻監(jiān)控的最顯著特點(diǎn)為在視頻分析中應(yīng)用了計(jì)算機(jī)視覺算法[2]。

新一代的數(shù)字化車間智能視頻監(jiān)控系統(tǒng)，不同于傳統(tǒng)監(jiān)控硬件架構(gòu)，硬件上采取了最新研發(fā)的邊緣計(jì)算攝像機(jī)和深度學(xué)習(xí)計(jì)算服務(wù)器，不僅嵌入了常規(guī)單個(gè)攝像頭智能監(jiān)控功能，還能實(shí)現(xiàn)多個(gè)攝像頭之間的聯(lián)動(dòng)以達(dá)到覆蓋范圍更廣泛的效果[3]。通過不斷優(yōu)化的深度學(xué)習(xí)算法，系統(tǒng)串聯(lián)起多個(gè)攝像頭，記錄整個(gè)車間人員的行為軌跡[4]。

本文設(shè)計(jì)的智能視頻監(jiān)控系統(tǒng)可以實(shí)現(xiàn)車間內(nèi)工作人員安全帽的佩戴檢查、外來人員的定位跟蹤等智能視頻監(jiān)控功能，可以在很大程度上節(jié)約人工檢查的人力和時(shí)間成本，有效降低事故發(fā)生的風(fēng)險(xiǎn)，節(jié)約生產(chǎn)成本。

1 系統(tǒng)總體架構(gòu)及工作原理

1.1 總體架構(gòu)

智能視頻監(jiān)控系統(tǒng)主要功能為：遠(yuǎn)程監(jiān)控、自動(dòng)報(bào)警、智能監(jiān)控[4]。系統(tǒng)可以自動(dòng)實(shí)現(xiàn)監(jiān)控功能；出現(xiàn)異常情況時(shí)，自動(dòng)報(bào)警，工作人員可以通過手機(jī)端或PC端隨時(shí)接收報(bào)警信息。

智能視頻監(jiān)控系統(tǒng)總體架構(gòu)由數(shù)據(jù)采集端、數(shù)據(jù)處理單元、報(bào)警輸出端三層構(gòu)成。

數(shù)據(jù)采集端可以支持不同視頻流輸入，包括監(jiān)控專網(wǎng)下的海康威視球機(jī)、槍機(jī)、半球機(jī)以及門禁系統(tǒng)中的抓拍機(jī)等，可以連接多個(gè)攝像頭，實(shí)時(shí)監(jiān)控車間場景；數(shù)據(jù)處理單元由GPU、服務(wù)器、智能監(jiān)控軟件HES構(gòu)成。GPU可以實(shí)現(xiàn)視頻監(jiān)控的智能化，分析多幀視頻的監(jiān)控情況，進(jìn)行異常畫面的捕捉和分析，并進(jìn)行推送；服務(wù)器將做分布式處理，其硬盤為磁盤陣列，以便后續(xù)擴(kuò)展；智能視頻監(jiān)控軟件采用B/S架構(gòu)，可利用網(wǎng)頁和客戶端軟件發(fā)布監(jiān)控信息，充分利用QT對實(shí)時(shí)監(jiān)控的優(yōu)化嵌入；報(bào)警輸出端可以及時(shí)將報(bào)警信息推送給客戶端[4]。

1.2 系統(tǒng)工作原理

智能視頻監(jiān)控技術(shù)的核心在于對視頻中運(yùn)動(dòng)目標(biāo)進(jìn)行自動(dòng)檢測、提取特征、識(shí)別和行為分析[5]。智能視頻監(jiān)控系統(tǒng)可以實(shí)現(xiàn)多攝像頭聯(lián)動(dòng)工作，四種攝像頭分別為全局?jǐn)z像頭、人臉攝像頭、行為攝像頭、跟蹤攝像頭。

該系統(tǒng)包括5個(gè)模塊，分別為圖像獲取模塊、圖像預(yù)處理模塊、數(shù)據(jù)壓縮編碼處理模塊、圖像分析模塊以及圖像理解模塊[6]。圖像采集模塊主要用于獲得四種攝像頭拍攝的圖像；圖像預(yù)處理模塊可以減少光照等因素的影響，提高圖片質(zhì)量；數(shù)據(jù)壓縮編碼處理模塊用來融合多源圖像信息；圖像分析模塊主要對圖像中的目標(biāo)進(jìn)行檢測跟蹤；圖像理解模塊主要是研究圖像中不同對象的性質(zhì)以及它們之間的關(guān)系[7]。圖1所示為系統(tǒng)工作原理圖。

圖1 系統(tǒng)工作原理圖

2 YOLO算法及其改進(jìn)

2.1 YOLO算法

YOLO(You Only Look Once)實(shí)時(shí)目標(biāo)檢測算法由Joseph Redmon等于2016年5月提出[7]。該算法可同時(shí)預(yù)測目標(biāo)物體的位置和類別,采用端到端的檢測方法，檢測速度快。本文中智能視頻監(jiān)控系統(tǒng)采用了YOLO算法進(jìn)行工作人員以及安全帽的檢測。

YOLO是一種基于深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測模型。卷積神經(jīng)網(wǎng)絡(luò)主要利用卷積層對輸入的圖片進(jìn)行卷積運(yùn)算，進(jìn)而降低圖片數(shù)據(jù)的維度，進(jìn)行特征提取[8]。圖2所示為深度卷積神經(jīng)網(wǎng)絡(luò)的構(gòu)成。

圖2 深度卷積神經(jīng)網(wǎng)絡(luò)的構(gòu)成

YOLO檢測具體實(shí)現(xiàn)過程如下：將圖片分為S×S個(gè)網(wǎng)格，當(dāng)目標(biāo)物體中心落在某一個(gè)格子時(shí)，該格子就負(fù)責(zé)預(yù)測目標(biāo)物體。如圖3所示。

圖3 網(wǎng)格圖

每個(gè)格子會(huì)預(yù)測B個(gè)邊界框(bounding box)以及邊界框的置信度(confidence score)。其中包括邊界框的中心坐標(biāo)(x，y),邊界框的長寬w、h，以及邊界框的準(zhǔn)確度。置信度表示格子內(nèi)是否有檢測物體，定義置信度為：

(1)

每個(gè)格子在輸出邊界框的同時(shí)還要輸出各個(gè)網(wǎng)格存在物體所屬分類的概率，記為：

Pr(Classi|Object)

(2)

按照以下公式可以計(jì)算整張圖片中，各個(gè)格子物體類別的概率：

(3)

設(shè)定合適的概率閾值，高于概率閾值的就是識(shí)別出來的目標(biāo)分類，利用非極大值抑制的方法，去掉概率較低的邊界框，輸出概率最高的邊界框作為最后的預(yù)測結(jié)果。

所以每個(gè)網(wǎng)格輸出B×(4+1)+C個(gè)預(yù)測值，卷積神經(jīng)網(wǎng)絡(luò)輸出一個(gè)維度為S×S×(B×5+C)的固定張量。S為劃分網(wǎng)格數(shù)量，B為每個(gè)網(wǎng)格預(yù)測的邊界框數(shù)，C為每個(gè)網(wǎng)格預(yù)測的物體類別個(gè)數(shù)。

YOLO的網(wǎng)絡(luò)結(jié)構(gòu)包括24個(gè)卷積層、4個(gè)池化層，以及2個(gè)全連接層，如圖4所示。其中卷積層提取圖像特征，全連接層預(yù)測目標(biāo)物體位置以及物體類別概率，池化層負(fù)責(zé)壓縮圖片像素，利用Softmax回歸分析輸出目標(biāo)類別概率。

圖4 YOLO網(wǎng)絡(luò)結(jié)構(gòu)圖

YOLO的損失函數(shù)計(jì)算公式為：

(4)

因?yàn)橐粋€(gè)單元格只負(fù)責(zé)預(yù)測一個(gè)物體，當(dāng)多個(gè)物體的中心落在同一個(gè)格子中時(shí)，該格子很難區(qū)分物體類別，因此對于距離較近的物體識(shí)別效果不佳[9]；在圖像預(yù)處理階段，訓(xùn)練集圖片經(jīng)過卷積層后由高分辨率壓縮為低分辨率，用于分類特征提取，在壓縮過程中，圖片中小物體的特征將很難保存。應(yīng)用在車間中時(shí)，安全帽相對來說是較小的目標(biāo)，當(dāng)工作人員較近，或安全帽重疊時(shí)，識(shí)別效果較差。

2.2 改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)

為了能夠準(zhǔn)確快速檢測車間工作人員以及其佩帶的工作帽子，需要提高YOLO算法檢測小物體的能力。本文將目標(biāo)檢測方法RPN融入到Y(jié)OLO算法中，并借鑒R-FCN方法設(shè)計(jì)了一種新型卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，該網(wǎng)絡(luò)結(jié)構(gòu)中采用先池化再卷積的特征提取模式減少信息的丟失，將原先的兩個(gè)全連接層變?yōu)橐粋€(gè)，進(jìn)而形成了一種具有較好的小目標(biāo)檢測能力的改進(jìn)的YOLO算法[10]。

最鄰近的目標(biāo)檢測算法RPN(Region Proposal Networks)的顯著特點(diǎn)為利用滑動(dòng)窗口提取特征[8]。神經(jīng)網(wǎng)絡(luò)對輸入的圖片進(jìn)行卷積和池化操作，在最后的卷積層中，利用滑動(dòng)窗口提取圖片特征，輸出圖片的特征向量，利用softmax輸出物體分類和邊框回歸。該算法對于單一目標(biāo)檢測速度快，準(zhǔn)確率較高。

全卷積神經(jīng)網(wǎng)絡(luò)R-FCN由卷積層和池化層組成，沒有全連接層，具有良好的全局檢測效果，可以保留更多的圖像信息，因此本文中改進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu)借鑒R-FCN結(jié)構(gòu)移除一個(gè)全連接層，只保留一個(gè)全連接層，以減少特征信息的丟失[9]。

改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)包含18個(gè)卷積層、6個(gè)池化層、1個(gè)全連接層與1個(gè)softmax輸出層。其中卷積層用來提取圖像特征，池化層用來壓縮圖片像素。如圖5所示為改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)。

圖5 改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)

輸入圖片后先采用2*2最大池化層縮小圖片尺寸，再進(jìn)入卷積層，這樣可以盡量保留圖片的特征；圖片經(jīng)過多層卷積與池化后，輸出的網(wǎng)格由7*7變?yōu)?4*14，檢測范圍變廣。圖6為不同網(wǎng)格尺寸目標(biāo)檢測效果對比，7*7網(wǎng)格只能檢測到一個(gè)工作人員和一個(gè)安全帽，而改進(jìn)后14*14的網(wǎng)格可以檢測到兩個(gè)工作人員和一個(gè)安全帽。因此這種擴(kuò)大了輸出圖片網(wǎng)格尺寸的結(jié)構(gòu)具有更好的檢測小目標(biāo)的能力。

圖6 網(wǎng)格對比圖

2.3 改進(jìn)后的算法流程

將輸入的圖片集用圖片打標(biāo)工具labelImg打標(biāo)，將圖片中的人和安全帽標(biāo)注出來，獲得目標(biāo)物體的真實(shí)坐標(biāo)，制作數(shù)據(jù)集的標(biāo)簽，生成xml文件；之后進(jìn)行圖片預(yù)處理，運(yùn)用基于RPN的滑動(dòng)窗口算法獲得每張圖片的若干個(gè)目標(biāo)邊界框的矩陣向量;矩陣向量進(jìn)入之后的神經(jīng)網(wǎng)絡(luò)進(jìn)行卷積池化操作；之后輸入全連接層，最后利用softmax分類函數(shù)，輸出目標(biāo)物體的類別。具體流程如圖7所示。

圖7 改進(jìn)后的算法流程

3 實(shí)驗(yàn)分析

基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測方法需要從大量的樣本中學(xué)習(xí)待檢測物體的特征。本文采用的數(shù)據(jù)集為車間中四種攝像頭采集到的圖像數(shù)據(jù)集，四個(gè)攝像頭各取1萬張圖片，每個(gè)圖片的大小為500×500，使用圖片打標(biāo)工具labelImg對數(shù)據(jù)集進(jìn)行打標(biāo)。數(shù)據(jù)集的40%作為訓(xùn)練集，10%用于驗(yàn)證，50%作為測試集。

訓(xùn)練過程采用小批量梯度下降法和沖量，這樣可以使訓(xùn)練過程更快收斂[11]。運(yùn)用反向傳播法使參數(shù)不斷更新，直至損失函數(shù)收斂。網(wǎng)絡(luò)訓(xùn)練參數(shù)設(shè)置:學(xué)習(xí)批次64，學(xué)習(xí)率0.001，沖量常數(shù)0.9，權(quán)值衰減系數(shù)0.000 5。

本文實(shí)驗(yàn)環(huán)境為：設(shè)備型號(hào):DELL PowerEdge-R740；CPU:Intel(R) Xeon(R) Silver 4114 CPU @ 2.20 GHz；內(nèi)核版本:Linux version 4.15.0-32-generic；系統(tǒng)版本:Ubuntu 16.04.03 LTS；內(nèi)存:32GB；GPU:NVIDIA GeForce GTX 1080Ti；CUDA版本:9.0；cuDNN版本:7.4.2。

設(shè)置對照實(shí)驗(yàn)，使用Keras框架分別利用YOLO與改進(jìn)YOLO進(jìn)行檢測，統(tǒng)計(jì)對象為工作人員與安全帽。本文選取召回率、準(zhǔn)確率和檢測速度作為算法性能衡量指標(biāo)。

兩種算法召回率、準(zhǔn)確率與檢測速度對比如表1、表2。

表1 工作人員檢測對比結(jié)果表

表2 安全帽檢測對比結(jié)果表

由實(shí)驗(yàn)結(jié)果看出，改進(jìn)后的檢測算法在召回率、準(zhǔn)確率、快速性方面較原算法有所優(yōu)化。盡管原算法檢測速度較快，但是改進(jìn)后速度也有了小幅度提高，可以更好地滿足生產(chǎn)需求；在工作人員檢測上，由于工作人員目標(biāo)較大，故檢測的召回率和準(zhǔn)確率提高幅度較小；在安全帽檢測上，召回率由83.57%提高到87.91%,準(zhǔn)確率由88.85%提高到93.42%，有比較明顯的優(yōu)化，證明改進(jìn)后的算法檢測小物體的能力有了一定提高。

4 結(jié)束語

為了提高視頻監(jiān)控系統(tǒng)檢測小物體的能力以及檢測速度，更高效地實(shí)現(xiàn)車間監(jiān)控，減少人力檢查成本，本文提出了改進(jìn)后的YOLO算法，將RPN算法與YOLO算法相結(jié)合，借鑒R-FCN算法去掉一個(gè)全連接層，構(gòu)成一種新的網(wǎng)絡(luò)結(jié)構(gòu)，更多地保留了圖像特征，提高了檢測小物體的能力，也提高了系統(tǒng)的綜合檢測能力。該算法應(yīng)用于數(shù)字化車間智能視頻監(jiān)控系統(tǒng)中，具有較快的檢測速度和較高的檢測準(zhǔn)確率，滿足實(shí)時(shí)性要求，具有一定的應(yīng)用價(jià)值。