計算機(jī)視覺在物流倉儲安全管理中的應(yīng)用

摘? 要： 物流倉儲安全管理對于現(xiàn)代企業(yè)的生存有著重要的意義。伴隨著我國物流行業(yè)與信息時代的發(fā)展，應(yīng)用計算機(jī)視覺技術(shù)、智能視頻監(jiān)控系統(tǒng)、安全仿真技術(shù)等實現(xiàn)物流倉庫的安全，達(dá)到物流倉庫管理的智能化與現(xiàn)代化。在實際的物流倉儲場景中，因為外界的光線變化、噪聲干擾以及場景的復(fù)雜情況等，會影響物流目標(biāo)的檢測。如何獲得目標(biāo)的良好表征，成為有效且準(zhǔn)確地檢測并提取出用戶感興趣的目標(biāo)的關(guān)鍵。針對該問題，本文提出了一種基于相關(guān)濾波與卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)跟蹤算法，并經(jīng)實驗結(jié)果驗證了該算法的可行性。

關(guān)鍵詞： 計算機(jī)視覺;圖像處理;相關(guān)濾波;卷積神經(jīng)網(wǎng)絡(luò);目標(biāo)跟蹤;傅里葉

中圖分類號： TP3? ? 文獻(xiàn)標(biāo)識碼： A? ? DOI：10.3969/j.issn.1003-6970.2020.10.046

本文著錄格式：王夢嘯. 計算機(jī)視覺在物流倉儲安全管理中的應(yīng)用[J]. 軟件，2020，41（10）：180183

【Abstract】： Safety management of logistics and storage is of great significance to survival of modern enterprises. With development of logistics industry and information age in China， computer vision technology， intelligent video monitoring system， security simulation technology， etc. has been applied to achieve security of logistics warehouse， intelligent and modern logistics warehouse management. In actual logistics storage scene， external light changes， noise interference and scene complexity may affect detection of logistics target. How to obtain good representation of the target is the key to detect and extract target of users effectively and accurately. To solve the problem， this paper proposes a target tracking algorithm based on correlation filtering and convolution neural network， and experimental results has verified feasibility of algorithm.

【Key words】： Computer vision; Image processing; Correlation filtering; Convolution neural network; Target tracking; Fourier

0? 引言

根據(jù)《物流術(shù)語》國家標(biāo)準(zhǔn)中，現(xiàn)代物流的概念是指相應(yīng)物品從物品供應(yīng)地到物品接收地的流動過程。伴隨著我國社會的不斷地發(fā)展，京東、蘇寧、淘寶等等電子商務(wù)快速蓬勃的發(fā)展起來，這對我國物流行業(yè)帶來了發(fā)展，同時也帶來了嚴(yán)重挑戰(zhàn)。電子商務(wù)與物流行業(yè)相互促進(jìn)，讓電子商務(wù)成為了我國物流市場的強(qiáng)大動力。近年來，我國的信息技術(shù)取得了飛速的發(fā)展，物聯(lián)網(wǎng)、大數(shù)據(jù)以及人工智能等技術(shù)不斷地涌現(xiàn)，而且已經(jīng)融入到了社會的各個行業(yè)中，這給我國的傳統(tǒng)行業(yè)打進(jìn)了一股全新的助力，我國的物流行業(yè)也不例外。基于計算機(jī)視覺以及智能優(yōu)化算法為代表的全新技術(shù)已經(jīng)融入到了我國物流業(yè)，促進(jìn)我國物流行業(yè)向前的快速發(fā)展。由于物流倉儲安全管理對物流行業(yè)有著重要的意義，伴隨著電子商務(wù)與全新技術(shù)的不斷發(fā)展，對物流倉儲安全管理有了全新更高的要求，智能化與現(xiàn)代化的物流倉儲安全管理應(yīng)用而生。本文將探討計算機(jī)視覺在物流倉儲安全管理中的應(yīng)用[1]。

1? 計算機(jī)視覺

計算機(jī)視覺的概念是將視頻以及圖像中的重要符號或者數(shù)值提出出來，并充分分析這些信息，最后進(jìn)行目標(biāo)的檢測、識別以及跟蹤等。簡單來講，計算機(jī)視覺就是讓計算機(jī)看到現(xiàn)實生活中的圖像并理解這些圖像[1]。在20世紀(jì)50年代，計算機(jī)視覺出現(xiàn)，隨后被應(yīng)用于識別與分析二維圖像，例如顯微圖片或者光學(xué)字符[2]。到60年代，研究人員應(yīng)用計算機(jī)程序設(shè)計語言實現(xiàn)了二維圖像轉(zhuǎn)換成三維結(jié)構(gòu)，并對這些三維結(jié)構(gòu)進(jìn)行分析。到70年代，麻省理工學(xué)的人工智能實驗室院開設(shè)了由Horn教授主講的計算機(jī)視覺課程，Mart教授（與Horn教授同實驗室）第一次提出視覺研究最重要的問題是表示形式（representation）[3]。到80年代90年代，計算機(jī)視覺取得了飛速發(fā)展，已經(jīng)形成基于感知特征的全新理論框架，并且慢慢地應(yīng)用到工業(yè)環(huán)境中[4]。到21世紀(jì)，計算機(jī)視覺擁有了許多新的發(fā)展趨勢，例如計算機(jī)圖形學(xué)與計算機(jī)視覺進(jìn)行了深度融合，許多基于計算機(jī)視覺的應(yīng)用也層出不窮，在安防、物流、交通、醫(yī)療、機(jī)器人上計算機(jī)視覺技術(shù)擁有了各種各樣形態(tài)的應(yīng)用[2]。

一般來講，目標(biāo)跟蹤問題是計算機(jī)視覺領(lǐng)域的基本為題之一。它的任務(wù)是在確定目標(biāo)最開始狀態(tài)下，不斷地估算下面的連續(xù)幀中的圖像序列的軌跡。在眾多實時視覺領(lǐng)域中，目標(biāo)跟蹤有著非常重要的作用，尤其是針對物流倉儲安全管理，目前，目標(biāo)跟蹤模型大體上可以分為生成式與判別式。生成模型主要是根據(jù)目標(biāo)的表現(xiàn)特征，形成固定的模型，然后以模型為條件進(jìn)行最小化模式匹配，用來尋找最合適的匹配窗口[3]。L1 APG（Accelerated Proximal Gradient， APG）是一個典型的生成式模型跟蹤算法[1]，它應(yīng)用字典稀疏表示候選目標(biāo)，將重構(gòu)誤差最小并且具有系數(shù)最稀疏的候選目標(biāo)作為跟蹤結(jié)果。判別式跟蹤模型就是把將跟蹤問題化為二元分類，利用訓(xùn)練數(shù)據(jù)訓(xùn)練分類器，并在背景中區(qū)分目標(biāo)。一種比較經(jīng)典的跟蹤算法是KCF（Kernelized Correlation Filters）[2]，其主要應(yīng)用嶺回歸模型，并將引入的循環(huán)結(jié)構(gòu)的模板進(jìn)行傅里葉變換，由于沒有對嶺回歸中的矩陣求逆，這極大地提升了跟蹤的效率以及速度。基于CF（Correlation Filter，相關(guān)濾波）的目標(biāo)跟蹤算法再近些年受到了廣泛的關(guān)注，它的計算效率以及競爭效果凸顯了極大的優(yōu)勢。CF加入傅里葉變換，進(jìn)而實現(xiàn)了降低計算量的效果，這種思想產(chǎn)生了很多具有特點的的跟蹤算法，例如帶有多通道特征的KCF跟蹤算法。在2016年，Martin Danelljian提出了以相關(guān)濾波算法為基礎(chǔ)，以CNN（ConvolutionNeuralNetuork，卷積神經(jīng)網(wǎng)絡(luò)）+HOG+CN作為特征組合，這種方法極大地降低了特征維度，應(yīng)用原來特征的子集，實現(xiàn)了特征提取的簡化，避免了濾波器冗余[3]。但是基于CF的目標(biāo)跟蹤仍然有一些缺點，例如手動抽取特征的方法，其無法捕捉目標(biāo)的語義信息，又例如缺乏訓(xùn)練數(shù)據(jù)。為了克服上述問題，一些研究人員引入了深度卷積特征，盡管該方法[4]可以取得一定的效果，提高了魯棒性，但無法抓取或者跟蹤實時目標(biāo)。本文針對抽取CNN特征的計算量大的問題，將改進(jìn)的CNN算法與相關(guān)濾波器融合，并引入FFT（Fast Fourier Transform，快速傅里葉變換），實現(xiàn)計算量的降低[4]。

2? 相關(guān)濾波

一般來講，相關(guān)濾波器就是一種學(xué)習(xí)判別分類器，主要經(jīng)過搜索場景圖的最大響應(yīng)值判定目標(biāo)對象。簡單來說，在選定的場景中，對相應(yīng)的背景響應(yīng)較低，對感興趣的目標(biāo)響應(yīng)較高。亦可以經(jīng)過單個通道信號形成多通道的圖像或者數(shù)據(jù)的方法或方式，其可以簡化符號。但是在實際的操作過程中，不只是單單只處理一維單通道的圖像，而是更多地處理梯度方向直方圖（HOG）與多種顏色的圖像（R、G、B的3個通道）。

將f作為MXN的訓(xùn)練信號，訓(xùn)練樣本為全部的循環(huán)移位的f。fm，n∈{0，1，…，M–1}×{0，1，…，N–1}作為移位樣本，是高斯函數(shù)，δ是核大小。具有相同尺寸的f的相關(guān)濾波器h為。

總體來說，相關(guān)濾波跟蹤算法靈活的運用循環(huán)矩陣的偏移產(chǎn)生分類器的一些訓(xùn)練樣本，這些樣本矩陣擁有了循環(huán)矩陣特點，易于將矩陣問題的求解變化為傅里葉域內(nèi)求解計算量很低的向量點積的問題，這極大地降低了算法的計算量。經(jīng)過大量計算得到了效果最優(yōu)的分類器，目標(biāo)新位置就是最大響應(yīng)值處的位置，最終實現(xiàn)了快速檢測目標(biāo)，并且應(yīng)用新的目標(biāo)位置更新分類器。相關(guān)濾波目標(biāo)跟蹤算法一般采用固定的目標(biāo)尺度，但是目標(biāo)被遮擋、目標(biāo)尺度產(chǎn)生變化或者目標(biāo)丟失時，沒有相應(yīng)的方法或者措施處理上述問題。為了優(yōu)化相關(guān)濾波器模塊，本文提出了基于相關(guān)濾波器的對稱網(wǎng)絡(luò)結(jié)構(gòu)，其是基于CNN的多域?qū)W習(xí)框架，從某特定域中，獲取到共享有用的表達(dá)，分離出和域無關(guān)的表達(dá)[5]。系統(tǒng)框架圖如下。

3? 相關(guān)濾波以及相關(guān)濾波網(wǎng)絡(luò)

如圖1所示，該方法應(yīng)用了基于多域?qū)W習(xí)的框架網(wǎng)絡(luò)，并融入了x以及相關(guān)運算操作的相關(guān)濾波器模塊。上述變化的公式如下。

在上述公式中，表示搜索區(qū)域，表示目標(biāo)區(qū)域，fp表示學(xué)習(xí)率為p的CNN。

CF模塊ω=ω（x）的計算，實現(xiàn)了從訓(xùn)練的特征圖x中獲取標(biāo)準(zhǔn)的CF模板，進(jìn)而解決了傅里葉域中的嶺回歸問題[2]。其中，兩個標(biāo)量參數(shù)是s（權(quán)重）與b（偏差）是2個，它們讓分?jǐn)?shù)范圍在邏輯回歸中更加合適。

一個較大規(guī)模的基于上下文區(qū)域圖像的相關(guān)濾波器對于訓(xùn)練過程是很重要的。增添了最小二乘的思想，雖然取得了良好的效果，但這會把CF的邊界問題引入到網(wǎng)絡(luò)中，所以增加了Crop層[6]，并保留中間的一部分。該網(wǎng)絡(luò)前向傳播添加了基于CNN特征的CF跟蹤器，該是此前的算法無法實現(xiàn)端到端的訓(xùn)練，本文提出了一種可以實現(xiàn)端到端訓(xùn)練CF的方法，簡單來講，就是在CF中的模板中輸入導(dǎo)數(shù)，實現(xiàn)CF的端到端訓(xùn)練[5]。

4? 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是一種多層神經(jīng)網(wǎng)絡(luò)，擅長處理圖像特別是大圖像的相關(guān)機(jī)器學(xué)習(xí)問題。

卷積網(wǎng)絡(luò)通過一系列方法，成功將數(shù)據(jù)量龐大的圖像識別問題不斷降維，最終使其能夠被訓(xùn)練。經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)主要包含池化層、卷積層、全連接層、池化層以及Softmax回歸層。卷積層是CNN網(wǎng)絡(luò)中非常重要的層結(jié)構(gòu)，通過它獲得特征圖，其圖的質(zhì)量直接影響后續(xù)層的處理。簡單來講，卷積層應(yīng)用前一層的特征圖和卷積核進(jìn)行局部連接，得到圖像的局部特征，最后通過計算共享權(quán)值得到新的特征圖。池化層又叫做下采樣層，任務(wù)是承接卷積層，主要是對卷積層后的一些特征圖進(jìn)行相應(yīng)的特征降維，進(jìn)而降低了計算量以及網(wǎng)絡(luò)的復(fù)雜度。全連接層又叫做特殊的卷積層，與卷積層不同的點，就是全連接層中一個個神經(jīng)元和前一層中全部神經(jīng)元進(jìn)行連接，它的作用是維度變換，簡單來講，就是上一層高維度矩陣數(shù)據(jù)轉(zhuǎn)化為低維矩陣，然后進(jìn)行整合與提取有一定鑒別能力的特征[6]。

在計算機(jī)視覺方面，CNN已經(jīng)取得了良好的效果并且得到了廣泛應(yīng)用。文獻(xiàn)7應(yīng)用規(guī)模較大的的數(shù)據(jù)集訓(xùn)練CNN以及高效的GPU，最終實現(xiàn)了圖像分類，提高了性能[7]。2018年，哈爾濱工業(yè)大學(xué)通過在DCF （Discriminative Correlation Filters）框架中加入時間與空間正則化，提出STRCF（Spatial-Temporal Regularizen Correlation Filters）算法，該方法在相關(guān)濾波跟蹤領(lǐng)域已取得了不錯的成績[8]，基于在線PA的方法不但可以接近于多幅訓(xùn)練圖像上的SRDCF（Spatial Regularizen Discriminative Correlation Filters）并且在外觀變化較大的情況下更具魯棒性。

雖然CNN已經(jīng)取得了很大的成功，但因為缺乏規(guī)模較大訓(xùn)練數(shù)據(jù)，致使跟蹤算法無法提升性能。文獻(xiàn)[9]提出了一種基于CNN池的學(xué)習(xí)方法[9]，但該方法與手動抽取特征的方法的準(zhǔn)確性相比，性能的提高不是很大，并且缺乏訓(xùn)練數(shù)據(jù)深度網(wǎng)絡(luò)。文獻(xiàn)[10]提出一種新的方法，針對圖像分類該方法構(gòu)建了一個大型數(shù)據(jù)集上，實現(xiàn)了轉(zhuǎn)移了預(yù)訓(xùn)練的CNN [10]，但該方法對于跟蹤任務(wù)與分類任務(wù)的區(qū)別不是明顯[7]。

和現(xiàn)又得一些方法不同，本文提出的算法，應(yīng)用大規(guī)模的視覺跟蹤數(shù)據(jù)，然后預(yù)訓(xùn)練CNN，最終取得了良好的效果。

5? 多域?qū)W習(xí)網(wǎng)絡(luò)

文本中為了訓(xùn)練預(yù)訓(xùn)練深度CNN，應(yīng)用了多域訓(xùn)練的網(wǎng)絡(luò)結(jié)構(gòu)（Multi-Domain Network， MDNet）[5]，MDNet就是指將一種來自多個多個領(lǐng)域和域信息的訓(xùn)練數(shù)據(jù)應(yīng)用到學(xué)習(xí)過程中的學(xué)習(xí)方法。在自然語言處理中多域?qū)W習(xí)已經(jīng)得到了廣泛應(yīng)用。但在計算機(jī)視覺，多領(lǐng)域?qū)W習(xí)進(jìn)行的討論比較少，例如Duan等人將域加權(quán)組合用于視頻概念檢測的Hoffman與SVM等，進(jìn)而提出了對象的混合變換模型分類。

MDNet分為特定域?qū)优c共享層。特定域?qū)訉σ活愇矬w都有一個二分類層，用來區(qū)分背景與前景。共享層主要是用來學(xué)習(xí)一般的物體表征。網(wǎng)絡(luò)主要包括了接收輸入的RGB類型圖像，它有5個隱藏層（包括了2個全連接層與3個卷積層）。最后相對應(yīng)K域，一個全連接層主要通過K個分支（fc61—fc6K）（訓(xùn)練序列）。卷積層則是對應(yīng)到VGG-M里的網(wǎng)絡(luò)部分，特征圖尺寸主要通過輸入尺寸進(jìn)行一定的調(diào)整，它后面的2個全連接層對應(yīng)了512個輸出單元。為了用于區(qū)分每個域的背景與目標(biāo)，每一個K支包含了帶有叉熵?fù)p失分類器一個二進(jìn)制分類層。fc61—fc6K特定領(lǐng)域?qū)右约扒懊娴膶庸餐鳛楣蚕韺印DNet網(wǎng)絡(luò)擁有很多優(yōu)點，例如與通常的識別網(wǎng)絡(luò)相比，網(wǎng)絡(luò)體系規(guī)模更小，應(yīng)用了一些專門的跟蹤數(shù)據(jù)來訓(xùn)練，并且為了有效地區(qū)分背景和目標(biāo)，對于同一類物體進(jìn)行的特定域分類。

6? 跟蹤算法

網(wǎng)絡(luò)本身主要是用來僅衡量兩個圖像塊之間的相似性，并在線跟蹤評估網(wǎng)絡(luò)前向傳播來。為了更好的將此中網(wǎng)絡(luò)用到圖像的目標(biāo)跟蹤中，應(yīng)與跟蹤器邏輯程序緊密結(jié)合。該算法主要應(yīng)用簡單的跟蹤算法進(jìn)行評估（相似函數(shù)的實用性）。在線跟蹤算法的一些評估主要是應(yīng)用簡單的向前模式進(jìn)行網(wǎng)絡(luò)評估。通俗來講，將最新的一幀的之前的一幀預(yù)估的目標(biāo)位置作為中心，并進(jìn)行搜索區(qū)域的提取，然后將搜索區(qū)域與目標(biāo)的特征進(jìn)行比較，得分最高的位置就是目標(biāo)新位置[8]。

7? 實驗結(jié)果與分析

為了驗證在智能監(jiān)控環(huán)境下基于相關(guān)濾波與卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)跟蹤算法（KCF）跟蹤性，實驗選擇了3段不同背景，不同分辨率環(huán)境的視頻序列，進(jìn)行對比實驗。數(shù)據(jù)來源于某電子商務(wù)有限公司倉庫提取的視頻信息，其具體如下表所示。

為了驗證了該算法的可行性，將文本算法與KCF算法分別在上述表1中的三個視頻中，進(jìn)行了測試序列視頻上的對比分析，平均值結(jié)果如下。

對不同場景的視頻序列，KCF算法的跟蹤效果是非常不錯的。實驗結(jié)果驗證了該算法在場景快速運動、短期閉塞、規(guī)模變化以及場景混亂都有一定的魯棒性，同時改善了對不同跟蹤場景適應(yīng)性的問題，也驗證了該算法的可行性。

8? 結(jié)語

針對物流倉儲場景中，因為外界的光線變化、噪聲干擾以及場景的復(fù)雜情況等，會影響物流目標(biāo)的檢測。基于相關(guān)濾波與卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)跟蹤算法可以有效且準(zhǔn)確地檢測并提取出用戶感興趣的目標(biāo)，改善了計算機(jī)視覺技術(shù)在物流倉儲空間管理中存在的問題，進(jìn)而有效識別物品的狀態(tài)信息與位置信息，實現(xiàn)了倉儲空間的高效管理，增強(qiáng)了倉儲管理系統(tǒng)的信息化程度，能更好地適應(yīng)現(xiàn)代物流管理模式下對于倉儲空間控制管理的需求[9]。

參考文獻(xiàn)

[1]羅海波， 許凌云， 惠斌， 等. 基于深度學(xué)習(xí)的目標(biāo)跟蹤方法研究現(xiàn)狀與展望[J]. 紅外與激光工程， 2017， 46（5）： 6-12.

[2]周益民， 田玲， 陳文宇. 人工智能專業(yè)體系建設(shè)探索[J]. 高教學(xué)刊， 2020（16）： 92-96.

[3]宋長新， 馬克. 微課應(yīng)用于師范類高校計算機(jī)教學(xué)中的策略[J]. 高教學(xué)刊， 2020（16）： 106-109.

[4]田崇鑫， 李少霞， 虞鋼， 等. 基于機(jī)器視覺的激光表面改性質(zhì)量快速檢測[J/OL]. 激光與光電子學(xué)進(jìn)展： 1-11 [2020-06-03]. http：//kns.cnki.net/kcms/detail/31.1690.TN.20200601.1729.149. html.

[5]衣俊艷， 杜小鵬. 具有中心移動特性的彈性網(wǎng)絡(luò)聚類算法研究[J/OL]. 計算機(jī)工程與應(yīng)用： 1-13 [2020-06-03]. http：// kns.cnki.net/kcms/detail/11.2127.TP.20200602.1320.004.html.

[6]Krizhevsky A， Sutskever I， Hinton G. 用深卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行ImageNet分類[C]//NIPS.Curran Associates， 2012年.

[7]Li F， Tian C， Zuo W， et al. Learning Spatial-Temporal Regularized Correlation Filters for Visual Tracking[J]. 2018.

[8]LI H， LI Y， PORIKLI F. DeepTrack： Learning Discriminative Feature Representations by Convolutional Neural Networks for Visual Tracking[C]//British Machine Vision Conference. Nottingham， 2014.

[9]趙明瀚， 王晨升. 基于視頻的人數(shù)識別方法綜述[J]. 軟件， 2013（3）： 18-20+62.