基于多攝像頭接力跟蹤的遠(yuǎn)紅外人物身份識(shí)別方法

江鵬飛，王保棟，董子昊，李金屏

(濟(jì)南大學(xué) a. 信息科學(xué)與工程學(xué)院，b. 山東省網(wǎng)絡(luò)環(huán)境智能計(jì)算技術(shù)重點(diǎn)實(shí)驗(yàn)室，c. 山東省“十三五”高校信息處理與認(rèn)知計(jì)算重點(diǎn)實(shí)驗(yàn)室，山東 濟(jì)南 250022)

隨著老年人隱私保護(hù)意識(shí)逐漸增強(qiáng)，安裝低分辨率遠(yuǎn)紅外攝像頭對(duì)老年人進(jìn)行無接觸的室內(nèi)養(yǎng)老監(jiān)護(hù)成為人們關(guān)注的熱點(diǎn)。同一房間一般由多位老年人共同居住，及時(shí)識(shí)別老人身份能夠大幅提高發(fā)生意外時(shí)的處理效率，但低分辨率遠(yuǎn)紅外監(jiān)護(hù)視頻僅能反映熱源溫度信息，且視頻中人物圖像的分辨率只有40～50像素，人臉圖像的分辨率約為7像素，導(dǎo)致人物信息丟失嚴(yán)重，常規(guī)的基于計(jì)算機(jī)視覺的人物身份識(shí)別方法難以有效識(shí)別視頻中人物身份。

人物身份識(shí)別是學(xué)術(shù)研究的熱點(diǎn)領(lǐng)域之一，其根本原理就是利用人物固有的身份特征進(jìn)行人物身份認(rèn)定。利用計(jì)算機(jī)視覺進(jìn)行人物身份識(shí)別時(shí)，先從需要識(shí)別的圖像或視頻中提取人物特征，然后與數(shù)據(jù)庫(kù)中的身份信息進(jìn)行匹配，獲得人物身份，其中人臉識(shí)別[1-11]、步態(tài)識(shí)別[12-17]和行人重識(shí)別是對(duì)監(jiān)護(hù)視頻中的人物身份進(jìn)行識(shí)別的主要方法。人臉識(shí)別通過提取人臉圖像的固有特征作為識(shí)別的依據(jù)，是目前最有效的身份識(shí)別方法。大多數(shù)遠(yuǎn)紅外人臉識(shí)別研究都是針對(duì)較大分辨率、特征明顯的遠(yuǎn)紅外人臉圖像的，例如： 文獻(xiàn)[1]中通過提取原始圖像的分辨率為240像素×320像素的遠(yuǎn)紅外人臉中的局部二值模式(local binary patterns，LBP)特征來識(shí)別人物身份； 文獻(xiàn)[2]中提出了稀疏表示分類，對(duì)分辨率僅為40像素×30像素的遠(yuǎn)紅外人臉圖像進(jìn)行識(shí)別，獲得了較好的識(shí)別效果。

通常，在低分辨率遠(yuǎn)紅外監(jiān)護(hù)視頻中的人臉圖像分辨率太小，特征丟失，不能滿足傳統(tǒng)方法的要求，識(shí)別效果不佳。步態(tài)識(shí)別通過在一段視頻或圖像序列中提取人物正常行走的步態(tài)特征作為人物的身份特征進(jìn)行識(shí)別。由于遠(yuǎn)紅外視頻中步態(tài)受到時(shí)間、地形、視角、服飾和老人的身體狀態(tài)等因素的影響，因此步態(tài)特征波動(dòng)較大。同時(shí)在實(shí)際場(chǎng)景下不可避免地存在步態(tài)不一致和遮擋問題，因此在實(shí)際使用中步態(tài)識(shí)別不能算是一種有效的人物身份識(shí)別方法。在監(jiān)護(hù)視頻中，由于相機(jī)分辨率較低，安裝位置較遠(yuǎn)，難以得到高質(zhì)量的人臉圖像，甚至始終無法獲得人臉圖像，因此行人重識(shí)別成為重要的代替方法。行人重識(shí)別主要有兩大方向，即特征表示[18-21]與度量學(xué)習(xí)[22-26]。基于特征表示的方法通過提取人物的全局或局部外貌特征，利用歐氏距離等標(biāo)準(zhǔn)距離進(jìn)行相似性度量。度量學(xué)習(xí)則通過學(xué)習(xí)得到一個(gè)新的距離度量空間，使同一人物特征之間的距離較小，不同人物特征之間的距離較大。目前行人重識(shí)別對(duì)于實(shí)際場(chǎng)景中的遮擋問題還沒有完全解決，并且不能適應(yīng)遠(yuǎn)紅外視頻中季節(jié)、服裝以及生理因素等引起的人物特征不規(guī)律變化，因此需要進(jìn)一步研究。

為了識(shí)別低分辨率遠(yuǎn)紅外監(jiān)護(hù)視頻中的人物身份，針對(duì)低分辨率遠(yuǎn)紅外圖像信息丟失嚴(yán)重和人物特征不規(guī)律的問題，本文中提出一種基于多攝像頭接力跟蹤的遠(yuǎn)紅外人物身份識(shí)別方法(簡(jiǎn)稱本文方法)，利用時(shí)空信息，將室外可見光視頻與室內(nèi)低分辨率遠(yuǎn)紅外監(jiān)護(hù)視頻中的人物身份相結(jié)合，在有效保護(hù)老人隱私的前提下，實(shí)現(xiàn)低分辨率遠(yuǎn)紅外監(jiān)護(hù)視頻中的人物身份識(shí)別。

1 算法原理

當(dāng)在某一時(shí)刻識(shí)別到某人物身份，其他時(shí)刻通過認(rèn)定待識(shí)別人物是此已知身份的人物時(shí)，即可實(shí)現(xiàn)在任意時(shí)刻的人物身份識(shí)別。基于這種思路，本文方法將基于多攝像頭接力跟蹤的遠(yuǎn)紅外人物身份識(shí)別方法分為可見光視頻中人物身份識(shí)別和通過人物軌跡檢測(cè)與跨模態(tài)多攝像頭接力跟蹤實(shí)現(xiàn)人物身份一致性認(rèn)定兩大步驟，具體流程如圖1所示。

圖1 遠(yuǎn)紅外人物身份識(shí)別算法流程圖

1.1 可見光視頻中人物身份識(shí)別

在房間門口外安裝可見光攝像頭，能夠在不侵犯?jìng)€(gè)人隱私的前提下獲得高質(zhì)量的人臉圖像，因此可以使用人臉識(shí)別算法識(shí)別將要進(jìn)入房間的人物身份。視頻中的人臉識(shí)別方法主要包含人臉檢測(cè)、預(yù)處理、特征提取和特征匹配4個(gè)部分，其中人臉檢測(cè)和特征提取是關(guān)鍵。為了滿足監(jiān)護(hù)視頻中實(shí)時(shí)性和準(zhǔn)確性的要求，本文中使用You Only Look Once(YOLO)v3算法[27]完成人臉檢測(cè)，然后配合卷積神經(jīng)網(wǎng)絡(luò)ResNet50實(shí)現(xiàn)提取人臉特征，完成人臉識(shí)別。

1.1.1 基于YOLOv3算法的人臉檢測(cè)

YOLO是一種成熟的目標(biāo)檢測(cè)算法，具有檢測(cè)速度快、精度高的特點(diǎn)，且使用端對(duì)端的訓(xùn)練方式與預(yù)測(cè)手段，具備較高的靈活性。YOLOv3算法采用Darknet-53網(wǎng)絡(luò)結(jié)構(gòu)，在網(wǎng)絡(luò)層間引用殘差模塊，在保證檢測(cè)實(shí)時(shí)性的同時(shí)增加網(wǎng)絡(luò)結(jié)構(gòu)(見圖2)，進(jìn)一步提高了檢測(cè)精度。由圖可見，輸入圖像經(jīng)過Darknet-53網(wǎng)絡(luò)，提取輸入圖像的特征；對(duì)得到的特征圖分別進(jìn)行2次上采樣與張量拼接，得到3個(gè)不同尺度的特征，然后在3個(gè)尺度對(duì)不同大小的人臉進(jìn)行檢測(cè)。

類型卷積核通道個(gè)數(shù)卷積核尺寸(行數(shù)×列數(shù))特征圖尺寸(行數(shù)×列數(shù))卷積層323×3416×416卷積層643×3/2208×2081×卷積層321×1卷積層643×3殘差塊208×208卷積層128 3×3/2104×1042×卷積層641×1卷積層128 3×3殘差塊104×104卷積層256 3×3/252×528×卷積層128 1×1卷積層256 3×3殘差塊52×52卷積層512 3×3/226×268×卷積層256 1×1卷積層512 3×3殘差塊26×26卷積層1 024 3×3/213×134×卷積層512 1×1卷積層1 024 3×3殘差塊13×13均值池化 全連接 1 000 歸一化指數(shù)函數(shù)圖2 Darknet-53網(wǎng)絡(luò)結(jié)構(gòu)

在前向傳播過程中輸入圖像被劃分成s×s個(gè)網(wǎng)格，最終每個(gè)網(wǎng)格都預(yù)測(cè)出b個(gè)檢測(cè)框，得到的檢測(cè)框都包含檢測(cè)框的中心坐標(biāo)、檢測(cè)框的寬度和高度，以及這個(gè)檢測(cè)框所屬類別的置信度。每個(gè)檢測(cè)框的損失函數(shù)l包括4個(gè)部分，定義為

l=λl1+l2+l3，

(1)

式中：l1為檢測(cè)框的中心坐標(biāo)、寬度和高度損失；λ為賦予l1的權(quán)重；l2為檢測(cè)框的置信度損失；l3為檢測(cè)框的分類損失。

當(dāng)?shù)趇個(gè)網(wǎng)格的第j個(gè)檢測(cè)框負(fù)責(zé)某真實(shí)目標(biāo)時(shí)，該檢測(cè)框所產(chǎn)生的邊界框與真實(shí)目標(biāo)的邊界框進(jìn)行比較，計(jì)算得到中心坐標(biāo)、寬度和高度損失l1，定義為

(2)

檢測(cè)框的置信度損失l2定義為

(3)

只有當(dāng)?shù)趇個(gè)網(wǎng)格的第j個(gè)檢測(cè)框負(fù)責(zé)某個(gè)真實(shí)目標(biāo)時(shí)，該檢測(cè)框所產(chǎn)生的邊界框才會(huì)計(jì)算分類損失函數(shù)，即分類損失l3定義為

(4)

1.1.2 基于ResNet50網(wǎng)絡(luò)的人臉識(shí)別

神經(jīng)網(wǎng)絡(luò)層數(shù)越多，所能夠提取的特征越豐富，但簡(jiǎn)單的堆疊網(wǎng)絡(luò)也會(huì)帶來嚴(yán)重的梯度消失問題。針對(duì)該情況，深度殘差網(wǎng)絡(luò)(deep residual network, ResNet)[28]引入殘差學(xué)習(xí)解決深度網(wǎng)絡(luò)難以優(yōu)化的問題，即用H(x)表示最優(yōu)映射，用堆疊的非線性層擬合另一映射F(x)=H(x)-x，基中x為網(wǎng)絡(luò)輸入，此時(shí)最優(yōu)映射可以表示為H(x)=F(x)+x。殘差映射在前饋網(wǎng)絡(luò)中增加捷徑連接，執(zhí)行簡(jiǎn)單的恒等映射，這樣不會(huì)增加額外參數(shù)和計(jì)算復(fù)雜度，比原有映射更易優(yōu)化。殘差網(wǎng)絡(luò)示意圖如圖3所示。

圖3 殘差網(wǎng)絡(luò)示意圖

ResNet50網(wǎng)絡(luò)是性能優(yōu)良的殘差神經(jīng)網(wǎng)絡(luò)模型，本文中以該網(wǎng)絡(luò)為人臉識(shí)別模型的基本框架并使用歸一化指數(shù)函數(shù)Softmax損失進(jìn)行監(jiān)督訓(xùn)練。

通過ResNet50網(wǎng)絡(luò)從提交的人臉模板圖像中提取特征向量作為人物身份特征模板存入數(shù)據(jù)庫(kù)中。在人臉識(shí)別過程中，首先使用此網(wǎng)絡(luò)提取待識(shí)別人臉圖像的特征向量，然后計(jì)算此特征向量和數(shù)據(jù)庫(kù)中的人物身份特征模板的歐氏距離，從而識(shí)別待識(shí)別人臉圖像所屬的人物的身份。歐氏距離的計(jì)算公式為

(5)

式中：f為待識(shí)別人臉特征向量；fd為數(shù)據(jù)庫(kù)中人物的身份特征向量；d(f,fd)為f與fd之間的歐氏距離；n為特征向量維度；fr、fdr分別為人臉特征向量和身份特征向量第r維特征值。當(dāng)歐氏距離最小時(shí)對(duì)應(yīng)的數(shù)據(jù)庫(kù)中的人物身份即為待識(shí)別的人物身份。

1.2 人物身份一致性認(rèn)定

人物身份一致性認(rèn)定利用目標(biāo)跟蹤算法獲得人物的連續(xù)時(shí)空信息，認(rèn)定視頻中不同時(shí)刻的人物是同一身份。本文中在單一攝像頭下使用人物運(yùn)動(dòng)軌跡檢測(cè)方法，在可見光與遠(yuǎn)紅外攝像頭之間使用跨模態(tài)多攝像頭接力跟蹤方法實(shí)現(xiàn)人物身份一致性認(rèn)定。

1.2.1 人物運(yùn)動(dòng)軌跡檢測(cè)

運(yùn)動(dòng)軌跡是指人物從出現(xiàn)到離開的時(shí)間段內(nèi)每一時(shí)刻在視頻中的位置。在同一攝像頭拍攝的連續(xù)視頻中，通過目標(biāo)跟蹤算法對(duì)視頻中的人物進(jìn)行連續(xù)跟蹤，檢測(cè)人物的運(yùn)動(dòng)軌跡，即可判斷前、后2幅圖像中的人物是否為同一身份。本文中人物運(yùn)動(dòng)軌跡檢測(cè)共包括2個(gè)部分，分別是通過YOLOv3算法進(jìn)行人物檢測(cè)和使用核相關(guān)濾波跟蹤(kernel correlation filter, KCF)算法[29]跟蹤目標(biāo)人物。KCF算法基于樣本的梯度方向直方圖(histogram of oriented gradients, HOG)特征跟蹤目標(biāo)，具有不需要訓(xùn)練樣本的優(yōu)勢(shì)，同時(shí)利用循環(huán)矩陣可以離散傅里葉對(duì)角化的性質(zhì)，加快了跟蹤速度。

由于人物活動(dòng)總會(huì)使HOG特征產(chǎn)生變化，目標(biāo)跟蹤效果劣化，使得目標(biāo)跟蹤框與人物真實(shí)位置出現(xiàn)偏差，因此需要計(jì)算人物檢測(cè)框和目標(biāo)跟蹤框的重合度，用于校正跟蹤框的偏差。人物檢測(cè)框和目標(biāo)跟蹤框的重合度ε的計(jì)算公式為

(6)

式中：sd為人物檢測(cè)框的面積；st為目標(biāo)跟蹤框的面積；sdt為人物檢測(cè)框和目標(biāo)跟蹤框重合部分的面積。若目標(biāo)跟蹤框過大或ε小于設(shè)定閾值，即認(rèn)定跟蹤結(jié)果出現(xiàn)較大偏差，需要根據(jù)人物檢測(cè)結(jié)果重新更新跟蹤目標(biāo)。

1.2.2 跨模態(tài)多攝像頭接力跟蹤

對(duì)于人物從室外可見光攝像頭視野域進(jìn)入室內(nèi)遠(yuǎn)紅外攝像頭視野域的情況，需要使用跨模態(tài)多攝像頭接力跟蹤方法來實(shí)現(xiàn)跨攝像頭身份一致性認(rèn)定。由于可見光攝像頭和遠(yuǎn)紅外攝像頭分別拍攝室外與室內(nèi)2個(gè)不同區(qū)域，因此2個(gè)攝像頭視野域之間無重疊區(qū)域。無重疊區(qū)域的接力跟蹤方法一般采用基于目標(biāo)特征匹配[30-31]的方法，即從不同視頻中提取目標(biāo)的特征進(jìn)行匹配來判斷不同視頻中的目標(biāo)是否相同。由于可見光攝像頭和遠(yuǎn)紅外攝像頭成像原理各異、攝像頭拍攝角度不同、遠(yuǎn)紅外攝像頭分辨率過低等導(dǎo)致同一目標(biāo)在2個(gè)攝像頭間的特征難以匹配，無法使用基于目標(biāo)特征匹配的方法實(shí)現(xiàn)跨模態(tài)多攝像頭接力跟蹤，因此本文中采用了基于時(shí)空信息的接力跟蹤方法建立跨模態(tài)多攝像頭接力跟蹤模型。基于時(shí)空信息[32-33]的接力跟蹤方法通過建立多攝像頭之間的時(shí)空拓?fù)浣Y(jié)構(gòu)，即不同攝像機(jī)視野域的空間轉(zhuǎn)移和轉(zhuǎn)移時(shí)間概率模型，根據(jù)時(shí)空信息判斷前、后2個(gè)目標(biāo)是否為同一目標(biāo)。

由于在低分辨率遠(yuǎn)紅外監(jiān)護(hù)視頻中的人物身份識(shí)別過程只需要實(shí)現(xiàn)從室外可見光攝像頭視野域到室內(nèi)遠(yuǎn)紅外攝像頭視野域的接力跟蹤，因此多攝像頭空間鄰接關(guān)系如圖4所示。

確定攝像頭視野域進(jìn)、出口是為了確定目標(biāo)進(jìn)行一次轉(zhuǎn)移的起點(diǎn)和終點(diǎn)，因?yàn)樵诖私恿Ω欉^程中，僅有可見光攝像頭視野域中的一個(gè)出口和與其對(duì)應(yīng)的遠(yuǎn)紅外攝像頭視野域中的一個(gè)進(jìn)口，所以人物轉(zhuǎn)移方式示意圖如圖5所示。2個(gè)視野域之間存在一個(gè)由房門阻隔形成的空間較小的封閉盲區(qū)，即無法從盲區(qū)進(jìn)入其他區(qū)域，也不可能從其他區(qū)域進(jìn)入盲區(qū)，因此目標(biāo)只可能從可見光攝像頭視野域經(jīng)盲區(qū)進(jìn)入遠(yuǎn)紅外攝像頭視野域，或目標(biāo)進(jìn)入盲區(qū)后折返。當(dāng)多人同時(shí)轉(zhuǎn)移時(shí)，由于盲區(qū)空間較小行人無法并行，因此轉(zhuǎn)移次序不會(huì)改變。多攝像頭空間鄰接關(guān)系和人物轉(zhuǎn)移方式共同組成空間轉(zhuǎn)移模型，因此在該場(chǎng)景下無須特別建立多攝像頭空間轉(zhuǎn)移模型。

圖4 多攝像頭空間鄰接關(guān)系示意圖

圖5 接力跟蹤實(shí)驗(yàn)人物轉(zhuǎn)移方式示意圖

本文中將轉(zhuǎn)移過程分為慢速、正常和高速運(yùn)動(dòng)3種情況，采用混合高斯分布進(jìn)行轉(zhuǎn)移時(shí)間概率建模，對(duì)應(yīng)的高斯權(quán)重模型P(t)為

(7)

其中

(8)

為了提高轉(zhuǎn)移時(shí)間概率模型的準(zhǔn)確性，根據(jù)實(shí)際情況，實(shí)時(shí)更新混合高斯分布參數(shù)，

(9)

(10)

當(dāng)人物從可見光攝像頭視野域轉(zhuǎn)移至遠(yuǎn)紅外攝像頭視野域時(shí)，若同時(shí)滿足空間轉(zhuǎn)移和轉(zhuǎn)移時(shí)間概率模型，即可認(rèn)為2個(gè)視頻中的人物為同一人物。

2 實(shí)驗(yàn)及結(jié)果分析

2.1 實(shí)驗(yàn)設(shè)計(jì)

2.1.1 實(shí)驗(yàn)平臺(tái)

本實(shí)驗(yàn)中硬件配置為Inter I5-9600KF型中央處理器搭配GTX-1660Super型圖形處理器，軟件采用圖像處理庫(kù)Opencv和深度學(xué)習(xí)框架Pytorch。

為了驗(yàn)證本文方法的有效性，使用分辨率為1 280像素×720像素的可見光攝像頭和分辨率為320像素×240像素的遠(yuǎn)紅外攝像頭構(gòu)建無重疊視野域的實(shí)驗(yàn)平臺(tái)，2個(gè)攝像頭保持同步，攝像頭視野域之間的盲區(qū)為封閉區(qū)域，實(shí)際場(chǎng)景如圖6所示。

(a)可見光攝像頭視野域

(b)遠(yuǎn)紅外攝像頭視野域圖6 無重疊視野域?qū)嶒?yàn)平臺(tái)

2.1.2 評(píng)估指標(biāo)

驗(yàn)證本文方法的有效性主要從可見光人臉識(shí)別、遠(yuǎn)紅外視頻中人物軌跡檢測(cè)以及跨模態(tài)多攝像頭接力跟蹤3個(gè)方面進(jìn)行分析。由于低分辨率遠(yuǎn)紅外監(jiān)護(hù)視頻中人物步態(tài)和外貌特征受到衣著、季節(jié)等因素的影響，難以作為身份識(shí)別的依據(jù)，因此選擇基于遠(yuǎn)紅外人臉識(shí)別的人物身份識(shí)別方法與本文方法進(jìn)行對(duì)比。本文中選用準(zhǔn)確率作為可見光人臉識(shí)別、人物運(yùn)動(dòng)軌跡檢測(cè)和跨模態(tài)多攝像頭接力跟蹤方法的評(píng)估指標(biāo)。由于可見光人臉識(shí)別算法計(jì)算量較大，因此采用平均計(jì)算速度衡量可見光人臉識(shí)別算法的實(shí)時(shí)性。定義準(zhǔn)確率Acc為

(11)

式中：np為正確識(shí)別身份并且跟蹤正確結(jié)果總數(shù)；ntot為識(shí)別和跟蹤結(jié)果總數(shù)。

2.1.3 實(shí)驗(yàn)數(shù)據(jù)

考慮到老年人行動(dòng)不便，在實(shí)驗(yàn)平臺(tái)中通過10位年輕志愿者模擬老年人生活的真實(shí)場(chǎng)景，拍攝40段人物運(yùn)動(dòng)視頻，另外標(biāo)注1 000幅可見光人臉圖像用于可見光人臉識(shí)別模型的訓(xùn)練，如圖7(a)所示；標(biāo)注1 000幅遠(yuǎn)紅外視頻中的人物圖像用于人物軌跡檢測(cè)模型的訓(xùn)練，如圖7(b)所示。為了與遠(yuǎn)紅外人臉識(shí)別方法進(jìn)行對(duì)比，標(biāo)注1 000幅遠(yuǎn)紅外視頻中的人臉圖像用于遠(yuǎn)紅外人臉識(shí)別模型的訓(xùn)練，人臉圖像分辨率僅為6～7像素，部分人臉圖像如圖7(c)所示。

2.2 結(jié)果分析

2.2.1 可見光人臉識(shí)別

分別訓(xùn)練可見光人臉檢測(cè)與識(shí)別模型，可見光人臉識(shí)別實(shí)驗(yàn)結(jié)果如表1所示。由表可以看出，將人臉識(shí)別網(wǎng)絡(luò)嵌入YOLOv3算法后，模型在人臉測(cè)試樣本個(gè)數(shù)為200時(shí)識(shí)別準(zhǔn)確率達(dá)到98.21%，并且模型整體運(yùn)行較快，處理一幅圖像的平均時(shí)間僅為0.006 3 s，能夠滿足視頻中實(shí)時(shí)身份識(shí)別需要。

(a)可見光人物圖像

(b)遠(yuǎn)紅外人物圖像

(c)低分辨率遠(yuǎn)紅外人臉圖像圖7 遠(yuǎn)紅外人物身份識(shí)別實(shí)驗(yàn)數(shù)據(jù)

表1 可見光人臉識(shí)別實(shí)驗(yàn)結(jié)果

2.2.2 人物運(yùn)動(dòng)軌跡檢測(cè)

圖8所示為不同重疊度閾值時(shí)人物運(yùn)動(dòng)軌跡檢測(cè)準(zhǔn)確率。由圖可知，即使在較大的重疊度閾值時(shí)也能取得較好的準(zhǔn)確率。最終本文中選擇的重疊度閾值為0.6，此時(shí)人物運(yùn)動(dòng)軌跡檢測(cè)準(zhǔn)確率為91.1%。

圖8 不同重疊度閾值下的人物運(yùn)動(dòng)軌跡檢測(cè)準(zhǔn)確率

2.2.3 跨模態(tài)多攝像頭接力跟蹤

在跨模態(tài)多攝像頭接力跟蹤實(shí)驗(yàn)中，對(duì)80段接力跟蹤視頻中穿過2個(gè)攝像頭視野域中間盲區(qū)所用時(shí)間進(jìn)行混合高斯建模，得到慢速、正常和高速狀態(tài)下穿過中間盲區(qū)所用的轉(zhuǎn)移時(shí)間概率模型，結(jié)果如圖9所示。圖10所示為跨模態(tài)多攝像頭接力跟蹤實(shí)例。

圖9 跨模態(tài)多攝像頭接力跟蹤轉(zhuǎn)移時(shí)間概率模型

(a)可見光視頻第200幀(b)可見光視頻第260幀(c)遠(yuǎn)紅外視頻第320幀(d)遠(yuǎn)紅外視頻第380幀圖10 跨模態(tài)多攝像頭接力跟蹤實(shí)例

從可見光人臉識(shí)別、人物運(yùn)動(dòng)軌跡檢測(cè)、跨模態(tài)多攝像頭接力跟蹤實(shí)驗(yàn)結(jié)果可以看出，本文方法在可見光人臉識(shí)別、人物運(yùn)動(dòng)軌跡檢測(cè)和跨模態(tài)多攝像頭接力跟蹤3個(gè)方面的準(zhǔn)確率都較高，驗(yàn)證了本文方法的準(zhǔn)確性。

2.2.4 遠(yuǎn)紅外人物身份識(shí)別

采用基于梯度方向直方圖特征、局部二值模式特征和ResNet50網(wǎng)絡(luò)的遠(yuǎn)紅外人臉識(shí)別方法與本文方法進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果如表2所示。從表中可以看出，本文方法利用時(shí)空信息將遠(yuǎn)紅外視頻與可見光視頻中的人物身份進(jìn)行了統(tǒng)一，因此具有較高的準(zhǔn)確率。基于遠(yuǎn)紅外人臉識(shí)別的人物身份識(shí)別方法準(zhǔn)確率普遍較低，這是由低分辨率遠(yuǎn)紅外監(jiān)護(hù)視頻中遠(yuǎn)紅外人臉圖像難以有效提取特征導(dǎo)致的。

表2 基于不同算法的遠(yuǎn)紅外人物身份識(shí)別方法的實(shí)驗(yàn)結(jié)果

3 結(jié)語

采用低分辨率遠(yuǎn)紅外攝像頭在室內(nèi)對(duì)老年人養(yǎng)老監(jiān)護(hù)，能有效保護(hù)老年人隱私，但也給低分辨率遠(yuǎn)紅外監(jiān)護(hù)視頻中的人物身份識(shí)別帶來了困難。本文中提出了一種基于多攝像頭接力跟蹤的遠(yuǎn)紅外人物身份識(shí)別方法，實(shí)驗(yàn)結(jié)果證明該方法能夠有效識(shí)別低分辨率遠(yuǎn)紅外監(jiān)護(hù)視頻中的人物身份，可以為處理監(jiān)護(hù)過程中的突發(fā)性事件提供幫助。該方法需要另外在室外安裝可見光攝像頭，雖然不侵犯老年人隱私，但是增加了監(jiān)護(hù)成本，需要進(jìn)一步改進(jìn)。