無(wú)人機(jī)紅外遙感影像人體目標(biāo)識(shí)別方法研究

董少敏 馬永政 郭 麗 付 浩

（1.某部隊(duì)，浙江 舟山 316000；2.集美大學(xué)計(jì)算機(jī)學(xué)院，福建 廈門 361021）

0.引言

在野外救援中，利用無(wú)人機(jī)對(duì)周邊環(huán)境進(jìn)行偵查監(jiān)視，對(duì)于救援環(huán)境實(shí)時(shí)感知具有重要的意義。利用無(wú)人機(jī)搭載可見(jiàn)光、紅外傳感器可以遠(yuǎn)距離快速發(fā)現(xiàn)人體目標(biāo)，并依據(jù)相應(yīng)算法對(duì)數(shù)據(jù)進(jìn)行秒級(jí)預(yù)處理，然后把預(yù)處理數(shù)據(jù)通過(guò)通訊單元快速傳輸給后方專家系統(tǒng)，形成科學(xué)的救援方案，輔助救援決策，以提高救援速度，爭(zhēng)取黃金救援時(shí)間減少人員的傷亡。

紅外成像（特別是遠(yuǎn)紅外成像）相較于可見(jiàn)光成像具有顯著的優(yōu)勢(shì)。由于紅外圖像是熱成像，不依賴于外界光線條件，即使在黑暗和煙霧環(huán)境，也可以探測(cè)到人體發(fā)射的紅外信息并成像。同時(shí)紅外線圖像還具有良好的切割特性。但是紅外線圖像自身存在的特性,如低反差、低信噪比、無(wú)法校驗(yàn)的黑白極性顛倒及其身體周邊易產(chǎn)生的光暈效果等,導(dǎo)致紅外線圖像中身體目標(biāo)的測(cè)量、跟蹤和行為識(shí)別依然是一個(gè)極具挑戰(zhàn)性的課題[4]。特別是對(duì)于人體這種非剛體目標(biāo)，運(yùn)動(dòng)的主觀隨意性強(qiáng)、無(wú)固定規(guī)律、姿態(tài)和形狀變化大，增加了目標(biāo)提取的難度。

趙君欽[1]提出了一種改進(jìn)的Haar-like特征提取算法，在Haar-like特征中融合了HOG特征，較好地對(duì)目標(biāo)邊緣的特征進(jìn)行了Haar-like增強(qiáng)，對(duì)目標(biāo)的外形特征能夠有效地進(jìn)行分析，充分利用了所提出的特征提取算法，并彌補(bǔ)了樣本空間不足的缺點(diǎn)，能夠?qū)⒎指畛龅腞OI準(zhǔn)確地分為人體目標(biāo)、汽車和其他目標(biāo)等三類。范峻銘[2]提出了一種深度學(xué)習(xí)和場(chǎng)景標(biāo)定的頭部檢測(cè)算法，選擇深入學(xué)習(xí)實(shí)現(xiàn)行人的檢測(cè)；多目標(biāo)跟蹤匹配是經(jīng)過(guò)多個(gè)跟蹤目標(biāo)關(guān)系的相似性和目標(biāo)特征確定與檢測(cè)結(jié)果的匹配關(guān)系。李建福提出了復(fù)合分類特征的序列紅外人體實(shí)時(shí)檢測(cè)方法，目的是較快檢測(cè)到序列紅外圖像中的人體目標(biāo)。為了提高描繪人體目標(biāo)候選地域特點(diǎn)的準(zhǔn)確度，融入了形體特點(diǎn)、亮度分布慣性特征和方向梯度直方圖特點(diǎn)，最后通過(guò)使用支持向量機(jī)對(duì)候選地域做出劃分以測(cè)試[3，4]。

以上方法在人體目標(biāo)提取中都取得了一定的研究成果，但針對(duì)無(wú)人機(jī)紅外影像人體目標(biāo)提取方法尚存在不足。針對(duì)以上現(xiàn)狀，本文研究了利用形態(tài)學(xué)方法識(shí)別無(wú)人機(jī)紅外影像中的人體目標(biāo)，為野外醫(yī)療救援提供技術(shù)支撐。

1.基本原理

數(shù)學(xué)形態(tài)學(xué)是具有嚴(yán)格理論基礎(chǔ)的學(xué)科，最基本的理論是利用集合論作為數(shù)學(xué)語(yǔ)言和基礎(chǔ)，用集合論對(duì)一定的形態(tài)構(gòu)建起結(jié)構(gòu)元素，對(duì)元素進(jìn)行度量與解析，從而對(duì)圖像進(jìn)行分析與解譯，達(dá)到識(shí)別的目的。具體應(yīng)用方法如下：在保持圖像基本特征的前提下，簡(jiǎn)化圖像數(shù)據(jù)，去除圖像數(shù)據(jù)之間的無(wú)關(guān)結(jié)構(gòu)，盡量保留圖像數(shù)據(jù)之間并行實(shí)現(xiàn)的結(jié)構(gòu)，移動(dòng)圖像數(shù)據(jù)集中的一個(gè)結(jié)構(gòu)元素，在結(jié)構(gòu)元素和圖像數(shù)據(jù)集之間執(zhí)行集合運(yùn)算。利用形態(tài)學(xué)識(shí)別紅外影像中人體目標(biāo)的主要步驟是：對(duì)原始影像進(jìn)行去噪、增強(qiáng)等處理后，對(duì)影像進(jìn)行分割，將不同目標(biāo)分割為不同的基元，最后根據(jù)人體的形態(tài)學(xué)特點(diǎn)對(duì)人體目標(biāo)進(jìn)行識(shí)別。主要流程（如圖1所示）：

1.1 紅外影像預(yù)處理

紅外傳感器成像的特點(diǎn)導(dǎo)致紅外影像上噪聲點(diǎn)較多，對(duì)于后期的目標(biāo)識(shí)別有一定影響，因此要對(duì)影像進(jìn)行去噪處理。紅外影像是灰度圖像，它的噪聲分布與椒鹽噪聲(saltand-pepper noise)非常相似。椒鹽噪聲也稱為脈沖噪聲，可以隨機(jī)改變一些像素值。在二值圖像上，它將一些像素變?yōu)榘咨恍┫袼刈優(yōu)楹谏D像處理和解碼是由明暗通道產(chǎn)生的。因此，要想更好地消除圖像上的噪聲點(diǎn)，可以用低通濾波法。常用的低通濾波方法有中值濾波、高斯濾波和均值濾波等。對(duì)于紅外圖像中類似椒鹽噪聲的點(diǎn)，中值濾波或均值濾波可以有效地消除。其中，高斯濾波算法計(jì)算復(fù)雜，圖像中會(huì)出現(xiàn)影像模糊現(xiàn)象，所以紅外影像濾波中一般不采用。中值濾波是一種基于統(tǒng)計(jì)理論的非線性信號(hào)處理技術(shù)，抑制噪聲效果明顯。

圖1 紅外影像人體目標(biāo)識(shí)別流程

由于紅外影像反映的是目標(biāo)的熱輻射特征，因此圖像的對(duì)比度通常較低。在后期處理過(guò)程中，為了提高目標(biāo)解譯的成功率，需要進(jìn)行影像的增強(qiáng)處理。灰度影像的增強(qiáng)通常采用直方圖均衡化或線性拉伸的方法。直方圖均衡化計(jì)算相對(duì)復(fù)雜，而線性拉伸比較簡(jiǎn)單，且線性拉伸后得到的影像更適合后期的分割處理。所以紅外影像的對(duì)比度采用線性拉伸法去增強(qiáng)。

直方圖線性拉伸也稱為對(duì)比度拉伸，其基本數(shù)學(xué)基礎(chǔ)是采用分段線性變換函數(shù)，這也是一種較為簡(jiǎn)便的數(shù)學(xué)工具，主要通過(guò)提高圖像處理時(shí)灰度級(jí)的動(dòng)態(tài)范圍，來(lái)實(shí)現(xiàn)影像的增強(qiáng)處理。具體實(shí)現(xiàn)過(guò)程是，對(duì)一定的灰度區(qū)間進(jìn)行有意選擇，并對(duì)其拉伸，從而改善輸出圖像。這個(gè)過(guò)程主要目的有兩個(gè)：（1）處理圖像偏暗（圖像的灰度集中在較暗的區(qū)域所致），用灰度拉伸功能來(lái)拉伸目標(biāo)灰度區(qū)間以改善圖像；（2）處理圖像偏亮（圖像灰度集中在較亮的區(qū)域所致），用灰度拉伸功能來(lái)壓縮目標(biāo)灰度區(qū)間以改善圖像質(zhì)量。

1.2 紅外影像分割

在計(jì)算機(jī)視覺(jué)和圖像解譯的技術(shù)體系里，圖像分割是具有底層支撐性質(zhì)的基本技術(shù)，它把圖像按某種技術(shù)標(biāo)準(zhǔn)進(jìn)行分割，得到若干個(gè)特定的、具有獨(dú)特性質(zhì)的區(qū)域，并對(duì)這些區(qū)域解算，從而獲取感興趣的目標(biāo)。從圖像處理到圖像分析，這個(gè)技術(shù)點(diǎn)是至關(guān)重要的一環(huán)，從具體算法技術(shù)層面來(lái)說(shuō)，它是用特定技術(shù)標(biāo)準(zhǔn)把數(shù)字圖像劃分，即圖像分割，得到不相交區(qū)域，這個(gè)過(guò)程也可以理解為一個(gè)標(biāo)記過(guò)程，也就是把具有同一區(qū)域特征的像素賦予相同的編號(hào)。

紅外圖像分割最主要方法是依據(jù)圖像的某些特征或者特征集合相似性準(zhǔn)則，對(duì)圖像像素進(jìn)行分類與聚類，把圖像特征劃分為一系列具有特性意義的區(qū)域。經(jīng)過(guò)1.1 步驟噪聲去除和對(duì)比度增強(qiáng)處理后的紅外影像質(zhì)量得到明顯提升，利用影像分割方法可以將影像中不同的目標(biāo)與背景分割開(kāi)來(lái)，作為目標(biāo)識(shí)別的先驗(yàn)知識(shí)。按照總體分割策略，可分為基于模型的分割和基于圖像數(shù)據(jù)的分割?；谀Ｐ偷姆指钍侵冈诜指顣r(shí)根據(jù)被分割對(duì)象的先驗(yàn)?zāi)Ｐ图爸R(shí)規(guī)則指導(dǎo)分割過(guò)程[5]?；趫D像數(shù)據(jù)的分割是一種直接分割法，首先確立圖像的基本特征，并根據(jù)這些特征對(duì)高分辨率空間圖像數(shù)據(jù)進(jìn)行分割。

鑒于紅外圖像對(duì)比度低、邊緣模糊、信噪比低，且需達(dá)到實(shí)現(xiàn)簡(jiǎn)單、實(shí)時(shí)性好、復(fù)雜度低、分割精度高的要求，同時(shí)考慮救援無(wú)人機(jī)紅外影像及實(shí)際應(yīng)用場(chǎng)景，綜合考慮上述紅外圖像分割方法優(yōu)缺點(diǎn)，決定采用多尺度分割和光譜差異分割相結(jié)合的方法為人體目標(biāo)識(shí)別做準(zhǔn)備工作。基本實(shí)現(xiàn)方法為：

（1）基于先驗(yàn)知識(shí)確定包含目標(biāo)的感興趣區(qū)域；

（2）根據(jù)多尺度算法求取直方圖；

（3）根據(jù)光譜差異性算法求取相應(yīng)分割參數(shù)；

（4）對(duì)（2）與（3）進(jìn)行最優(yōu)化迭代；

（5）確定最佳的分割參數(shù)并結(jié)合邊緣信息獲得最終的分割結(jié)果。

1.3 基于形態(tài)學(xué)的人體目標(biāo)識(shí)別

經(jīng)過(guò)紅外影像預(yù)處理和紅外影像分割的圖像，可看作是一個(gè)二值數(shù)學(xué)形態(tài)學(xué)問(wèn)題。二值數(shù)學(xué)形態(tài)學(xué)的基本運(yùn)算有4個(gè)：膨脹、腐蝕、開(kāi)啟和關(guān)閉?；谶@些運(yùn)算可以組合和推導(dǎo)出不同的數(shù)學(xué)形態(tài)學(xué)算法。

在紅外遙感影像上，車輛、建筑物、背景等大多數(shù)目標(biāo)屬于剛體目標(biāo)，有比較規(guī)則的形狀特征，可以建立模板庫(kù)對(duì)此類目標(biāo)進(jìn)行識(shí)別。而人體目標(biāo)形狀特征不是十分明顯，且人體是非剛體，形態(tài)變化多樣，難以用固定的模板進(jìn)行描述。需要針對(duì)人體目標(biāo)形態(tài)多變的特點(diǎn)設(shè)計(jì)更加科學(xué)的模板，提高人體目標(biāo)識(shí)別的成功率。

人體目標(biāo)雖然形態(tài)變化多樣，但是主體骨架特點(diǎn)也比較明顯，軀干、四肢、頭幾個(gè)主體部分在紅外影像上有代表性特點(diǎn)。因此，利用形態(tài)學(xué)的方法，提取目標(biāo)的骨架，并對(duì)骨架特征進(jìn)行分析，與人體骨架特征模板庫(kù)相比較，可以識(shí)別出人體目標(biāo)。人體骨架集的特征主要有尺度（Scale）、形狀（Shape）、互相比例關(guān)系（Ratio）、鄰接關(guān)系（Neighbourhood），利用以上4 個(gè)特征信息能夠比較客觀有效描述出人體的形態(tài)學(xué)特點(diǎn)，且對(duì)于人體的不同運(yùn)動(dòng)姿態(tài)具有魯棒性（如圖2所示）：

圖2 人體形態(tài)學(xué)描述符

根據(jù)人體常見(jiàn)的運(yùn)動(dòng)姿態(tài)，對(duì)紅外影像人體目標(biāo)運(yùn)動(dòng)姿態(tài)建立模板庫(kù)，并利用上述描述符（形狀、尺度、方向、鄰接關(guān)系）對(duì)模板庫(kù)中的目標(biāo)進(jìn)行描述，作為人體識(shí)別時(shí)的匹配模板（如圖3所示）。

圖3 人體運(yùn)動(dòng)模板庫(kù)

2.實(shí)驗(yàn)及分析

為了驗(yàn)證提出方法的有效性，使用紅外相機(jī)拍攝的影像進(jìn)行了測(cè)試實(shí)驗(yàn)。實(shí)驗(yàn)數(shù)據(jù)的具體情況（如表1所示），實(shí)驗(yàn)環(huán)境為Dell臺(tái)式計(jì)算機(jī)，處理器為Intel i7處理器，內(nèi)存16GB，硬盤2000G，操作系統(tǒng)Windows7 64位，開(kāi)發(fā)環(huán)境為MATLAB 2012。實(shí)驗(yàn)中共采取具有代表性的4組數(shù)據(jù)，其中A組包含單個(gè)人體目標(biāo)，B組包含多個(gè)人體目標(biāo)，C組為低對(duì)比度影像，D組不包含人體目標(biāo)，作為干擾項(xiàng)測(cè)試算法的魯棒性。利用提出的方法分別對(duì)4組數(shù)據(jù)進(jìn)行測(cè)試，以此驗(yàn)證方法的有效性。實(shí)驗(yàn)結(jié)果（如圖4—圖7所示）：

表1 實(shí)驗(yàn)數(shù)據(jù)情況

圖4A組原始影像a經(jīng)過(guò)預(yù)處理，進(jìn)行圖像分割得到b圖，其中藍(lán)色區(qū)域?yàn)榫哂嘘P(guān)聯(lián)性特征區(qū)，經(jīng)形態(tài)學(xué)人體目標(biāo)識(shí)別得到圖c，其中紅色區(qū)為識(shí)別到的1個(gè)人體。

圖5B組原始影像a經(jīng)過(guò)預(yù)處理，進(jìn)行圖像分割得到b圖，其中藍(lán)色區(qū)域?yàn)榫哂嘘P(guān)聯(lián)性特征區(qū)，經(jīng)形態(tài)學(xué)人體目標(biāo)識(shí)別得到圖c，其中紅色區(qū)為識(shí)別到的5個(gè)人體。

圖4 A 組數(shù)據(jù)實(shí)驗(yàn)結(jié)果

圖5 B 組數(shù)據(jù)實(shí)驗(yàn)結(jié)果

圖6 C 組數(shù)據(jù)實(shí)驗(yàn)結(jié)果

圖6C組原始影像a經(jīng)過(guò)預(yù)處理，進(jìn)行圖像分割得到b圖，其中藍(lán)色區(qū)域?yàn)榫哂嘘P(guān)聯(lián)性特征區(qū)，經(jīng)形態(tài)學(xué)人體目標(biāo)識(shí)別得到圖c，其中紅色區(qū)為識(shí)別到的2個(gè)人體。

圖7 D 組數(shù)據(jù)實(shí)驗(yàn)結(jié)果

圖7D組原始影像a經(jīng)過(guò)預(yù)處理，進(jìn)行圖像分割得到b圖，其中藍(lán)色區(qū)域?yàn)榫哂嘘P(guān)聯(lián)性特征區(qū)，經(jīng)形態(tài)學(xué)人體目標(biāo)識(shí)別無(wú)人體，故不再輸出結(jié)果。

從A、B、C組實(shí)驗(yàn)的結(jié)果來(lái)看，不論是單個(gè)人體目標(biāo)還是多個(gè)人體目標(biāo)，所提出的方法均能夠有效地識(shí)別出紅外影像中的人體目標(biāo)，特別是對(duì)于C組影像的亮度較低，對(duì)比度較差的惡劣條件仍然能夠正確識(shí)別人體目標(biāo)。而對(duì)于D組數(shù)據(jù)，影像分割后將與人體形態(tài)模板庫(kù)進(jìn)行匹配沒(méi)有識(shí)別出人體目標(biāo)，說(shuō)明算法具有一定的魯棒性。

3.結(jié)束語(yǔ)

識(shí)別紅外無(wú)人機(jī)遙感影像中的人體目標(biāo)對(duì)于野外醫(yī)療救援具有重要的意義。本文在充分分析紅外遙感影像特點(diǎn)的基礎(chǔ)上，提出了一種紅外影像人體目標(biāo)識(shí)別算法，主要流程包括影像預(yù)處理、影像分割、基于形態(tài)學(xué)的人體識(shí)別。利用具有代表性的紅外影像對(duì)所提出的方法進(jìn)行了實(shí)驗(yàn)驗(yàn)證，實(shí)驗(yàn)結(jié)果表明，無(wú)論是單個(gè)人體目標(biāo)，還是多個(gè)人體目標(biāo)，甚至在亮度較低、對(duì)比度較小的紅外影像中，均可以識(shí)別出人體目標(biāo)。