移動(dòng)機(jī)器人級(jí)聯(lián)超像素行人目標(biāo)分割算法

楊大偉，張 靜，黃俊達(dá)

(大連民族大學(xué) 機(jī)電工程學(xué)院，遼寧 大連 116605)

在移動(dòng)機(jī)器人視覺應(yīng)用中，復(fù)雜的室內(nèi)外環(huán)境常常影響行人目標(biāo)檢測(cè)與跟蹤算法的精度與效果。室內(nèi)的家具與裝飾、室外的建筑與景觀都有可能造成遮擋，利用超像素與顯著性結(jié)合的方法在復(fù)雜環(huán)境中找尋行人目標(biāo)分割[1]，為后續(xù)目標(biāo)的檢測(cè)與跟蹤、自主駕駛與軌跡規(guī)劃等機(jī)器人應(yīng)用提供支撐[2]。

近些年來，學(xué)術(shù)界提出多種相關(guān)研究算法來分割提取復(fù)雜背景中的顯著目標(biāo)。文獻(xiàn)[3]結(jié)合自動(dòng)分割的行人形狀進(jìn)行檢測(cè)，在檢測(cè)過程中通過實(shí)現(xiàn)自動(dòng)分割，對(duì)行人目標(biāo)剪影和骨架進(jìn)行分層匹配來實(shí)現(xiàn)檢測(cè)，該算法可以有效減少運(yùn)算時(shí)間，提高檢測(cè)效率，但剪影和骨架特征相對(duì)隱蔽，檢測(cè)精度會(huì)有所降低。文獻(xiàn)[4]提出了一種基于內(nèi)核分割的方法，此種分割方法基于AdaBoost訓(xùn)練檢測(cè)器對(duì)所有行人進(jìn)行檢測(cè)，將分水嶺算法與核密度分析相結(jié)合，選擇最優(yōu)分割區(qū)域，但由于該算法采用多級(jí)流水，復(fù)雜度高，實(shí)時(shí)性相對(duì)較差。文獻(xiàn)[5]提出一種通過二維和三維兩種空間維度對(duì)頭部特征進(jìn)行提取的算法，該算法行人頭部特征與非行人區(qū)別明顯，能夠達(dá)到檢測(cè)精準(zhǔn)的目的，但計(jì)算量過大，很難達(dá)到實(shí)時(shí)跟蹤的效果。文獻(xiàn)[6]提出一種基于形狀的行人分割模型，該方法對(duì)行人檢測(cè)器結(jié)果進(jìn)行邊界能量最大化處理，實(shí)現(xiàn)對(duì)圖像中行人目標(biāo)的分割。文獻(xiàn)[7]提出一種蛇形分割的目標(biāo)提取方法，在AdaBoost算法的基礎(chǔ)上添加梯形特征，使得檢測(cè)更加準(zhǔn)確，但梯形特征計(jì)算步驟復(fù)雜，運(yùn)算復(fù)雜度較高。文獻(xiàn)[8]采用SLIC超像素結(jié)合局部二值模式算法對(duì)圖像前景和背景進(jìn)行有效區(qū)分，辨識(shí)能力較強(qiáng)，具有良好的主客觀分類精度。文獻(xiàn)[9]結(jié)合超像素與邊界-中心先驗(yàn)信息方法，提出利用空間、顏色來區(qū)分前景和背景的顯著目標(biāo)檢測(cè)算法，但在缺少先驗(yàn)信息的情況下，算法效率會(huì)變差。文獻(xiàn)[10]則基于全局K-means算法實(shí)現(xiàn)了一種超像素分割方法，在VOC2007數(shù)據(jù)集測(cè)試中獲得良好的性能。

本文以移動(dòng)機(jī)器人應(yīng)用平臺(tái)為對(duì)象，針對(duì)室內(nèi)外行人目標(biāo)清晰輪廓提取問題，提出一種基于超像素的級(jí)聯(lián)式行人目標(biāo)分割算法(CAscaded Superpixel pedestrian object Segmentation algorithm，CASS)。該算法連續(xù)兩次利用超像素計(jì)算顏色與空間距離特征，實(shí)現(xiàn)對(duì)行人目標(biāo)輪廓的準(zhǔn)確提取。在仿真分析中可以看到，本文所提CASS算法在復(fù)雜的室內(nèi)外背景環(huán)境下，可以獲得較為優(yōu)異的分割提取性能，可用于移動(dòng)機(jī)器人視覺檢測(cè)與跟蹤算法等領(lǐng)域。

1 級(jí)聯(lián)超像素行人分割算法

復(fù)雜的室內(nèi)外背景條件下，行人目標(biāo)難以被準(zhǔn)確提取，原因多為行人與背景顏色相似或背景過于雜亂，無法對(duì)行人輪廓進(jìn)行準(zhǔn)確劃分。級(jí)聯(lián)超像素行人分割算法有效地利用超像素本身對(duì)邊緣輪廓的吸附性特點(diǎn)，以超像素為最小計(jì)算單元，結(jié)合顯著光流快速檢測(cè)算法(Saliency Optical-Flow detection Algorithm，SOFA)對(duì)行人顯著區(qū)域進(jìn)行劃分[11]，對(duì)比行人區(qū)域內(nèi)外超像素區(qū)塊的顏色均值與中心空間位置距離相似程度，從而準(zhǔn)確分割出行人輪廓，算法邏輯框圖如圖1。該算法中的級(jí)聯(lián)邏輯，從形式上相當(dāng)于兩次應(yīng)用超像素的顏色與空間關(guān)系，兩次的不同在于：第一次以像素為單位，從點(diǎn)特征獲取超像素區(qū)塊(模塊A○)；第二次以超像素區(qū)塊為單位，以顯著性行人區(qū)域?yàn)榉纸?，從超像素區(qū)塊獲取目標(biāo)輪廓(模塊B○)。

圖1 級(jí)聯(lián)超像素行人分割算法邏輯框圖

1.1 第一級(jí)超像素

超像素具有極強(qiáng)的目標(biāo)輪廓吸附性，經(jīng)過處理后的目標(biāo)和背景景物均能獲得良好的劃分效果，如圖2。在圖片中花瓣的邊緣輪廓被超像素清晰地分隔開，為第二級(jí)超像素提供必要的前提條件。

圖2 超像素邊緣輪廓吸附特性示意圖

超像素算法是基于顏色和距離的相似程度對(duì)超像素進(jìn)行分割，將圖像分割成為一定數(shù)量的子區(qū)域，可產(chǎn)生大小均勻、形狀規(guī)則的超像素區(qū)塊。超像素區(qū)塊與像素點(diǎn)之間存在著一定的區(qū)別，像素點(diǎn)僅僅能夠單一地表達(dá)固定點(diǎn)的色彩，而超像素區(qū)塊區(qū)域能夠?qū)ο袼攸c(diǎn)的特征進(jìn)行提取，是具有相似特征的一組像素點(diǎn)集合。超像素分割處理步驟如下：

(2)像素聚類。以當(dāng)前像素點(diǎn)為中心，在給定半徑s的情況下，計(jì)算圓內(nèi)每個(gè)像素點(diǎn)與聚類中心的距離。與聚類中心距離最近的像素點(diǎn)設(shè)為新的聚類中心。分別計(jì)算聚類中心與像素點(diǎn)的顏色距離和空間位置距離，通過加權(quán)計(jì)算來確定兩點(diǎn)之間的最終像素距離。

(1)

(2)

(3)

式中:D1lab為像素點(diǎn)的顏色空間距離;D1xy為像素點(diǎn)的位置空間距離;D1k為像素距離;s為聚類中心。m為顏色空間距離與位置空間距離的加權(quán)，當(dāng)m值較大時(shí)，說明位置空間距離對(duì)于像素距離的影響較大，當(dāng)m值較小時(shí)，說明顏色空間距離對(duì)于像素距離更重要。

(3)聚類迭代。像素聚類后，將每個(gè)像素分配到對(duì)應(yīng)聚類中心。根據(jù)類別內(nèi)平均像素位置，更新聚類中心位置。每個(gè)像素都有一個(gè)所屬的聚類中心，根據(jù)所屬關(guān)系，將每個(gè)像素點(diǎn)調(diào)整到聚類中心所在區(qū)域的平均位置，返回像素聚類進(jìn)行迭代，直到所有的聚類中心不再變化，便可獲得圖像的超像素區(qū)塊分類結(jié)果。

1.2 第二級(jí)超像素

第一級(jí)超像素計(jì)算結(jié)束后，全部聚類結(jié)果即為超像素。如何依據(jù)現(xiàn)有超像素特性來區(qū)分目標(biāo)主體與非目標(biāo)背景，實(shí)現(xiàn)目標(biāo)的準(zhǔn)確分割是第二級(jí)超像素計(jì)算的主要任務(wù)。在第二級(jí)超像素行人目標(biāo)分割之前，需通過SOFA算法提取行人顯著區(qū)域，減少行人輪廓分割干擾信息。同時(shí)，提取超像素區(qū)塊相關(guān)特征，以行人區(qū)域內(nèi)外超像素區(qū)塊的平均顏色空間距離與超像素區(qū)塊中心點(diǎn)的位置空間距離為特征度量依據(jù)，計(jì)算內(nèi)外超像素區(qū)塊的區(qū)域相關(guān)程度，確定行人目標(biāo)輪廓。

第二次超像素區(qū)塊中行人輪廓區(qū)域示意圖如圖3。設(shè)全部超像素區(qū)塊為I，定義行人長(zhǎng)方形顯著區(qū)域R，行人目標(biāo)真實(shí)輪廓區(qū)域?yàn)镽*，且R*?R，非行人區(qū)域?yàn)镽′，且R′=I-R。

圖3 第二次超像素區(qū)塊中行人輪廓區(qū)域示意圖

第二級(jí)超像素的算法步驟如下：

(2)通過SOFA算法提取行人顯著區(qū)域，獲取區(qū)域R所在位置。

(3)獲取超像素區(qū)塊的平均顏色與中心點(diǎn)位置。計(jì)算行人區(qū)域R與非行人區(qū)域R′的顏色空間距離特征和位置空間距離特征，即以行人顯著區(qū)域R內(nèi)的超像素區(qū)塊計(jì)算。

(4)

(5)

(6)

式中:D2lab為超像素區(qū)塊平均顏色空間距離;D2xy為超像素區(qū)塊的位置空間距離;D2K為超像素區(qū)塊距離;δ為距離權(quán)值系數(shù)，且δ∈[0,1]。

(4)計(jì)算像素塊之間的相關(guān)度，獲取最終行人區(qū)域R*。

(7)

式中：ε為相關(guān)度閾值系數(shù)；ε∈[0,1]，OTSU為最大類間差閾值計(jì)算函數(shù)。

2 實(shí)驗(yàn)結(jié)果

2.1 不同分割算法比較

為了驗(yàn)證本文提出CASS算法的有效性，以MSRA顯著目標(biāo)數(shù)據(jù)集中的圖片為仿真測(cè)試源，對(duì)比目前應(yīng)用廣泛的四種常見顯著目標(biāo)分割算法EQCUT[12]、HDCT[13]、MBS[14]和PCA[15]，準(zhǔn)確率召回率直方圖如圖4。五種算法的二值化分割結(jié)果如圖5。全部5種算法中，僅本文CASS算法與EQCUT算法的F值為0.98，指標(biāo)上高于其他三種算法。

圖4 準(zhǔn)確率召回率直方圖

(a)原圖；(b)EQCUT；(c)HDCT；(d)MBS；(e)PCA；(f)CASS；(g)ground truth

圖5二值化分割結(jié)果

與MSRA數(shù)據(jù)集提供的標(biāo)準(zhǔn)分割(ground truth)結(jié)果相比較，本文所提CASS算法性能與EQCUT算法性能相當(dāng)，明顯優(yōu)于其他三種方法。在分割細(xì)節(jié)上，CASS算法更能夠有效地接近標(biāo)準(zhǔn)真實(shí)值。如圖5中第4組圖片的鴨梨蒂、第5組圖片的警察左前臂，均能夠被準(zhǔn)確地分割。

2.2 行人目標(biāo)分割測(cè)試

為了驗(yàn)證CASS算法對(duì)行人目標(biāo)的分割性能，

對(duì)比室內(nèi)外不同環(huán)境場(chǎng)景視頻圖像幀的行人目標(biāo)分割結(jié)果如圖6。CASS算法在實(shí)際場(chǎng)景中的應(yīng)用效果十分突出，CASS算法錯(cuò)誤分割較少，分割結(jié)果中無冗余混淆背景等雜亂內(nèi)容，能夠?qū)?fù)雜背景中的行人目標(biāo)準(zhǔn)確地與背景分離開來，輪廓清晰明顯，可以有效地應(yīng)用于室內(nèi)和室外復(fù)雜背景環(huán)境。

3 結(jié) 語(yǔ)

在移動(dòng)機(jī)器人視覺應(yīng)用中，復(fù)雜背景環(huán)境干擾的情況下能夠準(zhǔn)確地分割行人目標(biāo)輪廓，不僅可以獲得該目標(biāo)的紋理參數(shù)，更可為檢測(cè)跟蹤與行人目標(biāo)定位定向提供必要的預(yù)處理信息。本文以超像素對(duì)邊緣輪廓的吸附性特點(diǎn)為基礎(chǔ)，利用超像素計(jì)算過程中像素顏色與空間距離的相關(guān)特性，提出一種級(jí)聯(lián)式超像素行人目標(biāo)輪廓分割算法。該算法經(jīng)兩次超像素劃分，先由像素點(diǎn)的顏色與空間距離特性獲取超像素區(qū)塊，再由超像素區(qū)塊的顏色與空間距離特性獲取行人目標(biāo)輪廓。算法簡(jiǎn)單有效，計(jì)算復(fù)雜度低，能夠有效地應(yīng)用在移動(dòng)機(jī)器人目標(biāo)檢測(cè)與跟蹤算法中。不僅可以用來完成跟蹤中對(duì)色彩直方圖等的統(tǒng)計(jì)計(jì)算，而且可以解決機(jī)器視覺目標(biāo)測(cè)向與距離估計(jì)需求，為移動(dòng)機(jī)器人視覺應(yīng)用提供必要基礎(chǔ)。

圖6 行人目標(biāo)分割結(jié)果

[1] DAI Q. An infrared pedestrians image segmentation algorithm[C]// International Conference on Intelligent Networks and Intelligent Systems. Shenyang:IEEE, 2013:111-114.

[2] GULSHAN V, LEMPITSKY V, ZISSERMAN A. Humanising GrabCut: Learning to segment humans using the Kinect[C]// IEEE International Conference on Computer Vision Workshops. Barcelona:DBLP, 2011:1127-1133.

[3] LI Y, ZHOU Z, WU W. Combining shape and appearance for automatic pedestrian segmentation[C]// IEEE International Conference on TOOLS with Artificial Intelligence. Boca Raton: IEEE, 2011:369-376.

[4] HSIEH J, CHEN S Y, CHUANG C H, et al. Pedestrian segmentation using deformable triangulation and kernel density estimation[C]// International Conference on Machine Learning and Cybernetics. Baoding:IEEE, 2009:3270-3274.

[5] XIA L, CHEN C C, AGGARWAL J K. Human detection using depth information by Kinect[C] // CVPR 2011 WORKSHOPS. Colorado Springs: 2011: IEEE, 15-22.

[6] JUNIOR J C , MUSSE S R. Shape-based pedestrian segmentation in still images[C]// IEEE International Symposium on Multimedia. Miami: IEEE, 2015:1-6.

[7] 陳超, 宣士斌, 徐俊格. 復(fù)雜背景下的行人檢測(cè)與分割[J]. 計(jì)算機(jī)工程與應(yīng)用, 2012(30): 177-181.

[8] 薛萍. 基于超像素特征表示的圖像前景背景分割算法[J]. 西安科技大學(xué)學(xué)報(bào), 2017, 37(5): 731-735.

[9] 李繼德,李曉強(qiáng),沙彩霞. 基于超像素分類的顯著目標(biāo)檢測(cè)[J]. 計(jì)算機(jī)應(yīng)用與軟件, 2017, 34(1): 180-186.

[10] 吉長(zhǎng)東,李相澤,敖國(guó)政. 基于全局K-means算法的超像素分割方法[J]. 沈陽(yáng)大學(xué)學(xué)報(bào)(自然科學(xué)版), 2017, 29(3): 212-216.

[11] 楊大偉, 姬夢(mèng)婷, 張汝波,等. 移動(dòng)機(jī)器人行人目標(biāo)活動(dòng)區(qū)域快速檢測(cè)算法[J]. 大連民族大學(xué)學(xué)報(bào), 2016, 18(3): 221-223.

[12] AYTEKIN C, KIRANYAZ S, GABBOUJ M. Automatic object segmentation by Quantum cuts[C]// International Conference on Pattern Recognition. Stockholm: IEEE, 2014:112-117.

[13] KIM J, HAN D, TAI Y W, et al. Salient region detection via High-dimensional color transform[C]// Computer Vision and Pattern Recognition. IEEE, 2014:883-890.

[14] ZHANG J, SCLAROFF S, LIN Z, et al. Minimum barrier salient object detection at 80 FPS[C]// IEEE International Conference on Computer Vision. Santiago :IEEE, 2015:1404-1412.

[15] RAN M, TAL A, ZELNIKMANOR L. What makes a patch distinct[C]// IEEE Conference on Computer Vision and Pattern Recognition. Portland: IEEE Computer Society, 2013:1139-1146.