足球比賽視頻中的球員目標(biāo)跟蹤與檢測(cè)研究

吳超侯慶昆

（1.對(duì)外經(jīng)濟(jì)貿(mào)易大學(xué)體育部 北京 100029；2.聊城大學(xué)體育學(xué)院 山東 聊城 252000)

1、介紹

隨著計(jì)算機(jī)技術(shù)的迅速發(fā)展，它越來(lái)越多地應(yīng)用到人類社會(huì)的各個(gè)部門，擴(kuò)展了人類的大腦和感知能力。在視覺(jué)技術(shù)方面，計(jì)算機(jī)的利用可以模擬人類的視覺(jué)感知，促進(jìn)了計(jì)算機(jī)視覺(jué)(Computer vision,CV)的產(chǎn)生和發(fā)展，使計(jì)算機(jī)實(shí)現(xiàn)了人類的視覺(jué)功能，最終理解了三維世界。CV中的視頻目標(biāo)跟蹤 (Video Target Tracking,VTT)技術(shù)是通過(guò)計(jì)算機(jī)不斷推斷視頻中目標(biāo)位置的過(guò)程。具體來(lái)說(shuō)，計(jì)算機(jī)在視頻的每一幀中定位目標(biāo)，然后生成盡可能完整的目標(biāo)活動(dòng)軌跡。VTT技術(shù)廣泛應(yīng)用于日常和軍事目的，包括視頻監(jiān)控、虛擬現(xiàn)實(shí)(VR)、交通監(jiān)控、人機(jī)交互(HCI)、公共安全等方面，具有重要的理論意義和實(shí)用價(jià)值。對(duì)目標(biāo)檢測(cè)的研究，對(duì)于更好地分析球員的技術(shù)特點(diǎn)尤為重要。

目標(biāo)跟蹤需要解決的問(wèn)題是在視頻中選擇要跟蹤的目標(biāo)，在下一幀視頻中找到目標(biāo)的準(zhǔn)確位置。體育賽事作為一項(xiàng)積極健康的大眾娛樂(lè)項(xiàng)目，更多的是以視頻的形式呈現(xiàn)，受到大眾的關(guān)注和討論。因此，體育視頻的自動(dòng)分析技術(shù)變得越來(lái)越關(guān)鍵。足球視頻是一種受眾極其廣泛的體育視頻。在這些視頻中，會(huì)對(duì)球員進(jìn)行追蹤和檢測(cè)。一方面，教練和球員可以根據(jù)視頻分析數(shù)據(jù)，討論整體戰(zhàn)術(shù)和個(gè)人技術(shù)特點(diǎn)；另一方面，在轉(zhuǎn)播過(guò)程中，視頻分析可以增強(qiáng)比賽的觀看體驗(yàn)，從而滿足觀眾的需求。如果能夠利用圖像處理領(lǐng)域最流行的深度學(xué)習(xí)(Deep Learning,DL)算法，針對(duì)足球比賽場(chǎng)景設(shè)計(jì)一種魯棒的多目標(biāo)檢測(cè)與跟蹤算法，得到的算法將具有很高的實(shí)用價(jià)值和意義。從2012年開(kāi)始，DL技術(shù)經(jīng)歷了8年的發(fā)展；目前，它已廣泛應(yīng)用于CV任務(wù)，并在視覺(jué)檢測(cè)和跟蹤領(lǐng)域取得了巨大成功。隨著數(shù)據(jù)規(guī)模的不斷增長(zhǎng)，基于DL的目標(biāo)跟蹤算法的提出，也使得目標(biāo)跟蹤領(lǐng)域有了更大的突破。有學(xué)者利用貝葉斯網(wǎng)絡(luò)推理方法，帶目標(biāo)地在構(gòu)造圖中尋找最優(yōu)路徑。在此基礎(chǔ)上，通過(guò)預(yù)測(cè)位置、顏色、運(yùn)動(dòng)方向、選手的平均速度等，可以在短時(shí)間內(nèi)解決遮擋等問(wèn)題。

2、研究方法

2.1、目標(biāo)的特征表達(dá)

在目標(biāo)跟蹤和檢測(cè)任務(wù)中，玩家的特征表達(dá)將直接影響目標(biāo)跟蹤效果。在足球游戲中，要避免遮擋球員被不同隊(duì)伍的其他人所攻擊并造成跟蹤誤差的情況下，研究局部特征以增強(qiáng)目標(biāo)的表達(dá)，提高跟蹤效果是很重要的。定向梯度直方圖 (Histograms of Oriented Gradients，HOG)特征最早是由法國(guó)研究者Dalal等人提出的，是為了解決人體目標(biāo)檢測(cè)的問(wèn)題。HOG特征是在CV和圖像處理中用于目標(biāo)檢測(cè)的特征描述符。它通過(guò)計(jì)算和計(jì)數(shù)圖像局部區(qū)域的梯度方向直方圖來(lái)組成特征，在描述人體方面有很好的效果。在足球比賽視頻中，HOG用梯度或邊緣信息來(lái)描述圖像中局部目標(biāo)的外觀和形狀。因此，它可以描述局部形狀信息，然后將球員從背景中區(qū)分出來(lái)。在HOG特征提取過(guò)程中，首先將其劃分為若干個(gè)小的連通區(qū)域(Cells)，并統(tǒng)計(jì)每個(gè)像素的HOG；其次為了保證特征的光照不變性，需要在更大范圍內(nèi)(Block)對(duì)局部直方圖的對(duì)比度進(jìn)行歸一化處理。HOG特征提取的主要步驟如圖1所示，包括圖像歸一化(灰度和Gamma校正)、梯度計(jì)算、Cell HOG統(tǒng)計(jì)以及Block內(nèi)歸一化；最后，生成HOG特征。為了減少光照的影響，處理光照過(guò)弱或過(guò)強(qiáng)的情況，需要對(duì)整個(gè)圖像進(jìn)行灰度和Gamma校正的歸一化處理。在圖像的紋理強(qiáng)度中，局部表面曝光貢獻(xiàn)了更大的比例。這種處理可以有效地減少圖像中的局部陰影和光照變化。HOG特征考慮了代表邊緣和形狀特征的梯度信息。顏色幾乎沒(méi)有貢獻(xiàn)，可以直接轉(zhuǎn)換成灰度圖像。灰度結(jié)果表示為：(1)中，R、G、B分別表示紅、綠、藍(lán)3種原色的成分。

圖1 HOG特征提取的主要步驟

為了減少圖像中的局部陰影和照度變化，首先，需要對(duì)整個(gè)圖像進(jìn)行Gamma校正，以增加或減少圖像的整體亮度。在實(shí)際操作中，可以使用兩種不同的方法進(jìn)行Gamma標(biāo)準(zhǔn)化:平方根法或?qū)?shù)法。

計(jì)算圖像橫坐標(biāo)和縱坐標(biāo)的梯度，并相應(yīng)計(jì)算每個(gè)像素位置的梯度方向值；差分運(yùn)算不僅捕捉了輪廓、人體陰影和一些紋理信息，還削弱了光照的影響。

2.2、基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法改進(jìn)

一般情況下，視覺(jué)輸入由相機(jī)拍攝，然后連接到計(jì)算機(jī)。攝像機(jī)可以是靜止的，也可以是動(dòng)態(tài)的。計(jì)算機(jī)利用跟蹤結(jié)果執(zhí)行必要的跟蹤和任何更高級(jí)別的任務(wù)。目前，基于深度學(xué)習(xí)的檢測(cè)方法已經(jīng)逐漸成為圖像檢測(cè)領(lǐng)域的主流技術(shù)。然而，在視頻分析方面，考慮到CNN在提取圖像中高級(jí)語(yǔ)義方面的優(yōu)異表現(xiàn)，除了對(duì)物體具有較強(qiáng)的魯棒性外，還將其作為目標(biāo)檢測(cè)的基礎(chǔ)。雖然已經(jīng)提出了端到端的學(xué)習(xí)方法，但是R-CNN系列模型作為一種基于區(qū)域提議(Region Proposal,RP)的目標(biāo)檢測(cè)算法，對(duì)于深度學(xué)習(xí)目標(biāo)檢測(cè)有著極其本質(zhì)的價(jià)值。R-CNN算法的總體思路是利用選擇性搜索(Selective Search,SS)算法在輸入圖像中獲取2000個(gè)獨(dú)立的RP；然后通過(guò)CNN提取每個(gè)固定RP中的目標(biāo)特征；最后利用支持向量機(jī)(Support Vector Machine,SVM)算法進(jìn)行目標(biāo)分類。利用CNN強(qiáng)大的特征提取能力，提高目標(biāo)檢測(cè)的性能。雖然通過(guò)SS算法可以直接獲得2000個(gè)RP，但由于每個(gè)RP都需要卷積，會(huì)造成大量的工作負(fù)載。測(cè)量發(fā)現(xiàn)，通過(guò)R-CNN模型完成對(duì)圖像的識(shí)別需要47s，在實(shí)時(shí)性方面存在較大的劣勢(shì)。在此基礎(chǔ)上，F(xiàn)ast-RCNN算法顯著縮短了模型訓(xùn)練和測(cè)試的時(shí)間，圖像識(shí)別的整體時(shí)間減少到1s以下。Fast-RCNN算法的優(yōu)化表現(xiàn)在在歸一化過(guò)程中利用了ROI Pooling方法，可以保證提取的特征向量具有相同的維數(shù)，從而使RP的失真較小，同時(shí)有效保留了RP的主要特征。此外，F(xiàn)ast-RCNN在CNN上進(jìn)行了分類和回歸。R-CNN算法返回邊界信息再對(duì)信息進(jìn)行分類的過(guò)程相比，這使得整個(gè)訓(xùn)練過(guò)程無(wú)需額外存儲(chǔ)。隨著R-CNN系列模型的發(fā)展，基于視覺(jué)幾何組16(Visual Geometry Group 16，VGG16)的fast-rcnn算法只需要進(jìn)行一次具有多個(gè)共享卷積層的卷積計(jì)算，即可獲得RP及其邊界。在fastrcnn算法中，首先通過(guò)conv層提取圖像特征，得到特征圖。然后，通過(guò)區(qū)域建議網(wǎng)絡(luò) (Regional Proposal Network,RPN)層生成Rps，通過(guò)興趣區(qū)域(Region of Interest,ROI)池化層完成歸一化過(guò)程。輸出固定大小的提議特征圖并發(fā)送到全連接層，在全連接層中完成目標(biāo)RP的計(jì)算，獲得目標(biāo)最終的精確位置。而對(duì)于足球比賽視頻中球員目標(biāo)的檢測(cè)，原來(lái)的Faster R-CNN(FRCN)算法是不適合小目標(biāo)。因此，會(huì)出現(xiàn)漏檢的情況。因此，有必要對(duì)算法進(jìn)行改進(jìn)。

2.3、球員運(yùn)動(dòng)軌跡提取

當(dāng)探測(cè)器在足球比賽視頻的每一幀中檢測(cè)到目標(biāo)時(shí)，目標(biāo)跟蹤問(wèn)題可以看作是現(xiàn)有軌跡集與新檢測(cè)到的目標(biāo)之間的匹配問(wèn)題。在跟蹤球員的過(guò)程中，首先需要通過(guò)CNN對(duì)圖像進(jìn)行實(shí)時(shí)檢測(cè)，以獲取目標(biāo)集。在第一次檢測(cè)到每個(gè)目標(biāo)時(shí)，初始化其狀態(tài)向量，并表示為四維列向量xk：

圖2 多尺度特征提取算法

(1)中，x,y 表示目標(biāo)的位置信息 |（vy）|，vx，vy 表示目標(biāo)的速度信息。由于在視頻中只能檢測(cè)到目標(biāo)的位置信息，x.k初始化為(x0y0)，目標(biāo)的觀測(cè)向量可表示為zk=(x,y)T。由于視頻中相鄰幀之間的時(shí)間間隔約為30 ms，因此可以將目標(biāo)的運(yùn)動(dòng)近似為均勻線性運(yùn)動(dòng)。

綜合考慮目標(biāo)的運(yùn)動(dòng)特征和檢測(cè)特征后，構(gòu)造t?1時(shí)刻設(shè)定的軌跡與t時(shí)刻設(shè)定的目標(biāo)之間的相似矩陣。相似矩陣表示新檢測(cè)到的目標(biāo)與現(xiàn)有運(yùn)動(dòng)軌跡中的目標(biāo)之間的相似度，并表示出來(lái)

(2)Tt-1表示在t-1和D時(shí)刻設(shè)置的軌跡t表示t時(shí)刻設(shè)置的檢測(cè)目標(biāo)。

在構(gòu)建相似矩陣后，利用匈牙利方法求解數(shù)據(jù)關(guān)聯(lián)問(wèn)題。為了避免誤關(guān)聯(lián)，設(shè)置了相似度閾值。如果軌跡與按照匈牙利方法分配的探測(cè)目標(biāo)之間的相似度低于設(shè)置的閾值，則不進(jìn)行關(guān)聯(lián)。如果在軌跡集或目標(biāo)檢測(cè)集中仍然存在不相關(guān)的元素，則認(rèn)為該目標(biāo)被遮擋、消失或新增。比較復(fù)雜的目標(biāo)遮擋問(wèn)題在這里進(jìn)行分析。

足球比賽中的目標(biāo)遮擋包括部分遮擋和完全遮擋。如果目標(biāo)被部分遮擋(玩家B遮擋玩家A)，探測(cè)器將兩個(gè)目標(biāo)作為一個(gè)目標(biāo)進(jìn)行探測(cè)。此時(shí)，檢測(cè)到的特征信息包括2個(gè)目標(biāo)，因此A和B的軌跡可能是相關(guān)的，最終會(huì)導(dǎo)致一個(gè)目標(biāo)的軌跡存在，另一個(gè)目標(biāo)軌跡消失。如果目標(biāo)被完全遮擋(參與人B幾乎完全遮擋參與人A)，探測(cè)器就會(huì)智能檢測(cè)到一個(gè)目標(biāo)(參與人B)，參與人A就會(huì)消失。對(duì)目標(biāo)的部分遮擋會(huì)導(dǎo)致對(duì)目標(biāo)的漏檢。當(dāng)出現(xiàn)這種情況時(shí)，檢測(cè)結(jié)果可以通過(guò)已有的軌跡信息進(jìn)行校正，滑動(dòng)窗口可以將新目標(biāo)分離并添加到軌跡集合中。

圖3 目標(biāo)遮擋后的分離算法流程

3、結(jié)論

隨著計(jì)算機(jī)技術(shù)的發(fā)展，對(duì)足球比賽視頻分析技術(shù)的性能要求不斷提高。在目標(biāo)跟蹤和檢測(cè)領(lǐng)域，已經(jīng)挖掘和應(yīng)用了很多算法，這對(duì)目標(biāo)跟蹤很有幫助。但考慮到在足球比賽中，傳統(tǒng)的目標(biāo)跟蹤方法無(wú)法滿足比賽視頻目標(biāo)跟蹤的要求，由于場(chǎng)地、運(yùn)動(dòng)模式等因素的影響，需要進(jìn)行優(yōu)化。DL技術(shù)的發(fā)展對(duì)目標(biāo)檢測(cè)具有重要意義。因此，在這里將其與目標(biāo)檢測(cè)結(jié)合起來(lái)。首先，討論了R-CNN模型系列的應(yīng)用，改進(jìn)了FRCN模型在小目標(biāo)檢測(cè)方面的缺陷。對(duì)FRCN算法進(jìn)行了優(yōu)化，并在數(shù)據(jù)集OTB2013上測(cè)試了準(zhǔn)確率和成功率。結(jié)果表明，優(yōu)化后的FRCN算法的目標(biāo)跟蹤精度達(dá)到89.1%，目標(biāo)跟蹤成功率達(dá)到64.5%，運(yùn)行幀率保持在25fps左右。目標(biāo)跟蹤的準(zhǔn)確性超過(guò)了用來(lái)完成再檢測(cè)任務(wù)的SINT算法。為了更有效地測(cè)試所提出的玩家軌跡提取算法的性能，在公共數(shù)據(jù)集上測(cè)試了玩家軌跡提取的效果。在80個(gè)運(yùn)動(dòng)軌跡上，優(yōu)化后的FRCN算法的優(yōu)點(diǎn)是平均檢測(cè)結(jié)果更好，每個(gè)軌跡的檢測(cè)結(jié)果波動(dòng)不大。在正常情況下，F(xiàn)RCN算法在大多數(shù)幀中都不會(huì)丟失目標(biāo)。但是，隨著重疊的增加，它的AUC迅速下降，這可能與基于dl的非尺度檢測(cè)器有關(guān)。在目標(biāo)被遮擋的情況下，與其他算法相比，優(yōu)化后的FRCN算法的AUC下降幅度較小。綜上所述，基于DL技術(shù)的優(yōu)化FRCN算法能夠更好地跟蹤足球比賽視頻中的球員目標(biāo)，并且對(duì)于球員互相遮擋的情況具有魯棒性。由于沒(méi)有討論不同球隊(duì)球員遮擋情況下的目標(biāo)跟蹤問(wèn)題，因此存在一定的局限性，未來(lái)將加以改進(jìn)，以便更好地利用深度學(xué)習(xí)現(xiàn)代技術(shù)分析足球比賽中球員的技術(shù)特點(diǎn)，優(yōu)化觀眾體驗(yàn)，帶動(dòng)源自足球的經(jīng)濟(jì)產(chǎn)品的發(fā)展，促進(jìn)足球運(yùn)動(dòng)的傳播推廣。