鷹眼系統運動目標特征參數精確提取算法

王超鋒， 黃俊杰,2*， 包嘉琪， 胡暢， 金沐祥

(1.武漢紡織大學計算機與人工智能學院， 武漢 430200;2.湖北省服裝信息化工程技術研究中心， 武漢 430200)

近些年來各類體育賽事火熱，每年都有大量的比賽舉辦，各種球類運動在體育賽事中扮演重要角色，由于球類運動速度快以及運動員競技水平的愈發嫻熟，僅僅依靠裁判員現場的觀察很難保證賽事的公正，隨著計算機視覺技術的不斷成熟，鷹眼系統問世，它依靠在賽場周圍布置多臺高速攝像機實時捕捉網球的圖像提取其運動特征參數通過一系列變換處理記錄網球的運動軌跡[1]，根據記錄的軌跡數據，觀眾和裁判可以清晰地看到網球的飛行路線和落點，既可以保證賽事的公平，又可以提高比賽的觀賞性。

對于鷹眼系統，運動目標檢測是提高其準確率的關鍵，當前運動物體檢測主要有3種方法分別是背景減差法、幀間差分法和光流法[2-8]。背景減差法是目前應用非常廣泛的方法之一[9]，其通過預先背景建模和需處理的視頻幀作差，根據設定的閾值判斷檢測的目標，算法簡單，操作性強，但是該算法檢測效果受背景模型的制約，并且背景模型需要實時更新；幀間差分法是利用相鄰視頻幀差分相減檢測運動物體，計算量小、檢測速度快，對動態環境有較強的適應能力和魯棒性，尤其對于運動快目標小的物體檢測效果更佳，但是該算法目標檢測完整性差，易產生空洞現象[10]；光流法通過圖像幀中像素的矢量特征檢測物體的運動狀態，該算法計算較為復雜，硬件性能要求高，而且難以對圖像進行實時檢測[11]。

由于網球的外輪廓接近標準圓，在使用傳統Hough圓變換算法來完成網球的識別和特征參數提取時，Hough變換運算量大，識別效率低，無法滿足賽場上高速飛行網球的精準識別和提取，并且賽場環境復雜，網球圖像在提取中容易受到一些因素的干擾，這些問題對網球識別準確率提出了挑戰，因此網球特征參數提取算法的研究對鷹眼系統有重要意義。

該算法充分研究了鷹眼系統運動目標檢測和參數提取過程并考慮了網球運動場的相關特點，其中包括可能出現其他飛行運動物體以及多個網球在同一圖像的情況，如網球在光照下產生的影子等，針對這些可能的情況，采用不同算法相結合的方法共同完成對圖像分割，可以避免上述情況的影響，并且使用的分割算法復雜度低、易操作，可以有效去除圖像中其他無關信息減少運動物體檢測的運算量，并對檢測到的網球圖像進行圖像平滑處理減弱噪音，為了更加精準獲取目標特征參數采用梯度Hough變換對網球的邊緣進行識別提取。

1 算法流程

網球特征參數精確提取算法流程如下圖1所示，首先使用專用高清相機在網球場采集圖像，然后將采集的網球圖像進行圖像背景分割，接著把分割后的圖像去噪處理，并使用Sobel算子完成邊緣提取，采用梯度Hough變換實現網球識別提取，最后計算求取網球特征參數。

圖1 網球特征參數提取流程圖Fig.1 Flow chart of tennis feature parameter extraction

2 圖像預處理

2.1 基于HSV顏色空間網球檢測

國際網球聯合會為了使網球在賽場上區別于其他背景顏色協定網球的顏色為一種專用的“視覺黃”，因此本文中首先基于顏色特征差異對網球圖像進行分割，目前常用的顏色模型類型有很多，如RGB(red,green,blue)顏色模型和HSV(hue,saturation,value)模型，RGB顏色模型是從硬件角度提出的顏色模型，與人眼視覺匹配過程中可能存在一些差異，并且對光線變化比較敏感，而HSV顏色模型是從心理學和視覺出發的面向視覺感知的色彩模型，其H、S和V3個分量分別表示不同的信息，其中色調H主要反映顏色信息，不受光照強度的影響[12]，因此在本研究中采用基于色調H均值進行圖像分割。則常用的RGB圖像轉換為HSV顏色空間公式如式(1)～式(5)，轉換效果如圖2所示。

圖2 圖像處理效果圖Fig.2 Image processing effect picture

V=max(R,G,B)

(1)

M=min(R,G,B)

(2)

(3)

(4)

當計算結果出現H<0情況時，則

H=H+360

(5)

本研究對收集到的網球彩色訓練[13]圖像進行像素H值統計，根據大量的圖像統計結果顯示，H通道直方圖灰度值在40～50區間范圍時出現峰值，且聚類效果明顯，如圖3所示，因此可基于此閾值對HSV顏色空間的網球圖像逐個像素的判斷比較完成圖像的分割操作，基于色調H值圖像分割偽代碼如下：

圖3 網球H通道直方圖Fig.3 Tennis H-channel histogram

ifH(x,y)>40 &H(x,y)<50，

then Pixel(x,y)∈foreground；

else Pixel(x,y)∈background。

2.2 幀間差分與混合高斯模型融合算法

對于幀間差分難以檢測完整目標，易出現空洞以及拖影情況，本算法對多幀圖像進行目標檢測然后利用累積幀差分法的優勢，通過多幀累積對檢測目標進行增強，然后將差分結果和混合高斯模型相融合，提高目標檢測準確性。

2.2.1 幀間差分法原理

幀間差分法將相鄰圖像幀序列作差分處理，將差分結果和預先設定的閾值進行比較，從而獲得圖像中的運動目標，表達式為

(6)

式(6)中：Dt(x,y)為二值圖像;Ft(x,y)和Ft-1(x,y)表示相鄰幀序列；T為分割閾值。

在圖像處理過程中，通常對相鄰的三幀或四幀圖像序列進行作差，然后采用“與”和“或”邏輯操作，得到最終的差分圖像。

2.2.2 混合高斯背景建模

在一段時間圖像幀中，可采用K個高斯分布組成的混合模型來模擬圖像中像素的值[14]，K的適宜值一般為3～5，由于本文中對背景模板精度要求不高，為了減少計算量，K值取3。t時刻像素值X出現的概率計算公式為

(7)

(8)

2.2.3 高斯模型更新

高斯模型更新基本原理為：根據當前圖像幀的像素值和背景模型中的混合高斯分布匹配結果來更新高斯模型，即將當前幀圖像的單個像素值與K個混合高斯分布按照式(9)進行匹配，若滿足式子則認為匹配成功，則按照式(10)更新高斯分布權重[15]，否則淘汰掉現有高斯分布中權值最小的分布，再以該像素值的均值為基礎構建一個新的高斯分布，并為其賦上一個較小的權值和一個較大的方差，均值和方差計算公式見式(11)和式(12)，最后對各高斯分布的權重值做歸一化處理。

|Xt-μi,t-1|≤2.5σi,t-1

(9)

ωi,t=(1-α)ωi,t-1+αMi,t

(10)

μi,t=(1-α)μt-1+αXt

(11)

(12)

式中：α為學習率，在0～1取值。

一般來講，由于圖像背景像素值在圖像幀中變化不大，則標準差小，權重值大的像素點越可能被描述為背景。計算出權重和標準差的比值ω/σ2，根據計算結果從大到小排序，取大于閾值T的前B個高斯模型作為背景模型，表達式為

(13)

在進行前景提取時，將像素值按照式(9)規則和B個背景高斯模型進行匹配，匹配成功即為背景，不成功則為前景。

2.2.4 幀間差分與混合高斯模型融合

本算法利用連續幀間差分檢測目標快速并能很好適應變化環境的優勢，混合高斯模型能夠較為完整檢測運動目標的特性，結合二者的優點將檢測結果進行融合，快速精準的獲取檢測目標，融合過程原理如圖4所示。

圖4 幀差法與混合高斯模型融合原理Fig.4 Fusion principle of frame difference method and Gaussian mixture model

為了進一步優化圖像，減少無關環境信息的干擾，降低后續步驟的運算量，將前述分割后的圖像使用形態學腐蝕和膨脹運算操作，填充圖像中的空洞，閉合內部小孔去除圖像中噪聲和黑點。

2.3 圖像邊緣檢測

在使用Hough圓檢測算法對目標圖像檢測識別前，由于Hough圓變換算法主要是在圖像的邊緣上運算，則可以對網球圖像進行邊緣提取減少Hough變換處理數據量提高運行效率，圖像邊緣檢測算法一般有LOG算子、Prewitt算子、Canny算子、Sobel算子以及Robert算子等[16]，本研究采用Sobel算子完成圖像邊緣的檢測，Sobel算子是一種離散基于一階導數的微分算子，該算子利用局部差分尋找邊緣，計算簡單定位精度高，對噪聲的抑制作用好，適合對背景分割后的網球圖像邊緣進行精確提取,Sobel算子對邊緣像素值檢測分為水平方向和垂直方向，其3×3卷積核計算公式為

(14)

(15)

式中：Gx表示水平方向的偏導數；Gy表示垂直方向偏導數；s表示原始圖像。

3 網球識別和特征參數提取

Hough變換是一種經典的圓檢測算法，采用類似投票方式選取圓，有較高的容錯性[17]，在對網球輪廓進行檢測時，可用標準圓方程擬合網球外輪廓，在笛卡爾坐標系中，網球輪廓的擬合方程可表示為

(16)

式(16)中：(x0,y0)為擬合網球圓心坐標；r為網球圓形輪廓半徑。

傳統Hough圓變換算法將網球圖像邊緣信息從圖像空間映射到對應x0-y0-r三維參數空間進行窮舉累加，即網球邊緣上的每一個像素點(x,y)，根據式(16)對應到參數空間的(x0,y0,r)組合，并進行投票計數，使用預設的閾值得到可能圓心(x0,y0)，因此Hough圓變換算法對邊緣信息有缺失以及輪廓非標準的情況仍然有很好的魯棒性。

但是，傳統的Hough圓變換需要遍歷整個三維參數空間導致出現耗時長計算量大，消耗內存的問題，并且易受參數空間量化間隔的制約。對于這些問題，本研究中使用梯度Hough圓變換對網球輪廓進行檢測識別，減少無效累加計數，改善內存使用情況。該算法計算分為兩個過程：計算網球邊緣梯度信息和提取特征參數。首先利用Sobel算子來完成圖像邊緣梯度的計算[18]，計算公式為

(17)

(18)

由式(17)和式(18)可得

(19)

式中：G(x,y)為圖像邊緣上某一像素點的總梯度；Gx為該像素點在x方向的梯度；Gy為該像素點在y方向上的梯度；θ為該像素點梯度方向與水平方向夾角。

將圓標準方程[式(16)]用圓極坐標方程描述為

(20)

遍歷二值圖像邊緣上所有像素點，沿著Sobel算子計算的邊緣梯度反方向畫線，將直線交點累加計數，根據預先設定的閾值獲取大于該閾值的交點(xn,yn)示意圖如圖5所示，將交點(xn,yn)對應的邊緣上像素點坐標(x,y)代入式(20)并結合式(19)分別得到二維累加數組(x0,r)和(y0,r)，采用photoshop軟件對視頻圖像中的網球進行半徑測量統計，確定網球輪廓半徑的范圍在24～49像素，基于r對(x0,r)和(y0,r)進行篩選，雖然網球輪廓比較平滑規則，但是在計算過程中，網球邊緣仍可能存在離散點以及在圖像邊緣中呈現鋸齒狀不規則分布情況，即使是相同的圓，求取過程中也可能存在偏差影響后續投票結果，出現多個圓心相近半徑相似的圓，因此為了降低可能存在的虛假圓影響提取結果，采用聚類方法提高計算結果的精準度，根據數值大小通過聚類把(x0,r)和(y0,r)分別聚為一類，求取均值作為最終所求取圓的特征參數。

圖5 梯度線圓內交點Fig.5 Intersection point of gradient lines in circle

該Hough圓檢測算法步驟流程如圖6所示。

圖6 圓特征參數提取流程圖Fig.6 Flow chart of circle feature parameter extraction

4 實驗與結果分析

4.1 網球圖像分割結果分析

本實驗采用FUJIFILM XT-3相機在網球場采集分辨率為3 840×2 160的視頻圖像，幀速率30 f/s，網球選用標準比賽網球直徑6.72 cm左右，質量約56.9 g，為了模擬復雜現場環境驗證本算法對網球檢測效果，拍攝時間選在光照較差的18:00左右，以雜亂的樹木，行人不斷往來的大路為背景，并且圖像中含有兩個地面上的網球作為背景干擾，由于網球目標小飛行速度快，不同圖像幀差別較大，經過實驗對比選取連續的三幀圖像作差分處理效果較好。本文實驗平臺為Windows 10企業版，Intel(R) Core(TM)i7-4790 @3.6 GHz 處理器，10 GB RAM,測試環境為MATLAB R2019b和OpenCV。

圖像分割實驗結果如圖7所示，圖7(a)為選取的視頻圖像，圖7(b)是顏色分割后的圖像，圖中的行人和其他背景圖像已被基本除去，但是新發嫩葉的色調和網球較為接近，圖中可以明顯看到許多樹葉顏色分割不完全產生的一些噪點，地面上的網球也被作為前景圖像檢測出來，圖7(c)為三幀差分法結果，圖中網球出現了空洞拖影情況，圖7(d)為混合高斯模型檢測結果，除了檢測到的網球還有運動的行人和運動員，圖7(e)為本算法結果圖，通過幀間差分與混合高斯模型融合算法，去除了圖7(b)中的樹葉噪點和地面上的網球，得到精確的圖像分割結果。

圖7 圖像分割實驗結果Fig.7 Experimental results of image segmentation

本文研究拍攝視頻中隨機抽取第140 幀、191 幀、258 幀和309 幀四幀圖像進行實驗結果如圖8所示，實驗引入查準率，以查準率為指標將上述圖像分割算法實驗結果進行對比分析，圖中的數據表明在復雜背景條件下，單一算法圖像分割查準率普遍都較低，特別是混合高斯模型中運動行人被作為前景圖像檢測到使其查準率偏低，本文算法查準率在80%～90%，相比之下查準率有很大提升，可滿足正常比賽條件下網球參數提取的背景分割需求。查準率公式為

圖8 不同算法實驗對比Fig.8 Comparison of experiments with different algorithms

(21)

式(21)中：TP表示前景像素被正確識別為前景像素的數量；FP表示背景像素被錯誤識別為前景像素的數量；P為查準率。

4.2 網球特征參數提取結果分析

網球中心點坐標參數提取是鷹眼系統的核心算法之一，為了驗證本研究算法提取特征參數的準確性，對飛行網球圖像進行特征參數提取,將網球圖像分別進行傳統圓識別檢測和本文圓檢測算法實驗，圖9所示識別結果表明，由于網球在飛行過程中受光線照射陰影等因素影響，傳統圓識別檢測算法在對如下場景網球識別過程中出現一個網球被識別為多個圓形問題，從而圖像中網球出現多個圓心，而本算法可以較為準確地對網球進行識別。

圖9 網球識別對比Fig.9 Contrast of tennis recognition

引入查準率指標定量分析本算法在網球識別和提取過程中的效果，基于Hough檢測主要提取出的是網球的圓心參數，公式為

(22)

式(22)中：參數E為相對偏差；D為網球圖像真實圓心與梯度Hough變換擬合圓心的距離；S為網球圖像面積。

首先從采集到的視頻中選取10張網球飛行圖像借助軟件工具人工對網球圓心坐標位置數據進行標注，然后采用本研究算法計算并提取網球擬合圓心坐標和半徑，詳細的網球坐標數據以及相對偏差計算結果如表1所示。

從表1數據可以看出，編號1、4、6、9圖像反映網球距離相機較近情況，擬合半徑大，和真實坐標接近，相對偏差較小在0.3%上下，擬合相對更準確，當網球距離相機較遠時，如編號2、3、10圖像，擬合半徑小，相對偏差較大在0.7%左右，識別精準度稍低一些。根據大量的圖像實驗數據，在一般背景條件下，網球擬合的相對偏差數據90%以上處于0.3%～0.7%，綜合分析上述情況網球識別相對偏差基本符合事實總體趨勢，且在大多數情況下識別相對偏差處在較低水平。

表1 本文算法擬合結果Table 1 The fitting results of the algorithm in this paper

5 結論

(1)在基于顏色特征分割的基礎上，運用幀間差分與混合高斯模型相融合算法對運動目標進行檢測完成圖像預處理，解決了單一算法處理運算量大，準確率低的問題。

(2)采用梯度Hough圓變換提取特征參數，在目標特征參數提取過程中，借助Sobel算子獲取的圖像邊緣梯度信息，采用梯度Hough變換算法提高了效率，并融入聚類思想，降低了虛假圓參與投票的可能性，網球特征參數提取的精確度得到了很大的提升。

(3)本研究提出的網球特征參數提取算法，基于圖像學方法處理，算法簡潔易于實現，魯棒性好，且對計算機硬件處理性能要求低，并仍可獲得較高的準確率，可在一定程度上滿足賽場網球參數精確提取的需要，對運動目標特征參數提取算法具有一定的研究參考價值。