一種基于雙目視覺的手部震顫檢測與跟蹤方法

安 珂 付 斌

（哈爾濱商業(yè)大學(xué) 輕工學(xué)院，黑龍江 哈爾濱 150028）

數(shù)據(jù)顯示，2021 年我國帕金森病患病人數(shù)超300 萬，平均每年就會增漲約10 萬人。人體中腦黑質(zhì)多巴胺能神經(jīng)元的死亡導(dǎo)致大腦紋狀體多巴胺含量顯著降低，從而產(chǎn)生帕金森病[1]。大約70%的帕金森患者首發(fā)癥狀是肢體產(chǎn)生震顫，震顫通常的表現(xiàn)形式是手部“搓丸樣”，震顫頻率在4-6Hz 左右[2，3]。帕金森病的發(fā)展是無法阻止的，但患者的病況需要進行及時并且準(zhǔn)確的評估。通過雙目視覺系統(tǒng)，可以實現(xiàn)對患者手部震顫的檢測與跟蹤，對手部做標(biāo)記，系統(tǒng)可實現(xiàn)對標(biāo)記點的跟蹤，從而確定震顫運動中標(biāo)記點的運動軌跡。對標(biāo)記點的震顫信號進行數(shù)據(jù)處理，分析量化手部震顫頻率。這種可視化、無創(chuàng)的評估方法能夠更方便快速的分析患者震顫程度，也能輔助醫(yī)生診斷識別帕金森病震顫。本文主要研究一種改進的手部運動檢測與跟蹤方法，為雙目視覺的手部震顫評估技術(shù)的研究工作做出方法分析。

1 手部運動檢測方法

1.1 幀間差分法

相機拍攝的視頻圖像是連續(xù)的，如果場景中沒有運動目標(biāo)，那么連續(xù)幀變化較小，若是其中有運動目標(biāo)，則連續(xù)幀間的轉(zhuǎn)變較為顯著。幀間差分法依靠對鄰近兩幀的圖像進行差分處理，進而獲得差分圖像[4]。場景中背景不變，目標(biāo)在相鄰兩幀產(chǎn)生運動，可通過差分圖像獲得目標(biāo)位置。通過相機獲得第n 幀和第n+1 幀相鄰圖像，則幀間差分法可用公式表示為：

式中fn表示視頻序列第n 幀對應(yīng)的圖像；fn+1表示第n+1幀對應(yīng)的圖像；T 表示閾值化處理的閾值；P 表示第n 幀和第n+1 幀的差分圖像。

通常情況下，鄰近兩幀的差分并不能準(zhǔn)確獲得運動目標(biāo)，前一幀的運動目標(biāo)會在后續(xù)幀中顯露，出現(xiàn)誤判情況，也會造成運動目標(biāo)區(qū)域涉及到相關(guān)的背景位置，所以其會大于實際運動區(qū)域。在實踐運用過程中，為配合之后的運動分析，通常情況下要求獲取最為精準(zhǔn)的運動目標(biāo)，運用三幀取代兩幀差分，進而滿足運動目標(biāo)的檢測需求。

將兩幀差分?jǐn)?shù)據(jù)Pn，n-1（x，y，n）與Pn，n+1（x，y，n）做“與”運算，進而得到目前幀f（x，y，n）之中目標(biāo)邊緣P3（x，y，n），也就是：

式中，×為與運算，得到的邊緣P3（x，y，n），三幀差分法能夠高效地處理遮擋與背景重現(xiàn)，可獲得精準(zhǔn)的目標(biāo)邊緣，同時還有助于抑制光照、陰影與噪聲等構(gòu)成的綜合影響。

三幀差分法算法的主要流程如圖1 所示。

圖1 三幀差分算法檢測運動目標(biāo)流程圖

1.2 融合Canny 邊緣檢測的三幀差分法

Canny 算子是一種多級邊緣檢測算法，由John F. Canny于1986 年開發(fā)出來，至今依然是諸多邊緣檢測算法中用的較多、最經(jīng)典的算法之一。該算法的檢測效果比Sobel、Prewitt 等算子更好。Sobel、Prewitt 等算子在運算時往往忽略邊緣的梯度方向，結(jié)果只是簡單處理二值圖中的單閾值[5]。與此不同，Canny 算法做出改進，提出了基于邊緣梯度方向的非極大值抑制，雙閾值的滯后閾值處理。Canny 算法的處理效果如圖2所示。

圖2 Canny 算法效果圖

P3（x，y，n）為經(jīng)過中值濾波處理之后，通過三幀差分獲得相應(yīng)的運動位置掩模，EⅠ（x，y，n）為基于Canny 算法計算獲取相應(yīng)的邊緣掩模，那么最后的邊緣圖Mn是：

結(jié)合公式可發(fā)現(xiàn)，對于時空域進行整合，能夠精準(zhǔn)測定獲得運動目標(biāo)邊緣，更為高效地應(yīng)對陰影問題。但獲得的邊緣是非連續(xù)的，這就要對邊緣進行連接。

1.3 運動目標(biāo)分割

運用自適應(yīng)形態(tài)學(xué)做連接處理，對于各個端點，運用自適應(yīng)橢圓結(jié)構(gòu)開展相應(yīng)的計算工作，結(jié)構(gòu)元素的具體數(shù)據(jù)與大小，可結(jié)合像素的局部特征，類似于斜率以及曲率調(diào)控，進而獲得膨脹之后閉合的邊緣B（x，y，n），通過相關(guān)膨脹處理，原圖像邊緣會變寬，所以要求對于處理之后的B（x，y，n）圖像綜合EⅠ（x，y，n）開展定位，獲得最后閉合邊緣O（x，y，n）,

對于閉合邊界O（x，y，n）開展相應(yīng)的區(qū)域填充，進而獲得相應(yīng)的二值掩模圖像，將其和目前幀f（x，y，n）開展結(jié)合，借助該方式可滿足運動目標(biāo)分割需求。

2 實驗對比分析

根據(jù)上述流程，本小節(jié)應(yīng)用融合Canny 邊緣檢測的三幀差分法對CMOS 圖像傳感器雙目立體相機拍攝的手部視頻圖像幀進行運動目標(biāo)檢測實驗，對圖像依次利用傳統(tǒng)三幀差分法和本課題算法來處理，編程通過MATLAB 來完成，檢測結(jié)果如圖3 所示。對比圖3 分析可以發(fā)現(xiàn)，傳統(tǒng)三幀差分法對于目標(biāo)的檢測圖像空洞，本文檢測算法更清晰、完整的檢測出手部目標(biāo)，檢測結(jié)果較為精確，達到本文要求，為后續(xù)目標(biāo)跟蹤算法打下基礎(chǔ)。

圖3 手部運動檢測效果圖

3 手部標(biāo)記點跟蹤的實現(xiàn)

3.1 Mean-shift 算法

Meanmshift 算法跟蹤效率很高，應(yīng)用也非常廣泛，目標(biāo)模型為目標(biāo)對應(yīng)的顏色直方圖，通過目標(biāo)顏色出現(xiàn)的概率進行跟蹤，當(dāng)目標(biāo)出現(xiàn)形變、遮擋等問題時，該算法仍然能進行較為精準(zhǔn)的跟蹤。如果目標(biāo)尺寸改變，該算法可以對檢索窗口尺寸自動調(diào)整，使目標(biāo)形變導(dǎo)致丟失目標(biāo)的問題更好的預(yù)防和規(guī)避[6]。Meanmshift 算法實現(xiàn)目標(biāo)跟蹤中，首先建立顏色特征直方圖模型，這一步驟是依據(jù)跟蹤目標(biāo)在HSV 顏色空間的H分量，并依據(jù)該模型得到顏色概率分布圖。其次以顏色概率分布圖為依據(jù)，對位置和目標(biāo)尺寸確定的檢索窗口進行初始化操作，得到后面一幀圖像Meanshift 運算初始檢索窗口，經(jīng)過自適應(yīng)調(diào)整，連續(xù)迭代，從而將視頻幀中，跟蹤目標(biāo)的中心位置連續(xù)定位出來。定位過程如下：

首先，以目標(biāo)顏色概率分布圖為依據(jù)，對搜索窗口零階矩M00 進行計算：

其次，計算x 和y 的一階矩：

最后，計算搜索窗的質(zhì)心位置：

完成質(zhì)心位置計算以后，將其與搜索窗口中心位置進行重合，經(jīng)過調(diào)節(jié)搜索窗口大小，將窗口的移動距離與開始設(shè)定的固定閾值作比較。如果窗口移動距離大于閾值，則重新定位，再通過迭代運算重新計算窗口尺寸及位置，直到窗口移動距離值小于閾值。通過計算機計算，可繪制出矩形形狀鎖定當(dāng)前目標(biāo)長l 和寬w，帶入下一幀的搜索窗口的長寬值就是l 和w。

3.2 改進的Meanshift 算法

通常情況下，MeanShift 算法在獲取目標(biāo)顏色直方圖時，背景顏色信息也會進入，影響跟蹤準(zhǔn)確性。為了能夠更準(zhǔn)確地跟蹤，改進的MeanShift 算法表示目標(biāo)特征時，采用交叉顏色直方圖，它能夠減弱弱背景顏色對目標(biāo)區(qū)域的干擾，實現(xiàn)更準(zhǔn)確跟蹤[7]。

3.3 手部跟蹤實驗與分析

將改進的Meanshift 算法在VS2017 和opencv3.1.0 的軟件上對多個視頻進行實驗測試。在對運動中的手部進行跟蹤時，框選目標(biāo)區(qū)域，得到改進的MeanShift 算法計算的目標(biāo)顏色直方圖，如圖4 所示，圖5 為該算法跟蹤過程中的不連續(xù)的4 幀圖像的結(jié)果。

圖4 目標(biāo)顏色直方圖

圖5 手部動作跟蹤效果

同樣，在對運動中手部標(biāo)記點進行跟蹤時，圖6 為該算法計算得到的目標(biāo)顏色直方圖，圖7 為該算法在對手部標(biāo)記點跟蹤過程中的不連續(xù)的4 幀圖像結(jié)果。

圖6 目標(biāo)色調(diào)直方圖

圖7 手部標(biāo)記點的跟蹤

改進后的Meanshift 算法跟蹤是否更準(zhǔn)確需要檢驗，將若干視頻作為對象，通過傳統(tǒng)Meanshift 跟蹤算法和本文改進后的Meanshift 算法實驗，得到如表1 所示的跟蹤結(jié)果。

表1 不同算法的目標(biāo)跟蹤效果比較

從表1 跟蹤結(jié)果可以看出，改進后的Meanshift 算法跟蹤準(zhǔn)確率均在90%以上，傳統(tǒng)Meanshift 算法在跟蹤過程中易受其他因素的干擾，準(zhǔn)確率不穩(wěn)定，會存在重要圖像幀丟失的情況。通過對改進的Meanshift 算法跟蹤的實驗驗證，可以得出該方法跟蹤效果準(zhǔn)確率高，且算法速度較快完全可以滿足實時性的要求。

4 結(jié)論

本文主要分析了融合Canny 邊緣檢測的三幀差分法，在對三幀差分圖像進行中值濾波處理，濾除孤立噪聲點，與Canny 邊緣檢測算法得到的邊緣掩模進行與運算，將結(jié)果進行邊緣處理、區(qū)域填充，得到運動目標(biāo)的二值掩模圖像，將其與當(dāng)前幀相結(jié)合，實現(xiàn)對手部運動的檢測。之后研究改進后的Meanshift 算法，用交叉顏色直方圖代替?zhèn)鹘y(tǒng)的顏色直方圖，通過實驗發(fā)現(xiàn)，本文研究的改進后的檢測方法，對手部運動能夠進行有效的檢測，檢測結(jié)果清晰完整；在跟蹤算法中，本文研究的改進后的Meanshift 算法在背景干擾較大的情況下，跟蹤精度依然較高，并且保證實時性，提高跟蹤的魯棒性。