基于三幀差法的人體水中運動軌跡跟蹤系統設計

林曉菊

摘 ?要： 為了解決傳統的人體運動軌跡跟蹤系統在進行水下跟蹤時模型三維重建時間長，得到的跟蹤軌跡與人體實際運動軌跡不符的問題，基于三幀差法設計一種新的人體運動軌跡跟蹤系統。該系統針對水下環境進行深入研究，在硬件架構中設立了初始化層、運動檢測層和人體跟蹤層，并構建三維人體模型、運動特征提取模塊和運動特征分割模塊，以此確定人體的邊界特征、灰度特征、輪廓特征和膚色特征。引用三幀差法設立系統軟件流程，共分為圖像檢測、差分圖像獲得、閾值處理、連通性分析、圖像判別五步。為檢測跟蹤系統效果，與傳統跟蹤系統進行實驗對比，結果表明，基于三幀差法設計的人體水下運動軌跡跟蹤系統可以在短時間內構建出三維模型，繪制的跟蹤軌跡與實際運行軌跡相似度高于傳統跟蹤系統。

關鍵詞： 水下跟蹤系統; 圖像檢測; 差分圖像獲得; 圖像判別; 人體運動軌跡; 運動軌跡跟蹤

中圖分類號： TN02?34; TP391.4 ? ? ? ? ? ? ? ? ? ? 文獻標識碼： A ? ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2019）13?0051?05

Design of human body underwater motion trajectory tracking system

based on three?frame difference method

LIN Xiaoju

（Guizhou Institute of Technology， Guiyang 550000， China）

Abstract： The traditional human motion trajectory tracking system used for underwater tracking has long 3D model reconstruction time， and the obtained tracking trajectory cant match the actual motion trajectory of the human body. A new human motion trajectory tracking system is designed on the basis of three?frame difference method. The system is deeply researched according to the underwater environment. The initialization layer， motion detection layer and human tracking layer are set up in hardware architecture. The three?dimensional human body model， motion feature extraction module and motion feature segmentation module are constructed to determine the boundary features， grayscale features， contour features and skin color features of the human body. The system software flow is set up by three?frame difference method， which is divided into the steps of image detection， differential image acquisition， threshold processing， connectivity analysis and image discrimination. In order to detect the effect of the tracking system， the proposed tracking system is compared with traditional tracking systems by means of experiment. The results show that the human underwater motion trajectory tracking system based on three?frame difference method can construct a three?dimensional model in a short time， and the similarity of the drawn tracking trajectory and actual running trajectory is higher than that of traditional tracking systems.

Keywords： underwater tracking system; image detection; differential image acquisition; image discrimination; human motion trajectory; motion trajectory tracking

0 ?引 ?言

近年來，人體運動軌跡成為重點研究對象，在智能監控、體育運動分析、動畫設計等領域都有著重要應用[1]。人體運動軌跡跟蹤是一個復雜的問題，而水下跟蹤更加復雜，目前比較有效的水下跟蹤系統是利用特殊光學標記的跟蹤系統，該系統可以根據人體在水下反應的光線進行跟蹤[2]。然而這種方法造價昂貴，需要使用大量昂貴設備，操作過于繁瑣，很難從真正意義上推廣使用[3]。

作為兩幀差法的改進算法，三幀差法能夠連續截取三幀視頻進行差分運算，在消除運動背景之后，精確地提取出運動目標的輪廓信息[4]。三幀差算法會先計算出相鄰兩幀的差分圖像，在差分圖像中選取合適的閾值，通過二值化處理得到二值化圖像。每一個像素點得到的二值圖像利用邏輯運算尋找出共同部分，從而確定運動目標的輪廓信息[5]。

綜上所述，本文基于三幀差法設計了一種新的人體運動軌跡跟蹤系統，同時使用人機交互技術和智能監控技術，能夠識別大量基礎工作，并且對人的行為進行自動監視和追蹤[6]。本文設計的運動軌跡跟蹤系統在傳統系統上進行了加強，對硬件和軟件進行優化設計，加入了多種姿態參數，能夠綜合分析系統提煉的跟蹤數據，引進三維人體模型，使跟蹤工作變得更加簡單，提高定位的精準性。多個攝像機同時在水下拍攝視頻，拍攝結果統一輸入到中心系統中，借助計算機視覺技術提取有效的運動參數和結構信息，從而得到更加可靠的運動模型。本文設計的跟蹤系統不需要引入過于復雜的設備，只需要使用普通的攝像機就可以完成跟蹤任務，防水處理使它即使面對復雜的水下環境也可以完成跟蹤。

1 ?人體水中運動軌跡跟蹤系統硬件設計

本文基于三幀差法設計的人體水中運動軌跡跟蹤系統在硬件中引入了人體三維重建模型，通過重建技術反映人體在水下的運動狀況，三維重建精度高，跟蹤準確性強。

1.1 ?人體水中運動軌跡跟蹤系統硬件總結構設計

本文設計的人體水中運動軌跡跟蹤系統硬件共有三層，分別為初始化層、運動檢測層和人體跟蹤層，每層負責的工作不同。初始化層負責將攝像機定位，并將所有視頻數據初始化處理;運動檢測層能夠提取運動特征參數，監測運動區域;人體跟蹤層內部設立追蹤模型和濾波框架，以二維方式和三維方式輸出跟蹤結果[7]。

系統硬件選用的處理器為PIV處理器，工作頻率為2.4 GHz，處理一幀圖像的時間大約為2 min，拍攝所用的PC機為DDR PC機，存儲內存高達256 MB。由于在跟蹤過程中會產生一定的誤差，所以設立了優化跟蹤框架，使得到的輪廓特征和邊界特征參數都可以在優化特征框架中進行優化處理，確保跟蹤系統的工作性能[8]。由于水下場景背景復雜，提取邊界特征十分困難，所以引入膚色約束特征，利用多攝像機完成跟蹤工作，使跟蹤系統在計算機中重建的結果與人在水下的真實運動軌跡相符。

基于三幀差法設計的人體水中運動軌跡跟蹤系統硬件總體結構如圖1所示。

分析圖1可知，初始化層內部擁有一個多關節描述的人體模型，該模型能夠精準地模仿人體在水下肢體的真實行動，并且能夠對攝像機采集到的視頻數據進行標定，計算不同視角反射出來的投影矩陣[9]。

運動檢測層能夠將運動區域的前景和背景分割出來，區分檢測，提取圖像底層特征，使運動特征和運動模型呈現對應關系，運動檢測模塊會特別區分膚色區域，將膚色區域作為重點跟蹤對象。

圖1 ?人體水中運動軌跡跟蹤系統硬件總體結構

人體跟蹤層內部設有多個圖像坐標系，可以根據視角不同建立不同的模型圖像，優化粒子濾波框架會自動求解人體運動姿態，輸出結果分為二維圖形和三維模型兩種[10]。

針對系統硬件中的主要功能模塊進行研究。

1.2 ?三維人體模型設計

為了能夠更好地使用提取出來的參數，建立三維人體模型，模型分為兩部分：第一部分能夠表示運動學特性，被稱為骨架結構;第二部分能夠表示人體運動的外觀特性，被稱為身體外觀。骨架結構的各個關節之間存在不同的連接關系，本文引用解剖學理念在骨架關節上設立節點，通過改變節點的平移向量和旋轉向量來改變骨架結構的運動方式。骨架結構內部設立24個自由度，調整參數可改變關節中的自由度。

圖2 ?人體骨架結構

在研究出骨架結構后，便可以定義附加在骨架結構上的外觀模型，外觀模型用來描述人體外形，為更加貼近人體形態，要利用多個投影得來的圖像，通過不同形狀反映人體器官。本文設立的人體外觀模型如圖3所示。

圖3 ?人體外觀模型

1.3 ?運動特征提取模塊設計

本文利用攝影機來定位運動特征，攝像機和攝像機之間的距離比較遠，所以不能直接使用標定板得到外部參數。因此，本文在傳統系統的基礎上進行改進，以標定的方法提取運動特征，在保證精度的同時提高提取速度[11]。標定模塊擁有4個定標圓盤，通過這4個圓盤確定出一個統一的坐標系，為方便標定，圓盤處于同一平面，所有的攝影機都要提供相同的參數。4個圓盤的擺放方式為順時針擺放，擺放圖形為四邊形[ABCD]，將圓盤A和圓盤B連接，并設立線段[AB]所在的射線為[x]軸，沿著[x]軸旋轉90°得到的射線為[y]軸，垂直于[x]軸平面并指向地面的軸為[z]軸。沿著[xy]軸攝像機圓盤的擺放方式如圖4所示。

圖4 ?[xy]軸攝像機圓盤擺放方式

1.4 ?運動特征分割模塊設計

利用三幀差法提取出來的視頻圖像為像素點集合，如果直接與三維模型進行匹配，則難以匹配成功，所以提取的運動特征要與人體模型建立對應關系。使用切割法和圖像融合法將人體從圖像中分割出來，并將外輪廓和邊界提取出來，分析灰度值，判斷梯度和不同的顏色特征，結合研究使分割結果更加可靠[12]。此外，加入圖像切割器，使系統在不影響整體分割結果的前提下對錯誤的像素點進行修正，降低噪聲，確保工作過程的穩定性。

分割的主要特征有圖像的灰度特征、圖像的邊界特征、圖像的外輪廓特征以及圖像的膚色特征。提取的圖像特征如圖5所示。

圖5 ?提取的圖像特征

灰度特征是可以直接作為匹配的重要特征值，每一個三維模型都會對應一個灰度特征模板。邊界特征通過視頻投影得到，分析人體在水下各段肢體的邊界從而得到邊界特征。外輪廓特征的提取可以幫助跟蹤系統不受到圖像紋理和顏色的干擾，魯棒性更強。膚色特征作為約束特征，可以降低跟蹤系統在水下跟蹤的工作難度。

2 ?人體水中運動軌跡跟蹤系統軟件設計

在設計出硬件結構之后，對軟件進行設計。由于水下采集的視頻序列具有連續性的特點，所以本文引用的計算方法為三幀差法，該算法能夠在相鄰兩幀圖像中建立灰度差，通過分析灰度差之間的絕對值是否超過閾值，判斷運動目標，從而得到更加精準的跟蹤結果。對于運動較快的物體，三幀差法尤其適用[13]?；谌龓罘ǖ娜梭w水中運動軌跡跟蹤系統軟件流程圖如圖6所示。

圖6 ?三幀差法跟蹤系統軟件流程圖

計算時，需要格外注意閾值[T]的選擇，如果閾值數值選擇過小，那么將會難以抑制圖像中的噪聲干擾;如果閾值數值選擇過大，部分目標信息可能會被掩蓋。當場景光線發生改變時，閾值[T]的數值也有可能發生改變。

3 ?實驗結果對比與分析

3.1 ?實驗目的

為了檢測本文研究的基于三幀差法的人體水中運動軌跡跟蹤系統的實際效果，與傳統跟蹤預測系統進行對比。

3.2 ?實驗參數設置

設置實驗參數如表1所示。

3.3 ?實驗結果與分析

根據上述參數進行實驗，選用本文研究的基于三幀差法的人體水中運動軌跡跟蹤系統和傳統跟蹤系統，對同一個人在水中的運動軌跡進行跟蹤，記錄跟蹤軌跡的三維重建時間以及重建的跟蹤軌跡，根據得到的結果對兩種系統的性能進行具體分析。

得到的實驗結果如下所示：

1） 模型三維重建時間結果對比

分析表2可知，根據水下環境的復雜程度，本文分為五個等級，等級A代表水下環境最為良好，跟蹤起來也相對簡單，等級E代表水下環境最為復雜，跟蹤起來相對困難。隨著水下環境復雜度的增加，跟蹤系統構建三維模型的時間也在不斷增加，但是本文跟蹤系統花費時間遠遠小于傳統系統花費時間。

表1 ?實驗參數表

表2 ?重建時間實驗對比結果

2） 人體運動軌跡跟蹤結果對比

圖7 ?人體運動軌跡跟蹤結果

觀察圖7可知，在相同的跟蹤時間內，本文預測系統得到的運動軌跡與實際運動軌跡十分相符，出現多個重合點，而傳統預測系統得到的運動軌跡與實際運動軌跡相差很大。由此可見，本文設計的預測系統構建模型時間更短，預測結果準確性更高，更適合在水下環境預測人體運動軌跡。

4 ?結 ?語

本文針對水下環境進行重點研究，利用三幀差法設計并實現了一種適應于水下的人體運動軌跡跟蹤系統，系統內部設計了多個攝像機，能夠精準全面地提取水下人體的運動特征。引用三幀差法之后，系統的魯棒性得以增強。通過傳統系統和本文設計的系統在水下的跟蹤實驗對比結果可知，基于三幀差法設立的系統能夠較為精準地跟蹤到人體在水中的運動軌跡，并且在短時間內進行三維重建，針對錯誤參數進行自主恢復，在水下運動分析以及動畫制作等領域都有著廣闊的發展前景。