基于視頻的動物交替轉向行為自動檢測方法

梁 存，危海明，周小芹

（1.河海大學物聯網工程學院，常州213022；2.常州市特種機器人與智能技術重點實驗室，常州213022）

·微機軟件·

基于視頻的動物交替轉向行為自動檢測方法

梁 存1，2，危海明1，周小芹1，2

（1.河海大學物聯網工程學院，常州213022；2.常州市特種機器人與智能技術重點實驗室，常州213022）

交替運動轉向行為，即動物在迷宮中連續轉向時，其運動轉向與前一次轉向是相反的。傳統做法是利用人工觀察和手工記錄，觀察動物的運動轉向行為。基于視頻的運動行為分析為動物行為研究提供了一種便捷、準確的研究工具，然而這些方法主要針對大鼠、小鼠和昆蟲類等動物。潮蟲（woodlice）是一種研究動物交替轉向行為的常用實驗動物，其個體遠小于小鼠，又比果蠅大許多。由此提出了一種適用于潮蟲的視頻自動分析算法，該算法利用線性迭代的跟蹤算法獲得運動信息，同時可以獲得潮蟲運動轉向與轉向時間。實驗結果表明：運動轉向和運動轉向時間結果比較準確。此方法為交替轉向行為研究提供了一種準確客觀的實驗工具。

交替運動轉向；視頻；線性迭代跟蹤算法；潮蟲

1 引 言

近年來，研究工作者在研究中發現，大多數動物具有交替運動轉向特性［1］。交替運動轉向，即動物在迷宮中可以連續自由選擇轉向，后一次的運動轉向與前一次的運動轉向相反。

交替運動轉向主要應用于動物的康復評價與健康評估。對于腦損傷和記憶力衰退的動物來說，是一種重要的健康評估手段。1925年，Tolman EC［2］就開始研究這種行為，嘗試了不同因素對交替行為的影響。文獻［3］概述了研究動物的交替運動轉向主要受很多因素的影響，不同因素對動物交替運動影響不同。此外，對不同物種，實驗方法也不一樣，如對小鼠、大鼠等哺乳動物，考慮氣味、攝食策略、年齡、情感等因素對交替運動轉向行為的影響；而對于潮蟲等節肢動物，則主要考慮年齡、動物大小尺寸等因素的影響。

國內在交替運動轉向領域研究較少，唐伯平［4］利用上千只團子蟲在不同條件下，觀察交替運動轉向并作了初步分析和統計。國際R.N.HUGHES對上百只潮蟲在不同條件下，分析交替運動轉向［5］。實驗結果表明強迫轉向后的距離越長，交替運動轉向率越低。同樣，ALAN W.HARVEY對草履蟲的交替運動轉向，根據通道寬度和通道長度不同分別設計實驗［6］。實驗結果表明，通道寬度對交替轉向沒有什么影響，通道長度對交替轉向存在差異。Robert N.Hughes利用交替運動轉向對藥物治療后的記憶進行測試［7］。

這些文獻的實驗都是通過人工觀察和手工記錄，實驗結果的分析與處理不僅耗時費力，而且可能誤計。更重要的是，肉眼觀察動物交替轉向行為，很難記錄轉向所花費的時間。基于視頻研究動物運動行為越來越廣泛。由于人工手段耗時并記錄不準確，因此基于視頻自動處理和分析系統是可取的。Thomas C.Henderson［8］利用多個攝像頭拍攝的視頻對動物的運動行為分析。Burgos－Artizzu［9］從正面和側面兩個角度記錄視頻對小鼠的行為運動識別。因此，可以采用基于視頻手段，處理視頻數據，獲得運動轉向及運動轉向時間。

2 實驗方法與結果

2.1 基于視頻實驗方法

基于視頻手段對運動轉向進行研究，以潮蟲為研究對象，此項研究其意義在于：不僅將運動轉向研究拓寬到對節肢動物的研究，同時開展了動物運動轉向的自動識別研究，更是為動物運動行為提供了一種便捷且準確的工具。

2.1.1 運動目標檢測與跟蹤算法

基于視頻的動物運動轉向研究，核心是對動物的運動檢測和跟蹤。有效檢測和跟蹤才能提取較為準確的運動行為信息。

動物運動檢測的常用方法有：背景差分法［10］、幀差法［11］、光流法［12］，在背景較為復雜的情況下，常用高斯混合模型［13］。它利用多個高斯模型進行更新，在獲得新的一幀圖像后更新高斯混合模型，用當前圖像的每個像素點與高斯模型進行匹配，如果匹配成功，則稱為背景，否則，則稱為前景。

動物運動跟蹤的經典算法是kalman濾波［14］，它利用kalman濾波對運動目標進行預測和估計?？柭鼮V波采用的是目標動態信息，設法減少噪聲等影響，得到很好的目標位置估計。因此，利用高斯混合模型與kalman濾波共同完成動物運動的檢測和跟蹤，其魯棒性較高，但比較耗時，不能滿足實時處理。

為解決算法耗時問題，可采用方框法提取運動目標的質心。方框法利用的是一種基于線性遞歸算法的迭代跟蹤算法［15］，其跟蹤機制是捕獲跟蹤目標的外部變化，并確保模型實時更新。

下面對高斯混合模型和卡爾曼濾波與線性遞歸迭代跟蹤算法進行實驗測試，并對實驗中各自耗用的時間以及實驗結果進行比較。

2.1.2 基于視頻的運動行為處理

動物運動分析研究處理過程：首先將采集后的視頻數據分幀，再利用跟蹤算法在視頻幀數據中跟蹤動物運動，獲取動物的位置信息，得到其運動軌跡；再根據設定的迷宮，利用定義判斷動物的運動轉向，同時根據轉向的幀數來獲取轉向的耗用時間，其流程圖如圖1所示。

圖1 潮蟲行為視頻處理流程

2.2 實驗過程

2.2.1 實驗對象選取

選取潮蟲為實驗對象。潮蟲，俗稱鼠婦，個體比較小，成年潮蟲體長為10－15mm，體寬為4－6.5mm，形狀為長橢圓形［16］。在室外的磚頭、花盆下可以比較容易地采集潮蟲。

在設計好的迷宮中，觀察潮蟲運動轉向。迷宮包括三個部分，即為自由轉向，“正確”強迫轉向，“錯誤”強迫轉向。其中“正確”強迫轉向為：當第一次強迫向右轉向，則第二次強迫向左轉向，第三次為強迫向右轉向，依次完成交替運動轉向。“錯誤”強迫轉向：當第一次強迫向右轉向，則第二次繼續強迫向右轉向，第三次繼續強迫向右轉向，這種轉向不是交替的運動轉向，則稱為“錯誤”強迫轉向。如圖2所示為自由轉向和強迫轉向的示意圖。

圖2 強迫轉向和自由轉向示意圖

2.2.2 數據采集

實驗中，設計一個視頻采集系統，視頻采集系統包括攝像頭、電源、接頭、采集卡和線材等。其中，采用的攝像頭為索尼CCD，采集卡為Easycap。采集的視頻為黑白視頻，采集視頻數據的視頻參數為：幀率為25幀／秒，格式為avi格式，數據速率為286kbps，總比特率為286kbps，幀寬度為320，幀高度為240。

2.2.3 數據處理

實驗數據處理采用matlab軟件。

利用經典算法（高斯混合模型＋kalman濾波）和方框與質心（線性遞歸迭代跟蹤算法）兩種算法對視頻幀數據所耗用時間進行比較，實驗結果如表1所示。其中，利用方框和質心的方法，采用手工標記第一幀跟蹤目標的位置以及所在初始區域。在表1中，發現新方法比經典方法所耗用時間短。對于實時性處理而言，現用方法要比經典方法實時性效果好，克服了經典算法耗時長的缺陷。

表1 傳統方法和現用方法所耗時間的比較

2.3 結果分析

2.3.1 利用經典算法處理數據

處理視頻幀數據的實驗結果如圖3顯示。

圖3 傳統算法跟蹤圖

實驗結果表明，利用該算法對潮蟲的跟蹤較為準確，魯棒性較好，但是耗時較長。

2.3.2 利用現用算法處理

處理視頻幀數據的實驗結果如圖4顯示。

圖4 現用方法跟蹤圖

實驗結果表明：利用現用算法采用方框對潮蟲進行跟蹤，其中質心確定潮蟲在迷宮中的位置。實驗數據的動物運動軌跡如圖5所示。

研究動物的運動轉向，對本設計的迷宮判斷方向給出如下定義：首先將設定潮蟲所在初始區域，其區域由左上頂點坐標和右下頂點坐標構成。隨著潮蟲繼續運動，如果潮蟲不在初始區域內運動，將會朝四個方向運動，即東南西北四個方向。

圖5 動物跟蹤軌跡圖

如果向西運動的話，坐標區域x軸坐標減少deta（x），y軸坐標不變，構成新的區域；如果向東運動的話，坐標區域x軸坐標增加deta（x），y軸坐標不變，構成新的區域；如果向北運動的話，坐標區域y軸坐標減少deta（y），x軸不變，構成新的區域；如果向南運動的話，坐標區域y軸坐標增加deta（y），x軸不變，構成新的區域。潮蟲每次到達新的區域，同樣按照該定義來獲得潮蟲下次運動所在的區域。

潮蟲的運動轉向，應以潮蟲為參考系，需要加一個定義：以“向前”，“折返”，“左”，“右”四種狀態來表示潮蟲在迷宮中的運動轉向。給出定義如表2所示。

表2 以潮蟲為基準，所定義的轉向

對圖5進行實驗測試，其初始區域的坐標為：左上頂點（147，78），右下頂點（167，94），由該兩個頂點坐標所構成的初始區域。根據上述兩個定義來對潮蟲的運動轉向作判斷。根據定義判斷對圖5進行測試的實驗結果如表3所示。

表3 自由轉向的實驗結果

實驗中，動物運動轉向所耗用的時間，人工手段可以基于視頻利用秒表對潮蟲的運動轉向時間進行記錄；智能化系統處理可根據潮蟲在轉向區域內幀數的數目來確定時間，利用智能系統與人工基準作比較。

本次實驗對運動轉向的時間記錄，對自由轉向、“正確”強迫轉向及“錯誤”強迫轉向，分別進行實驗。這三種情況下迷宮在開始處都有強迫轉向，其中自由轉向時入口處有一次強迫轉向。其各自采用80只潮蟲進行運動轉向視頻錄制，每只潮蟲僅參與一次錄制（為了避免記憶等其他因素對運動轉向產生的影響）?；谝曨l用人工手段采用秒表對運動轉向進行記錄，當潮蟲進行運動轉向時，潮蟲質心位置超過轉向線時開始記錄，在當潮蟲質心位置超出另一端轉向線時結束記錄。通過這種方法來獲得潮蟲的轉向時間，將各自轉向時間求平均如表4所示。

表4 人工記錄運動轉向時間

在表中，可以發現在三種情況下，“強迫”轉向耗用時間要比自由轉向長，這初步可以判斷潮蟲存在一些特定規律。

因利用攝像頭拍攝并記錄，獲得的視頻幀率為25frame／s，則每幀的時間間隔為0.04s。所以潮蟲在轉向時，可以設定轉向區域，判斷潮蟲運動的質心點個數，即潮蟲在此處區域的幀數，從而可根據幀數與時間間隔的乘積，獲得潮蟲在轉向處的時間。對實驗中圖5進行實驗測試，其結果如表5顯示。

表5 運動轉向時間統計

實驗結果表明，利用該法可看出與人工記錄的時間相比，基本準確。

3 討論與結論

利用人工觀察的傳統方法對動物運動行為進行研究，存在耗時和不準確等缺陷，采用基于視頻的方法對動物運動行為進行研究，與先前研究人員所用方法相比，基于視頻研究動物的運動轉向行為，并記錄出轉向所耗用的時間，存在如下優勢：

（1）與人工記錄傳統方法相比，利用視頻方法可以反復觀看，因而數據記錄比較準確。

（2）動物運動行為研究，常把小鼠作為研究對象，對動物運動行為識別并作分析，但很少對運動轉向進行研究。對于運動轉向研究，常把潮蟲作為研究對象，可采用基于視頻的方法來進行運動轉向研究，自動獲取運動轉向。通過運動轉向可以對動物進行健康評估，并對腦損傷和記憶力衰退的動物做康復評估，這是一種客觀準確的技術。

（3）本實驗還可記錄轉向的時間。在以往試驗中都采用人工肉眼觀察的方法，難以記錄運動轉向的準確時間，該實驗記錄了大量的運動轉向時間，同時可部分實現自動分析運動轉向時間。

［1］Patricia Ann Ramey，Elizabeth Teichman，Fuat Balci，et al.Spontaneous alternation in marine crabs：Invasive versus native species［J］.Behavioural Processes，2009，82（1）：51－55.

［2］Tolman，E.C.Purpose and cognition.the determiners of animal learning［J］.Psychological Review，1925，32：285－97.

［3］CHARLES L RICHMAN，WILLIAM N DEMBER，et al.Spontaneous Alternation Behavior in Animals：A Review［J］.Current Psychological Research＆Reviews，Winter 1986－87，5（4）：358－391.

［4］唐伯平，歸鴻，吳鈿.團子蟲的交替運動轉向的初步研究［J］.南京師大學報（自然科學報），1988（1）：83－88.

［5］R N HUGHES.Turn alternation in woodlice（Porcellio scaber）［J］.Animal Behavior，1967，15：282－286.

［6］ALANW HARVEY，NYRON K A.BOVELL.Spontaneous alternation behavior in Paramecium［J］.Learning＆Behavior，2006，34（4）：361－365.

［7］Robert N Hughes.The value of spontaneous alternation behavior（SAB）as a test of retention in pharmacological investigations ofmemory［J］.Neuroscience and Biobehavioral Reviews，2004，28：497－505.

［8］Thomas C.Henderson，Xinwei Xue.Video－based Animal Behavior Analysis From Multiple Cameras［C］.2006 IEEE International Conference on Multisensor Fusion and Integration for Intelligent System，September 3－6，2006.

［9］Burgos－Artizzu XP，Dollár P，Lin D，Anderson DJ，et al.Social behavior recognition in continuous videos［C］.In：IEEE Conf Comp Vis and Pattern Recognit（CVPR 2012），2012.

［10］Senior A，Tian H A Y，Brown L，Pankanti S，et al.Appearancemodels for occlusion handling［C］.In 2nd IEEE workshop on performance evaluation of tracking and surveillance PETS，2001.

［11］Robert T Collins，Alan J Lipton，Takeo Kanade，et al.A system for video surveillance and monitoring：VSAM final report［R］.The Robotics Institute，Carnegie Mellon University，Pittsburgh PA，2000.

［12］Yuqiang Fang，Bin Dai.An Improved Moving Target Detecting and Tracking Based On Optical Flow Technique and Kalman Filter［C］.Proceedings of 2009 4th International Conference on Computer Science＆Education，2009，1197－1202.

［13］Stauffer C，Grimson W.Adaptive background mixture models for real time tracking［J］.Computer Vision Pattern Recognition，1999：246－252.

［14］SSBlackman，R Popoli.Design and Analysis of Modern Tracking Systems［J］.Norwood，MA，USA：Artech House，1999.

［15］Dong Wang，Huchuan Lu，Ming－Hsuan Yang.Least Soft－thresold Squares Tracking［J］.2013 IEEE Conference on Computer Vision and Pattern Recognition，2013.

［16］王源，丁梅.鼠婦的采集和飼養［J］.中學生物學，2007，23（7）：27.

Automatic Detection Method of Video－Based Spontaneous Alternation Behavior

LIANG Cun1，2，WEIHai－ming1，ZHOU Xiao－qin1，2
（1.College of Internet of Things Engineering，Hohai University，Changzhou 213022，China；2.Changzhou Key Laboratory of Robotics and Intelligent Technology，Changzhou 213022，China）

The spontaneous alternation behavior is the opposite turning to the previous one when the animals successively turn right or left in a maze.Comparing with the traditional visual observation and manual records，the video－based motion analysis of the behavior provides a convenient and accurate research tool.However，these availablemethods are suited to rats，mice and insects.A woodlice is used as the experimental animal for study of spontaneous alteration behavior，which is less than themice but much larger than the fruit fly.This paper presents an automatic video analysis algorithm for woodlice spontaneous alteration.The algorithm uses a linear iterative tracking algorithm to obtain motion information.The test results show that alteration and its duration are accurate.This algorithm will be a feasible tool for spontaneous alteration research.

Spontaneous alternation behavior；Video；Linear iterative tracking algorithm；Woodlice

10.3969／j.issn.1002－2279.2014.06.011

TP391.4

：A

：1002－2279（2014）06－0033－05

梁存（1988－），男，安徽六安人，碩士研究生，主研方向：圖像處理，機器視覺。

2014－07－23