人體動作識別中的深度學習模型選擇

廣州中醫藥大學醫學信息工程學院　譚火媛　羅曉牧

?

人體動作識別中的深度學習模型選擇

廣州中醫藥大學醫學信息工程學院譚火媛羅曉牧

目前深度學習已成為機器學習領域最熱門的研究方向，在眾多應用領域取得良好的效果，這使得不少深度學習愛好者躍躍欲試。然而，雖然關于深度學習的研究論文日益增多，但是仍然缺乏如何針對不同的應用場景選擇合適的深度學習模型的指導。本文探討了根據可穿戴式傳感器在人體動作識別中的信號特點，為如何根據不同的動作識別任務選擇合適的深度學習模型提供參考。

深度學習；動作識別；卷積神經網絡（CNN）；遞歸神經網絡（RNN）

在普適計算 （Ubiquitous Computing） 中，基于深度學習的人體動作識別開始逐漸地取代現存依賴于人工手動特征提取和分類的分析方法。但是對于各種不同的動作識別任務，包括精準手勢動作識別、跑步、上樓梯等不同粒度的行為，如何選擇合適的模型仍然沒有一個統一的分析方法。本文通過結合深度學習領域最新的論文，探索卷積神經網絡 （Convolutional networks， CNN）和遞歸神經網絡（Convolutional Neural Network， RNN）在人體動作識別中的應用。通過大量隨機采樣模型配置的動作識別實驗，比較不同模型在人體動作識別的不同任務上的適用性，可以為對深度學習感興趣的研究人員提供一定的參考。

1　深度學習在人體動作識別中的研究現狀

在過去十年中，深度學習已成為機器學習領域最熱門的研究方向，并且在學術研究和商業用途的驅動下，出現越來越多的變體。通過 Torch7［1］等機器學習框架，深度學習能被大眾所使用，并且在很多應用領域中發揮重要作用。

1.1人體動作識別的研究現狀

普適計算中的人體動作識別是受益于深度學習的領域之一。人體動作識別中相關的研究方法包括：對穿戴設備時序數據的滑動窗口分段、手動特征提取過程以及一系列的（有監督）分類方法。很多情況下，這些相對簡單的方法已經能夠獲得較高的識別準確度。然而，一些更復雜的行為動作對這些需要手動設計的方法提出了一定的挑戰，例如在醫療應用中的動作識別等［2］。

1.2深度學習在人體動作識別中的應用障礙

深度學習將對普適計算中的人體動作識別帶來巨大影響，它將取代缺乏魯棒性且需要手動設置的特征提取過程。然而，對于研究者而言，為他們的具體應用場景選擇合適的深度學習模型是一件比較困難的事情。很多促進深度學習發展的研究幾乎都只是呈現了系統的最優效果，而很少介紹這些看起來最優的參數是如何確定的。在參數探索過程中，對于最佳效果是如何與一般情況下的效果比較，也沒有做出很好的解釋。

盡管已經有一些關于深度模型在動作識別的各種應用場景中的探索，但是缺乏一個系統的關于深度模型適用性的分析。各種論文的作者報告他們在初步實驗中探索參數空間，但是通常忽略細節。實驗的整個過程不但不清晰，而且難以復制。一些論文中展現單個實例，例如卷積神經網絡在某一特定場景獲得較好的識別效果，然而單單報告峰值性能數據并不能反映一種方法在普適計算中的所有識別任務具有適用性，因為還需要花費多少精力去優化提出的方法以及調試與之比較的方法仍然是未知的。一個研究者尋找到跟論文中效果同樣好的參數配置的可能性有多大？在參數探索的過程中報告的與其他模型比較的識別效果有多大的代表性？哪一個參數對識別效果的影響最大？這些問題對于研究者是非常重要的，但是目前在相關研究中很少有提及，這很大程度上限制了深度學習在人體動作識別中的應用和推廣。

2　常用的深度學習方法在人體動作識別中的應用

使用可穿戴傳感器收集的人體運動數據是多變量時間序列數據，在普適計算中分析這些數據通常是使用基于管道（pipelinebased）的方法。首先是將這些時間序列數據分割成連續的段或者幀，可以基于一些信號特征例如信號能量來劃分，或者通過時間滑窗的方法分段。然后從每一幀或每一段提取一組特征，其中最常見的包括統計特性或頻域特性。

2.1卷積神經網絡在人體動作識別中的應用

目前在普適計算中比較受歡迎的是基于卷積神經網絡的模型，許多研究人員都在探索它們在不同動作識別任務中的識別效果。卷積神經網絡因其可以采用原始信號直接作為網絡輸入而避免了復雜的特征提取過程，已經應用在特定領域，例如檢測自閉癥的典型動作［3］，這一應用很顯然優于之前領先的識別方法。

2.2遞歸神經網絡在人體動作識別中的應用

在普適計算中，幀與幀之間通常被看作是統計獨立的，因此生成模型的應用也是非常成功的，例如隱馬爾科夫模型（HMM）。那些能夠利用時序數據的時間相關性的方法，自然也就成為構建人體運動模型的選擇。深度遞歸神經網絡，尤其是那些依靠長期短期記憶單元（LSTMs）的遞歸神經網絡，最近在各種應用場景中已經取得了令人印象深刻的識別效果。 首先，Neverova等利用記錄在人們手機上的運動數據研究了各種遞歸方法在人體識別中的識別效果［4］。接著Ordonez和 Roggen等在OpportunityDataset和SkodaDataset兩個動作識別數據集上將遞歸神經網絡與卷積神經網絡聯合使用［5］。實驗表明，在OpportunityDataset這個數據集中，遞歸神經網絡與卷積神經網絡聯合使用的識別效果優于其他方法；在SkodaDataset數據集中，使用遞歸神經網絡優于不使用遞歸方法的模型。應用遞歸神經網絡僅僅是為了在更抽象的層面上更有效地擬合時間相關性。目前，遞歸神經網絡還沒有用于擬合更低層面的用傳感器采集到的相互獨立動作數據。

3　結論

本文探討了目前最常用的深度學習方法應用于基于可穿戴式傳感器人體動作識別的識別效果。從研究者的角度來看，他們感興趣的并不是每種模型的最好識別效果是多少，而是探索參數的過程和理解每種模型的本質并知道它們在不同動作識別任務中的適用性。

通過探討大量最新的論文，本文得出［6］：（1）對于那些持續時間短但是有序的動作，遞歸神經網絡的識別效果明顯優于卷積神經網絡。因為遞歸方法在一段長時間序列內可以聯系上下文，結合上下文做出判斷。（2）在大部分數據集中，對于雙向的遞歸神經網絡（bi-directional RNNs），每一層的單元個數對于模型最終的識別效果有很大的影響。（3）對于持續時間長且不斷重復的動作例如走或者跑，推薦使用卷積神經網絡。研究者在實驗過程中可能會發現有些數據集使用遞歸神經網絡識別效果會和卷積神經網絡相差無幾，甚至是優于卷積神經網絡，但是研究者可以通過平均識別效果選擇適合的結構模型。（4）在開始優化網絡結構之前，建議先探索學習速率，因為學習到的參數對于模型的識別效果有很大的影響。

通過對論文的探討發現，對于不同模型的不同參數設置，最終的識別效果會有很大的區別。普通的深度神經網絡對于研究人員來說也許是最容易應用到不同的數據集中的模型，但它需要投入大量的精力來調試參數。所以，盡管在初始的模型探索中模型的識別效果較差，但是研究人員也不應該丟棄該模型。更加復雜的方法例如卷積神經網絡或者遞歸神經網絡的識別率差異較小，這樣就更有可

能在僅僅幾步的迭代中找到一個識別效果較好的模型。

［1］Ronan Collobert，Koray Kavukcuoglu，and Clement Farabet. Torch7:A matlab-like environment for machine learning.In BigLearn，NIPS Workshop，2011.

［2］Nils Y Hammerla，James M Fisher， Peter Andras， Lynn Rochester，Richard Walker，and Thomas Plotz.Pd disease state assessment in naturalistic environments using deep learning.In AAAI，2015.

［3］Nastaran Mohammadian Rad，Andrea Bizzego，Seyed Mostafa Kia，Giuseppe Jurman，Paola Venuti，and Cesare Furlanello.Convolutional neural network for stereotypical motor movement detection in autism. arXiv:1511.01865，2015.

［4］Natalia Neverova，Christian Wolf，Griffin Lacey，Lex Fridman，Deepak Chandra，Brandon Barbello，and Graham Taylor. Learning human identity from motion patterns. arXiv:1511.03908， 2015.

［5］Francisco Javier Ordonez and Daniel Roggen. Deep convolutional and lstm recurrent neural networks for multimodal wearable activity recognition. Sensors，16（1）:115， 2016.

［6］Nils Y.Hammerla，Shane Halloran and Thomas Ploetz.Deep，Convolutional，and Recurrent Models for Human Activity Recognition using Wearables.arXiv:1604.08880［cs.LG］.

譚火媛（1993-），女，廣東云浮人，本科在讀，醫學信息工程專業，研究方向：機器學習。

羅曉牧（1980-），男，廣東廣州人，講師，工科博士研究生畢業，研究方向：機器學習，無線傳感器網絡，生物信號獲取。

國家自然科學基金（No.61301294）、2016年廣東省大學生創新訓練計劃項目（No. 201610572084）。