深度學習及其在動作行為識別中的進展

張行健　賈振堂　李祥

摘 要：深度學習是近年來備受關注的一個研究領域，是機器學習的一個延伸。通過構建深度學習神經網絡來提取特征是目前應用于動作行為識別中的一個新研究方向。為了引起更多的視覺領域研究者對深度學習的探索和深入，推動在動作行為識別中的研究，文章首先介紹了深度學習的由來、概念和原理，探討深度學習與機器學習（神經網絡）之間的關系；然后介紹近階段利用深度學習在動作行為識別中的進展。最后闡述深度學習目前發展所面臨的問題，以及對未來的展望。

關鍵詞：深度學習；行為識別；神經網絡

1 概述

動作行為識別是計算機視覺領域中的一個研究熱點，已經廣泛應用于智能監控、人機交互、視頻檢索等領域中[1]。動作行為識別技術是通過對視頻或者圖像中人體動作行為做出有意義的判斷。有效表達圖像（視頻）中的實際目標和場景內容是最基本，最核心的問題。因此，對于特征的構建和選擇得到廣泛關注，例如STIP、SIFT、MSER等。但是，能通過無監督方式讓機器自動從樣本中學習到表征樣本的特征，會讓人們更好地利用計算機來實現人的視覺功能。而深度學習作為神經網絡的延伸和發展，是通過逐層構建一個多層網絡來使得機器自動學習到隱含在數據內部的關系，從而讓學習到的特征更加準確性。

文章旨在探討深度學習與機器學習（神經網絡）之間的關系，并且介紹深度學習的由來、概念和原理；同時介紹目前深度學習在計算機視覺中的應用。最后提出深度學習目前發展所面臨的問題，以及對未來的展望。

2 深度學習

2.1 深度學習概述

深度學習源于人工神經網絡的研究，是機器學習的拓展。深度學習是經過組合低層特征來形成更加抽象的屬性類別和特征，從中發現原始數據的特征表征[2]?，F在用于動作行為識別的技術是通過“動作表征”+“動作分類器”的框架來進行行為識別的。其中“動作表征”是人們手動設計特征獲取到的，也就是在目前識別框架內存在一個對動作圖像（視頻）的預處理過程。

深度學習和淺層學習相對。目前許多學習算法是淺層網絡學習方法，具有一定的局限性，例如在樣本有限的狀況下，表示復雜函數的能力有限制，且對復雜分類問題的泛化能力也會受到一定約束[3]。而深度學習通過學習深層非線性網絡結構，達到復雜函數逼近，又能在樣本少的情況下學習原始數據的特征。BP算法作為傳統神經網絡的典型算法，雖然訓練多層網絡，但僅含幾層網絡，訓練方法很不理想[3]。因為其輸入和輸出間非線性映射讓網絡誤差函數形成含多個極小點的非線性空間，因而經常收斂到局部最小，且隨著網絡層數的增加，容易過擬合。而深度學習可以獲得分布式表示，通過逐層學習算法來得到原始輸入數據的主要變量。通過深度學習的非監督訓練完成，同時利用生成性訓練避免因函數表達能力過強而出現過擬合情況。

2.2 深度學習原理

傳統機器學習僅含單層非線性變換的淺層網絡結構，而且淺層模型單一。這對于深度網絡來說易造成陷入最優或產生梯度分散等問題。因此，Hinton等人在基于深度置信網（DBNs）的情況下提出非監督貪婪逐層訓練算法，隨后提出了多層次自動編碼器深層結構，這給解決深層網絡結構相關的優化難題帶來了希望。此外Lecun等人提出的卷積神經網絡是第一個多層次結構的學習算法。同時深度學習還出現了許多結構：多層感知機、去噪自動編碼器、稀疏編碼等。

卷積神經網絡是第一個真正采用多層次網絡結構，具有魯棒性的深度學習算法，通過探究數據在空間上的相關性，減少訓練參數的數量。而且卷積神經網絡（CNN）適應性強，善于發現數據的局部特征。它的權重共享結構降低了網絡模型的復雜度，減少了權值的數量，使得卷積神經網絡在模式識別中取得了很好的結果。

自動編碼器的核心關鍵是將原始圖像（視頻）輸入信號進行編碼，使用編碼后的信號來重建原始信號，使得兩者之間的重建誤差最小。通過將原始信號編碼成另一形式，能夠有效地提取信號中的主要信息，能夠簡潔地表達原始圖像（視頻）的特征。

3 深度學習的應用

3.1 語音識別

從2009年開始，微軟研究院語音識別專家通過與Hinton合作，首先將RBM和DBN引入到語音識別聲學模型訓練中，使得語音識別的錯誤率相對減低30%，這徹底改變了語音識別原有的技術框架。在國際上，IBM、google等公司都快速進行了DNN語音識別的研究，并且速度飛快。國內方面，阿里巴巴，科大訊飛、百度、中科院自動化所等公司或研究單位，也在進行深度學習在語音識別上的研究。

3.2 視頻中的動作行為識別

準確迅速識別視頻中人的動作行為對于視頻搜索和視頻監控具有劃時代的意義。最近幾年，深度學習技術被應用于視頻動作行為識別中。如Ji等人[4]提出多層網絡的3D卷積神經網絡來學習視頻中的時空特征，并通過卷積來實現對整個視頻特征的學習，從而代替之前的時空興趣點檢測和特征描述提取。在TRECVID數據庫上進行的實驗取得了不錯效果。

4 結束語

文章對深度學習的主要概念進行了全面闡述，包括其由來、原理、研究進展和相應的應用等。在很多領域中，深度學習都表現了潛在的巨大價值，但深度學習作為淺層學習的延伸，仍處于發展階段，還有很多問題值得我們深入探討：

（1）我們需要了解深度學習的樣本復雜度，需要多少訓練樣本才能學習到足夠的深度模型。

（2）在推進深度學習的學習理論和計算理論的同時，我們是否可以建立一個通用的深度學習網絡模型，作為統一的框架來處理語音、圖像和語言。

（3）神經網絡具有前饋性連接和反饋性連接，可是我們研究的深度網絡中還沒有加入反饋連接，這些都給深度學習的研究帶來了嚴峻的挑戰。

參考文獻

[1]王亮，胡衛明，譚鐵牛.人運動的視覺分析綜述[J].計算機學報，2002，25（3）：225-237.

[2]余凱，賈磊，陳雨強.深度學習的昨天、今天和明天[J].計算機研究與發展，2013，50（9）：1799-1804.

[3]李海峰，李純果.深度學習結構和算法比較分析[J].河北大學學報：自然科學版，2012，32（5）：538-544.

[4]孫志軍，薛磊，許陽明.深度學習研究綜述[J].計算機應用研究，2012，29（8）：2806-2810.