一種基于改進的卷積神經(jīng)網(wǎng)絡人體跌倒檢測算法

柯泓明 王夢鴿 昝超 彭冰

摘要：文章針對高質(zhì)量公開跌倒數(shù)據(jù)集較少，導致模型泛化能力較弱、檢測準確率低、現(xiàn)有網(wǎng)絡全連接層參數(shù)量過大收斂速度慢的問題，設計了適用于跌倒檢測的遷移學習方法，使用GAP（Global Average-Pooling，GAP）層替換全連接層方法，并在隱藏層加入BN（Batch Normalization，BN）操作，優(yōu)化網(wǎng)絡參數(shù)，設置了多組對比實驗發(fā)現(xiàn)改進的網(wǎng)絡模型在不同的數(shù)據(jù)集上訓練時間相比于之前有所提升，均取得了不錯的效果，使得神經(jīng)網(wǎng)絡既能夠在大規(guī)模圖像數(shù)據(jù)集上學習通用的特征又能夠在公開跌倒數(shù)據(jù)集上學習跌倒特征，增強了網(wǎng)絡的泛化能力。

關鍵詞：圖像處理；計算機視覺；跌倒檢測算法；神經(jīng)網(wǎng)絡

doi：10.3969/J.ISSN.1672-7274.2024.04.027

中圖分類號：TP 394.1? ? ? ? ? 文獻標志碼：A? ? ? ? ? ?文章編碼：1672-7274（2024）04-00-03

A Fall Detection Algorithm Based on Improved Convolutional Neural Network

KE Hongming， WANG Mengge， ZAN Chao， PENG Bing

（Hanjiang Normal University， Shiyan 442000， China）

Abstract： This article addresses the problems of weak model generalization ability， low detection accuracy， and slow convergence speed due to the limited number of high-quality public fall datasets. A transfer learning method suitable for fall detection is designed， which replaces the fully connected layer method with a Global Average Pooling （GAP） layer and adds a Batch Normalization （BN） operation in the hidden layer to optimize network parameters， Multiple comparative experiments were conducted， and it was found that the improved network model had improved training time on different datasets compared to before， achieving good results. This enabled the neural network to learn both universal features on large-scale image datasets and fall features on publicly available drop datasets， enhancing the network's generalization ability.

Keywords： image processing; computer vision; fall detection algorithm; neural network

當今世界，人口老齡化愈演愈烈，獨居老人易跌倒造成極高的致殘率和死亡率。因此，對跌倒檢測的研究受到全世界范圍內(nèi)的重視，相關學者先后研發(fā)并提出一些性價比高的算法和可行的解決方案，主要分為基于傳感器和基于視覺影響的方法，但設備易受光線、復雜場景干擾等問題導致檢測誤報率高、準確性不足、體驗性缺乏人性化。

為提高跌倒檢測能力并解決上述問題，本文提出了基于改進的卷積神經(jīng)網(wǎng)絡跌倒檢測算法。針對公共跌倒數(shù)據(jù)集較少，導致模型泛化能力較弱、準確率低問題，使用基于模型的遷移學習方法，先在大規(guī)模數(shù)據(jù)集上學習通用的特征，然后在公開的跌倒數(shù)據(jù)集上學習跌倒特征，從而增強網(wǎng)絡的泛化能力，提高準確率，針對網(wǎng)絡全連接層參數(shù)量過大，收斂速度慢的問題，設計了使用GAP層替換全連接層方法，并在隱藏層加入BN操作，優(yōu)化網(wǎng)絡參數(shù)，從而提高識別效果。

1? ?基于遷移學習改進的VGG-16跌倒識別

本文主要針對VGG-16網(wǎng)絡中存在的問題進行改進實驗，在改進的CNN上進行遷移學習的實驗，本文將VGG-16網(wǎng)絡模型在ImageNet等大規(guī)模數(shù)據(jù)集上進行預訓練，將訓練好后的參數(shù)加載到網(wǎng)絡中使其具有一定基礎識別能力，再次在UCF101數(shù)據(jù)集上進行預訓練并進行微調(diào)網(wǎng)絡。使得網(wǎng)絡具有能夠識別表征人體運動的特征。

1.1 VGG-16網(wǎng)絡結(jié)構(gòu)

Simonyan和Zisserman[1]兩人在2014年第一次創(chuàng)造性提出VGG模型，它是當前使用最廣、應用最多、最成熟的網(wǎng)絡模型之一。圖1是VGG-16的網(wǎng)絡結(jié)構(gòu)圖，它由13個卷積層、3個全連接層以及5個池化層相互堆疊而成，卷積層采用的是3×3大小的卷積核提取特征，最后面接入全連接層作為分類，relu函數(shù)作為卷積層的激活函數(shù)，在全連接層后加入drupout可以防止過擬合。選擇很多個比較小的卷積核可以使得網(wǎng)絡結(jié)構(gòu)中的參數(shù)變得更少，進而提升網(wǎng)絡的性能，強化提取復雜圖像特征的功能。

1.2 改進的VGG-16網(wǎng)絡

1.2.1 全局池化層替換全連接層

原始的VGG-16網(wǎng)絡的全連接層參數(shù)量過大，占到整個網(wǎng)絡的80%以上，導致訓練時間長，網(wǎng)絡收斂慢，需要算力強的硬件環(huán)境，部署到移動視頻設備存在一定限制。本文使用GAP[2]替換VGG-16網(wǎng)絡中的全連接層，得到特征圖的平均值，在經(jīng)過全連接層后，將結(jié)果輸送到softmax分類器中進行分類。圖2表示了GAP代替全連接層對特征圖進行降維的過程，原始圖經(jīng)過CNN卷積層后，其特征圖矩陣向下采樣到全局平均池化層中，GAP對特征矩陣求平均值，從而實現(xiàn)對特征圖進行降維。

1.3 VGG-16模型遷移框架設計

1.3.1 遷移模型

該網(wǎng)絡模型遷移框架設計圖如圖3所示，具體步驟是：在ImageNet數(shù)據(jù)集上預訓練模型，使得模型具有可以區(qū)分角落、紋理、基本幾何元素等特征，該數(shù)據(jù)集擁有1 400多萬個圖像和1 000個類。然后基于在ImageNet上訓練的CNN，我們修改輸入層使其可以接收光流圖像，即224×224×20，在UCF101數(shù)據(jù)集上繼續(xù)訓練網(wǎng)絡，使得網(wǎng)絡可以識別人體動作的特征，UCF101數(shù)據(jù)集是一個人體動作視頻庫，包含各種人體動作，這些特征可以用于后面識別跌倒。然后固定前面隱藏層的參數(shù)和權(quán)重，將預訓練好的模型和權(quán)重參數(shù)遷移到跌倒的公開數(shù)據(jù)集中，在網(wǎng)絡結(jié)構(gòu)中加入BN操作并且使用GAP代替全連接層，在優(yōu)化后的VGG-16網(wǎng)絡在新的數(shù)據(jù)集上微調(diào)訓練模型，最后選擇softmax邏輯回歸函數(shù)作為輸出層。

1.3.2 實驗參數(shù)設置

本文討論的是二分類問題，因此可使用二元交叉熵函數(shù)作為模型的損失函數(shù)，公式如下：

因為要表達某個類的重要性，所以在其中添加類的權(quán)重。式中，表示沒有跌倒的權(quán)重；表示跌倒的權(quán)重。

為了更好地評估模型對于跌倒的識別性能，我們采用五折交叉驗證的方法，從數(shù)據(jù)集中隨機選擇4份作為訓練集，1份作為測試集，取測試173.30116結(jié)果的平均值，從而避免訓練過程中偶然性因素對評價指標的影響，得到更加客觀的結(jié)果。圖4圖5分別表示網(wǎng)絡在兩個跌倒公開數(shù)據(jù)集上訓練的準確率和損失函數(shù)曲線。我們根據(jù)不同的訓練樣本數(shù)量發(fā)現(xiàn)一些超參數(shù)的設置在不同數(shù)據(jù)集中有很好的表現(xiàn)，分別設置三個數(shù)據(jù)集的學習率為0.001、0.001、0.01和batch size為64、1 024、1 024以及跌倒權(quán)重為1、1、2。在分別經(jīng)過3 000、3 000、6 000次迭代后網(wǎng)絡在訓練集上準確率和模型的損失函數(shù)均逐漸得到很好的收斂。

2? ?數(shù)據(jù)和實驗結(jié)果分析

2.1 實驗測試環(huán)境與數(shù)據(jù)集

實驗所使用的硬件平臺：CPU為Intel（R） Xeon（R） CPU E5-2678 v3 @ 2.50GHz、GPU為NVIDIA GeForce RTX 2080 Ti、內(nèi)存為16 GB、操作系統(tǒng)使用Linux。本文使用URFD、UCF101兩個公開數(shù)據(jù)集以及一個測試數(shù)據(jù)集，分別包含72個短視頻、8個不同的IP相機、24個場景，由視頻和圖片數(shù)據(jù)組成，涵蓋大部分場景。

2.2 評價指標

跌倒檢測作為一個二分類問題，在該問題上模型具有識別特定序列的視頻幀是否表示跌倒的功能，而評估此類模型的性能最常見的指標就是靈敏度（sensitivity），或者稱為召回率（recall），又或者稱為真陽性率；另外一個評價指標是特異性（specificity）或者稱為真陰性率。以上指標不會受到不平衡類別分布的影響，所以它們很適合評價跌倒檢測數(shù)據(jù)集。

2.3 實驗結(jié)果與分析

為了證明修改后的網(wǎng)絡相較于之前網(wǎng)絡在訓練時間上有所提升，我們分別在每個數(shù)據(jù)集上進行5次訓練，最后取它們的均值，根據(jù)圖6可以發(fā)現(xiàn)修改后的模型相較于修改前模型在訓練時間上有明顯提升。

在兩個公開數(shù)據(jù)集上分別就召回率、特異性以及精準度完成了對比實驗，結(jié)果顯示在表1和表2中。實驗結(jié)果顯示在兩個數(shù)據(jù)集上召回率和特異性均有較好的表現(xiàn)，這表明該模型具有很好泛化能力，即模型對于老人跌倒與否具有很好的判斷性能。

3? ?結(jié)束語

本文主要介紹了VGG-16網(wǎng)絡結(jié)構(gòu)，并結(jié)合遷移學習對VGG-16網(wǎng)絡結(jié)構(gòu)進行改進，在實驗中進行了參數(shù)的設置，并對實驗硬件設備環(huán)境、數(shù)據(jù)集、評判指標分別進行了介紹，比較了改進前后的網(wǎng)絡在數(shù)據(jù)集上訓練時間的減少程度、三個數(shù)據(jù)集上的召回率、特異性以及準確率，最后跟其他文獻中的方法在相同數(shù)據(jù)集上進行了對照實驗。實驗結(jié)果表明，改進后的網(wǎng)絡在訓練的時間上有了顯著提升，而且在不同數(shù)據(jù)集上的表現(xiàn)證明此模型的泛化能力較好。■

參考文獻

[1] Kattenborn T， Leitloff J， Schiefer F， et al. Review on Convolutional Neural Networks （CNN） in vegetation remote sensing[J]. ISPRS journal of photogrammetry and remote sensing， 2021， （173）： 24-49.

[2] Kusuma G P， Jonathan J， Lim A P. Emotion recognition on fer-2013 face images using fine-tuned vgg-16[J]. Advances in Science， Technology and Engineering Systems Journal， 2020， 5（6）： 315-322.