神經(jīng)心理量表理解力檢測(cè)的人體姿態(tài)特征識(shí)別方法

作者簡(jiǎn)介：房欣欣（1992—），女，博士研究生，主要從事深度學(xué)習(xí)應(yīng)用、電力市場(chǎng)研究，（E-mail）1187919949@qq.com。

通信作者：楊知方，男，研究員，博士生導(dǎo)師，主要從事人工智能應(yīng)用、能源電力優(yōu)化等研究，（E-mail）yangzfang@126.com。

摘要：神經(jīng)心理測(cè)試可以對(duì)各認(rèn)知域受損嚴(yán)重程度做出客觀評(píng)價(jià)，是檢測(cè)疾病進(jìn)展、評(píng)估藥物療效的有效手段。其中理解力測(cè)試部分通過判斷受試者是否根據(jù)指令要求作出相應(yīng)動(dòng)作實(shí)現(xiàn)，是老年人認(rèn)知功能障礙評(píng)估的重要部分，有利于癡呆的早預(yù)防早干預(yù)。文章提出了一套神經(jīng)心理測(cè)試中理解力檢測(cè)的人體姿態(tài)估計(jì)視頻分析方法，基于Openpose深度卷積網(wǎng)絡(luò)提取人體關(guān)鍵點(diǎn)坐標(biāo)，隨后基于圖像形態(tài)學(xué)處理技術(shù)和Faster R-CNN等技術(shù)提出了紙張、牙刷等目標(biāo)物體關(guān)鍵點(diǎn)二維坐標(biāo)提取方法，并以量表中動(dòng)作要求建立人體姿態(tài)估計(jì)數(shù)學(xué)模型。通過實(shí)驗(yàn)對(duì)神經(jīng)心理測(cè)試的6個(gè)動(dòng)作進(jìn)行識(shí)別，結(jié)果表明，所提姿態(tài)估計(jì)數(shù)學(xué)模型和交互動(dòng)作識(shí)別方法能夠有效檢測(cè)人體姿態(tài)動(dòng)作指令及人與紙張的交互指令。

關(guān)鍵詞：神經(jīng)心理測(cè)試；理解力檢測(cè)；人體姿態(tài)動(dòng)態(tài)特征；姿態(tài)識(shí)別模型；目標(biāo)檢測(cè)

中圖分類號(hào)：TP391.41" " " " " 文獻(xiàn)標(biāo)志碼：A" " " 文章編號(hào)：1000?582X（2023）04?108?12

Abstract： Neuropsychological test can objectively evaluate the severity of cognitive impairment. It is an effective means to detect disease progression and evaluate drug efficacy. Comprehension test is an important part of cognitive impairment assessment for the elderly. The assessment is performed by judging whether the subjects make accurate actions according to the instructions， which is conducive to the early prevention and early intervention of dementia. This study proposed a video analysis method of human posture estimation for comprehension detection in neuropsychological testing. The coordinates of key points of human body were first extracted based on OpenPose. Then， based on the image morphology processing technology and Fast R-CNN， a two-dimensional coordinate extraction method was proposed for the key points of the specified target objects， such as paper and toothbrush. Also， the mathematical model of human posture estimation was established. Six actions of neuropsychological test were tested to verify the effectiveness of the proposed method. The results show that the proposed mathematical model of posture estimation and interactive action recognition method can effectively detect human posture action commands and interactive instructions.

Keywords： neuropsychologic test; comprehension detection; human posture dynamic feature; posture recognition model; object detection

癡呆是一種增齡性綜合征，其患病率隨年齡增長(zhǎng)而迅速上升。中國(guó)65歲以上的老年人癡呆的患病率5.14%，85歲以上增至23.66%[1]，目前已經(jīng)有超過1 000萬癡呆老人（占全球25%），成為繼心血管疾病、腦卒中和惡性腫瘤之后威脅老年人群生命健康的第四大“殺手”。阿爾茨海默病（Alzheimer’s disease，AD）作為癡呆的主要類型，是以進(jìn)行性認(rèn)知功能障礙為主要特征的神經(jīng)系統(tǒng)退行性病變，占癡呆的50%～75%。在臨床實(shí)踐中，AD患者認(rèn)知功能損害的嚴(yán)重程度、療效隨訪和預(yù)后隨訪極大依賴神經(jīng)心理測(cè)試評(píng)估。

理解力測(cè)試是神經(jīng)心理測(cè)試的重要項(xiàng)目，通過判斷受試者是否根據(jù)指令要求做出相應(yīng)動(dòng)作實(shí)現(xiàn)，是老年人認(rèn)知功能障礙評(píng)估的重要部分。理解力測(cè)試包含多項(xiàng)人體動(dòng)作測(cè)試以及和目標(biāo)物體的互動(dòng)測(cè)試。文獻(xiàn)[2?4]分別基于Kinect傳感器提出了站、蹲、坐、彎腰、躺和上肢運(yùn)動(dòng)的識(shí)別方法。當(dāng)關(guān)節(jié)點(diǎn)發(fā)生重疊時(shí)，文獻(xiàn)[5]提出了修復(fù)方法用以處理關(guān)節(jié)點(diǎn)在一個(gè)或者多個(gè)姿勢(shì)中重疊的情況。文獻(xiàn)[6?8]基于OpenPose算法研究老年人跌倒行為的檢測(cè)方法。文獻(xiàn)[9?11]將人體姿態(tài)識(shí)別方法運(yùn)用到患者康復(fù)訓(xùn)練和康復(fù)效果評(píng)估中。文獻(xiàn)[9]提出了一套基于OpenPose的上肢康復(fù)系統(tǒng)，通過三維重建獲得三維人體姿態(tài)信息并利用交互軟件指導(dǎo)患者進(jìn)行家用康復(fù)訓(xùn)練。文獻(xiàn)[10]提出一種基于OpenPose和Kinect的三維人體姿態(tài)估計(jì)方法，利用霍特雙參數(shù)指數(shù)膨化方法對(duì)關(guān)節(jié)點(diǎn)運(yùn)動(dòng)軌跡進(jìn)行平滑和預(yù)測(cè)。文獻(xiàn)[11]結(jié)合OpenPose和門控循環(huán)單元網(wǎng)絡(luò)提出一種人體康復(fù)動(dòng)作識(shí)別算法，利用注意力機(jī)制構(gòu)建融合三層時(shí)序特征的GRU網(wǎng)絡(luò)進(jìn)行康復(fù)動(dòng)作二分類。文獻(xiàn)[12?14]將人體姿態(tài)識(shí)別算法進(jìn)行改進(jìn)并應(yīng)用在無人駕駛、太極動(dòng)作、手勢(shì)檢測(cè)等場(chǎng)景。目前已有大量不同場(chǎng)景的人體姿態(tài)識(shí)別研究，但是很少針對(duì)神經(jīng)心理測(cè)試的測(cè)試項(xiàng)進(jìn)行研究，尤其是其涉及受試者與目標(biāo)物體之間的互動(dòng)。

神經(jīng)心理理解力測(cè)試包含折紙、握拳、指屋頂?shù)匕濉⑴募绨颉⒁苿?dòng)牙刷等指令要求。針對(duì)其特定的人體姿態(tài)識(shí)別要求及受試者與目標(biāo)物體互動(dòng)等問題，作者提出一種基于OpenPose的神經(jīng)心理量表理解力測(cè)試方法，結(jié)合Faster R-CNN考慮目標(biāo)物體的形態(tài)轉(zhuǎn)變，綜合建立人體姿態(tài)和目標(biāo)物體的互動(dòng)識(shí)別模型，完成了整套動(dòng)作的評(píng)分。實(shí)驗(yàn)結(jié)果表明，文中提出的方法能夠有效實(shí)現(xiàn)神經(jīng)心理理解力測(cè)試中特定人體姿態(tài)識(shí)別及受試者與目標(biāo)物體互動(dòng)識(shí)別。

1 OpenPose的人體姿態(tài)估計(jì)

1.1 OpenPose的坐標(biāo)獲取

OpenPose是由卡耐基梅隆大學(xué)基于卷積神經(jīng)網(wǎng)絡(luò)和監(jiān)督學(xué)習(xí)開發(fā)的C++開源庫(kù)，它提供了基于COCO數(shù)據(jù)集[15]的18個(gè)身體關(guān)鍵點(diǎn)、左右手各21個(gè)關(guān)鍵點(diǎn)、臉部70個(gè)關(guān)鍵點(diǎn)的坐標(biāo)，以二維坐標(biāo)和置信度的形式給出，如圖1所示。其工作原理是：先把輸入尺寸為的二維圖片經(jīng)過10層VGG19網(wǎng)絡(luò)轉(zhuǎn)化為特征圖，再利用雙支路卷積網(wǎng)絡(luò)進(jìn)行處理，雙支路分別進(jìn)行關(guān)鍵點(diǎn)置信度預(yù)測(cè)和關(guān)鍵點(diǎn)親和度向量場(chǎng)預(yù)測(cè)，最后經(jīng)過關(guān)鍵點(diǎn)聚類進(jìn)行骨架組裝得到關(guān)鍵點(diǎn)坐標(biāo)。OpenPose可以實(shí)現(xiàn)人體骨骼關(guān)節(jié)、手指運(yùn)動(dòng)、面部表情等姿態(tài)估計(jì)，借鑒卷積姿態(tài)機(jī)（convolutional pose machines， CPM）中采用大卷積核獲得大感受野的思想，可以較好處理遮擋情況下的人體姿態(tài)識(shí)別問題。

1.2 坐標(biāo)預(yù)處理方法

在利用OpenPose采集坐標(biāo)數(shù)據(jù)的過程中，由于肢體交叉遮擋、拍攝角度、背景光線明暗等問題，獲得的原始坐標(biāo)數(shù)據(jù)中包含有部分置信度較低的數(shù)據(jù)和少量異常抖動(dòng)數(shù)據(jù)，對(duì)數(shù)據(jù)的準(zhǔn)確性造成影響，導(dǎo)致后續(xù)的姿態(tài)估計(jì)中極易出現(xiàn)誤判的現(xiàn)象，所以有效的數(shù)據(jù)預(yù)處理是非常必要的。

首先，剔除置信度較低的數(shù)據(jù)，以保證采集坐標(biāo)數(shù)據(jù)整體的精度；然后，針對(duì)異常抖動(dòng)數(shù)據(jù)，通過中值濾波的方法消除其影響，經(jīng)過多組數(shù)據(jù)驗(yàn)證，濾波窗口大小為11的中值濾波操作的去抖效果最好；最后，用插值的方法將剔除的數(shù)據(jù)補(bǔ)全[16]，插值濾波的具體步驟如下。

1.3 姿態(tài)估計(jì)數(shù)學(xué)模型

由于人體姿態(tài)的變化都伴隨著肢體的伸縮移動(dòng)，相應(yīng)的關(guān)鍵點(diǎn)之間會(huì)產(chǎn)生距離、角度、相對(duì)位置的變化，所以姿態(tài)識(shí)別可以通過分析人體關(guān)鍵點(diǎn)間的數(shù)學(xué)信息變化特征來實(shí)現(xiàn)。對(duì)預(yù)處理得到的關(guān)鍵點(diǎn)進(jìn)行計(jì)算，得到坐標(biāo)數(shù)據(jù)間的歐式距離、余弦角、斜率、相對(duì)位置等信息，通過分析神經(jīng)心理測(cè)試?yán)斫饬y(cè)試標(biāo)準(zhǔn)動(dòng)作完成時(shí)以上信息的變化特征，分別設(shè)置相應(yīng)的閾值或區(qū)間條件，當(dāng)達(dá)到該閾值或者滿足區(qū)間條件時(shí)視為實(shí)現(xiàn)該動(dòng)作。

以完成屈肘動(dòng)作為例，說明姿態(tài)估計(jì)數(shù)學(xué)模型構(gòu)建及判斷流程。

設(shè)分別為人體右肩、右肘、右腕關(guān)鍵點(diǎn)，如圖2所示。利用OpenPose獲得受試者完成屈肘動(dòng)作過程中各個(gè)關(guān)鍵點(diǎn)坐標(biāo)值。

1.4 交互動(dòng)作的識(shí)別

在神經(jīng)心理量表理解力測(cè)試中，常常涉及到受試者和其他物體的交互，OpenPose僅能獲得人體的關(guān)鍵點(diǎn)坐標(biāo)，為了拓展OpenPose在交互動(dòng)作識(shí)別中的應(yīng)用，需要對(duì)交互物體進(jìn)行檢測(cè)和定位，結(jié)合交互物體的特點(diǎn)，可以將交互物體分為以下兩類：第一類交互物體特征顯著、動(dòng)作過程中不涉及形態(tài)變化，如牙刷、鼠標(biāo)等，可以使用深度學(xué)習(xí)目標(biāo)檢測(cè)技術(shù)對(duì)交互物體進(jìn)行識(shí)別，實(shí)現(xiàn)交互物體的坐標(biāo)提取；第二類交互物體特征提取困難、動(dòng)作過程中發(fā)生形態(tài)變化，如折紙動(dòng)作中的紙張，可以采用圖像處理技術(shù)，利用顏色空間變換、連通域提取等方法，實(shí)現(xiàn)該類物體的定位和坐標(biāo)提取。基于以上分析，提出了以下2種提取物體坐標(biāo)的方案。

1.4.1 基于Faster R-CNN的目標(biāo)檢測(cè)

Faster R-CNN是目標(biāo)檢測(cè)的主要框架之一[17]，比YOLO、SSD等框架精度更高[18]，F(xiàn)aster R-CNN的整體結(jié)構(gòu)如圖3所示。

Faster R-CNN由4部分結(jié)構(gòu)組成：首先，卷積層提取輸出圖片特征，得到特征圖；接著，通過RPN網(wǎng)絡(luò)輸出多個(gè)推薦候選區(qū)域；然后，通過ROI Pooling將不同大小的輸入轉(zhuǎn)化為固定長(zhǎng)度的輸出；最后，分類回歸，輸出候選區(qū)域所屬的類及其在圖像中的精確位置。

本Tensorflow Object Detection API中提供的Faster R-CNN框架和COCO數(shù)據(jù)集（包含80個(gè)類別）實(shí)現(xiàn)目標(biāo)檢測(cè)，可以將待識(shí)別物體以矩形框加置信度標(biāo)注的形式框選出來，同時(shí)得到歸一化后的矩形框左上角坐標(biāo)和右下角的坐標(biāo)，其參考坐標(biāo)系與OpenPose的參考坐標(biāo)系一致，如圖4所示。

結(jié)合量表測(cè)試的需要，作出了以下兩方面的改進(jìn)：一方面，把歸一化的像素坐標(biāo)值轉(zhuǎn)化為實(shí)際的像素坐標(biāo)，同時(shí)用矩形框中心坐標(biāo)代替物體坐標(biāo)，簡(jiǎn)化分析過程，可以用式（4）計(jì)算矩形框的中心坐標(biāo)來代替被檢測(cè)物體：

另一方面，AD量表涉及到的交互物體中的卡片雖然不包含在COCO數(shù)據(jù)集類別中，但是由于卡片在動(dòng)作過程中不發(fā)生折疊等形態(tài)變化，可以通過在卡片上繪制香蕉等COCO數(shù)據(jù)集中的物體的圖案，通過檢測(cè)香蕉間接實(shí)現(xiàn)對(duì)卡片的檢測(cè)和坐標(biāo)提取。

1.4.2 基于圖像形態(tài)學(xué)處理技術(shù)的紙張坐標(biāo)提取算法

對(duì)于紙張這類物體由于特征提取困難，難以使用目標(biāo)檢測(cè)方法進(jìn)行坐標(biāo)提取，所以通常從數(shù)字圖像技術(shù)的角度進(jìn)行處理。傳統(tǒng)數(shù)字圖像技術(shù)中的坐標(biāo)提取方法是將紙張用固定形狀的矩形框定位出來，但是當(dāng)紙張的形狀、位置、顏色等發(fā)生變化或受到遮擋時(shí)，無法準(zhǔn)確提取出紙張邊角坐標(biāo)和面積變化情況，文中提出基于圖像形態(tài)學(xué)處理技術(shù)的紙張坐標(biāo)提取方法，如圖5所示。

具體表述如下：

1）二值化處理，由于紙張區(qū)域?yàn)槊黠@的白色，像素值接近255，合理設(shè)置[210，255]的像素閾值，消除大部分的背景干擾，但仍有人體皮膚和地面反射光線干擾的存在。

2）為了消除皮膚的干擾[19]，將圖片像素信息從映射到顏色空間，映射公式為

顏色空間是一種常用的膚色檢測(cè)的色彩模型，其中表亮度，代表光源中的藍(lán)色分量，代表光源中的紅色分量。人的膚色在外觀上的差異是由色度引起的，不同人的膚色分布集中在較小的區(qū)域內(nèi)。膚色的顏色空間平面分布在近似的橢圓區(qū)域內(nèi)，通過判斷當(dāng)前像素點(diǎn)的是否落在膚色分布的橢圓區(qū)域內(nèi)，就可以很容易地確認(rèn)當(dāng)前像素點(diǎn)是否屬于膚色，由此濾除皮膚的影響。

3）在消除皮膚干擾后，可以發(fā)現(xiàn)圖像中還存在部分孤立點(diǎn)，可以對(duì)圖像進(jìn)行開閉運(yùn)算進(jìn)行消除[20]。使用開運(yùn)算，對(duì)圖像先腐蝕運(yùn)算，再膨脹運(yùn)算，消除孤立的小點(diǎn)；由于手的遮擋導(dǎo)致紙張部分的圖像不完整，所以可以在開運(yùn)算之后進(jìn)行閉運(yùn)算，對(duì)圖像先膨脹運(yùn)算，再腐蝕運(yùn)算，以填充凹角。

4）用最小矩形框?qū)D像中最大連通域，即紙張區(qū)域框選出來[21]，這樣可以準(zhǔn)確提取出紙張4個(gè)邊角的坐標(biāo)信息。

2 人體姿態(tài)估計(jì)在AD量表理解力智能化檢測(cè)中的應(yīng)用

2.1 神經(jīng)心理測(cè)試中理解力測(cè)試指令

神經(jīng)心理測(cè)試量表中通過要求受試者完成指定動(dòng)作來評(píng)估受試者的理解能力，主要要求受試者完成如下動(dòng)作：1）用右手拿紙，再用雙手對(duì)折，將紙放在大腿上；2）握拳；3）指屋頂，然后指地板；4）用1只手的2個(gè)手指拍每個(gè)肩膀2次；5）將牙刷放在卡片上面，然后再拿回來，將鼠標(biāo)放到卡片的另一邊并且將卡片翻過來。

2.2 識(shí)別流程

研究基于第1章所提人體姿態(tài)識(shí)別及目標(biāo)檢測(cè)方法設(shè)計(jì)了如圖6所示的姿態(tài)評(píng)估流程。

通過語(yǔ)音給出受試者動(dòng)作指令，調(diào)用2個(gè)攝像頭從不同角度同時(shí)記錄受試者的動(dòng)作，將記錄的視頻由OpenPose處理后得到人體關(guān)鍵點(diǎn)二維坐標(biāo)，對(duì)所得坐標(biāo)進(jìn)行濾波、插值等預(yù)處理以消除數(shù)據(jù)抖動(dòng)可能帶來的誤判，將記錄的視頻由圖像形態(tài)學(xué)或API目標(biāo)檢測(cè)處理后得到紙張、牙刷等交互物體的二維坐標(biāo)，對(duì)所得坐標(biāo)進(jìn)行平移、翻轉(zhuǎn)后使之與人體關(guān)鍵點(diǎn)坐標(biāo)位于同一坐標(biāo)系下，最后將預(yù)處理后的坐標(biāo)輸入到姿態(tài)識(shí)別數(shù)學(xué)模型中，得到該動(dòng)作的評(píng)分情況。

2.3 建立姿態(tài)識(shí)別模型

1） 用右手拿紙，再用雙手對(duì)折，將紙放在大腿上。人體資態(tài)關(guān)鍵點(diǎn)。紙張。牙刷等物體關(guān)鍵點(diǎn)信息如圖7所示。需提取的關(guān)鍵點(diǎn)：身體關(guān)鍵點(diǎn)2、3、4、5、6、7、8；紙張的4個(gè)頂點(diǎn)。右手拿紙：當(dāng)右手手腕與紙張頂點(diǎn)1的歐式距離持續(xù)2 s （60幀）小于設(shè)定的距離閾值時(shí)，判定受試者完成右手拿紙：

3 實(shí)驗(yàn)結(jié)果及分析

本實(shí)驗(yàn)的硬件系統(tǒng)主要由2個(gè)像素為800萬，最高分辨率為3 264×2 448的攝像頭構(gòu)成，其中一個(gè)攝像頭用于正面拍攝，另一個(gè)攝像頭用于俯視拍攝。軟件系統(tǒng)主要由OpenPose1.3.0和Opencv-Python3.4.5構(gòu)成。根據(jù)AD量表中指定受試者完成的動(dòng)作的特點(diǎn)，調(diào)用相應(yīng)的攝像頭記錄受試者完成的動(dòng)作，將該視頻交由OpenPose1.3.0和Opencv-Python3.4.5處理后分別得到每一幀（1秒30幀）人體關(guān)鍵點(diǎn)的二維坐標(biāo)和交互物體（如紙張等）的二維坐標(biāo)。將得到的二維坐標(biāo)經(jīng)數(shù)據(jù)預(yù)處理后輸入到姿態(tài)識(shí)別模型中，輸出受試者該動(dòng)作的完成得分情況。

3.1 數(shù)據(jù)預(yù)處理前后的影響

由于OpenPose在提取人體關(guān)鍵點(diǎn)二維坐標(biāo)時(shí)可能出現(xiàn)的出現(xiàn)跟丟、跟錯(cuò)等情況，得到的坐標(biāo)置信度較低，進(jìn)而有可能造成姿態(tài)誤判，故需要對(duì)獲取的坐標(biāo)進(jìn)行預(yù)處理操作。如圖8所示，在識(shí)別指地板這一動(dòng)作的過程中，受試者已經(jīng)完成了指地板這一動(dòng)作，但是由于OpenPose對(duì)食指指尖的定位出現(xiàn)偏差（偏差點(diǎn)為點(diǎn)8，實(shí)際點(diǎn)為），通過式（15）計(jì)算出8、0兩點(diǎn)連線斜率的絕對(duì)值小于實(shí)際、0兩點(diǎn)連線斜率的絕對(duì)值從而誤判為受試者未完成該動(dòng)作。

如表1所示，通過濾波剔除第43幀的坐標(biāo)，再結(jié)合第42、44幀的坐標(biāo)對(duì)其進(jìn)行均值插值，再由式（10）計(jì)算得到的滿足判斷條件。通過濾波插值不僅提高了姿態(tài)識(shí)別的準(zhǔn)確率，也保證了動(dòng)作的連貫性和完整性。

3.2 姿態(tài)識(shí)別結(jié)果分析

為了驗(yàn)證所建姿態(tài)識(shí)別模型的準(zhǔn)確度，本部分測(cè)試了神經(jīng)心理測(cè)試的所有指令。實(shí)驗(yàn)結(jié)果將對(duì)“用右手拿紙，再用雙手對(duì)折，將紙放在大腿上”這一動(dòng)作的識(shí)別結(jié)果進(jìn)行詳細(xì)分析，圖9為識(shí)別過程。

右手手腕到紙張的歐式距離（）如圖10所示，藍(lán)色段曲線（）從400 mm左右快速下降到170 mm左右，此過程對(duì)應(yīng)受試者伸右手拿紙的過程，橙色段曲線（）持續(xù)小于設(shè)定的距離閾值，對(duì)應(yīng)著受試者拿到紙后折紙和放紙的過程。受試者拿到紙之后，出現(xiàn)了連續(xù)的波動(dòng)，這是因?yàn)槭茉囌咴谡奂埖倪^程中紙張頂點(diǎn)1的位置會(huì)隨機(jī)跳動(dòng)；在后半段再次出現(xiàn)了輕微的下降，是因?yàn)樵诜偶埖倪^程中，手與紙張同俯拍攝像頭之間距離增大。

紙張面積（）變化如圖11所示，藍(lán)色段曲線紙張的面積維持在50 000左右，對(duì)應(yīng)受試者取紙的過程，在這個(gè)過程中紙張的面積基本不發(fā)生變化；灰色段曲線紙張面積迅速減小，對(duì)應(yīng)著受試者折紙的過程；橙色段曲線紙張的面積維持在15 000 左右，對(duì)應(yīng)受試者完成折紙后紙張的狀態(tài)，由于手部遮擋以及紙張與攝像頭之間的距離增大等因素，導(dǎo)致折紙后紙張面積小于折紙前紙張面積的一半。

圖12中的橙色段曲線和增大，則左右手肘夾角減小，對(duì)應(yīng)著受試者將紙張拿到胸前；藍(lán)色段曲線和減小，則左右手肘夾角增大，對(duì)應(yīng)著受試者將紙張放下。圖13中紅色段曲線仍小于設(shè)定的距離閾值，判斷受試者完成將紙放到大腿上。

實(shí)驗(yàn)結(jié)果出現(xiàn)了小于設(shè)定的距離閾值，但手肘夾角余弦值未出現(xiàn)先變大再變小這一過程，說明受試者完成折紙后，紙張位于大腿的正上方，此時(shí)還未將紙張放到大腿上。若手肘夾角余弦值出現(xiàn)先變大再變小這一過程后，大于設(shè)定的距離閾值，則受試者可能將紙放在大腿的旁邊或者其他位置，此類情況判定受試者未完成該動(dòng)作。

“握拳”“指屋頂然后指地板”“將牙刷放在卡片上面，然后再拿回來”“將鼠標(biāo)放到卡片的另一邊并且將卡片翻過來”“用1只手的2個(gè)手指拍每個(gè)肩膀2次”5個(gè)動(dòng)作的識(shí)別情況進(jìn)行分析，識(shí)別結(jié)果如表2所示。

進(jìn)一步，選取老年受試者對(duì)文中所提方法進(jìn)行了相關(guān)測(cè)試，測(cè)試過程如圖14所示。結(jié)果表明，文章所提方法可以適應(yīng)老年人神經(jīng)心理測(cè)試量表的評(píng)估要求。

4 結(jié)束語(yǔ)

針對(duì)量表中理解力測(cè)試部分提出一套基于OpenPose的人體姿態(tài)估計(jì)視頻分析系統(tǒng)，輔助傳統(tǒng)人工AD診斷流程。利用OpenPose獲取了人體關(guān)鍵點(diǎn)坐標(biāo)，基于圖像形態(tài)學(xué)處理技術(shù)和Faster R-CNN等技術(shù)提出對(duì)紙張、牙刷等指定目標(biāo)二維坐標(biāo)提取方法，針對(duì)量表中的具體動(dòng)作建立人體姿態(tài)識(shí)別數(shù)學(xué)模型，通過實(shí)驗(yàn)驗(yàn)證了模型的準(zhǔn)確性和可靠性。

參考文獻(xiàn)

[1]" Jia J P， Wang F， Wei C B， et al. The prevalence of dementia in urban and rural areas of China[J]. Alzheimer's amp; Dementia， 2014， 10（1）：1-9.

[2]" Wasenmüller O， Stricker D. Comparison of Kinect V1 and V2 depth images in terms of accuracy and precision[C]. Asian Conference on Computer Vision Workshop. Springer， 2016， 34-45.

[3]" Wang W J， Chang J W， Haung S F， et al. Human posture recognition based on images captured by the Kinect sensor[J]. International Journal of Advanced Robotic Systems， 2016， 13（2）： 54.

[4]" Hsu S C， Huang J Y， Kao W C， et al. Human body motion parameters capturing using kinect[J]. Machine Vision and Applications， 2015， 26（7）： 919-932.

[5]" 李昕迪， 王云龍， 何艷， 等. 基于Kinect的人體單關(guān)節(jié)點(diǎn)修復(fù)算法研究[J]. 自動(dòng)化技術(shù)與應(yīng)用， 2016， 35（4）：100-102， 124.

Li X D， Wang Y L， He Y， et al. Research on the algorithm of human single joint point repair based on Kinect[J]. Techniques of Automation and Applications， 2016， 35（4）， 100-102， 124.（in Chinese）

[6]" 沈秉乾， 武志勇， 賀前華， 等. 人體姿勢(shì)狀態(tài)判決的跌倒檢測(cè)方法[J]. 計(jì)算機(jī)應(yīng)用， 2014（Z1）：223-227， 264.

Shen B Q， Wu Z Y， He Q H， et al. Falling detection method based on human body posture judgment[J]. Journal of Computer Applications， 2014（Z1）： 223-227， 264. （in Chinese）

[7]" 汪大峰. 視頻監(jiān)控中跌倒行為識(shí)別[J]. 電子設(shè)計(jì)工程， 2016， 24（22）： 122-126.

Wang D F. Abnormal behavior recognition of fall in surveillance video[J]. Electronic Design Engineering， 2016， 24（22）：122-126. （in Chinese）

[8]" 張程， 祝凱， 趙德鵬， 等. 基于人體骨架的跌倒行為識(shí)別研究[J]. 電子技術(shù)與軟件工程， 2020（23）： 85-86.

Zhang C， Zhu K， Zhao D P， et al. Fall behavior recognition based on human skeleton[J]. Electronic Technology amp; Software Engineering， 2020（23）： 85-86. （in Chinese）

[9]" 唐心宇， 宋愛國(guó). 人體姿態(tài)估計(jì)及在康復(fù)訓(xùn)練情景交互中的應(yīng)用[J]. 儀器儀表學(xué)報(bào)， 2018， 39（11）： 195-203.

Tang X Y， Song A G. Human pose estimation and its implementation in scenario interaction system of rehabilitation training[J]. Chinese Journal of Scientific Instrument， 2018， 39（11）： 195-203. （in Chinese）

[10]" 王懷宇， 林艷萍， 汪方. 基于OPENPOSE的三維上肢康復(fù)系統(tǒng)[J]. 機(jī)電一體化， 2018， 24（9）：31-37.

Wang H Y， Lin Y P， Wang F. Three-dimensional upper limb rehabilitation system based on OPENPOSE[J]. Mechatronics， 2018， 24（9）：31-37. （in Chinese）

[11]" 白敬， 宋愛國(guó)， 李會(huì)軍， 等. 基于工作空間測(cè)量的居家腦卒中患者上肢康復(fù)訓(xùn)練評(píng)估系統(tǒng)[J]. 儀器儀表學(xué)報(bào)， 2018， 39（4）： 74-81

Bai J， Song A G， Li H J， et al. Upper extremity rehabilitation training and assessment system for home stroke patients based on workplace measurement[J]. Chinese Journal of Scientific Instrument， 2018， 39（4）： 74-81. （in Chinese）

[12]" 徐彬， 鄭燕萍， 曹高興. 面向無人駕駛的行人三維姿態(tài)估計(jì)方法[J]. 科學(xué)技術(shù)與工程， 2018， 18（34）： 85-91.

Xu B， Zheng Y P， Cao G X. 3D pose estimation method of pedestrians for driverless vehicles[J]. Science Technology and Engineering， 2018，18（34）：85-91. （in Chinese）

[13]" Qiao S， Wang Y， Li J. Real-time human gesture grading based on OpenPose[C]. International Congress on Image and Signal Processing. IEEE， 2017：1-6.

[14]" Cao Z， Simon T， Wei S E， et al. Realtime multi-person 2D pose estimation using part affinity fields[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. IEEE， 2017：7291-7299.

[15]" Lin T Y， Maire M， Belongie S， et al. Microsoft coco： Common objects in context[C]. In European Conference on Computer Vision. Springer， Cham： 740-755.

[16]" 司守奎， 孫璽菁. 數(shù)學(xué)建模算法與應(yīng)用[M]. 北京： 國(guó)防工業(yè)出版社， 2011.

Si S K， Sun X J. Mathematical modeling algorithms and applications[M]. Beijing： National Defense Industry Press， 2011. （in Chinese）

[17]" Ren S， He K， Girshick R， Sun J. Faster r-cnn： Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis amp; Machine Intelligence， 2017， 39（6）：1137-1149.

[18]" Rajendran S P， Shine L， Pradeep R， et al. Fast and accurate traffic sign recognition for self driving cars using retinanet based detector[C]//2019 International Conference on Communication and Electronics Systems （ICCES）. IEEE， 2019： 784-790.

[19]" 曹建秋， 王華清， 藍(lán)章禮. 基于改進(jìn)YCrCb顏色空間的膚色分割[J]. 重慶交通大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2010， 29（3）： 488-492.

Cao J Q， Wang H Q， Lan Z L. Skin Color Division Base on Modified YCrCb Color Space[J]. Journal of Chongqing Jiaotong University （Natural Science）， 2010， 29（3）： 488-492. （in Chinese）

[20]" 張瑩. 開閉運(yùn)算在消除圖象噪聲中的應(yīng)用研究[J]. 濰坊學(xué)院學(xué)報(bào)， 2002（2）： 65-66.

Zhang Y. The application of opening-closing operation to eliminate lmage noise[J]. Journal of Weifang University， 2002（2）：65-66. （in Chinese）

[21]" 陳柏生. 一種二值圖像連通區(qū)域標(biāo)記的新方法[J].計(jì)算機(jī)工程與應(yīng)用， 2006， 42（25）：46-47.

Chen B. A new algorithm for binary connected components labeling[J]. Computer Engineering and Applications， 2006.42（25） ：46-47. （in Chinese）

（編輯" 詹燕平）