基于Stacked Hourglass的智能康復評估系統(tǒng)研究

盧鵬飛　鄭建立　尹梓名

摘要：2020年康復領(lǐng)域異常嚴峻，一方面，疫情爆發(fā)，人群不易聚集，患者不方便去醫(yī)院或者康復中心做康復及檢測身體狀況，另一方面，全球人口老齡化問題加劇，老人腿腳不方便，不便于頻繁地去康復中心復查，并且全國康復中心資源較少，不僅造成康復師工作壓力增大，還會出現(xiàn)醫(yī)患溝通不充分，延誤康復等問題。隨著人工智能技術(shù)不斷發(fā)展，機器視覺在人工智能中的表現(xiàn)尤為突出，其中骨架識別不斷被認可，應用在了多個領(lǐng)域。因此本次研究設(shè)計了基于StackedHourglass的智能康復評估系統(tǒng)，期望可以提高康復醫(yī)師工作效率。本系統(tǒng)主要為智能康復評估，首先構(gòu)建以量表為中心，建立量表答題結(jié)構(gòu)的數(shù)據(jù)庫，將量表儲存在數(shù)據(jù)庫中。其次，將骨架識別移植到移動端軟件識別出量表所需數(shù)據(jù)。然后，將骨架識別數(shù)據(jù)通過計算，算出填表所需值，智能填表。最后，通過各個量表數(shù)據(jù)，全部顯示出來并提供給康復師，讓康復師了解患者狀況。通過這些步驟設(shè)計量表模型，完成智能康復評估。

關(guān)鍵詞：骨架識別;Hourglass;TensorFlow;智能量表

【Abstract】Thefieldofrehabilitationin2020isextremelysevere.Ononehand，theoutbreakoftheepidemicmakesitdifficultforpeopletogather，anditisinconvenientforpatientstogotohospitalsorrehabilitationcentersforrehabilitationandchecktheirphysicalconditions.Ontheotherhand，theproblemofglobalpopulationaginghasintensified，andthelegsandfeetoftheelderlyareinconvenient.Notonlyfrequentvisitstorehabilitationcentersforreviewandfewerresourcesinrehabilitationcentersacrossthecountryincreasetheworkpressureofrehabilitationpractitioners，butalsoinadequatecommunicationbetweendoctorsandpatientsanddelaysinrehabilitationwillalsohappen.Withthecontinuousdevelopmentofartificialintelligencetechnology，theperformanceofmachinevisioninartificialintelligenceisparticularlyprominent，amongwhichskeletonrecognitioniscontinuouslyrecognizedandappliedinmanyfields.Therefore，thisstudydesignsanintelligentrehabilitationevaluationsystembasedonStackedHourglass，hopingtoimprovetheefficiencyofrehabilitationphysicians.Thissystemismainlyforintelligentrehabilitationassessment.First，buildadatabasewiththescaleasthecenter，establishthestructureofthescale，andstorethescaleinthedatabase.Secondly，transplanttheskeletonrecognitiontothemobileterminalsoftwaretorecognizethedatarequiredbythescale.Then，theskeletonidentificationdataiscalculatedtoachievetherequiredvalueforfillingtheform，andtheformisfilledintelligently.Finally，throughthedataofeachscale，allaredisplayedtotherehabilitationpractitioner，sothattherehabilitationpractitionercanunderstandthepatient'scondition.Throughthesesteps，thescalemodelisdesignedtocompletetheintelligentrehabilitationassessment.

【Keywords】skeletonrecognition;Hourglass;TensorFlow;intelligentformfilling

作者簡介：盧鵬飛（1994-），男，碩士研究生，主要研究方向：醫(yī)學人工智能;鄭建立（1965-），男，博士，副教授，主要研究方向：醫(yī)學信息系統(tǒng)與集成技術(shù)、醫(yī)學儀器嵌入式技術(shù);尹梓名（1986-），男，博士，講師，主要研究方向：臨床決策支持、醫(yī)學人工智能。

0引言

智能康復評估系統(tǒng)是用戶通過手機等移動端使用攝像頭等硬件運用機器視覺來非人工填寫康復健康表并輔助患者訓練的智能系統(tǒng)，讓康復師和患者隨時隨地了解患者或自己的康復狀況，可以免去醫(yī)生和患者必須在固定位置、固定時間診斷所造成的資源浪費，大大地減少了醫(yī)生和患者雙方的時間和經(jīng)濟成本，同時也可以避免一些誤診，錯填的意外情況[1-3]。智能量表的準確性和完整性對后續(xù)的康復計劃和康復實施都具有重大意義。考慮到疫情的影響，許多醫(yī)院及康復中心每天的接診人數(shù)受限，并需要先預約才能就診，這就導致預約患者多數(shù)時候都要等待數(shù)日才能就診，既耽誤康復進度，又可能會進一步加劇醫(yī)患矛盾。為了改變康復診斷現(xiàn)狀，就會希望能夠依托骨架識別等智能技術(shù)手段，實現(xiàn)智能量表和智能訓練，以優(yōu)化康復流程。智能量表就是智能填寫康復量表，患者可以在任意地點、任意時間完成康復量表的智能填寫，通過骨架識別的技術(shù)，模擬康復師與患者的問診流程，智能收集患者身體狀況等信息，形成初步的康復量表，以供康復師了解康復進度。智能訓練就是智能指導輔助患者訓練，患者同樣解除了時間與地點的束縛，可以隨時隨地訓練。

骨架識別技術(shù)是通過深度學習技術(shù)學習出人體的骨架，行為識別分析的相關(guān)研究可以追溯到1975年Johansson[4]的一個實驗，研究提出了12點人體模型，這種描述行為的點模型方法對后來基于人體結(jié)構(gòu)的行為描述算法起到了重要的指導作用。在引發(fā)學界廣泛關(guān)注的同時，骨架識別技術(shù)也開始進入發(fā)展階段，通過對多個人物圖像數(shù)據(jù)集進行學習，輸出相關(guān)的骨架關(guān)鍵點位置數(shù)據(jù)。目前，世界范圍內(nèi)開放骨架識別主要有OpenPose[5-6]等，中國方面則有清華大學-紫為云使能中心、京東云人體關(guān)鍵點檢測等。但在垂直領(lǐng)域，如康復，相關(guān)的骨架識別并不多，且多以治療為主。

本次研究的主要內(nèi)容是基于StackedHourglass的智能康復評估訓練系統(tǒng)。研究中將使用康復中心正規(guī)的康復量表建立量表數(shù)據(jù)庫，將一些可以智能量表的數(shù)據(jù)整理出來，在系統(tǒng)中運用骨架識別技術(shù)進行智能量表，并將其數(shù)據(jù)存入數(shù)據(jù)庫SQLite中，以供康復師使用。此后通過患者類型，將患者分配到不同的訓練中，患者可以隨同制作好虛擬人物一起訓練。通過骨架識別，系統(tǒng)可識別出患者的動作是否標準并給予提示，再對患者的動作進行后續(xù)的評估和打分，填入量表中。

1骨架識別模型構(gòu)建

本系統(tǒng)運用的是StackedHourglass骨架識別模型，該模型是通過多個沙漏網(wǎng)絡(luò)串聯(lián)起來得到的，通過各個沙漏模型輸出的關(guān)節(jié)點信息來提高各個關(guān)節(jié)點的識別精度，再通過中間監(jiān)督的方式來提高精確度。沙漏網(wǎng)絡(luò)是StackedHourglass模型的核心部分，可通過提取多層次的特征來識別出骨架的關(guān)鍵點，是對CNN神經(jīng)網(wǎng)絡(luò)的一次升級，具有更高的準確性。

1.1沙漏網(wǎng)絡(luò)

首先，要了解沙漏網(wǎng)絡(luò)與CNN神經(jīng)網(wǎng)絡(luò)的不同。CNN網(wǎng)絡(luò)是通過不斷的分層提取特征，而后使用最后一層的卷積特征進行識別，這會造成一些圖片信息的丟失，并且由于骨架關(guān)鍵點的不同最好的識別精度會發(fā)生在不同層次的特征圖上，由此則會造成骨架識別各個關(guān)鍵點的最佳精度不能統(tǒng)一在一個特征圖上，而沙漏網(wǎng)絡(luò)就很好地解決了這個問題。

沙漏網(wǎng)絡(luò)中使用了多層的特征，整體結(jié)構(gòu)如圖1所示，就像一個沙漏，C1～C7就與CNN網(wǎng)絡(luò)一樣，可進行深層特征提取。而與其不同的是，沙漏網(wǎng)絡(luò)又在位于其后的C1a～C4a中復用了C1～C4，并運用在后面的層次中，這樣就防止了信息的缺失。

在后半部分，沙漏網(wǎng)絡(luò)通過合并2個不同的層次，如C4b是通過對C7進行上采樣擴大一倍后再與C4a合并而來，通過這樣的層層疊加后，最后一層C1b就保留了所有圖像的信息。

1.2數(shù)據(jù)集

本次實驗選用的是AIChallenger數(shù)據(jù)集。AIChallenger數(shù)據(jù)集是由“AIChallenger全球AI挑戰(zhàn)賽”提供的，這是目前對于骨架數(shù)據(jù)標記較為完善的數(shù)據(jù)集。本數(shù)據(jù)集包括著70萬個人體動作分析標注數(shù)據(jù)、30萬張圖片場景標注和語義描述數(shù)據(jù)，是國內(nèi)迄今公開的規(guī)模最大的科研數(shù)據(jù)集。

AIChallenger數(shù)據(jù)集如圖2所示。本次實驗選取了22447個人體圖片數(shù)據(jù)作為訓練集，1501個作為測試集。本實驗只需要單人的骨架識別，因此所有的圖片數(shù)據(jù)都是單個人的圖像數(shù)據(jù)，具有很好的針對性。

1.3實驗結(jié)果

本實驗通過對比較常用的開源骨架識別技術(shù)openpose和本次研究選用的骨架識別技術(shù)Hourglass進行對比。實驗結(jié)果見表1。

從表1的結(jié)果可以看出，Hourglass的關(guān)鍵點正確估計的比例高于目前常用的骨架識別技術(shù)openpose，由于openpose主要使用多個CNN進行訓練，而在前文的介紹中，提到了Hourglass比CNN所保留的數(shù)據(jù)更多，并且運用中間監(jiān)督提升了精確度，所以Hourglass骨架識別整體效率同樣高于openpose。

2康復評估系統(tǒng)設(shè)計

2.1系統(tǒng)架構(gòu)

本次研究的康復評估訓練系統(tǒng)，以Android手機軟件作為系統(tǒng)與患者的交互的載體，通過手機端的攝像頭獲取圖像數(shù)據(jù)，并對獲取的圖像數(shù)據(jù)進行深度學習，將其量化，整理出量表所需要的數(shù)據(jù)。整體系統(tǒng)架構(gòu)如圖3所示，應用層包括漸進式的情景交互康復評估虛擬場景、康復效果評估和康復量表評估。其中，康復效果評估為動態(tài)評估，通過在訓練過程中，患者所做出的動作是否標準，進行一個完整性的評估，而康復量表評估為靜態(tài)評估，讓患者做出一個動作，對該動作的程度進行評估。在姿態(tài)評估與數(shù)據(jù)存儲層中，姿態(tài)評估運用的是StackedHourglass骨架識別技術(shù)，由計算機訓練出具有較高準確率的模型，再通過TensorFlow-lite技術(shù)，將模型移植到移動端，在識別出骨架關(guān)鍵點后通過靜態(tài)評

估運算和動態(tài)評估運算得出量表所需要的數(shù)據(jù)，存入數(shù)據(jù)庫中，供系統(tǒng)的康復評估使用。

2.2康復評估

康復評估主要是對患者的康復狀況進行一次智能填寫康復量表，系統(tǒng)會根據(jù)患者的個人情況分配患者需要評估的康復量表，患者根據(jù)提示進行操作，在許多問題上，可以通過骨架識別技術(shù)幫助患者完成康復量表，具體如圖4所示。由圖4可知，患者登錄自己的賬號進入主界面2，點擊參加評估，進入界面3選擇自己要評估的量表，進入界面4，根據(jù)提示進行評估，在評估中，如界面4中的題目就可以運用智能評估，點擊智能評估，患者將手機放在手機支架上，正對自己，界面上顯示患者的圖像，系統(tǒng)播放動作動畫與語音，患者跟隨動畫和語音提示來做一些康復量表所需要的動作，手機攝像頭會對患者的動作進行捕捉，實時獲取其關(guān)節(jié)點信息保存到數(shù)據(jù)庫中，再將所需數(shù)據(jù)通過計算得出量表的所填項填寫到量表中，展示到界面7上，評估結(jié)束后可在主界面2上點擊“我的評估”獲取如界面8展示的評估信息。

2.2.1靜態(tài)評估

在該模塊中，通過骨架識別出來的數(shù)據(jù)需要通過計算處理得出系統(tǒng)所需要的數(shù)據(jù)，如在填寫關(guān)節(jié)活動度量表中，需要測量左肘關(guān)節(jié)活動的最小角度，此時就需要獲取該患者左手肘、左手腕和左肩膀的關(guān)鍵點位置，由于運用的是移動端前置攝像頭，所以左手位置也在圖像左邊，通過對3個關(guān)鍵點的位置數(shù)據(jù)，計算出其手肘角度。左手肘角度計算流程如圖5所示。由圖5可知，A表示系統(tǒng)通過骨架識別出來的左手腕、左手肘和左肩的關(guān)鍵點標記，B表示識別出的各個關(guān)鍵點的位置坐標，C為角度計算公式，通過該公式，得出D的結(jié)果，再將結(jié)果填寫進康復量表中。

2.2.2動態(tài)評估

康復訓練評估主要是幫助患者自己進行康復的訓練，通過隨同手機屏幕上的虛擬虛線人物的動作進行康復訓練，系統(tǒng)會提示患者調(diào)整自己的姿勢，起到很好的規(guī)范動作作用，并對患者訓練的動作進行評估。

虛擬虛線人物如圖6所示，這個動畫是通過MOHO動畫制作軟件制作，先將頭部四肢軀干等綁定好骨骼，對虛擬人物做訓練所需要的動作，再將該動畫轉(zhuǎn)為gif格式，移植到系統(tǒng)中去。

在評估中，系統(tǒng)通過骨架識別出來的數(shù)據(jù)需要通過計算處理得出系統(tǒng)所需要的數(shù)據(jù)，該評估通過計算出人體四肢的角度，實時對患者的訓練動作做出評價，系統(tǒng)中會設(shè)定好該訓練動作于該時段內(nèi)四肢角度的一個范圍，系統(tǒng)識別出的角度如果有一個在此范圍之外，會在界面上顯示紅叉，如果四肢角度都在此范圍內(nèi)就會顯示綠勾，最后會根據(jù)綠勾與紅叉的比例進行一個打分，判斷康復訓練的完成度，并將該評分計入康復量表中，參與量表的評估。

3結(jié)束語

本文設(shè)計的基于StackedHourglass的智能康復評估系統(tǒng)能通過骨架識別的技術(shù)讓患者可以在空閑之余對自己的康復情況進行一定的評估與訓練，可以免去醫(yī)生和患者必須在固定位置、固定時間診斷所造成的資源浪費，大大地減少了醫(yī)生和患者雙方的時間和經(jīng)濟成本，同時也可以避免一些誤診，錯填的意外情況。此外，患者也可以隨時隨地進行康復訓練，加快其康復進程。

本系統(tǒng)在疫情期間可以有效防止康復中心人群聚集，減少醫(yī)患接觸，同時也可以緩和醫(yī)患關(guān)系。但是現(xiàn)階段康復量表數(shù)據(jù)較少，也只做了骨骼活動度的量表評估和訓練評估，具有一定的局限性，因此，如何兼容其他復雜的量表將會是下一步的研究方向。

參考文獻

[1]NEWELLA，YANGKaiyu，DENGJia.StackedHourglassnetworksforhumanposeestimation[M]//LEIBEB，MATASJ，SEBEN.ComputerVision-ECCV2016LectureNotesinComputerScience.Cham：Springer，2016，9912：483-499.

[2]BAOWenxia，YANGYaping，LIANGDong，etal.Multi-residualmodulestackedHourglassnetworksforhumanposeestimation[J].JournalofBeijingInstituteofTechnology，2020，29（1）：110-119.

[3]HUAGuoguang，LILihong，LIUShiguang.Multipathaffinagestacked—hourglassnetworksforhumanposeestimation[J].FrontiersofComputerScience（print），2020，14（12）：219-229.

[4]JOHANSSONG.Visualmotionperception[J].ScientificAmerican，1975，232（6）：76-88.

[5]都文龍.基于多尺度級聯(lián)沙漏網(wǎng)絡(luò)的人體姿勢估計[D].杭州：杭州電子科技大學，2019.

[6]陳汝峰，謝鵬飛，彭成，等.基于OpenPose的人體姿態(tài)檢測系統(tǒng)設(shè)計與實現(xiàn)[J].電子世界，2020（17）：183-184.

[7]曹青峰.基于深度學習的人體骨架動作識別[D].徐州：中國礦業(yè)大學，2020.

[8]YANGHaiwei，JIANGPeilin，WANGFei.Multi-view-basedposeestimationanditsapplicationsonintelligentmanufacturing[J].Sensors，2020，20（18）：5072.

[9]MIURAT，SAKOS.3Dhumanposeestimationmodelusinglocation-mapsfordistortedanddisconnectedimagesbyawearableomnidirectionalcamera[J].IPSJTransactionsonComputerVisionandApplications，2020，12（1）：4160-4169.

[10]趙康.利用稀疏編碼結(jié)合深度學習的人體姿態(tài)估計[J].信息技術(shù)，2020，44（9）：61-65，69.

[11]BASTIANBT，VICTORJC.Detectionandposeestimationofauto-rickshawsfromtrafficimages[J].MachineVisionandApplications，2020，31（6）：393-403.

[12]LIYang，LIKan，WANGXinxin，etal.Exploringtemporalconsistencyforhumanposeestimationinvideos[J].PatternRecognition，2020，103（1-3）：107258.

[13]BENZINEA，LUVISONB，PHAMQC，etal.Single-shot3Dmulti-personposeestimationincompleximages[J].PatternRecognition，2020，112（1-2）：107534.

[14]BINYanrui，CHENZhaomin，WEIXiushen，etal.Structure-awarehumanposeestimationwithgraphconvolutionalnetworks[J].PatternRecognition，2020，106：107410.

[15]ZHENGGuanghui，WANGSuyu，YANGBin.Hierarchicalstructurecorrelationinferenceforposeestimation[J].Neurocomputing，2020，404：186-197.

[16]YANGXiaohan，LIXiaojuan，GUANYong，etal.Overfittingreductionofposeestimationfordeeplearningvisualodometry[J].ChinaCommunications，2020，17（6）：196-210.