楊照宇,王梅霞,張培培
(華北理工大學 管理學院,河北唐山,063210)
2022 年國務院在《“十四五”國家老齡事業發展和養老服務體系規劃》中指出農村養老服務水平不高、居家社區養老和優質普惠服務供給不足、專業人才特別是護理人員短缺、科技創新和產品支撐有待加強、事業產業協同發展尚需提升等方面。為響應國家號召,我們研發了獨居老人智慧健康監測系統。
當前我國人口老齡化進入快速發展階段,老年人自我健康異常檢測已經成為一個痛點。如何使老年人得到更加有效地、全面地保護已經成為亟待解決的問題。為了推進智慧養老的發展,在2018 年我國政府就出臺了智慧醫療相關意見。2019 年,為了更進一步發展智慧養老,國家正式批準了我國養老服務領域第一項強制性國家標準《養老機構服務安全基本規范》(GB 38600-2019)[1]。
由此可見智慧養老越來越被國家所重視,然而許多老年人不愿意離開自己生活幾十年的土地,并且許多子女會離開家鄉外出工作,長時間生活在其他城市,這就造成了大量獨居老人的出現。對于老人來說,在日常的生活中存在許多安全隱患。若老人摔倒或突發心臟病,并且沒有接受及時的救治,那么老人可能會出現生命危險。對于獨居老人,以上出現的問題造成的后果可能會無限放大。對于子女來說,不能只關注老人的身體安全更應該關注心理問題,尤其是獨居老人的心理問題。
(1)流程設計。心跳異常檢測系統每經過0.004 秒就采集一次用戶的心跳數據,系統監測分為兩種檢測方式,一種是閾值檢測,一種是基于深度學習的異常檢測。①閾值監測。系統每秒進行一次閾值監測,若發生異常,則發送一封郵件到廠內醫務室或安保室進行告警,或每5 秒向釘釘發送異常消息。②基于深度學習的異常監測。系統定期進行基于深度學習的異常監測,最終生成圖片報告發送到家屬或醫生進行告警。具體操作流程如圖1 所示。

圖1 心跳異常監測系統
(2)技術路線。本系統通過傳感器采集老人心跳數據,再通過循環神經網絡(Recurrent Neural Network,RNN)算法,根據以往心跳數據擬合心跳預測值,將預測值與實際值進行比較,生成殘差,當心跳模式發生改變時,殘差變化較大,再利用Grafana 對殘差進行閾值監測[2],出現異常進行告警。技術路線如圖2 所示。

圖2 老人健康監測技術路線
(3)研究結果。RNN 循環神經網絡(Recurrent Neural Network,RNN)的實現基于一種Python 的PyTorch 深度學習框架。首先將RNN 輸出的每一幀的預測值與目標值通過PyTorch 訓練出來的模型來通過Multivariate Gaussian Distribution model(公式1)分析、比較出殘差后,在Grafana 的dashboard 中新建一個panel 來圖形化殘差,最后再通過Grafana 閾值檢測殘差,如圖3 所示,在心跳正常時,殘差起伏并不大,但當心跳出現異常時,殘差將會有很大的起伏,由此,便可以結合Grafana 閾值檢測的方式來檢測殘差,當殘差高于一定值時,向用戶發送異常。

圖3 殘差效果圖
如圖3 所示,上面的綠色序列是心跳數據,下面的紅色序列是高斯分布的概率值的倒數,當心跳模式發生異常時,其對應的概率倒數是非常大的,這樣可以利用可視化技術,迅速找到異常序列所在位置。
(1)流程設計。當老人出現跌倒時救助的及時性是十分重要的,系統每0.03 秒采集一幀圖像,使用基于Openpose[3]人體關鍵節點識別技術識別并標注人體關鍵節點,下一步計算每一幀與上一幀相比較頭部節點高度梯度變化,進行判斷,危險動作檢測系統如圖4 所示。如果梯度大于閾值則計算頭部與腳部節點之間的距離,否則繼續監測,再比較距離是否小于閾值,如果小于就再判斷跌倒時間,如果都為真,則利用郵件的方式通知家屬,否則繼續監測,不拋出異常。

圖4 危險動作檢測系統
(2)技術路線。首先,通過攝像頭捕捉室內的圖像信息,通過Openpose 檢測出人體,并進行人體關鍵節點的識別,并將節點數據存入實時數據庫,再利用SVM 進行跌倒的識別。
(3)研究結果。本設計使用了基于Openpose 的人體節點識別技術和自研的跌倒識別算法,來監測老人生活過程中的危險行為,在跌倒識別的反應速度上達到了毫秒級別。如圖5 所示,Openpose可以實時監測全身包括鼻子、肩膀、膝蓋等18 個關鍵節點。

圖5 跌倒檢測
一旦檢測到跌倒,將及時拋出異常,實現了對于居家生活的跌倒檢測。
為確保跌倒監測精確度真實可信,我們將測試摔倒情況分為6 種:前倒、后倒、隨機地向各方向側倒、下蹲系鞋帶、從座位上倒地、暈倒跪地俯身。實驗者共6 人,每人分別對上述6 種情況做10 次實驗。實驗結果如表1 所示,經確認,識別準確率高達96.43%,達到了行業內算法的頂尖水準。

表1 實驗者每人進行10次記錄成功次數
(1)流程設計。對于情緒監測而言,首先通過攝像頭采集老人人臉圖像,采用Dlib[4]檢測出人臉后,再提取面部關鍵節點,再利用支持向量機SVM[5]實現情緒的識別,最后利用機器學習的方法對不同表情的面部關鍵節點模式進行分類,以此來實現對老人情緒的監測。若情緒不正常,則在后臺生成報告,并給出輔助決策,通知家屬;若情緒正常,則將數據返回,繼續進行監測。具體流程如圖6 所示。

圖6 情緒監測系統
(2)技術路線。系統對于情緒監測主要依靠攝像頭,不斷捕捉老人人臉圖像信息,將圖像信息進行實時分析,采用Dlib 檢測出人臉,提取面部關鍵節點信息,然后利用支持向量機(Support Vector Machine,SVM)實現情緒的識別。
(3)研究結果。情緒監測系統主要通過Dlib人臉識別和SVM 支持向量機這兩種算法來實現。
首先基于Dlib 對人臉的各個關鍵節點進行識別,圖7 為Dlib 檢測出的68 個關鍵節點,通過這68 個關鍵節點分別獲取眼睛與嘴巴的索引實現對臉部細節的檢測。

圖7 情緒監測結果示意圖
再通過支持向量機對其進行分類,SVM 基本想法是求解能夠正確劃分訓練數據集并且幾何間隔最大的分離超平面。如圖8 所示,W×X+B=0 即為分離超平面,對于線性可分的數據集來說,這樣的超平面有無窮多個,但是幾何間隔最大的分離超平面卻是唯一的。

圖8 情緒監測結果示意圖
以不同臉型做出的表情(如:喜、怒、哀、樂)作為龐大的數據庫,同時對這四個表情做出的概率進行估算并返回概率最高的那一個表情,其檢測結果如圖9 所示。當我們做出不同表情時,Dlib 獲取了嘴巴和眼睛關鍵節點的索引,SVM 劃分平面并輸出表情。

圖9 情緒監測結果示意圖
本系統是為獨居老人子女設計一套實時監測老人健康與情緒的系統。通過使用RNN 算法與Grafana 相結合的心跳異常檢測功能、基于Openpose 人體關鍵節點識別技術的跌倒檢測功能以及基于Dlib 與支持向量機SVM 算法的情緒識別功能,方便在外子女關心老人,助力智慧醫療的發展。