基于語(yǔ)音交互與人體姿態(tài)識(shí)別的獨(dú)居老人智能陪護(hù)系統(tǒng)

黃一明，吳斌，蔡培森，余亞?wèn)|

（紹興文理學(xué)院數(shù)理信息學(xué)院，浙江紹興 312000）

中國(guó)自20 世紀(jì)末進(jìn)入老齡化社會(huì)以來(lái)，老年人口數(shù)量快速增加，老年人口占比大幅攀升。2000 年至2018 年，60 歲及以上老年人口從1.26 億增加到2.49 億人。同期，老年人口占比從10.2%上升到17.9%，提升幅度是世界平均水平的2 倍多。與龐大老年群體相對(duì)的是養(yǎng)老資源的供給難以滿足養(yǎng)老需求[1-2]。此外，由于老人子女工作繁忙，平時(shí)都不在身邊，更沒(méi)有條件和時(shí)間顧及獨(dú)居老人，因此如何在日常生活中持續(xù)照顧和監(jiān)護(hù)獨(dú)居老人的生理及心理健康，破解當(dāng)前養(yǎng)老困局成為當(dāng)下社會(huì)亟待解決的問(wèn)題。

隨著互聯(lián)網(wǎng)、人工智能等技術(shù)的飛速發(fā)展，傳統(tǒng)養(yǎng)老行業(yè)迎來(lái)了全面的轉(zhuǎn)型升級(jí)。智慧養(yǎng)老的發(fā)展將會(huì)突破傳統(tǒng)養(yǎng)老在居家照顧、出行、安全保護(hù)、健康管理、精神關(guān)愛(ài)等5 個(gè)方面的難點(diǎn)。文中介紹了一種基于語(yǔ)音交互與人體姿態(tài)識(shí)別技術(shù)的獨(dú)居老人智能陪護(hù)系統(tǒng)，老人可以通過(guò)語(yǔ)音與系統(tǒng)進(jìn)行交流，詢問(wèn)新聞、天氣等信息，系統(tǒng)也可以通過(guò)實(shí)時(shí)視頻監(jiān)控，監(jiān)測(cè)老人的安全，當(dāng)發(fā)生意外時(shí)立刻向子女發(fā)送報(bào)警信息。

1 系統(tǒng)總體設(shè)計(jì)

基于語(yǔ)音交互與人體姿態(tài)識(shí)別技術(shù)的獨(dú)居老人智能陪護(hù)系統(tǒng)主要分為3 個(gè)功能模塊，即人體姿態(tài)識(shí)別、異常行為報(bào)警以及智能語(yǔ)音交互。系統(tǒng)設(shè)計(jì)框圖如圖1 所示。

圖1 系統(tǒng)設(shè)計(jì)框圖

1）人體姿態(tài)識(shí)別：通過(guò)攝像頭對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行檢測(cè)，針對(duì)目標(biāo)檢測(cè)的結(jié)果，經(jīng)過(guò)一定的篩選后建立混合高斯背景模型，并進(jìn)行形態(tài)學(xué)處理，再對(duì)運(yùn)動(dòng)目標(biāo)建立外接矩形窗，通過(guò)矩形窗的高寬比來(lái)判斷老人是否發(fā)生跌倒行為。

2）異常行為報(bào)警：報(bào)警采用聲響以及通過(guò)GPRS/GSM 通信模塊自動(dòng)推送數(shù)據(jù)到子女手機(jī)，當(dāng)觸發(fā)異常行為報(bào)警后，將報(bào)警時(shí)間以及地點(diǎn)等信息存儲(chǔ)到本地?cái)?shù)據(jù)庫(kù)中，同時(shí)在系統(tǒng)運(yùn)行過(guò)程中，采用循環(huán)覆蓋的方法存儲(chǔ)由相機(jī)采集到的圖像畫(huà)面，一旦發(fā)生警報(bào)，則將這些圖像組合為視頻保存到本地?cái)?shù)據(jù)庫(kù)中。

3）智能語(yǔ)音交互：當(dāng)系統(tǒng)被關(guān)鍵詞喚醒時(shí)，語(yǔ)音交互模式啟動(dòng)，利用開(kāi)源在線的科大訊飛SDK 對(duì)老人的語(yǔ)音信息進(jìn)行語(yǔ)義識(shí)別與合成，并針對(duì)語(yǔ)音信息利用數(shù)據(jù)挖掘進(jìn)行網(wǎng)絡(luò)數(shù)據(jù)爬取，獲取相關(guān)信息，如了解實(shí)時(shí)新聞、天氣狀況以及音樂(lè)播放等，滿足老人的日常需求。

2 系統(tǒng)硬件設(shè)計(jì)

2.1 主控板

系統(tǒng)采用樹(shù)莓派4（Raspberry Pi 4）作為主控中心，它是一款A(yù)RM Cortex-A72 架構(gòu)的微型計(jì)算機(jī)，搭載1.5 GHz 的64 位四核處理器，4 GB LPDDR4 內(nèi)存，支持Linux 操作系統(tǒng)的運(yùn)行，具有OpenGL ES 3.0 GPU，支持HEVC/ H.265 視頻的4kp60 硬件解碼，并提供了CSI 排線接口和USB 2.0 與USB 3.0 數(shù)據(jù)傳輸端口，能夠連接CSI 攝像頭或者USB 通用攝像頭；同時(shí)還具有多種串行、并行、PWM 等擴(kuò)展引腳。

樹(shù)莓派4 微型計(jì)算機(jī)體積小巧、功耗開(kāi)銷(xiāo)低、價(jià)格低廉、性能強(qiáng)大并且具有豐富的可拓展資源，是非常理想的主控中心平臺(tái)，可快速得到硬件支持。

2.2 傳感器模塊

2.2.1 圖像傳感器

圖像傳感器是利用光電器件的光電效應(yīng)，將感光面上的光信號(hào)轉(zhuǎn)換為與之成相應(yīng)比例的電信號(hào)的一種傳感器。系統(tǒng)采用基于CSI 排線接口的單目攝像頭，其搭載Sony IMX219PQ 圖像傳感器，具有高速視頻成像和高靈敏度的特點(diǎn)。該攝像頭模塊在面對(duì)如固定模式噪聲和拖尾效應(yīng)等圖像污染時(shí)具有十分良好的抑制作用，同時(shí)，還具有曝光控制、白平衡和亮度檢測(cè)等自動(dòng)控制功能。此外，該攝像頭具有在黑暗環(huán)境中進(jìn)行攝影的能力，使系統(tǒng)在夜間也能監(jiān)測(cè)獨(dú)居老人的行為活動(dòng)，符合系統(tǒng)設(shè)計(jì)要求。

2.2.2 語(yǔ)音采集模塊

系統(tǒng)使用ReSpeaker 4-Mic 陣列作為語(yǔ)音模塊，它是一塊適用于AI 和語(yǔ)音應(yīng)用的四通道麥克風(fēng)模塊，具有I2S/TDM 輸出轉(zhuǎn)換功能的高度集成四通道ADC，拾音半徑為3 m，可捕獲高清晰度語(yǔ)音，因此使用ReSpeaker 4-Mic 陣列可以很好地契合該系統(tǒng)的設(shè)計(jì)。

2.2.3 GPRS/GSM通信模塊

系統(tǒng)GPRS/GSM 通信采用希姆通公司推出的SIM900A 無(wú)線通信模塊。SIM900A 是一款支持雙頻GSM/GPRS 的無(wú)線通信模塊，其GPRS 的最大數(shù)據(jù)速率可達(dá)上行85.6 kbps，下行42.8 kbps。同時(shí)，模塊還具有尺寸小、功耗低、環(huán)境適應(yīng)性強(qiáng)等優(yōu)點(diǎn)。此外，模塊支持語(yǔ)音通話、SMS 短信以及全球GSM 網(wǎng)絡(luò)，能夠很好地支撐系統(tǒng)設(shè)計(jì)需要的緊急報(bào)警功能。

3 系統(tǒng)軟件設(shè)計(jì)

系統(tǒng)軟件設(shè)計(jì)基于Ubuntu 操作系統(tǒng)，人體姿態(tài)識(shí)別采用OpenCV 開(kāi)源計(jì)算機(jī)視覺(jué)庫(kù)，根據(jù)獨(dú)居老人姿態(tài)的改變判斷老人是否發(fā)生意外跌倒；語(yǔ)音交互設(shè)計(jì)將利用科大訊飛SDK 實(shí)現(xiàn)[3-6]，通過(guò)Python 靈活便捷的代碼風(fēng)格設(shè)計(jì)爬蟲(chóng)程序，通過(guò)爬蟲(chóng)將語(yǔ)音采集模塊捕獲到的語(yǔ)音信息進(jìn)行爬取，得到各大新聞網(wǎng)站相關(guān)的時(shí)事資訊、氣象信息以及音樂(lè)等。

3.1 語(yǔ)音交互設(shè)計(jì)與實(shí)現(xiàn)

系統(tǒng)采用的語(yǔ)音交互主要由語(yǔ)音數(shù)據(jù)采集層、智能語(yǔ)音系統(tǒng)層和語(yǔ)音數(shù)據(jù)處理層3 部分組成，如圖2 所示。系統(tǒng)通過(guò)語(yǔ)音采集模塊ReSpeaker 4-Mic陣列接收獨(dú)居老人的語(yǔ)音數(shù)據(jù)，實(shí)現(xiàn)語(yǔ)音輸入，智能語(yǔ)音系統(tǒng)層將對(duì)輸入的語(yǔ)音數(shù)據(jù)進(jìn)行處理，并通過(guò)爬蟲(chóng)技術(shù)實(shí)現(xiàn)相應(yīng)網(wǎng)絡(luò)數(shù)據(jù)爬取[7-9]，進(jìn)而獲得老人獲取需求的信息。

圖2 語(yǔ)音交互流程圖

其中，對(duì)于語(yǔ)音數(shù)據(jù)處理的關(guān)鍵技術(shù)實(shí)現(xiàn)主要包括語(yǔ)音識(shí)別（ASR）、語(yǔ)義處理（NLP）和語(yǔ)音合成（TTS），如圖3 所示。該系統(tǒng)采用科大訊飛開(kāi)源語(yǔ)音開(kāi)發(fā)平臺(tái)實(shí)現(xiàn)語(yǔ)音識(shí)別與語(yǔ)音合成的功能。將采集到的老人的語(yǔ)音信號(hào)轉(zhuǎn)化為文本數(shù)據(jù)信號(hào)后輸入至自然語(yǔ)義處理系統(tǒng)，從識(shí)別出的文本數(shù)據(jù)信號(hào)中讀取關(guān)鍵信息從而理解老人的需求，而圖靈機(jī)器人作為一個(gè)開(kāi)源的自然語(yǔ)義處理云計(jì)算引擎，能夠抓取語(yǔ)音中與老人需求相關(guān)的重要數(shù)據(jù)，從而為進(jìn)行邏輯處理做出相應(yīng)反饋。語(yǔ)音合成是將文本數(shù)據(jù)信號(hào)轉(zhuǎn)換成音頻信號(hào)，通過(guò)輸出播放設(shè)備反饋給老人。

圖3 語(yǔ)音處理關(guān)鍵技術(shù)框圖

3.2 人體姿態(tài)識(shí)別設(shè)計(jì)與實(shí)現(xiàn)

3.2.1 設(shè)計(jì)思路

人體姿態(tài)檢測(cè)技術(shù)在國(guó)內(nèi)外的發(fā)展都已相對(duì)充分。目前，主要有3 種方案，分別是基于外圍環(huán)境傳感器的檢測(cè)、基于可穿戴設(shè)備的檢測(cè)以及基于計(jì)算機(jī)視覺(jué)的檢測(cè)，因?yàn)榛谟?jì)算機(jī)視覺(jué)的檢測(cè)方法具有無(wú)侵入性、易于使用的特點(diǎn)十分契合系統(tǒng)的需求，因此該系統(tǒng)采用此方案實(shí)現(xiàn)人體姿態(tài)識(shí)別。

姿態(tài)識(shí)別的主要處理步驟：首先，系統(tǒng)通過(guò)圖像傳感器采集視頻圖像，并對(duì)識(shí)別目標(biāo)進(jìn)行檢測(cè)；然后，利用混合高斯背景模型對(duì)視頻圖像中的運(yùn)動(dòng)目標(biāo)進(jìn)行提取；再通過(guò)形態(tài)學(xué)、濾波等處理使提取出的目標(biāo)輪廓邊緣更加清晰、內(nèi)部更加充實(shí)；再對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行特征提取，采用常見(jiàn)的最小外接矩形提取方法，此外在特征提取前，先標(biāo)記出感興趣的區(qū)域；最后，通過(guò)外接矩形窗口的寬高比判斷目標(biāo)是否發(fā)生跌倒行為，姿態(tài)識(shí)別流程如圖4 所示。

圖4 姿態(tài)識(shí)別流程圖

3.2.2 混合高斯背景建模算法

混合高斯模型[10-14]是應(yīng)用最廣泛的背景建模算法，是對(duì)單高斯模型的改進(jìn)，在背景多模態(tài)現(xiàn)象下具有優(yōu)秀的魯棒性。在混合高斯背景模型中，視頻圖像彼此之間的顏色信息被認(rèn)為是不相關(guān)的，并且每個(gè)像素點(diǎn)的處理彼此獨(dú)立。對(duì)于視頻圖像中的各個(gè)像素點(diǎn)，其值的變化在序列圖像中可以看作是連續(xù)生成像素值的隨機(jī)過(guò)程，也就是說(shuō)高斯分布能夠用于描述每個(gè)像素點(diǎn)的顏色規(guī)律。對(duì)于多峰高斯分布模型，通過(guò)疊加具有不同權(quán)重的多個(gè)高斯分布來(lái)給圖像的每個(gè)像素建模。每個(gè)高斯分布對(duì)應(yīng)一個(gè)可能產(chǎn)生圖像上各個(gè)像素點(diǎn)所呈現(xiàn)顏色的狀態(tài)。而高斯分布的權(quán)重和分布參數(shù)則隨每一幀圖像的獲取進(jìn)行實(shí)時(shí)更新。

當(dāng)處理彩色圖像時(shí)，假定圖像像素點(diǎn)R、G、B 三色通道彼此獨(dú)立并且具有相同的方差。對(duì)于隨機(jī)變量x的觀察數(shù)據(jù)集{x1,x2,…,xN}，其中xt=(rt,gt,bt)是在t時(shí)刻像素的樣本，用混合高斯模型為其建模，定義當(dāng)前觀測(cè)點(diǎn)像素值的概率為：

其中，k為高斯模型的數(shù)量，η(xt,μi,t,τi,t)為t時(shí)刻第i個(gè)高斯分布；μi,t為其均值；wi,t為t時(shí)刻第i個(gè)高斯分布的權(quán)重。

η(xt,μi,t,τi,t)為高斯概率密度函數(shù)，公式如下：

τi,t為其協(xié)方差矩陣，公式如下：

其中，δi,t為t時(shí)刻第i個(gè)高斯分布，I為三位單元矩陣。

3.2.3 形態(tài)學(xué)處理

運(yùn)動(dòng)目標(biāo)圖像通過(guò)混合高斯背景建模被提取出來(lái)，并經(jīng)過(guò)腐蝕膨脹[15-16]將運(yùn)動(dòng)目標(biāo)圖像縮小或放大，從而可以分割出完整的人體輪廓。

1）腐蝕是消除圖像無(wú)用點(diǎn)的過(guò)程。質(zhì)數(shù)點(diǎn)設(shè)置了閾值范圍，以消除無(wú)關(guān)的細(xì)節(jié)。

2）膨脹是腐蝕的對(duì)偶運(yùn)算，通過(guò)與腐蝕閾值的逆運(yùn)算，可以將裂縫橋接起來(lái)填補(bǔ)目標(biāo)空洞。

3.3 異常行為報(bào)警設(shè)計(jì)與實(shí)現(xiàn)

當(dāng)系統(tǒng)檢測(cè)到老人發(fā)生跌倒行為時(shí)，系統(tǒng)會(huì)自動(dòng)記錄下發(fā)生跌倒行為時(shí)的一幀圖片，并觸發(fā)室內(nèi)安全警報(bào)[17]，通過(guò)GPRS/GSM 無(wú)線通信模塊立即將老人跌倒的信息發(fā)送給子女手機(jī)，實(shí)現(xiàn)異常行為報(bào)警。

4 系統(tǒng)測(cè)試與分析

系統(tǒng)通過(guò)語(yǔ)音關(guān)鍵詞被動(dòng)喚醒語(yǔ)音交互功能，通過(guò)對(duì)輸入語(yǔ)音進(jìn)行識(shí)別、處理、合成，實(shí)現(xiàn)相應(yīng)的應(yīng)用需求[18]。通過(guò)網(wǎng)絡(luò)爬取相關(guān)信息，響應(yīng)速度較快并且與語(yǔ)音需求的匹配度較高，反饋的信息較為準(zhǔn)確。對(duì)于姿態(tài)識(shí)別測(cè)試部分，通過(guò)多組數(shù)據(jù)可以得出正常行走、坐下、蹲下和跌倒4 種姿態(tài)時(shí)的外接矩形寬高比，利用各個(gè)姿態(tài)之間不同的外接矩形寬高比可以較準(zhǔn)確地判定當(dāng)前老人的行為，為了防止對(duì)跌倒行為的誤識(shí)別，系統(tǒng)將在檢測(cè)到摔倒行為時(shí)持續(xù)判定，若30 s 后系統(tǒng)仍檢測(cè)到老人行為是跌倒?fàn)顟B(tài)時(shí)，便觸發(fā)報(bào)警模塊及時(shí)告知子女。

5 結(jié)束語(yǔ)

系統(tǒng)將語(yǔ)音交互、人體姿態(tài)識(shí)別技術(shù)與智能陪護(hù)相結(jié)合，保障獨(dú)居老人生理健康安全，同時(shí)為老人提供智能語(yǔ)音服務(wù)改善獨(dú)居老人日常生活的孤獨(dú)感，滿足獨(dú)居老人的精神需求，為獨(dú)居老人提供更加安全、便捷、智能的養(yǎng)老服務(wù)體驗(yàn)，響應(yīng)智能養(yǎng)老建設(shè)的號(hào)召[19]。

文中通過(guò)對(duì)基于語(yǔ)音交互與人體姿態(tài)識(shí)別技術(shù)的獨(dú)居老人智能陪護(hù)系統(tǒng)各功能的設(shè)計(jì)及實(shí)現(xiàn)，較完整地闡述了系統(tǒng)各個(gè)模塊的功能測(cè)試及其之間的相互聯(lián)系、相互作用，以實(shí)現(xiàn)相關(guān)功能的過(guò)程，并對(duì)相關(guān)功能進(jìn)行了一系列測(cè)試，測(cè)試結(jié)果表明系統(tǒng)的整體性能較優(yōu)良，達(dá)到了預(yù)期的設(shè)計(jì)目的。今后還需進(jìn)一步完善系統(tǒng)的穩(wěn)定性及可靠性，不斷改進(jìn)智能陪護(hù)系統(tǒng)的功能。