嬰兒欲望與狀態識別系統

宮瑾+沈小鍵+賈磊+李鴻鑫+楊子康

摘 要：針對新生兒父母難以準確理解嬰幼兒哭鬧所傳達的信息，文中設計了嬰兒欲望與狀態識別系統。該系統由智能嬰兒襪、智能手機、云服務器構成，通過實時檢測嬰兒的體溫、心率、睡姿、踢被狀態并及時報警反饋給看護者，以降低嬰兒猝死綜合征的發病率。

關鍵詞：欲望與狀態識別系統；App

1 作品簡介

由于很多新生兒父母對嬰幼兒監護所知甚少，因此當新生兒生病哭鬧時，父母往往無法準確獲悉孩子的意愿，如果不能及時發現，就會延誤治療時機，導致嬰兒病情加重甚至出現險情。嬰兒猝死綜合征（SIDS），系指外表看似健康的嬰兒突然意外死亡，甚至幾分鐘的翻身，就會奪走嬰兒的生命。

本系統將智能手機與可穿戴設備相結合，將哭聲音頻分析、生理參數實時檢測、人機交互信息融為一體，設計了一款名為“Baby Saying”的嬰兒欲望與狀態識別系統，來幫助初為父母的年輕家長或嬰兒照料者準確了解嬰兒的意圖和狀態，并及時發出提示和報警信息，以保護嬰兒安全，減少嬰兒家人的煩惱，使得人們家庭生活更幸福。

2 工作原理

2.1 系統總體方案

“Baby Saying”由智能嬰兒襪、智能手機、云服務器構成，系統總體構成框圖如圖1所示。

智能嬰兒襪穿在嬰兒腳踝處，其上裝有以MCU為核心的硬件電路，用以實時檢測嬰兒的體溫、心率、睡姿、踢被狀態，以藍牙通信的方式將所采集的數據傳送到智能手機。

智能手機上需安裝系統App，可不斷接收嬰兒智能襪發送的數據并進行存儲與處理，在嬰兒出現異常狀態時智能手機發出音響并顯示報警，以提示嬰兒照料者；同時，智能手機作為系統的操作界面，使用者可用手機查看相關信息并進行相應操作；當嬰兒啼哭時，使用者可以使用手機對嬰兒的哭聲錄音，系統App將進行處理并與云平臺連接，將錄制的嬰兒哭聲音頻數據、生理數據上傳到云平臺，與云平臺上的嬰兒哭聲音頻數據庫中的樣本進行比對、處理，分析出嬰兒啼哭的初步原因，并將該信息傳回智能手機，智能手機的App在接收到初步原因信息后將向嬰兒照料者提出若干問題，待嬰兒照料者回答后智能手機將分析出嬰兒啼哭的原因。

2.2 體溫檢測及報警方案

我們采用非接觸式紅外測溫儀MLX90614作為溫度采集模塊，任何單片機都可以通過I2C接口與其通信。通過可穿戴設備上的溫度采集模塊（MLX90614）采集數據，經STC15系列單片機（MCU）內部的I2C通信模塊串口將轉換為數字量的數據通過藍牙模塊實時發送到手機客戶端。

2.3 心率檢測及報警方案

心率傳感器的主要作用是判斷孩子的實時姿態。通過可穿戴設備上的心率模塊采集到的模擬量，經STC15系列單片機（MCU）內部的ADC模塊串口將轉換為數字量的數據通過藍牙模塊實時發送到手機客戶端。

2.4 睡姿檢測及報警方案

我們采用三軸加速度傳感器（GY-61）來判斷孩子的實時姿態。通過STC15系列單片機（MCU）內部的ADC模塊經過串口將轉換為數字量的數據通過藍牙模塊實時發送到手機客戶端。

2.5 踢被檢測及報警方案

由可穿戴設備上的溫度采集模塊（MLX90614）采集溫度數據，通過STC15系列單片機（MCU）內部的I2C通信模塊經串口將轉換為數字量的數據通過藍牙模塊實時發送到手機客戶端。該模塊可同時監測到嬰兒的體溫和嬰兒所處環境的溫度，通過計算溫度差值來判斷嬰兒是否在睡覺的過程中踢被。

2.6 啼哭原因識別方案

將哭聲音頻、生理數據、嬰兒現狀三部分相結合進行啼哭原因分析。其中哭聲音頻比對分析占50%、生理數據占20%、嬰兒現狀占30%，可依據三者的基本權值得知啼哭原因。通過手機錄制的音頻信號、嬰兒智能襪獲取的生理數據、監護人的問題回答獲取嬰兒現狀，以生理數據為輔，以哭聲音頻比對和嬰兒現狀為主。

2.7 數據通訊方案

手機和嬰兒智能襪采用藍牙4.0傳輸，通過手機對藍牙串口進行監聽，從特定的串口讀取硬件設備獲得的生理數據，并對數據進行分析、處理。

手機和云端服務器通過網絡請求進行通信，采取HTTP的POST方法將處理哭聲得到的數據上傳，在云端進行數據比對，并將結果返回至手機客戶端。實現手機與遠端服務器的數據通訊。

2.8 硬件實現原理

嬰兒智能襪硬件框圖如圖2所示。

2.9 智能嬰兒襪軟件實現原理

通過傳感器采集的數據經由單片機進行分析與處理，當系統上電工作時，單片機初始化，溫度傳感器MLX90614、心率傳感器、角速度傳感器GY61、藍牙依次初始化，之后傳感器對嬰兒當前的狀態進行分析與判斷，當嬰兒體溫高于或低于設定值時，系統通過藍牙模塊向手機發送高溫、低溫報警指令。同理，當嬰兒心率超出正常值時亦發送報警指令，同時，當GY61監測到嬰兒睡姿不正常（如俯臥）時，會及時提醒父母。程序流程如圖3所示。

2.9.1 人機界面設計

系統提供了易操作、通俗易懂的界面設計。

2.9.1.1 連接藍牙界面

打開智能手機的藍牙開關如圖4（a）所示。搜索一定范圍內的藍牙傳輸設備如圖4（b）所示。選擇嬰兒智能襪設備如圖4（c）所示。

2.9.1.2 應用界面

應用主界面包含的4個按鈕分別代表所能實現的四個功能，簡單易懂，層次清晰。應用子界面簡單大方，以圖文并茂的方式對嬰兒數據、哭聲識別和異常報警等情況進行了展示和處理，把想要了解的信息清晰地展示在寶寶知音界面上。

程序主界面、哭聲分析按鈕按下后界面、分析結果返回展示界面、生理數據主界面、睡眠檢測界面、綜合信息界面、體溫曲線圖、心率曲線圖、睡姿餅形圖如圖5所示。endprint

2.9.1.3 藍牙通信實現原理

藍牙通信采用BLE技術（Bluetooth Low Energy，BLE），手機須支持藍牙4.0，且需保證手機和硬件設備之間的距離小于15 m（無遮擋狀態下）。

硬件使用模擬串口技術實現藍牙數據的發送。通過手機端搜索設備，可發現附近所有可連接設備。搜索設備的回調方法如圖6所示。

搜索指定的服務和串口，找到所需串口。服務搜索如圖7（a）所示。串口發現如圖7（b）所示。

找到所需串口，從串口中讀取數據并存儲，如圖8所示。

2.9.1.4 數據處理實現原理

數據主要來源于藍牙接收的哭聲數據和服務器返回的數據。藍牙數據為172A30.4A36.4A0形式，分別表示心率、環境溫度、體溫，睡姿選擇使用正則表達式處理數據，如圖9所示。

由于嬰兒心率較成人快，所以我們把心率的報警閾值設定為150次/min。體溫上限報警閾值設定為37.8℃。而當嬰兒俯臥時，我們認為嬰兒有窒息的可能。踢被報警則在環境溫度和體溫相差超過4℃時觸發。

哭聲數據保存為MP3格式，發送時讀取該MP3文件存入Byte數組中，然后通過HTTP協議發送該Byte數組的字符串表示形式。

服務器返回數據（1-5），其中，1代表困了，2代表病了，3代表尿了，4代表餓了，5代表無聊。只要根據返回的數據進行判斷就能確定嬰為何啼哭。判斷程序如圖10所示。

2.9.1.5 云服務原理

系統使用新浪云應用（SAE）與云存儲服務（SCS），如 圖11所示。

首先在新浪云創建云應用與云存儲。將服務器代碼通過git合并在云應用的遠程倉庫master分支上，然后切換到當前版本的代碼。此時云應用和云存儲就可以作為云服務器使用。我們將解析好的音頻數據集以HTTP協議的POST方法上傳到部署在云應用上的php代碼中，php訪問數據庫，返回比對結果。云應用部署代碼如圖12所示。

2.9.1.6 啼哭原因識別原理

啼哭原因識別將哭聲音頻、生理數據、嬰兒現狀三部分結合分析。其中哭聲音頻比對分析占50%、生理數據占20%、嬰兒現狀占30%，依據三者的基本權值得知啼哭的原因。

（1）啼哭聲音頻比對

哭聲音頻比對分析根據所采集的數據庫中的音頻數據進行對比。“寶寶知音”的云端基于新浪云服務器開發，將搭建的云主機作為云計算的操作平臺，操作過程如下：

a.云主機接收到啼哭聲的音頻信息時，將音頻信號進行數字化處理，即采樣和量化。采樣即將模擬信號在時間域上進行等間隔取樣；量化的目的在于將嬰兒啼哭聲信號波形的幅度值離散化。

b.對嬰兒啼哭聲的預加重。通過預加重技術可以提升高頻部分的頻譜，進而使整個頻帶更為平坦，便于語音參數分析。

c.對嬰兒啼哭聲的分幀和加窗。分幀操作是將啼哭信號分段分析，由于嬰兒的聲帶不穩定，為了截取嬰兒短時穩定信號，采用分幀操作；加窗的目的在于提取每一幀特征信號。

d.對嬰兒啼哭聲進行端點檢測。端點檢測的目的在于找到啼哭聲聲段的準確起止位置，有效去除啼哭聲前后的多余噪音后，才能夠確定啼哭聲段的有效數據，為后續獲取更準確的日哭聲段提供依據。操作過程流程如圖13所示。

對啼哭聲進行處理后，大大減少了啼哭聲的噪音，能夠更準確地獲取啼哭聲的重要信息。使用IMFCC算法提取嬰兒啼哭信號的特征參數，該算法在嬰兒啼哭聲的高頻區域有出眾表現，對MFCC起到了較好的補充作用，因此將MFCC與IMFCC結合使用，進行啼哭聲提取的優化。

啼哭聲識別算法使用動態時間規整（DTW）算法，由于嬰兒啼哭聲是一種特殊的“語音信號”，具有語音信號的相同特質，而DTW是一種語音識別匹配算法，因此在“寶寶知音”的分析過程中也使用了這種算法。

（2）生理數據獲取

通過可穿戴設備上的溫度模塊（心率模塊）采集嬰兒的體溫（心率），并將采集到的體溫（心率）通過單片機的串口將數據通過藍牙模塊實時發送到手機客戶端，客戶端將生理數據發送到云主機，云主機收到數據后進行數據存儲和分析，最后將得出的初步結果發送給手機端。

（3）嬰兒表面現狀

服務器返回啼哭原因可能性結果，監護人回答手機上2～3個關于嬰兒表面的問題后，手機端將信息通過HTTP以表單的形式發送至云端服務器，云端服務器通過云計算得到最終判斷。

綜上所述，將通過手機端獲取的三類數據分別發送到云主機進行處理分析，在云端服務器的云主機上根據基本的權值進行結果比對，將得到的結果返回手機客戶端。啼哭聲原因分析處理流程如圖14所示。

2.9.1.7 哭聲音頻數據庫的實現原理

哭聲數據的采集并不考慮嬰兒的性別，只是對啼哭聲進行分類標識。數據庫中的數據按照嬰兒啼哭常見的原因類別進行劃分，共分為病理性啼哭、饑餓性啼哭、寂寞性啼哭、排泄性啼哭、困倦性啼哭等五類。無論是手動采集的數據還是來源于網上的數據，都采用了同樣的方法進行標注。

手動采集的數據主要來自20個嬰兒，共計92條。經過分類標注后，病理性啼哭有18段、饑餓性啼哭有23段，寂寞性啼哭有13段，排泄性啼哭有23段，困倦性啼哭有15段。

來源于網上的數據，共計124個啼哭音頻段。同樣，通過初步篩選后，最終得到113段，其中病理性啼哭有24段，饑餓性啼哭有31段，寂寞性啼哭有22段，排泄性啼哭有21段，困倦性啼哭有15段。

啼哭聲采集說明：

病理性啼哭包括嬰兒發燒啼哭聲、嬰兒腸絞痛時啼哭聲、嬰兒腸胃炎時的啼哭聲。

饑餓性哭聲包括嬰兒生理性饑餓的啼哭聲、嬰兒欲望性饑餓的啼哭聲。endprint

寂寞性啼哭包括嬰兒需要媽媽的懷抱時的啼哭聲、嬰兒需要玩耍時的啼哭聲。

排泄性啼哭包括嬰兒尿了、嬰兒拉屎時的啼哭聲。

困倦性啼哭包括嬰兒啼哭后熟睡前的啼哭聲。

數據庫的建立基于云端服務器的云存儲服務。采用新浪云服務器，其可以提供便捷的操作與高效的處理速率，將數據庫架構在該云服務器的云存儲中，方便新浪云主機進行數據分析。我們提供了五種基本啼哭類型的哭聲庫作為App的比對樣本，并建立了數據庫的數據模型。Baby Saying文件如圖15所示。

嬰兒排泄性啼哭、嬰兒饑餓性啼哭、嬰兒寂寞性啼哭、嬰兒病理性啼哭、嬰兒困倦性啼哭等五種啼哭類型的數據庫建立界面如圖16所示。

基于24種嬰兒病理性啼哭建立的數據庫如圖17所示。

由于我們的資源有限，收集的數據量十分有限，只有上百條哭聲信息，理論上還不足以準確匹配，但數據庫的建立為我們提供了對比的平臺，能夠保證一定的準確程度。今后隨著使用量的增加，我們會繼續完善該數據庫，增加數據量，以提高啼哭原因的分析準確性。

基于31種局部嬰兒饑餓性啼哭建立的數據庫如圖18所示。

3 創新點

（1）本作品突破了傳統嬰兒監護產品的局限性，可以實現嬰兒重要生理參數、睡姿、踢被狀態的連續實時監測并在出現異常情況時發出報警，對嬰兒啼哭原因進行分析識別，為嬰兒監護提供了一種現代化的方法，同時還有效解除了家長在照料嬰兒時遇到的困難。

（2）本作品采用嬰兒智能襪作為系統檢測的載體，可在不需要安裝額外設備的前提下對嬰兒實現連續監護，系統搭建容易，使用方便。

（3）本作品采用智能手機作為系統的人機接口，通過智能手機應用軟件良好的UI設計使用戶操作更加簡單便利，及時獲得報警提示信息，便于系統升級和功能擴展。

（4）本作品綜合運用可穿戴式設備技術、移動計算技術、物聯網技術、云計算技術提出了一種嬰兒監護解決方案。

（5）應用信息融合的方法結合嬰兒哭聲音頻數據、生理參數數據、照料人的觀察信息來進行嬰兒啼哭原因的識別，以提高嬰兒啼哭原因識別的準確性。

（6）運用大數據的概念，在云端建立了嬰兒哭聲音頻數據庫，隨著產品的應用推廣與用戶數量增多，逐漸積累樣本數據，以進一步提高嬰兒啼哭原因識別的準確性。

4 發展前景

據有關數據統計，我國目前0～3歲的嬰幼兒約有5 000萬，嬰幼兒無法用語言來準確表達自身的狀態和欲望，需要精心監護，人們對應用高科技開發的嬰兒監護產品具有極大的興趣，市場需求廣闊。

現有市場上的嬰兒監護產品主要有如下幾種類型：

（1）視頻監視產品。該類產品將傳統的視頻安防技術移植到了嬰兒監護領域。通過在嬰兒床上安裝攝像頭來實時采集嬰兒的圖像，并借助無線通信方式將信息傳送到手持終端或手機上，照料者可以在不同的房間通過手持終端或手機觀察嬰兒的狀態。現有市場上的該類產品包括摩托羅拉MBP系列無線嬰兒監視器、飛利浦InSight系列無線高清嬰兒監護儀、大華股份與阿里云聯合推出的樂橙小逗寶等，市場價格約在500～2 000元之間。該類產品可以遠程監視嬰兒的活動，但不能分析嬰兒的欲望和生理狀態，對提升照料嬰兒的質量和及時發現異常情況的作用有限。

（2）寶寶尿濕提醒器。該類產品一般由一或兩個發射器（尿濕感應發射器和動作感應發射器）以及一個接收器組成，發射器與接收器之間通過無線通信連接，當出現寶寶睡醒、哭鬧、爬起、踢被、尿濕和汗濕等狀況時，接收器接收相關信息，并自動進行聲光報警。現有市場上的該類產品包括愛瑪科YB系列嬰兒尿濕提醒器、沃塔森嬰兒寶寶感應尿濕提醒器、凱威達尿濕報警器等，市場價格約在200～500元之間。該類產品能夠有效檢測出嬰兒出現的尿濕及踢被等現象，但功能有限、使用不便。

（3）嬰幼兒智能體溫監護儀。該類產品由佩帶在嬰兒臂上的連續檢測嬰兒體溫和環境溫度的溫度測量單元與實現顯示功能的手機組成，當嬰兒發燒時或踢被子后，溫度測量單元通過藍牙通信向照料者手機發出報警信息，或者照料者隨時查看嬰兒的體溫。現有市場上的該類產品包括呵護寶嬰幼兒智能體溫監護儀、樂測智能體溫貼等。該類產品能夠佩帶在嬰兒身上，連續檢測嬰兒的體溫并在嬰兒發燒時發出報警，但功能單一。

（4）嬰兒哭聲分析器。該類產品包含兩種類型，一種是嬰兒哭聲分析器硬件產品，在嬰兒哭鬧時將該產品放在嬰兒旁錄制一段幾十秒的哭聲，系統對嬰兒的哭聲音頻信息進行解析來判斷出嬰兒表達出的欲望與狀態，具體包括Hungry-餓了，Bored-想要人陪，Annoyed-尿了或身體不適，Sleepy-困了，Stressed-緊張有壓力，現有市場上該類產品為美國格朗電器的“Why Cry Baby Crying Analyzer”，價格約100美元；另一種產品為安裝在iPhone或Android智能手機上的App，這款嬰兒哭聲分析軟件能夠幫助翻譯寶寶的哭聲，現有市場上的該類產品為西班牙一家公司開發的Cry Translator，可以在Apple Store上有償下載。該類產品能夠通過嬰兒哭聲解析嬰兒的欲望與狀態，解決了嬰兒無法用語言表達給人們帶來的困惑。但是嬰兒實際的欲望與狀態除了與哭聲還與其他信息相關，所以該解決方案在實際使用時的判斷準確率并不高，沒有被廣泛應用。

近年來，逐漸應用計算機音頻處理技術來分析嬰兒的哭聲以確定嬰兒啼哭的原因。日本研究者K Kikuchi等人利用嬰兒哭聲的頻率來分析嬰兒的欲望和狀態，并進行了計算機仿真和實驗。上海上悅通信技術有限公司的孫萍提出了一種嬰兒哭聲解讀方法與裝置，運用統計分析方法將嬰兒哭聲的反應狀態分為饑餓、不適、疲勞、驚嚇、煩躁、生病疼痛6種，并建立了哭聲特征值文件庫，通過將采集的當前嬰兒哭聲與哭聲特征值文件庫進行比較來判別哭聲所代表的嬰兒當前狀態。解讀裝置由麥克風、語音輸入電路、中央處理器、語音輸出電路、鍵盤、揚聲器與液晶顯示器組成。北京大學深圳研究生院劉宏等提出了一種實時嬰兒啼哭聲識別方法，錄制嬰兒啼哭聲音信號建立聲音庫并進行預處理，在判斷時，采集嬰兒啼哭聲音并依次進行分幀、加窗處理后提取實時特征向量序列，將獲得的實時特征向量序列與模版進行匹配得到似然度最大的類，并進行投票得出嬰兒啼哭原因的類別。Cry Translator軟件能把嬰兒的各種哭聲歸納到“饑餓、累了、無聊、生氣、感到壓力”幾種模式中。當嬰兒啼哭時，將智能手機麥克風靠近他，按下開始鍵，10 s之內這款軟件就能夠分析出嬰兒的欲望和狀態，并告訴照料者一些應對的方法。以上研究和產品都僅僅依據采集的嬰兒哭聲進行分析和處理，對錄音環境要求較高，沒有充分利用嬰兒的生理參數和嬰兒照料者能夠觀察到的信息，實際應用判斷準確率不高，同時還缺乏對嬰兒發燒、翻身等狀態的識別，并未得到廣泛應用。

綜上所述，目前市場上還缺少能夠全面、可靠、便捷地幫助嬰兒照料者識別嬰兒體溫、心率、姿態是否正常，嬰兒是否饑餓、寂寞、困倦、病痛、恐懼，并在出現異常時立即報警提示的產品。本項目提出和實現了一種融合嬰兒生理參數、嬰兒哭聲音頻數據、監護人觀察到的嬰兒表現信息的嬰兒欲望與狀態識別系統及方法。所開發的智能嬰兒襪能夠幫助嬰兒照料者識別嬰兒的體溫、心率、姿態是否正常，嬰兒是否饑餓、寂寞、困倦、病痛、恐懼，并在出現異常時立即報警提示，提出對應的處理建議。本產品科技含量高、功能全面，處于黃金時機，具有巨大的市場潛力。

本項目是將智能手機與可穿戴設備相結合，將哭聲音頻分析、生理參數實時檢測、人機交互信息融合為一體所設計的名為“Baby Saying”的嬰兒欲望與狀態識別系統，用以幫助初為人父母的年輕家長或嬰兒照料者準確了解嬰兒的意圖和狀態，并及時發出提示和報警信息，以保護嬰兒安全，減少嬰兒家人的煩惱，使得人們的家庭生活更幸福。測試結果表明，“Baby Saying”能夠實現所設計的功能，經過進一步改進和商品化后將有廣闊的市場前景。endprint