基于樹(shù)莓派的智能語(yǔ)音提醒系統(tǒng)

張潤(rùn)午 趙海舟 曾凡瑞 湯留陽(yáng)

摘 要：出門(mén)時(shí)忘記帶某物或忘記某事是生活中普遍遇到的現(xiàn)象，這給人們的工作與生活帶來(lái)困擾，文中針對(duì)這種現(xiàn)象設(shè)計(jì)并實(shí)現(xiàn)一個(gè)基于樹(shù)莓派的智能語(yǔ)音提醒系統(tǒng)。在手機(jī)端通過(guò)系統(tǒng)APP將備忘內(nèi)容發(fā)送到樹(shù)莓派，當(dāng)用戶出門(mén)時(shí)，系統(tǒng)對(duì)用戶拍照并通過(guò)Face++平臺(tái)提供的功能進(jìn)行人臉識(shí)別，語(yǔ)音讀出該用戶相應(yīng)的備忘信息，起到提醒的作用。同時(shí)該系統(tǒng)還配有屏幕，顯示時(shí)間、天氣、問(wèn)候語(yǔ)等，給用戶帶來(lái)智能化的出門(mén)體驗(yàn)。

關(guān)鍵詞：樹(shù)莓派;人臉識(shí)別;藍(lán)牙傳輸;Python;文字轉(zhuǎn)語(yǔ)音;魔鏡

中圖分類(lèi)號(hào)：TP27文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：2095-1302（2019）10-00-03

0 引 言

隨著科技的迅猛發(fā)展，人們的生活水平日益提高，眾多的科技產(chǎn)品使人們的生活更加便捷與高效。與此同時(shí)，人們的需求也越來(lái)越高，這就需要更多智能化的產(chǎn)品走進(jìn)人們的日常生活中。近年來(lái)，隨著物聯(lián)網(wǎng)的普及，智能家居產(chǎn)品的使用越來(lái)越普遍[1]。試想一下這樣一個(gè)場(chǎng)景，當(dāng)你收拾東西慌忙出門(mén)時(shí)，來(lái)到門(mén)口，傳來(lái)一個(gè)聲音提醒你別忘了帶某份重要文件，你因此避免了一次工作上的重大失誤。這樣的智能生活體驗(yàn)正是本文智能語(yǔ)音提醒系統(tǒng)可以帶給用戶的。

目前，該領(lǐng)域的產(chǎn)品較少，比較出名的是Nut防丟貼片，但其不能解決出門(mén)忘帶東西的問(wèn)題，且有其他不少缺陷。首先，用戶手機(jī)對(duì)該Nut的APP必須完全信賴，提供所有權(quán)限，且必須保持藍(lán)牙一直處于開(kāi)啟狀態(tài)，給用戶帶來(lái)極大不便;其次，Nut防忘貼片根據(jù)貼片與手機(jī)之間藍(lán)牙信號(hào)的強(qiáng)弱判斷距離，對(duì)環(huán)境的適應(yīng)性較差，在墻體較多的地方、較近的距離就會(huì)報(bào)警，而在空曠的地方、較遠(yuǎn)的距離卻不會(huì)報(bào)警，家庭的門(mén)是一個(gè)固定位置，Nut防忘貼片無(wú)法做到出門(mén)時(shí)提醒。本文智能語(yǔ)音提醒系統(tǒng)可在用戶來(lái)到門(mén)口時(shí)，提醒用戶帶某物或做某事，彌補(bǔ)了目前產(chǎn)品在這一板塊功能的不足。

系統(tǒng)以樹(shù)莓派為核心進(jìn)行控制，用戶在手機(jī)上安裝通過(guò)藍(lán)牙串口軟件改進(jìn)后的“提醒小助手”APP，該軟件將用戶備忘的信息通過(guò)藍(lán)牙發(fā)送到樹(shù)莓派。當(dāng)用戶出門(mén)時(shí)，樹(shù)莓派將攝像頭拍攝的用戶照片上傳至服務(wù)器進(jìn)行人臉識(shí)別，通過(guò)返回的結(jié)果判斷是家中的哪一位用戶，并將其備忘的信息通過(guò)音響讀出，從而達(dá)到提醒用戶的目的。

1 系統(tǒng)硬件構(gòu)成

1.1 系統(tǒng)總體結(jié)構(gòu)

系統(tǒng)以樹(shù)莓派為控制核心，攝像頭、音響、屏幕等外設(shè)都與樹(shù)莓派相連，手機(jī)通過(guò)藍(lán)牙與樹(shù)莓派連接，樹(shù)莓派通過(guò)WiFi連接到云端服務(wù)器，總體結(jié)構(gòu)如圖1所示。

1.2 樹(shù)莓派3代B+

樹(shù)莓派作為微型計(jì)算機(jī)，相比傳統(tǒng)計(jì)算機(jī)只是缺少了顯示屏幕和鍵盤(pán)，USB端口可以方便地連接Linux免驅(qū)攝像頭，具有獨(dú)立的40個(gè)GPIO引腳。樹(shù)莓派可以運(yùn)行Python語(yǔ)言，并進(jìn)行編譯，運(yùn)算速度快，價(jià)格低[2]。

樹(shù)莓派3代B+是樹(shù)莓派基金會(huì)于2018年3月14日發(fā)布的新版本，如圖2所示，主頻達(dá)到了1.4 GHz，在無(wú)線網(wǎng)絡(luò)以及藍(lán)牙性能上相比上一款產(chǎn)品也有較大提升。樹(shù)莓派作為系統(tǒng)大腦，強(qiáng)大的性能是完成系統(tǒng)核心功能的基礎(chǔ)。

1.3 USB高清攝像頭

由于要對(duì)照片進(jìn)行人臉識(shí)別，因此需要照片足夠清晰。本文選用1080P高清USB攝像頭，如圖3所示，相比樹(shù)莓派原裝攝像頭Pi Camera的清晰度提高了許多。

1.4 便攜式音響

用戶備忘的信息需要通過(guò)語(yǔ)音的方式讀出，通過(guò)便攜式音響來(lái)完成，如圖4所示。在實(shí)際操作過(guò)程中發(fā)現(xiàn)，樹(shù)莓派與音響通過(guò)藍(lán)牙配對(duì)與連接不穩(wěn)定，所以采用有線連接的方式，保證系統(tǒng)穩(wěn)定性。

1.5 20寸屏幕

屏幕用于實(shí)現(xiàn)系統(tǒng)的附加功能，即“魔鏡”的功能。屏幕上顯示當(dāng)前的精確時(shí)間、天氣、溫度、風(fēng)力、日落時(shí)間，以及未來(lái)幾天的天氣與溫度。屏幕正中顯示問(wèn)候語(yǔ)，系統(tǒng)會(huì)在上午、下午、晚上顯示不同類(lèi)型的問(wèn)候語(yǔ)。攝像頭固定在屏幕邊框上，用戶出門(mén)時(shí)只需下意識(shí)地看看時(shí)間、溫度、天氣等，就可被攝像頭拍照，然后上傳到服務(wù)器進(jìn)行人臉識(shí)別。屏幕如圖5所示。

2 系統(tǒng)各部分功能的實(shí)現(xiàn)

2.1 整體的運(yùn)作流程

用戶在手機(jī)上打開(kāi)“提醒小助手”APP，打開(kāi)藍(lán)牙并連接到樹(shù)莓派，此時(shí)用戶就可在APP的消息發(fā)送界面將備忘的信息發(fā)送至樹(shù)莓派，樹(shù)莓派根據(jù)連接手機(jī)的Mac地址識(shí)別是家庭中哪位成員備忘的消息，并將用戶發(fā)來(lái)的信息存到相應(yīng)文本中。若用戶出門(mén)，用戶看“魔鏡”時(shí)會(huì)被攝像頭拍照，樹(shù)莓派則將照片上傳至Face++平臺(tái)服務(wù)器中進(jìn)行識(shí)別，平臺(tái)在事先已經(jīng)建立好的家庭人臉集合中識(shí)別出最相似的人臉，樹(shù)莓派通過(guò)平臺(tái)返回的數(shù)據(jù)即可判斷出是家庭中的哪位成員，隨后將相應(yīng)的備忘內(nèi)容讀出，提醒用戶。系統(tǒng)整體運(yùn)作流程如圖6所示。

2.2 手機(jī)與樹(shù)莓派的藍(lán)牙連接以及數(shù)據(jù)傳送

樹(shù)莓派3代B+自帶藍(lán)牙功能，無(wú)需另外加裝藍(lán)牙模塊，但在實(shí)際使用過(guò)程中發(fā)現(xiàn)，樹(shù)莓派的原生藍(lán)牙在傳統(tǒng)連接方式下與手機(jī)只能實(shí)現(xiàn)配對(duì)，無(wú)法實(shí)現(xiàn)穩(wěn)定連接。因此，本文采用RFCOMM協(xié)議，在該協(xié)議的監(jiān)聽(tīng)功能下實(shí)現(xiàn)手機(jī)與樹(shù)莓派藍(lán)牙的連接。RFCOMM協(xié)議還提供查看連接設(shè)備信息的功能，可獲取手機(jī)的Mac地址，由此區(qū)分是哪位家庭成員的手機(jī)。在該協(xié)議下，樹(shù)莓派收到的信息會(huì)自動(dòng)儲(chǔ)存到/dev/rfcomm0中，這是一個(gè)會(huì)隨著藍(lán)牙連接的斷開(kāi)而刪除的文件，用程序可將其寫(xiě)入到該家庭成員對(duì)應(yīng)的文本文件中，用戶每次寫(xiě)入的信息會(huì)覆蓋前一次的信息。出于對(duì)用戶誤觸發(fā)或沒(méi)聽(tīng)清等情形的考慮，提醒完之后備忘信息不會(huì)被立即刪除，實(shí)現(xiàn)該部分功能的主要Python程序如圖7所示，其中g(shù)et_mac_addr是將手機(jī)的Mac地址從設(shè)備信息表中提取出來(lái)的函數(shù)。

2.3 利用Face++平臺(tái)實(shí)現(xiàn)人臉識(shí)別

人臉識(shí)別的程序一直循環(huán)運(yùn)行，攝像頭也一直處于循環(huán)拍照狀態(tài)。若未識(shí)別到家庭成員的人臉則不執(zhí)行任何指令;若識(shí)別到某一家庭成員的人臉，則讀出相應(yīng)的備忘信息。事先調(diào)用API在Face++平臺(tái)上創(chuàng)建一個(gè)Faceset，F(xiàn)aceset是所有家庭成員人臉照片的集合，這些照片作為家庭成員的人臉標(biāo)準(zhǔn)照片。Face++平臺(tái)的人臉識(shí)別能力強(qiáng)大，提供每位家庭成員一張人臉照片即可。當(dāng)攝像頭拍攝照片后，通過(guò)調(diào)用API的方式將該照片上傳至Face++平臺(tái)服務(wù)器，并在Faceset中尋找與其最相似的照片，最后返回置信度，找到標(biāo)準(zhǔn)照片的Face_token（Face_token即為與傳到Face++平臺(tái)服務(wù)器的照片一一對(duì)應(yīng)的編號(hào)）。若置信度小于設(shè)定閾值，則不執(zhí)行任何指令;若置信度大于設(shè)定閾值，則通過(guò)Face_token識(shí)別出是哪位家庭成員，即可將備忘內(nèi)容讀出進(jìn)行提醒。

2.4 將用戶備忘的信息用語(yǔ)音讀出

用戶備忘的內(nèi)容最終要通過(guò)語(yǔ)音的方式從便攜式音響中讀出，為此本文在樹(shù)莓派上安裝eSpeak軟件作為一款開(kāi)源軟件，便于將文字轉(zhuǎn)為語(yǔ)音讀出。在此基礎(chǔ)上，利用eSpeak讀取文本文件里的內(nèi)容，從而將用戶備忘的內(nèi)容讀出。調(diào)用API進(jìn)行人臉識(shí)別及將備忘信息語(yǔ)音讀出的主要Python程序如圖8所示，其中g(shù)et_conface是通過(guò)API向Face++平臺(tái)服務(wù)器請(qǐng)求Search功能并將返回值中的confidence與face_token提取出來(lái)的函數(shù)，espeak_txt_chinese是將指定文本中的內(nèi)容通過(guò)eSpeak軟件語(yǔ)音讀出的函數(shù)。

3 系統(tǒng)實(shí)現(xiàn)

安裝好的系統(tǒng)外觀如圖9所示，用屏幕支架可將屏幕懸空固定，支架可調(diào)節(jié)，便于將屏幕置于方便且舒適的位置與角度。攝像頭固定在屏幕上方，用戶觀看屏幕時(shí)會(huì)被攝像頭拍照，樹(shù)莓派與便攜式音響等放置在任意方便位置即可。系統(tǒng)運(yùn)行之后，屏幕上出現(xiàn)了時(shí)間、天氣、問(wèn)候語(yǔ)等信息。

系統(tǒng)測(cè)試時(shí)，模擬有兩名家庭成員的情景，APP界面如圖10所示。兩名成員都先后發(fā)送了自己的備忘信息，模擬出門(mén)場(chǎng)景。兩名成員先后出門(mén)，出門(mén)時(shí)看“魔鏡”上的天氣、時(shí)間及問(wèn)候語(yǔ)，其出門(mén)場(chǎng)景分別如圖11、圖12所示，系統(tǒng)正確地讀出了相應(yīng)的備忘信息。測(cè)試到有效的人臉識(shí)別范圍為距攝像頭兩米以內(nèi)，符合實(shí)際要求。

4 結(jié) 語(yǔ)

智能家居以提高生活高效性、舒適性與便利性為主旨，著眼于生活中的小細(xì)節(jié)，以改善用戶生活體驗(yàn)。本文智能語(yǔ)音提醒系統(tǒng)著眼于生活中普遍存在的出門(mén)忘物與出門(mén)忘事現(xiàn)象，在用戶出門(mén)時(shí)提醒相應(yīng)的備忘信息，屏幕上的時(shí)間、天氣與問(wèn)候語(yǔ)增添了科技感與親切感，給用戶的生活帶來(lái)了便利與更好的體驗(yàn)。

參 考 文 獻(xiàn)

[1]黨鵬，馬菁.物聯(lián)網(wǎng)在智能家居中的應(yīng)用與發(fā)展[J].計(jì)算機(jī)產(chǎn)品與流通，2019（4）：120.

[2]曾杰，陳超波，趙楠，等.基于樹(shù)莓派的搜檢機(jī)器人的設(shè)計(jì)[J].計(jì)算機(jī)與數(shù)字工程，2019，47（3）：700-705.

[3]馬帥.基于樹(shù)莓派的人臉識(shí)別門(mén)禁系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D].大連：大連交通大學(xué)，2018.

[4]牛可，張珣.智能家居語(yǔ)音識(shí)別通用語(yǔ)音AI云平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[J].物聯(lián)網(wǎng)技術(shù)，2019，9（2）：68-70，74.

[5]馬馨雅.基于樹(shù)莓派的智能實(shí)驗(yàn)室管理系統(tǒng)[J].科技風(fēng)，2019（2）：9.

[6]張滿青，唐輝，張慧，等.樹(shù)莓派和人臉識(shí)別的云端智能課堂考勤系統(tǒng)[J].單片機(jī)與嵌入式系統(tǒng)應(yīng)用，2019，19（1）：35-37.

[7]蔡舒旻，盛希寧.基于樹(shù)莓派和Adruino的室內(nèi)空氣品質(zhì)監(jiān)測(cè)系統(tǒng)[J].機(jī)電工程技術(shù)，2019（2）：69-70，89.

[8]汪志敏.基于樹(shù)莓派的智能監(jiān)控系統(tǒng)設(shè)計(jì)[J].科技廣場(chǎng)，2017（3）：89-91.

[9]陳必東，譚美娟.基于RaspberryPi+Arduino智能家居雛形系統(tǒng)的探索與研究[J].智慧工廠，2016（6）：49-54，63.

[10]李奕.物聯(lián)網(wǎng)建設(shè)中的藍(lán)牙技術(shù)運(yùn)用分析及研究[J].中國(guó)新通信，2018，20（23）：25-26.