基于面部表情分析比對的智能拍攝系統

申爍志

（成都市第七中學，四川成都，610000）

基于面部表情分析比對的智能拍攝系統

申爍志

（成都市第七中學，四川成都，610000）

提出了一種基于面部表情識別及分析比對的智能趣味拍攝系統，既可用于自動抓拍最佳表情，也可用于微笑禮儀訓練。主要介紹了該系統的設計思路、工作模式、工作流程、系統架構以及系統的創建過程等內容；基于Arduino開源硬件，采用Face++提供的人臉微笑識別技術，通過阿里云服務和微信平臺實現了人機交互。經多次測試表明：系統穩定，具備實用性、趣味性及創新性等優勢，具有廣闊的應用前景。

面部表情識別；面部表情分析比對；最美魔鏡；智能拍攝系統

引言

人工智能技術研究再一次掀起了科技發展的新高潮，將是未來10年的四大顛覆性技術之一[1]。預計未來人工智能將比移動互聯市場大十倍。人臉表情識別技術是人工智能領域新興的研究方向，是對人的臉部特征信息進行識別的一種生物識別技術[2]。用攝像機或攝像頭采集含有人臉的圖像或視頻流，并自動在圖像中檢測和跟蹤人臉，進而對檢測到的人臉進行臉部分析的一系列相關技術，通常也稱作人臉識別[3]。識別過程主要包括：圖像采集及檢測、人臉定位、特征提取和分類識別。通過面部表情識別，可以增進人機交往的友好性和智能性[4]。本課題開發了一套基于人臉面部表情識別及分析比對，而又兼具趣味性的智能拍攝系統。

本系統受童話故事啟發設計，命名為“最美魔鏡”。系統可特異性地捕捉使用者最美麗的表情并自動記錄，同時還可作為微笑禮儀訓練工具提示使用者隨時保持最美麗笑容。這款“魔鏡”能使人更加自信，留住自己最美的笑容。

1 系統設計思路

本課題智能趣味拍攝系統建立在面部表情識別這一人工智能技術的基礎上，增加表情參數分析比對、人機交互、智能拍攝控制等功能，可實現最佳表情的自動抓拍以及微笑禮儀訓練。系統的設計基于Arduino開源硬件[5]，采用了Face++提供的人臉及微笑識別技術，通過阿里提供的云服務以及微信公眾平臺進行人機交互，此系統為一款智能家居設備，由于融入了“魔鏡”的趣味提示語音，在實用的基礎上兼具趣味性。

2 系統架構

“最美魔鏡”系統架構如圖1所示，由Arduino Yun微控處理系統、USB攝像頭、USB音響設備、超聲波距離傳感器、移動智能終端（如手機）以及服務器組成。其中，移動智能終端用于發布用戶指令；服務器用于接收用戶指令、存儲包括照片在內的用戶信息，并向控制器發出控制信號；USB攝像頭用于拍攝并上傳照片；USB音響設備用于播放語音提示；Arduino Yun微控處理系統與攝像頭和音響等設備連接控制其工作狀態[6]。移動智能終端需要和服務器進行通信連接，可以在智能手機等移動終端上安裝APP軟件（系統測試階段采用微信公眾平臺測試號），采用無線通信器實現移動設備與服務器的連接，使得拍攝系統可以實現人機交互。簡易搭建的系統實物圖如圖2所示，在鏡子上方安裝USB攝像頭，在鏡子右下角安裝超聲波距離傳感器，而左下角是USB音響以及Arduino Yun主控板。

圖1 “最美魔鏡”系統架構組成圖

圖2 “最美魔鏡”簡易系統實物圖

3 系統工作流程

該系統共有三種工作模式，分別是：（1）上傳標準最美微笑照（模式1）；（2）拍攝最美笑臉（模式2）；（3）訓練最美笑容（模式3），可以通過手機微信公眾號（或APP軟件）進行模式切換。模式詳細介紹如下：

模式1：使用者鏡前調整出最滿意的笑容并上傳，作為標準笑容，用于后期實時圖像對比的參照標準；

模式2：當實時圖像與標準笑容的微笑程度誤差在設定范圍內，自動抓拍并存儲照片，播放“魔鏡魔鏡告訴你，你是世上最美的人”等已完成拍攝的語音提示；

模式3：系統將實時圖像與標準笑容的微笑程度及姿態進行對比，通過語音提示，指導使用者調整姿態及微笑程度，訓練最美笑容。

系統工作流程是：首先，手機通過微信向云服務器發送控制指令；其次，Arduino讀取云服務器中的控制指令，判斷模式1、模式2抑或模式3。

3.1 模式1

若Arduino判斷指令為模式1，按以下流程工作：

（1）Arduino向攝像頭發送指令，攝像頭拍照并將照片回傳Arduino；

（2）Arduino控制音箱播放相應提示語音；

（3）Arduino調用距離傳感器測距信息作為標準距離；

（4）Arduino將攝像頭回傳的照片發送給云服務器；

（5）云服務器存儲照片供查詢，并通過調用Face++接口，獲取人臉的微笑度、有無眼鏡、俯視度、仰視度等標準數據，如圖3所示。

圖3 人臉微笑度、有無眼鏡、仰視度、俯視度等參數的獲取

3.2 模式2

若Arduino判斷指令為模式2，按以下流程工作：

（1） Arduino調用距離傳感器的距離信息并與標準距離對比；

（2）距離信息不符合設定范圍要求時，Arduino控制音箱播放預錄提示語音；

（3）攝像頭定時拍照，并將照片傳給Arduino；

（4）Arduino將照片發送給云服務器；

（5）Arduino調用照片數據并與最美標準照數據對比，眼鏡、俯視、仰視等參數不符合標準誤差范圍時，音箱播放提示語音；

（6）有無眼鏡、俯視及微笑度等均符合設定的標準誤差范圍時，Arduino控制音箱播放相應的預錄提示語音，同時將拍攝照片發送給云服務器存儲作為最美照片供查詢。

3.3 模式3

若Arduino判斷指令為模式3，按以下流程工作：

模式3即訓練最美笑容。該模式工作流程前面與模式2的（1）～（5）相同，只有（6）有所不同：當眼鏡、俯視及微笑度等參數均符合標準誤差范圍時，Arduino選取預錄語音并控制音箱播放提示語音，照片不再發送給云服務器存儲。

4 系統創建

4.1 微信平臺開發

本系統申請了微信公眾號（訂閱號/接口測試號），在此平臺上開發系統控制菜單及照片查看功能，可進行人機交互、轉發指令、查詢最美標準照及實時抓拍的最美照片。

4.2 面部表情識別及分析比對系統的搭建

本系統利用Face++視覺服務平臺提供的云端API進一步開發而成，Face++視覺服務平臺提供人臉檢測、識別及面部分析視覺技術服務，人臉檢測與追蹤技術實現快速、準確的人像檢測功能，關鍵點檢測技術及時精確定位面部的關鍵區域位置，微笑分析技術精確分析圖片或視頻中人物是否在微笑以及相應的微笑程度。本系統調用Face++視覺服務平臺的面部表情及微笑程度分析結果，進行參數間的分析比對，設定比對輸出策略，從而控制系統捕捉最美微笑。

4.3 魔鏡鏡面（視頻采集）搭建

攝像頭的USB直接和Arduino的USB連接搭建拍攝系統，將攝像頭固定于梳妝鏡的合適位置，即搭建了魔鏡鏡面及拍攝部分，實現實時圖像、最美微笑等的視頻采集。

4.4 音響系統搭建

本系統需要進行魔鏡提示音頻信號的切換，通過Arduino Yun板載系統，安裝外設的包文件，并輸入指令即可實現用嵌入式開發板Arduino Yun控制音響的播放，自動完成魔鏡提示語音信息的播放功能。

4.5 錄音文件預錄

要實現魔鏡聲音的自動切換，事先要預錄魔鏡抓拍成功、訓練識別最美等情況下的提示語音文件，如“魔鏡魔鏡告訴你，你是世上最美的人”“魔鏡魔鏡告訴你，此時的你最美麗”“魔鏡請你靠靠左”等，以便在魔鏡的各個環節中由Arduino Yun自動切換播放。

4.6 測距系統搭建

搭建識別人臉偏移的測距系統可以檢測出人和魔鏡的距離，防止距離太近或太遠而影響抓拍效果。本系統能識別的人臉偏移特性包括水平（左右）偏移和縱向（前后）偏移，其中水平偏移采用Face++提供的人臉邊框識別，而縱向偏移采用的超聲波距離傳感器，Arduino Yun通過超聲波傳感器可獲取目標物的距離。

4.7 系統聯調和測試

在系統硬件搭建完畢，各項獨立功能軟件調試成功后，依次進行錄音文件的導入及三種模式的系統功能聯調和測試。

5 系統功能及創新性

本課題開發的基于面部表情分析比對的智能趣味拍攝系統可以實現以下功能：

（1）手機通過微信公眾平臺實現對魔鏡工作模式的切換控制及最美照片查詢功能；

（2）在上傳最美標準照的模式下，系統拍攝并上傳最美標準照；

（3）在抓拍最美微笑照的模式下，系統對比服務器中的最美標準照參數并自動檢測抓拍最美微笑照；

（4）在最美微笑訓練的模式下，系統對比服務器中的最美標準照參數，通過語音提示，指導使用者訓練最美笑容。

本系統兼具智能性、趣味性和創新性，這三方面主要體現在：

（1）創新了一種最佳表情的照片自動抓拍方法，通過“鏡子+攝像頭+微笑度、距離、俯視度、仰視度、有無眼鏡識別比對”，實現照片自動抓拍功能。鏡子可以使人調整出更完美的姿態和笑容，微笑度等參數識別對比可以使攝像頭抓拍出最佳姿態及笑容。

（2）創新了一種智能微笑訓練的方法，通過“鏡子+攝像頭+微笑度、距離、俯視度、仰視度、有無眼鏡識別比對”+“自動語音提示指導”，實現最美笑容姿態的日常智能訓練功能。這些都是普通的手機、相機等拍攝系統簡單的微笑拍攝模式不具備的功能。

（3）將照相及禮儀訓練功能集成到鏡子上，使人在照相時感覺更好，笑容更美，童話故事里魔鏡的功能在現實生活中得以實現。

6 結束語

本研究基于Arduino開源硬件，采用Face++提供的人臉及微笑識別技術，通過服務器和微信公眾平臺制作出一種可以訓練和拍攝最美笑容的智能趣味家居設備。該系統兼具創新性、實用性及趣味性，可供單人或多人一起使用，用于調節個人情緒和活躍氣氛，還可以用于服務行業微笑禮儀訓練，應用前景十分廣闊。

[1]張一清. 顛覆性技術和社會變革[J]. 中國改革, 2016(04).

[2]王大偉, 周軍, 梅紅巖,等. 人臉表情識別綜述[J]. 計算機工程與應用, 2014(02).

[3]施徐敢, 趙小明, 張石清. 人臉表情識別研究的新進展[J]. 實驗室研究與探索, 2014, 33(10): 103-107.

[4]傅栩雨, 葉健東, 王鵬,等. 人臉面部表情識別[J]. 計算機與網絡, 2015(10): 70-71.

[5]陳呂洲. Arduino程序設計基礎[M]. 北京: 北京航空航天大學出版社, 2014.

[6]麥克羅伯茨. Arduino從基礎到實踐[M]. 北京: 電子工業出版社, 2013.

An Intelligent Camera System based on Analysis and Comparison on Facial Expression

SHEN Shuo-zhi
(Chengdu No.7 High School, Chengdu, Sichuan,610000, China)

An intelligent and enjoyable camera system based on recognition, analysis and comparison on facial expression is put forward, which can be used both for automatic capture of the best beautiful smile, as well as etiquette smile training for facial expression. The design idea, working mode, working process, system architecture and system establishment process are mainly introduced. Based on the Arduino open source hardware, Face++ is adopted for smile face recognition technology, and human-computer interaction is realized through the Alibaba Cloud Computing and Wechat platform. Multiple tests show that such a system is stable and has advantages in practice, enjoyment and innovation, indicating a wide application prospect.

Recognition on Facial Expression; Analysis and Comparison on Facial Expression; The Most Beautiful Magic Mirror; Intelligent Camera System

TP182

A

2095-8412 (2016) 06-1239-04

10.14103/j.issn.2095-8412.2016.06.050

申爍志(1999-)，男，成都七中高中在讀。研究方向：創客智造。

E-mail: 13882266490@163.com