視覺情感識別系統的設計與實現

鄭浩鑫 林楷焱 陶銘

摘? 要： 在現實生活中，人們具有豐富的情感，而情感會影響人的行為及認知等。為了獲取并識別人類的情感，提出一種基于深度學習的“視覺情感識別系統”的設計方案。通過Python語言編寫網絡爬蟲程序，爬取網絡上帶有情感標簽的人臉圖片，從而為神經網絡的訓練提供數據;采用Keras框架搭建卷積神經網絡，對帶有情感標簽的人臉圖片進行深度學習，使卷積神經網絡收斂到理想的模型，從而實現對人臉圖片的情感識別。實驗結果表明，該方案具有一定的識別效率。

關鍵詞： 網絡爬蟲; 深度學習; 卷積神經網絡; 情感識別

中圖分類號：TP393? ? ? ? ? 文獻標識碼：A? ?文章編號：1006-8228（2021）03-33-04

Design and implementation of visual emotion recognition system

Zheng Haoxin， Lin Kaiyan， Tao Ming

（School of Computer Science and Technology， Dongguan University of Technology， Dongguan， Guangdong 523808， China）

Abstract： In real life， people have a wealth of emotions which will affect people's behavior and cognition， etc. In order to acquire and recognize human emotions， a design scheme of "visual emotion recognition system" based on deep learning is proposed. To provide data for the training of neural networks， the Python language is used to write a web crawler to crawl the face pictures with emotional tags on the network. Keras framework is adopted to build convolutional neural networks for deep learning of face images with emotion tags， so that the convolutional neural networks converges to an ideal model to realize the emotion recognition of face images. The experimental results show that the proposed scheme has certain recognition efficiency.

Key words： web crawler; deep learning; convolutional neural networks; emotion recognition

0 引言

人的情感能夠表達出人的想法和行為。人對于情感的利用有很多方面，例如教學中研究學生的情感以便即時關注學生的心理活動;商家通過客戶的情感來對商品和服務進行改進;企業通過研究員工的情感來對工作進行合理分配等。對于情感的獲取渠道也有多種，比如圖像、聲音和文字等[1-2]。

本系統是在人臉檢測基礎之上的更進一步地研究[3]，通過識別人臉的表情來獲取人的情感。先使用網絡爬蟲技術和人臉目標檢測技術從網絡上爬取帶有情感標簽的人臉圖片并按照訓練圖片所需的格式對圖片進行處理。然后使用Keras框架，來進行卷積神經網絡的結構設計和參數優化[4-6]，并且通過爬取的圖片數據，來對卷積神經網絡進行多次迭代訓練，從而得到一個理想的情感識別模型。最后實現對人臉情感的識別。

1 系統架構

系統主要有兩大模塊。爬蟲模塊負責爬取數據和對圖片數據進行格式化處理;訓練模塊負責生成TFRecord訓練文件、搭建卷積神經網絡模型，并對其進行訓練和識別人臉的情感。

1.1 爬蟲模塊

1.1.1 網絡圖片爬取

本項目使用Scrapy框架進行圖片爬取[7]。首先確定爬取圖片的網址，然后根據需要要爬取的標簽和網頁頁碼得到完整的URL列表并發送給調度器，接著調度器分析URL地址響應內容并找出圖片下載地址。最后，只需在Scrapy框架里的setting中設置好下載路徑，就可以啟動引擎調度各模塊，讓爬蟲程序自動下載這些圖片。為防止瀏覽器阻止python爬蟲程序爬取網頁圖片，還需要修改setting里的ROBOTSTXT_OBEY為TRUE以及讓爬蟲程序每一次爬取網頁時使用不同的USER_AGENT。圖片爬蟲流程圖如圖1所示。

1.1.2 圖片格式化處理

本項目對爬取的圖片進行格式化處理將用到Dlib庫和Opencv庫。如圖2 所示，圖片格式化處理流程為：先使用Dlib庫的人臉目標檢測函數循環檢測每一張圖片，若檢測到人臉，則使用Opencv庫的圖片切割函數對人臉進行矩形框切割并轉為灰度圖，然后保存圖片;若檢測不到圖片，則跳過此圖片選取下一張就行人臉檢測。

1.2 訓練模塊

1.2.1 生成TFRecord文件

本系統通過網絡爬蟲模塊爬取的圖片已經放到了對應的標簽目錄下。首先把每個標簽目錄下的圖片按照比例分為train，test和val這三部分，然后生成對應的TFRecord訓練文件，分別為train訓練集，val驗證集和test測試集。train訓練集用于卷積神經網絡的訓練;val驗證集是訓練過程中的測試集，主要是用來判斷網絡是否過于擬合，以便網絡參數的調整;test測試集是在網絡模型訓練結束后，用來評估網絡模型效果的測試集。