表情識別技術在鐵路售票窗口中的應用

于存江 楊龍標 丁笑穎 顏成偉 周國寶

摘 要： 針對鐵路窗口售票服務質量的問題，提出一種售票窗口服務質量的表情識別監測系統。該系統通過售票窗口外側的攝像頭檢測到人臉圖像時，表情監測系統每隔一定的時間就會通過安裝在售票窗口內的攝像頭獲取監控范圍內的幀圖像信息，由表情識別監測系統對圖像進行處理和識別，將識別后的結果進行數據統計。基于表情識別技術的監測系統在鐵路售票窗口的應用，不僅能夠提高售票員的服務質量，也能夠讓旅客在購票的過程中體驗到舒適感。

關鍵詞： 表情識別; 鐵路售票監測; 服務質量

文章編號： 2095-2163（2021）03-0106-03 中圖分類號：TP29 文獻標志碼：A

【Abstract】Aiming at the problem of railway window ticketing service quality， this paper proposes an expression recognition monitoring system for ticket window service quality. When the system detects the face image through the camera outside the ticket window， the expression monitoring system will obtain the frame image information within the monitoring range through the camera installed in the ticket window at regular intervals. The image is processed and recognized， and the results of the recognition are statistically analyzed. The application of the monitoring system based on facial expression recognition technology in the railway ticket window could not only improve the service quality of the conductor， but also allow passengers to experience comfort during the ticket purchase process.

【Key words】 expression recognition; railway ticketing monitoring; service quality

0 引 言

近年來，人工智能的迅速發展不斷影響著科技工業的進步，而人們的日常生活也不斷得到改善。鐵路作為人們外出旅行的重要交通方式，其服務質量也受到越來越多的關注，因此一套完整有效的基于表情識別技術設計的售票窗口的監測系統的研發已然成為各方矚目的熱點。該系統的成功研發則能夠解決人為監督方式諸多弊端，例如浪費人力、難以實現即時監督，漏洞也較多，將在一定程度上有利于提升鐵路部門對旅客的服務質量，從而使鐵路交通部門的服務體系建設邁上新高度。既能夠提高售票人員的服務水平，也能讓旅客出行時提高用戶體驗，與此同時還減少了不必要的人力和物力的消耗[1]。

1 系統分析與設計

1.1 需求分析

該系統由安裝在售票窗口內外兩側的雙攝像頭來進行服務質量的監測。總地來說，就是通過售票窗口外側的攝像頭檢測到人臉圖像，此時表情識別監測系統將每隔一定時間就會通過安裝在售票窗口內的攝像頭獲取監控范圍內的幀圖像信息，并由表情識別監測系統對圖像加以識別與處理，再對處理后的結果進行最終的數據統計。

表情檢測系統主要由4個模塊組成，分別是：售票員與旅客人臉圖像采集模塊、人臉檢測模塊、人臉表情識別模塊和數據統計模塊。當有人通過窗口購票時，該系統將利用售票窗口外側的攝像頭檢測到人臉圖像，每經一定的時間間隔再通過窗口內側的攝像頭來采集圖像，接著將對采集圖像進行處理，基于此再進行人臉檢測和人臉表情識別，最后可將識別后的結果數據保存起來，以此來考察售票員今天的服務工作質量。

1.2 技術方案

人臉表情識別是一種生物特征識別技術。現如今，表情識別技術不僅在安全、醫療、通信、汽車、機器人制造和教育等諸多領域中均獲得了快速發展，并取得了可觀研究成果[2]。Feng等人通過構建表情特征LBP直方圖，實現了面部表情識別。Guo等人基于改進LBP算子提出了完全局部二值算法CLBP，該算法取得了比LBP算子更好的識別率。王鎮利用改進的梯度方向直方圖（HOG）來提取表情特征，該方法可以有效區分噪聲和表情信息[3]。

卷積神經網絡主要由輸入層、卷積層、池化層、全連接層和輸出層組成，這是一種端到端的學習架構，直接從原始數據訓練描述特征，同時也能處理大量的數據，是計算機視覺領域的最熱門的研究方向之一[4]。

本系統通過使用計算機視覺的開源工具包Keras、 OpenCv和深度學習主流框架TensorFlow相結合的方式實現系統核心部分、即人臉檢測和人臉表情識別功能，同時也包括售票員表情識別后信息的展示功能。

1.3 系統設計框架

本次研究將系統總體框架分為3部分，歸納為2層結構。系統整體框架設計如圖1所示。

由圖1可知，數據采集層是通過窗口內外兩側的攝像頭進行圖像采集，這一層的主要功能是采集攝像頭覆蓋范圍內的圖像信息;通過PC機上的表情識別監測系統提取出人臉信息，進行人臉檢測和人臉表情識別[5]，這就構成了整個系統的服務層。

2 系統研究與設計

2.1 人臉圖像采集模塊

當旅客站在售票窗口進行咨詢或者買票時，表情識別監測系統將會調用函數VideoCapture將售票窗口外的攝像頭拍攝到的畫面通過視頻流傳送到多幀圖像處理中，由此來進行人臉圖像信息的檢測。而檢測后的人臉圖像信息會經過haar特征的Adaboost分類器的方法，當調用detectMultiScale（）函數檢測到幀圖像中有人臉特征圖像時，表情識別監測系統會每隔3 s即通過攝像頭來采集售票窗口內的圖像，再將采集后的圖像經過處理后進行人臉檢測。當表情識別監測系統通過售票窗口外的攝像頭檢測不到人臉圖像信息時，表情識別監測系統則停止這一每隔3 s通過售票窗口內的攝像頭對圖像進行采集的進程。

2.2 人臉檢測模塊

將表情識別監測系統采集回的售票窗口內的圖像信息仍會通過haar特征的Adaboost分類器的方法，調用detectMultiScale（）函數來檢測圖像中的有人臉圖像特征信息，再通過resize（）函數來提取臉部圖像。

2.3 人臉表情識別模塊

將表情識別監測系統提取后的面部表情圖像信息，通過訓練好的表情識別模型、并調用predict_proba（）函數來預測售票員的面部表情特征。再將識別后的信息進行存儲統計。人臉表情識別模塊的設計流程如圖2所示。

該模塊是基于卷積神經網絡實現的人臉表情識別功能，而卷積神經網絡的實現需經過如下步驟：加載數據到內存、劃分數據集、驗證集、訓練集、并歸一化數據，最終訓練得到所需要的結果模型。卷積運算的原理公式可寫為：

2.4 數據統計模塊

將表情識別監測系統識別后的面部表情圖像信息進行存儲，例如：上班時間定為早8點，下班時間定為下午5點，表情識別監測系統則會將今天識別到的信息進行實時的單一存儲，下午5點下班后，表情檢測系統會進行分類統計，將生氣、厭惡、悲傷、恐懼等情緒處理成生氣狀態，將高興、驚訝、正常處理成高興狀態，而且利用如下公式：

來運算得到服務質量（差：0.00～0.59，良：0.60～0.89，優：0.90～1.00），在此基礎上則可起到監督作用，從而提高鐵路售票工作的服務質量。

3 測試結果

本文將對表情識別監測系統展開測試來驗證結果。在良好的實驗條件下，采用訓練好的模型進行預測，并將實驗人員人臉置于攝像頭采集范圍內，由此得到人臉圖像信息，無論是在光照、角度還是背景等參數上基本保持一致，測試結果可闡釋分述如下。

（1） 模擬售票窗口外側的攝像頭檢測到的旅客人臉圖像。視像效果如圖3所示。

（2）模擬售票窗口內的攝像頭采集回的20幀人臉圖像信息，作為本系統的測試數據。視像效果如圖4所示。

（3）將上述的20幀圖像作為一天當中統計的數據，識別結果輸出如圖5所示。

通過公式（2）可求得服務質量為0.6（良）。

4 結束語

本項目旨在設計并實現針對售票窗口服務質量的表情識別監測系統。該系統利用了智能識別技術，通過售票窗口外側的攝像頭檢測到人臉圖像，并

每隔一定時間就會通過安裝在售票窗口內的攝像頭獲取監控范圍內的幀圖像信息，再由該系統對圖像進行處理和識別，最后對識別后的結果進行數據統計。該次研發系統易于實施，功能清晰，并且系統本身也有利于后續的維護與擴展升級。本次研究成果對于提升鐵路交通部門的服務質量，提供旅客的舒適出行體驗有著重要現實意義。

參考文獻

[1] ?吳健新. 智能監控系統中的人臉檢測與跟蹤研究[D]. 廈門：廈門大學，2006.

[2] 劉慶鵬. 基于ARM的嵌入式人臉識別系統研究與實現[D]. 長春：長春理工大學，2017.

[3] 程曦. 基于深度學習的表情識別方法研究[D]. 長春：長春工業大學，2017.

[4] 張杰. 基于GPU的大規模人臉識別系統的設計與實現[D]. 成都：電子科技大學，2017.

[5] 產文濤. 基于卷積神經網絡的人臉表情和性別識別[D]. 合肥：安徽大學，2016.