基于EmguCV 的智能服務機器人人臉識別系統設計

范淇元，覃羨烘，朱培杰

1.華南理工大學廣州學院機械工程學院，廣東廣州510800 2.廣東理工學院工業自動化系，廣東肇慶526100

通過研究分析基于EmguCV的人臉識別技術，將人臉識別技術應用于智能服務機器人，利用Visual Studio2015平臺開發出一套智能服務機器人的人臉識別系統，修改程序簡化了代碼，并添加語音互動系統，提高了人與機器人之間的互動深度和人機交互能力，解決了機器人根據不同人群和對象進行人臉識別，不能對對應的服務項目智能選擇的難題，實現服務型機器人的全面智能化轉型。

1 系統總體設計

整套智能服務機器人人臉識別系統的設計是在服務型機器人的基本運動系統中增加云端處理、語音交互、視覺模塊來實現人臉檢測與識別，并對人物做出相對應的服務類型。人臉識別系統組成如圖1所示。

圖1 系統組成

智能服務機器人在視覺模塊可視區域檢測到人物存在時，自動進行人臉檢測。對于未記錄過的人臉信息，可通過語音模塊進行圖像信息錄入，并將信息自動保存到云端服務器。在之后檢測到相同人臉信息時，機器人將針對人物的信息與身份自動匹配并進行相關類型服務。

1.1 系統硬件選型

該設計對智能服務機器人的攝像頭即圖像采集硬件并沒有特定需求，本系統可以應用在任意一種具備攝像頭并具有WinForm平臺的設備中。人臉識別攝像頭模塊是智能型圖像采集模塊，該模塊具有很強的光線處理能力，能夠在強光、逆光、弱光環境中拍攝清晰的圖像，并且搭載不同的人臉識別算法[1?2],實現不同光線條件下的精準人臉識別和圖像采集，可與第三方軟件及應用管理系統緊密結合使用，廣泛嵌入VTM、ATM、自動發卡機等自助設備，實現人臉身份認證。本設計并沒有采用類似的高級硬件，而是致力于調用普通的攝像頭，通過EmguCV直接實現后臺的人臉檢測與識別。

1.2 人臉識別軟件系統設計

人臉識別技術是一種通過對人體臉部的特征信息進行對比識別的技術，即通過攝像設備采集視頻流或人臉圖像，自動檢測和跟蹤，進而對檢測圖像進行后臺處理與比對識別的一系列相關技術。人臉識別在實際工作中會受到光照、臉部表情和姿勢等因素影響,因此在交互過程中對圖像的識別算法進行多條件優化，能大大提高系統的交互性能[3?5]。基于EmguCV的人臉識別系統主要有以下幾個部分。

1.2.1 圖像采集和處理

圖像處理技術包括圖像壓縮，增強和復原，匹配、敘述和識別3個部分。系統有康耐視系統、圖智能系統等，是目前正在逐漸興起的技術,包括預處理、分割、特征抽取和識別4個模塊，針對要完成某一特定的任務，使用特定的圖像處理方法達到目標效果。數字圖像處理內容如圖2所示。

圖2 數字圖像處理原理

由于檢驗的光線、角度等因素對人臉檢測和人臉識別的影響，需要凸顯和細化圖像的細節，降低圖像的噪點，所以在整個識別過程當中，通常采用圖形去噪、灰度變換和均衡化處理等方式來實現。其中，圖形去噪采用簡易的低通濾波，灰度變換指通過灰度變換將原直方圖兩端的灰度值分別拉向最小值（0）和最大值（255），使圖像占有的灰度等級充滿（0~255）的整個區域，從而增加圖像層次，達到圖像細節增強的目的。均衡化處理是指用于增強局部的對比度而不影響整體的對比度，直方圖均衡化通過有效地擴展常用的亮度來實現這種功能。灰度變換代碼如下：

Imagegray_image.Convert（）：//將GRB圖像轉換為灰度圖像

gray_image.SmoothBilatral（3,3,3）：//采用雙邊濾波降噪

gray_image._EqualizeHist()://采用直方圖均衡化

1.2.2 人臉檢測

人臉檢測主要采用Adaboost的方法。Adaboost是Boosting分類融合算法的一種，它通過對一些弱的分類器的組合來形成一個強的分類器，從而提高分類算法性能[6?9]。本設計采用Haar分類器，建立Boost篩選式級聯分類器，而且是一個監督分類器。先對圖像進行直方圖均衡化到同樣大小，然后標記是否包含被檢測物體，人臉通過使用樣本的Haar特征對其進行分類器訓練得到級聯Haar分類器。通過單元測試對XML文件進行識別判斷，此方法的實現準確率很高，能夠完成識別功能。人臉檢測XML文件生成代碼如下所示：

String xml_path=Application.StartupPath＋“/haarcascade_frontalface_alt.xml”://人 臉 檢 測XML文件

CascadeClassifier Face=new CascadeClassifier(faceFileName).

使用EmguCV中的CascadeClassifier類Haar分類器，實現人臉檢測功能，檢測實現功能準確率約為98%，對于每一張采集的人臉圖片素材都進行了訓練，識別數據與準確率很高，能夠實現識別功能，具體的工作流程如圖3所示。

圖3 Haar分類器工作流程

1.2.3 人臉識別

人臉識別采用基于線性子空間方法，主要方法有以主成分分析（pricipal component analysis，PCA）和線性判別式分析（linear discriminant analysis，LDA）以及局部二值模式（local binary patterns，LBP）算法。

設計采用LBP算法。LBP是指在像素3×3鄰域內的，以鄰域中心像素為閾值，將相鄰的8個像素的灰度值與其進行比較，如果周圍像素值大于中心像素值，則該像素點的位置被標記為1，否則為0。這樣，3×3鄰域內的8個點經比較可產生8位二進制數（通常轉換為十進制數即LBP碼，共256種），即得到該鄰域中心像素點的LBP值，并用這個值來反映該區域的紋理信息，如圖4所示。

圖4 LBP特征提取

用公式來定義：

每個像素都會根據鄰域信息得到一個LBP值，以圖像形式顯示LBP對光照有較強的魯棒性，如圖5所示。

圖5 光照下LBP算法的魯棒性測試

在LBP的應用中，如紋理分析、人臉分析等，LBP圖譜一般都不作為特征向量用于分類識別，而是采用LBP特征譜的統計直方圖作為特征向量用于分類識別。

1.2.4 人臉訓練及人臉特征提取

通過對每張人臉圖像進行編碼并且將人臉的相關信息和編號保存起來，模仿機器學習過程。當加載訓練模板之后,識別器會主動將人臉信息和人臉圖像通過編號逐一關聯。檢測到的人臉通過識別算法，對訓練過的人臉圖像中的各個特征點進行評估后，從訓練庫中選取匹配率最高的人臉圖像并輸出該圖像對應的人臉信息，且此匹配率均達到95%以上。

1）保存人臉圖像

在.Net4.0框架下，微軟提供了一個System.Drawing.dll的程序集文件，通過使用當中的Image類 的Save（Stream stream，ImageFormat format） 方法，輸入保存路徑以及保存的圖片格式，便可實現圖像的保存。其中，format為保存的格式。一般可以選擇JPEG、ICON、GIF、PNG、TIFF、WMF以及BMP圖標圖像。在這里我們選擇ImageFormat.JPEG，將BMP圖像以JPEG的圖像格式保存（見圖6）。

圖6 保存后的JPEG人臉圖像

2）生成XML文件

首先使用System.IO命名空間下的FileStream類的OpenWrite方法，創建IO數據流，然后再對XML文件進行相關的操作。生成XML文件需要用到XmlWriter的WriteStartDocument、WriteStartElement、WriteElementString、WriteEndElement以及WriteEnd-Document這5個方法。至于對XML文件的修改操作則需要使用XmlDocument類中的Save方法以及XmlElement類中的CreateElement方法創建各個根元素和使用AppendChild方法添加根節點。操作完成后必須使用Close方法關閉IO數據流。訓練后XML文件內容如下：

-

2 人臉識別系統調試

2.1 調試系統

基于EmguCV的人臉識別系統如圖7所示，檢測與錄入狀態如圖8、9所示。

圖7 人臉識別檢測狀態

圖8 人臉識別錄入狀態

圖9 系統實測人臉JPEG圖像

2.2 系統設計調試訓練

EmguCV是.NET平臺下對OpenCV（Open Source Computer Vision Library）圖像處理庫的封裝，也就是C#版OpenCV視覺開發包。除此之外，OpenCV還支持在C#、VB、VC++等編譯語言下使用開發[10?12]。本設計主要選用C#作為編寫程序語言，調用EmguCV里的函數來完成對數字圖像的處理以及實現人臉識別。

項目調用EnguCV庫函數作為主要檢測函數，運行軟件，程序自動進入人臉檢測環節，對無信息的人臉執行提示功能，僅需添加一次信息，軟件會自動多次添加人臉數據，再次檢測訓練時，檢測出人臉信息，調用合成語音函數發出語音歡迎功能，程序支持多人臉同時檢測，并有語音讀出信息功能。函數訓練功能代碼如下所示：

if(trainingImages.ToArray().Length!=0)

{

//TermCriteria for face recognition with numbers of trained images like max Iteration MCvTermCriteria termCrit=new MCvTermCriteria(ContTrain,0.001);

//Eigen face recognizer EigenObjectRecognizer recognizer=new EigenObjectRecognizer(

trainingImages.ToArray(),

labels.ToArray(),

5000,

Ref termCrit);

}

Name=recognizer.Recognize(result);

foundPeople[name]=f.rect;

2.3 語音互交功能調試

項目調用SpeechSynthesizer類，提供對已安裝的語音合成引擎的功能的訪問，實現語音合成播報功能。創建新的SpeechSynthesizer對象時，將使用默認系統語音。配置SpeechSynthesizer時使用其中安裝的語音合成(文本到語音)，使用Select-Voice或SelectVoiceByHints方法。語音獲取安裝，使用GetInstalledVoices和VoiceInfo類方法的信息[13?15]。

每次釋放對SpeechSynthesizer的最后一個引用前，均應調用Dispose。否則，在垃圾回收器調用SpeechSynthesizer對象的Finalize方法之前，該對象所使用的資源將不會被釋放，項目語音代碼如下所示：

語音播報

Private void SpeedSound(){

if(string.IsNu110rEmpty(label4.Text))

{

Return;

}

SpeechSynthesizer sp=new SpeechSynthesizer();

if(names==)

{

Thread.Sleep(2500);

if(foundPeople.Count==1)

sp.SpeakAsync(label4.Text+“你好”);

if(foundPeople.Count>1)

sp.SpeakAsync(label4.Text+“你們好”);

}

names==null;

th.Abort();

2.4 設計服務機器人人臉識別系統

本設計基于原有WinFrom平臺，對原有的服務機器人（圖10）的內置系統進行了改造優化。服務機器人的原有系統是基于C#語言編寫，即與EmguCV的使用語言相同，因此將本人臉識別系統直接并入開機程序中，做到機器人開機自動啟動識別程序，服務機器人在與不同用戶交流時，實時智能識別人物對象身份，自動做出交流互動的主題，并針對不同用戶介紹不同的產品，人機對話準確率達到了98%，大大提高了智能化水平。

圖10 智能服務機器人

程序自動調用遷入設備的攝像裝置，進行圖像處理、灰度轉換、降噪、均衡化處理等。通過對LBP人臉識別算法的反復實驗，發現光照越不均勻，識別器的識別速度越有所下降，但仍具有較高的穩定性和識別率，最終實現多人實時的人臉識別功能，并在智能服務機器人中應用。

對于傳統機器人與人臉識別系統的整合設計，需要多方面考慮。人臉識別對用戶圖像的精準依賴性強，需要機器本身自帶較好的攝影攝像頭，且關于人臉識別的計算與訓練并不會與所有計算流程或傳感反饋同步執行，而是以異步形式運行，如圖11所示。機器人對于人臉識別訓練后，就會對人物開始服務向導，并針對性做出對應的業務場景服務。類似歡迎動作，在檢測到人物時會有對應的歡迎動作并播報語音功能，這一系列都是異步處理。且為避免機器人對人的傷害，機器本身都做了傳感檢測，并將檢測級別設為高級，當檢測到有人或物品靠近并越過設定的安全距離時，將主動關閉其他正在執行的線程作業。

圖11 人臉識別系統

2.5 人臉識別系統訓練測試數據（系統識別率）

系統進行訓練測試后所得的數據（系統識別率），與常規人臉識別算法所測試的相關數據進行比較，如表1所示。由表中數據可得LBP算法對比其他常規算法而言穩定性較強，且對環境的變化與多人（本實驗的測試人數為50人）人臉識別的情況下均能做到很好的支持。

表1 LBP算法與常規算法的系統識別率 %

3 結論

在基于EmguCV的人臉識別方法，包含人臉檢測與人臉識別進行了分析研究，通過對LBP人臉識別算法的反復實驗，修改編程設計，同時運用Haar特征對圖像進行人臉檢測處理，設計出基于EmguCV的智能服務機器人人臉識別系統。在本研究中，得出以下結論：

1）對圖像進行灰度轉換、降噪和圖像的均衡化處理，提高了人臉識別能力；

2）簡化代碼，提高了容錯率；添加語音互動系統，提高人機交互能力；

3）對機器設置高級別傳感檢測，保證了安全距離。

機器人能夠直接通過設備調用進行人臉檢測，能夠在多個環境下應用，對生物特征鑒定技術有一定幫助，對大量同類問題的解決有著相互啟發和相互推動的現實意義。