基于人臉識別的精準商品推送系統

張藝玲, 徐 瑋, 周宇帆, 王雅琳, 鄭 豪

(南京曉莊學院 信息工程學院， 南京 211100)

0 引 言

以云計算、物聯網、5G等為代表的計算機應用技術迅猛發展，給人們的生活帶來了諸多便利。然而每日產生的呈指數級增長的數據也造成了信息過載(Information overload)問題，導致了信息利用率降低。因此，如何提高信息利用效率，從海量的數據中提取需要的信息就成了一個值得討論的話題。目前解決這一問題的主要途徑分為搜索引擎和分類劃分兩大類[1]。在電商環境下，由于商品種類繁雜，消費者往往難以精準把握購物需求[2]。在商場購物時消費者更是幾乎無法搜索自己想要的商品，購物費時費力，體驗不佳。因此，不論是線上還是線下的購物過程中，推薦系統都顯得尤為重要。

不同于線上購物平臺，實體商場能夠向消費者進行推薦的手段十分有限，大都只能依靠廣告機、海報、電視廣告等粗粒度的方式推送，無法像線上平臺一樣做到“千人千面”。為解決這一問題，王勇等提出了基于位置的商品推薦方法[3]；SA Iakovou等使用超市和亞馬遜公司的數據庫建模，根據消費者行為進行分類、商品推薦[4]。

本文設計了基于人臉識別的精準商品推送系統，可根據消費者的在商場中的位置推送商品信息。通過使用商場內部的攝像頭捕捉消費者面部信息，結合消費者特征信息對消費者建模，在微信小程序中為消費者推薦最適合的商品。本系統具有較高的推送準確度，使用方便快捷，能夠有效提升顧客粘性與商場營業額，且適用范圍廣，能夠應用于各類超市、商場，具有可觀的商業價值。

1 相關技術

1.1 人臉識別

人臉識別作為計算機視覺中的一個重要領域歷經幾十年的發展，已在安防、金融等不少領域取得了廣泛的應用，隨著CNN、TensorFlow、DeepID1等深度學習模型與算法的提出和改進，其可靠性與應用范圍得到進一步提升，目前部分算法的識別準確率已達99.99%以上[6]，如曠視科技、騰訊等大型企業也已開放相關API，供相關開發人員使用。

1.2 推薦系統

推薦系統作為一種解決信息過載的方法，其本質就是從海量的數據中尋找出用戶可能感興趣的內容并推送給用戶[7]。目前推薦系統不論是在電子商務領域還是在社交媒體領域都取得了十分廣泛的應用。尤其在電子商務領域，亞馬遜在2010年就通過使用推薦系統將銷售額提高了30%以上[8]。

目前推薦算法主要分為以下3種類型：基于內容過濾的推薦算法；基于協同過濾的推薦算法；混合推薦算法[13]。

1.2.1 基于內容的推薦算法

該方法主要利用項目之間特征的相似度進行推薦。首先提取項目的特征，再根據用戶對該項目的喜愛偏好(如打分、評價等)進行匹配，尋找特征相似度較高的其他項目推薦給用戶。常見算法有KL距離、余弦的距離計算方法等。該算法高效、直觀，且能夠避免冷啟動和數據稀疏的問題。

1.2.2 基于協同過濾的推薦算法

該算法是目前推薦系統中最為成功，應用最廣泛的算法?；趨f同過濾的推薦算法通過歷史記錄與項目評價對用戶建模。尋找與該用戶相似的其他用戶，并根據其他用戶對已購商品的評價為該用戶推薦商品。

1.2.3 混合推薦算法

混合推薦算法即是將多種不同推薦策略進行組合的方案，常見的混合方式有基于結果的混合和基于算法的混合[10]。

2 系統設計

2.1 總體設計

本系統使用推薦算法、微信小程序與騰訊人臉識別API搭建。通過使用廣告機中的人臉老化小游戲吸引消費者拍照，掃描二維碼進入微信小程序填寫注冊信息，當消費者同意隱私協議后系統自動將剛才拍攝的人臉照片保存至騰訊云數據庫。

當消費者在商場內購物時監控會自動捕捉消費者面部信息并與騰訊云數據庫中的人臉信息進行比對，若存在該消費者信息，則系統會根據當前消費者所在位置適度的進行商品推薦。

當消費者在商場完成購物后，微信小程序會推送給消費者本次購買的商品的清單，并請消費者評價、打分。

本系統劃分為如下5個模塊：廣告機游戲模塊、人臉識別模塊、微信小程序模塊、信息推送算法模塊。

系統流程如圖1所示：

圖1 系統流程圖

2.2 廣告機游戲模塊

在廣告機上，本系統通過使用人臉老化小游戲預測用戶20、40、60年后的長相吸引消費者掃描二維碼、關注微信小程序，并由此下載預測圖片，引導消費者填寫注冊信息。

廣告機獲取人臉圖片，將圖片傳送至騰訊云服務器，根據騰訊云返回的人員id生成相對應的微信小程序二維碼，展示二維碼和生成的預測人臉老化圖片，用戶通過手機微信客戶端掃描二維碼后進入微信小程序，閱讀相關內容。

對廣告機采集到的照片進行處理時，使用Haar算法檢測其中是否存在人臉。若存在，則通過檢測得到的人臉特征點，將人臉對齊到正面人臉3D模型，同時在UCAS-AgeFace數據集上計算不同年齡段的平均人臉，以得到年齡變化的共性特征。為了更加細膩地表現人臉老化效果，使用光流算法捕捉人臉面部衰老的細致變化，從而對輸入人臉變形。最終，將變形后的人臉與皺紋模板進行比例圖法疊加融合，呈現出最終的老化圖片。人臉老化效果如圖2所示。

圖2 人臉老化效果

其中，臉部形狀變化包括臉部變瘦、雙頰凹陷、眼窩深陷等；面部表面特征明顯，包括偏黃、偏暗，會出現疤痕和色斑、目光呆滯、無神、皮膚松弛、粗糙沒有光澤、皺紋增多。

2.3 人臉識別模塊

當消費者與廣告機互動拍照之后會系統會調用騰訊人臉識別API判定是否存在人臉及圖片中人臉的位置。在消費者填寫完調查問卷并同意隱私協議后，系統將人臉圖像存儲至騰訊云數據庫。

當消費者在商場中購物時，攝像頭會自動捕捉消費者面部信息并上傳至服務器，與騰訊云數據庫中的照片進行比對，若存在該消費者則返回消費者的人員id供微信推送使用。

2.4 微信小程序模塊

微信小程序作為系統與用戶交互的端口，共有商品、資訊、個人3個模塊。

(1)商品模塊。商品模塊用于展示所有推薦給消費者的商品信息。當后臺推薦給消費者不同的商品時，該頁面的內容會動態更新。微信小程序端的商品列表展示頁面如圖3所示。

圖3 商品展示頁面

(2) 資訊模塊。該模塊會根據商品模塊中所推薦的商品展示給消費者最適合的潮牌信息。

(3)個人模塊。個人模塊主要有兩個功能：展示并讓給消費者下載在廣告機游戲中所推算出的20、40、60年后的長相；展示給消費者本次的消費清單，并提醒消費者對商品和服務評價打分。

2.5 信息推送模塊

本系統使用基于用戶特征的推薦算法。該算法首先將用戶的屬性特征轉化為可以參與計算的數值，構建用戶特征矩陣；再根據用戶關鍵特征使用K-means算法對用戶進行聚類。在目標用戶所在的類聚中，使用余弦(Cosine)相似度計算，得出相似用戶集，再利用項目評分矩陣細化相似用戶集得到最終用戶集，最后選出“優選率”最靠前的N個結果推薦給目標用戶。

本系統首先在調查問卷中收集消費者的職業、性別、年齡信息構建用戶特征集An(a1,a2,…,an),在本系統中n取3，即A3={職業,性別,年齡}；之后提取關鍵特征“年齡”、“性別”，使用K-means算法對用戶初次聚類。

對初次聚類后的用戶集建立用戶特征值矩陣，復合每個用戶的特征值，并對初次聚類后的目標用戶進行相似度計算，兩次運算均使用余弦相似度函數，相似公式如(1)所示：

(1)

其中，Pik(vi1,vi2,vi3,…,vin)和Pjk(vj1,vj2,vj3…,vjn)分別為用戶Ai和用戶Aj相對應的加權參數化后的特征集(A3={職業,性別,年齡}對應的每一項權值為(0.3,0.4,0.3))，整體用戶相似度公式(2)：

(2)

根據計算得出的用戶相似度，再次使用K-means算法，對用戶聚類得出相似用戶集。根據消費者在微信客戶端對商品的評分(1～10分)使用cosine相似度計算得到最終的相似用戶集合。最后根據Top-N分析法，選出最靠前的N個結果推薦給目標用戶。

3 結束語

本系統基于推薦算法、騰訊云API和微信小程序，結合商場攝像頭實現了針對商場消費者的精準商品推送，解決了消費者在商場購物時難以快速搜索心儀商品這一問題，有效提升消費者購物體驗，提高顧客粘性，增加商場營業額。同時本系統應用范圍較廣，具有良好的商業前景。