基于人體姿態估計的用戶偏好分析系統

劉慧娟，趙東明

(1.天津廣播影視職業學院 天津300112；2.中國移動通信集團天津有限公司 天津300020)

0 引 言

在商場或店鋪做商品營銷時，店內營業人員大多是在店外進行商品展示或隨機下發消息向客戶推薦，并不能根據客戶在廳店內的姿態變化，來確定用戶是否對商品感興趣，其結果是工作人員往往在做無用功，并沒有吸引到潛在的客戶，從而失去了很多商機。傳統的營銷方式還是基于問詢、解答的模式，缺乏新技術應用下針對性強、智能化的業務新方式。為了促進商品銷售，提升廳店人員的工作效率和吸引更多的客戶，可以基于人體姿態的分析輔助廳店人員進行場景化營銷和個性化推薦。本文基于人體姿態估計開發了用戶偏好分析系統，重點解決廳店中用戶偏好分析不準確造成的商機流失問題。

隨著人工智能的技術成熟，卷積神經網絡(CNN)技術在計算機視覺方面的應用發展速度極快，人體姿態估計在行為估計、人機交互、異常檢測等方面有著廣闊的應用前景。該系統將人體姿態估計技術引入到廳店零售環節，通過對用戶肢體形態進行分析，判斷用戶對商品的偏好及情緒，進而輔助廳店人員進行場景化接觸營銷和個性化推薦，對廳店運營效率提升很有幫助。

1 人體姿態估計

基于人體姿態的估計進行客戶偏好分析，關鍵在于人體特征點的定位。其核心是人體骨架模型由肢體上的特征點(關節)決定，與人臉上的五官特征點定位非常相似(圖1)。在樣本圖片上標注人體骨架點，可用于訓練CNN模型，從而進行特征點的定位。

為解決上述問題，本文提供了一種基于人體姿態估計的用戶偏好分析和推薦方法，核心流程包括：①關節點位置數據采樣；②計算特征向量；③關鍵幀提取；④模型訓練與測試，根據測試結果對用戶喜好進行分類；⑤根據喜好分類結果，進行個性化的推薦服務。

圖1 人體姿態示意圖Fig.1 Human body posture diagram

1.1 關節點位置數據采樣

以監控系統拍攝的人體圖像為依據(圖1)，從中提取出圖像中每幀人體關節點位置坐標，即根據監控系統拍攝到的圖像，對圖像中每幀人體進行姿態估計，得到人體頭部、脖頸、左肩、右肩、左手肘、右手肘、左手腕、右手腕、尾椎、左臀部、右臀部、左膝蓋、右膝蓋、左腳踝和右腳踝這15個關節點的位置坐標。

圖2 人體形體關鍵點采樣Fig.2 Key point sampling of human posture

1.2 計算特征向量

利用提取的各關節點 3D坐標計算人體關節點之間的角度作為人體動作識別的特征，從一幀圖像的關節位置中計算出的15個角度組成的特征向量為：

1.3 關鍵幀提取

在一個動作視頻序列中為了概括反映該動作的圖像幀，需要體現動作視頻中具有代表意義的關鍵姿態。因此關鍵幀的提取能夠最大限度地使該行為區別于其他類型的行為，同時減少數據存儲空間的使用。但是考慮到動作執行、動作速率不一致問題，采用 K-均值聚類算法進行聚類，提取出相似數據的聚類中心，然后進行關鍵幀提取。

具體提取步驟如下：

②計算每一個樣本(i)x到每一個聚類質心的距離最小值，D取最小值時，表示將其歸為 j類，即

進行聚類前，K-means算法需要規定聚類個數，且初始聚類中心選取具有隨機性，如數據集中的動作(擺手、搖頭、試戴等)，以及這些動作幅度大小都需要予以統一的規定。完成關鍵幀提取后，形成可識別的客戶偏好基礎特征。

2 客戶偏好分析

2.1 用戶喜好的分類

人體姿態識別過程包括對數據的預處理、構造3D卷積神經網絡和分類訓練過程，最終輸出結果。算法流程圖如圖3所示。

圖3 基于人體姿態估計的客戶偏好分析流程圖Fig.3 Customer preference analysis based on human posture estimation

①在預處理階段，將提取的關鍵幀圖像大小統一到120×160像素，得到統一大小尺寸下的圖像；

②對圖像進行均分，分成 5份，其中第 1～4份為訓練集，第5份作為測試集；

③將訓練集數據輸入到卷積神經網絡中進行模型訓練，得到表現好的模型，然后將測試集數據輸入到模型中得到測試分類結果。

根據聚類算法提前約定的規則，將測試結果劃分到對應的類中，從而判斷用戶行為。基于人體姿態估計，首先基于 CNN來進行客戶對商品感興趣程度的分類，再基于精確肢體(如手部、頭部)的動作捕捉，可以進一步推斷用戶對商品的喜好，是不感興趣的搖頭、擺手以及猶豫不決地在廳店內駐留，還是感興趣試戴，精準把控客戶對商品的感知。

2.2 根據喜好進行個性化的推薦服務

面向廳店的人體姿態分析和推薦系統，基于高清攝像頭和人工智能圖像處理程序，利用 CNN卷積神經網絡不斷優化識別模型，結合行為、形態、姿態的估計算法，判別客戶對某一類商品的偏好情緒，通過客戶對商品的喜好程度，輔助廳店人員進行場景化營銷和個性化推薦，從而提升廳店的零售轉化率和客戶體驗價值。整體流程如圖4所示。

圖4 客戶偏好分析的業務推薦流程Fig.4 Business recommendation process for customer preference analysis

廳店高清攝像頭采集店內顧客的圖像后，立即根據姿態進行估計，根據模型輸出的結果判斷其所處的分類結果，從而得出用戶對商品的喜好程度。系統將客戶的喜好推斷結果實時地傳送到廳店人員的手機上，廳店人員收到消息后，立刻行動。廳店人員根據用戶對商品的喜好程度結果，先是進行主動式的某一商品介紹，然后利用實物或者是手持終端設備為用戶進行詳細的商品展示。最后，根據客戶對商品的反應，注冊客戶的用戶資料，錄入廳店的會員庫，為客戶做后續的推薦服務。

3 應用與實踐

基于人體姿態估計的客戶偏好分析系統能夠有效減少客戶特征點的數量級，把人體行為轉換成十幾維的特征點，降低了模型輸入的復雜度，完成快速的算法輸出，便于廳店人員做出實時的業務推薦舉措。在下一階段工作中，將拓展人體姿態分析模型，將客戶表情、客戶動作識別功能納入智慧營銷，有效拓展應用范圍。

該系統在保護用戶隱私的前提下，能夠完成智能化的業務推薦，提高了廳店人員的工作效率，并且能夠幫助廳店人員挖掘潛在的客戶，提高經濟效益，有極大的實用價值。其立足天津移動營銷進行了使用推廣，已應用于天津移動兩個智慧營業廳，支撐營銷人員基于客戶實時感知場景進行現場營銷。驗證表明可以有效提升現場營銷效率，節省客戶選購時間，提升了產品推薦成功率，在新零售背景下、流動式營銷場景下，都有極大應用潛力。

4 結 語

本文開發了一套面向廳店的人體姿態分析和推薦系統，基于高清攝像頭和人工智能圖像處理程序。利用 CNN卷積神經網絡不斷優化識別模型，結合行為、形態、姿態的估計算法，判別出客戶對某一類商品的偏好情緒，通過客戶對商品的喜好程度，輔助廳店人員進行場景化營銷和個性化推薦，從而提升廳店的零售轉化率和客戶體驗價值。