面向用戶的電商平臺刷單行為智能檢測方法

康海燕，楊　悅，于愛民

(1.北京信息科技大學 信息管理學院，北京 100192;　2.中國科學院 信息工程研究所，北京 100093)(*通信作者電子郵箱kanghaiyan@126.com)

0　引言

隨著電子商務行業的迅猛發展，網絡購物逐漸成為一種新的生活方式，但電商行業的惡性競爭也愈演愈烈。2016年的3·15晚會上曝光的購物平臺瘋狂刷單現象[1]，揭露了時下電商平臺惡性競爭的不良后果。所謂“刷單”是指網店經營者雇傭專業從事網店信譽提升的刷單平臺或網站，模擬真實的網購流程，僅有貨款往來，不進行商品的收發，以提高店鋪的信譽度和銷量，實現流量價值轉換。電商刷單具有一定的隱蔽性，因此活躍在法律的灰色地帶，對經濟秩序造成了嚴重威脅。但由于電商業務尚在發展之中，各種約束規范都不完善，所以電商平臺的刷單問題暫時很難通過法律制度得到有效解決，刷單之風盛行所帶來的不良影響體現在各個方面。

為了解決刷單所帶來的信譽安全問題，淘寶和京東一直致力于刷單檢測系統的開發和完善。文獻[2]介紹了京東商城的“天網”系統，目前已全面覆蓋京東商城數十個業務節點，有效支撐了京東集團旗下的京東到家及海外購風控的相關業務，保證了消費者的利益和京東的業務流程。京東反刷單系統從訂單、商品、用戶、物流等多個維度進行統計，分別計算每個維度下的不同特征值，能夠較精準識別刷單相關的惡意行為。文獻[3]詳細介紹了淘寶后臺檢測刷單的第三代稽查系統，主要包括機審和人工審核兩方面。機審的判定順序為：判斷點擊過濾(pmcots防惡意點擊系統)→判斷交易(ctu支付寶智能實時風險監控系統)→檢索訂單數據(數據檢索系統)→結果判定。先根據計算機本身的物理信息來判斷，再根據各個檢測維度判斷訂單是否在正常范圍內，綜合考慮判定商品是否有刷單嫌疑。機審主要依靠三大檢測系統：CTU(支付寶智能實時風險監控系統)、pmcots系統(防惡意點擊系統)和數據檢索系統。CTU是支付寶風險管理的一個核心系統，基于用戶行為來判斷風險等級，集風險分析、預警、控制為一體，并配備風險稽核專家小組進行風險稽查及處置，進行全天候風險監控。pmcots系統主要考核的是流量環節，檢測技術包括IP防止作弊、Netclean防止作弊，點擊率對比，唯一參數識別(如MAC、硬盤序列號、瀏覽器版本、系統UI等)，分析流量來源和流量構成，考察點擊時間參數有效性、物流信息真實性，進行瀏覽時間和深度比對，記錄鼠標值以檢測刷單軟件。數據檢索系統是從索引數據庫或存儲數據中查找和選取所需數據的過程。對于稽查系統難以判斷的訂單進行人工排查得出最終結果，店家可申訴，申訴后即可進入人工判定階段，通過查看商品評價內容、買家信息等進行判斷。

綜合分析當前電商平臺所研發的檢測刷單系統，均為后臺封裝系統，檢測結果對消費者不公開，無法對用戶網購提供直接的參考。所以在電商行業和立法部門對于刷單行為的努力遏制的同時，作為刷單現象的直接受害者——網購群體也需要有一個自行判別刷單行為的第三方工具，以此降低刷單對于消費者所造成的財產損失。本文主要工作有：1)提出了面向用戶的電商平臺刷單行為智能檢測方法SVM-NB，該方法能定量計算出商品信息的可信度，有很強的說服力；2)提出了構建刷單特征值方法；3)通過K折交叉驗證算法驗證了SVM-NB方法的合理性和準確性，實驗條件下計算結果的準確率高達95.053 6%，并與相關工作進行了對比。

1　關鍵技術

1.1　支持向量機

本文提出的面向用戶的電商平臺刷單行為智能檢測方法SVM-NB采用支持向量機(Support Vector Machine， SVM)[4-6]，基于有監督學習，通過多次訓練得出訓練點和類別之間的對應關系，以便判斷待測點所對應的類別，它在解決小樣本、非線性以及高維模式識別中表現出許多特有的優勢。

設X為N維輸入空間的訓練向量，令Φ(X)=[φ1(X)，φ2(X)，…，φM(X)]表示從輸入空間到M維特征空間的非線性變換，Φ(X)稱為輸入向量X在特征空間誘導出的“像”，并且可在該特征空間構建一個分類超平面，數學公式[7]如下：

(1)

其中：wj為將特征空間鏈接到輸出空間的權值;b為偏置。

其拉格朗日函數為：

(2)

其中：拉格朗日系數αp≥0，第一項為代價函數(W),第二項非負。

(3)

最優判別函數為：

(4)

1.2　爬蟲技術

網絡爬蟲技術是一種“自動瀏覽網絡”的程序，從一個或若干個初始網頁的URL開始，不斷從當前頁面上抽取新的URL放入隊列,直到滿足系統的停止條件結束。爬蟲技術工作原理：1)首先將當前用戶搜索的網頁URL放入待抓取URL隊列；2)從待抓取的URL隊列中取出URL，下載對應的電商網頁，存入已下載網頁庫中，并將這些URL放入已抓取URL隊列；3)從已抓取的URL隊列中抽取新的URL進入下一個循環。

2　SVM-NB方法

SVM-NB方法的流程如圖1所示。

圖1　SVM-NB方法流程Fig.1　Flow chart of SVM-NB method

具體步驟如下：

1)數據獲取階段。

第1步通過文獻查詢、商家調研和網頁爬蟲三種方式對不同行業的典型商品建立原始數據庫，包括單一商品與行業數據的正常數據和異常數據(即疑似刷單的店鋪商品數據)。

第2步用戶有兩種方式來查詢商品:一種是地址輸入，即在網頁地址搜索框輸入目標商品的網頁地址，確認查詢，系統后臺根據用戶輸入的網址以及選擇的時間段，自動獲取目標商品的頁面、類別、商品信息等；另一種方式是在當前商品頁面查詢商品名稱或者編號，若數據庫中存在該商品信息，則可以直接從數據庫獲取，否則只能采用第一種方式來查找商品。

第3步系統后臺先在數據庫中查詢該商品是否被檢測過。若未檢測過，則通過網頁爬蟲技術和數據庫查詢，獲得其原始數據(特征量包括訪客數、咨詢數、付款數、訂單數、收藏數、點擊次數、買家ID、下單時間、確認收貨時間、付款時間、店鋪停留時間、交易時間、IP地址信息)，存入數據庫對應表中。

2)數據預處理階段。

第4步將刷單和不刷單兩類商品的原始數據進一步計算，轉化為特征率值，記入初始特征向量集。

第5步對行業的初始數據作同等處理，建立特征值數據庫。

第6步將優化后的特征數據項進行歸一化處理，去除極端數據。

3)訓練模型階段。

第7步將經過預處理的兩類數據格式轉化成SVM分類器可接受的輸入格式(類別向量Y，特征向量Xi)，作為訓練樣本對分類器進行訓練。

第8步設置SVM參數，并利用K折交叉驗證算法尋找最優參數。

4)算法處理階段。

第9步將用戶輸入的目標商品特征值作為測試樣本輸入SVM分類模型中進行分類判斷。

5)輸出結果階段。

第10步將SVM算法得出的分類結果代入樸素貝葉斯公式中得出刷單概率，將最終結果反饋給用戶，并將結果記錄到數據庫中，定期更新數據庫，同時給出同類商品在不同店家中的檢測結果以供參考。

2.1　數據獲取

電商平臺刷單行為智能檢測系統數據獲取主要采用了三種方法：商家調研主要是對淘寶和京東平臺上的電商采集其商品的銷售情況以及店鋪的信譽度等信息；網絡爬蟲則是利用爬蟲技術從商品基礎信息頁面進行信息的收集；文獻查詢主要是通過中國知網等電子論文庫和線下紙質書籍來搜集刷單檢測的相關信息。通過這三種方法獲取到刷單檢測的原始數據分為兩種類型：店家原始數據和單一商品原始數據，分別如表1和表2所示。

表1　店家原始數據表Tab. 1　Raw data of store

表2　單一商品原始數據表Tab. 2　Raw data of single commodity

2.2　數據預處理

2.2.1構建刷單特征值方法(率值計算)

通過數據獲取的三種方法所得到的原始數據包括：訪客數、咨詢數、付款數、訂單數、收藏數、點擊量、確認收貨時間、付款時間、店鋪停留時間、IP地址信息，其中部分初始數據需要經過進行率值計算，經過初步轉化構建出刷單特征值，即得到輸入算法的特征向量的值，如表3所示。

2.2.2歸一化處理

將經過初步轉化的特征值進行歸一化。由于采集的特征項的數據單位不一致，需要將有量綱的表達式化為無量綱的表達式，成為純量，因而須對數據進行歸一化處理。率值需要歸一化到區間[0，1]，數值需要歸一化到區間[-1，1]。歸一化處理的目的：一是為了算法處理過程中更加方便，二是為了加快訓練網絡的收斂。歸一化計算公式如下：

y=(x-MinValue)/(MaxValue-MinValue)

其中：x、y分別為轉換前、后的值，MaxValue、MinValue分別為樣本的最大值和最小值。

2.3　模型訓練

本文采用了SVM的模式識別與回歸的軟件包(LIBSVM)[7]。算法數據計算過程如圖2所示。

圖2　SVM計算過程Fig. 2　Computation process of SVM

訓練數據和測試數據格式為：

: :

:…

如：01:47.562:89.553:35.124:33.515:60.096:32.017:58:9.319:15

其中:

是訓練數據集的類別標識，設為1和0：1表示刷單，0表示未刷單。

是指輸入算法的9個特征量，以1開始的整數，可以不連續。

是每一項特征碼的數值，為實數。

SVM_train實現對訓練樣本的訓練，獲得SVM模型。

SVM_NB則根據訓練獲得的模型對數據集合進行分類結果的預測。

利用SVM_train實現對輸入的訓練數據集的訓練，獲得SVM模型文件。SVM算法將輸入的每一個訓練樣本，即n維向量映射到高維空間中，形成多個散布的點，并通過點的聚集區域模擬分類超平面，并且不斷利用新輸入的訓練樣本數據進行修正，最后生成模板文件，記錄分類特征[9]。

表3　原始數據項率值計算表Tab. 3　Conversion instructions of raw data item

本文采用著名的K折交叉驗證方法，通過驗證結果的準確性來得到最優參數。驗證算法的主要思想是將數據集A分為訓練集(training set)B和測試集(test set)C，在樣本量較少時，可以將數據集A隨機分為k個包，每次將其中一個包作為測試集，剩下k-1個包作為訓練集進行訓練。交叉驗證方法主要用于防止模型過于復雜而引起的過擬合現象。經過不斷地變換SVM的兩個重要參數：懲罰因子C和核函數參數g，確定了最優參數為：C=2 048,g=0.007 8，能夠為用戶提供更為準確的購物參考[8]。

2.4　算法處理

2.4.1處理過程

輸入x={a1,a2,…,am}，y={y0,y1}，x表示測試樣本中每一個商品的特征項集合，y表示類別0和1的集合，分別表示未刷單和刷單；

輸出商品的刷單概率p。

Begin

//1)～8)為SVM算法過程，9)～13)為樸素貝葉斯算法

1)

對特征項集合進行歸一化處理

2)

將數據格式轉化為分類器可接受的輸入格式(類別向量Y，特征向量Xi)

3)

設置SVM類型0-SVM，核函數類型為RBF

4)

設置懲罰因子C和核函數參數g

//如C=2 048,g=0.007 812 5

5)

設置K折交叉驗證算法的K值

//如K=5

6)

利用SMO求出支持向量

//SMO算法用于優化對偶問題中的二次規劃，求出

//優化至收斂的Lagrange乘子向量作為支持向量代入算法

7)

利用訓練樣本構建超平面模型

8)

輸入測試樣本進行分類，得到分類結果y

9)

計算各個特征屬性在分類結果y中的條件概率估計：P(ai|y)

10)

計算類別y出現的概率p(y)

11)

計算各個特征屬性出現的概率p(ai)

12)

代入公式：

13)

returnP(y|x)

End

2.4.2算法分析

1)SVM-NB作為分類算法，其求得的是距離最優解，即相對公平的分類，可以很好地解決如何判斷刷單的問題。

2)SVM-NB用于分類的模型體積較小，經優化后的模型更是可以達到10 KB以下。因為SVM的優勢在于根據小樣本進行分類，所以相比之下SVM算法在檢測時間上有優勢。

3)SVM-NB學習問題可以表示為凸優化問題，因此可以利用已知的有效算法發現目標函數的全局最小值，而其他分類方法(如基于規則的分類器和人工神經網絡)都采用一種基于貪心學習的策略來搜索假設空間，這類方法一般只能獲得局部最優解[13]。

4)SVM-NB算法采用樸素貝葉斯來進行刷單概率的計算，優點主要是特征項相關性較小，性能較優，而且利用小樣本就可以得到較為精確的概率。

2.5　輸出結果

SVM-NB算法通過建立分類器得出刷單分類的結果，然后將結果代入樸素貝葉斯公式，求出最終的刷單概率，并顯示在用戶可見的系統頁面中。檢測結果顯示頁面中用戶可以點擊詳細信息按鈕，進入詳細信息顯示頁面。在此頁面中，可以顯示兩種詳細數據：行業數據和商品信息，均包括已設定的用于檢測的特征值，可以使用戶更清楚地了解該商品及其同類產品的詳細信息。此外，用戶可以直接選擇某一種商品進行同類商品檢測，即系統可以同時檢測一種商品在多家店鋪銷售的刷單概率。

3　實驗與分析

3.1　實驗環境和實驗數據

實驗基于開源軟件LibSVM與Java平臺進行，LibSVM是臺灣大學林智仁(Lin Chih-Jen)教授2001年開發設計的一個簡單、易于使用且快速有效的SVM模式識別與回歸的軟件包[9-10]。利用LibSVM與Java的接口，在eclipse環境下實驗。

通過商家調研、網頁爬蟲、文獻查詢和模擬方式獲得了含有16 000個刷單數據的樣本，其中包括真實數據1 600個和按照正態分布模擬的數據14 400個。數據集總共包含9個特征，記為f1～f9，分為刷單和不刷單的兩類商品。商品詳細數據格式如表4所示。

表4　數據特征項具體數值表Tab. 4　Detailed values of data characteristic items

3.2　實驗與分析

第一步，數據預處理。首先對原始數據集進行率值計算，得到9個特征向量，訓練數據樣本如表5所示；然后對9個特征量的數值進行歸一化處理，轉化成算法可接受的數據格式。

第二步，SVM-NB方法處理實驗及其他分類方法比較，并輸出結果。

實驗1核函數的選擇。

本文將刷單數據集分成兩部分，其中10 000個樣本數據作為訓練集，另外6 000個數據作為測試集，運用上面得到的最優化參數訓練模型，算法參數優化結果如表6所示，經過交叉驗證算法得出的刷單檢測分類性能比較如表7[11]所示。

經過對SVM-NB算法的性能分析，最終確定采用了準確率較高的徑向基函數(Radial Basis Function, RBF)作為核函數，該核函數將樣本非線性地映射到一個高維的空間，能夠處理分類標注和屬性的非線性關系，符合SVM-NB算法對于分類結果的要求[12]。

實驗2SVM-NB方法實驗及其他分類方法比較。

將訓練樣本和測試樣本數據輸入SVM-NB算法，進行模型訓練和結果預測。系統可以同時檢測一種商品在多家店鋪銷售的刷單概率，并在同一界面上顯示，以供用戶對比。運行結果如表8所示。

SVM-NB方法與其他分類方法[13-15](包括樸素貝葉斯和BP神經網絡)在正確率和計算速度方面的比較結果如表9所示。

表5　訓練數據樣本Tab. 5　Samples of training data

表6　各種核函數對刷單檢測的最優參數Tab. 6　Optimal parameters of various kernel functions for click farming detection

表7　各種核函數對刷單檢測分類性能比較Tab. 7　Performance of various kernel functions for detection of click farming

表8　SVM-NB方法刷單概率檢測結果Tab. 8　Detection results for click farming by SVM-NB method

表9　SVM-NB與其他分類方法性能比較Tab. 9　Performance comparison of SVM-NB with other classification methods

SVM-NB算法與樸素貝葉斯和BP神經網絡方法相比，特點如下：

1)在三種算法中本文所采用的分類算法得到的刷單概率正確率最高，且速度較快；BP神經網絡算法的準確率居中，但速度最低，計算量大；樸素貝葉斯算法速度最高但準確率最低，因為樸素貝葉斯要求各項特征之間相互獨立，但本文的刷單數據特征項之間有一定的聯系，所以樸素貝葉斯算法并不適合本文要求。綜合三種算法來看，本文采用的分類算法較為合適。

2)采用了動靜結合的方式。當用戶檢測的商品在數據庫中已經存在相關信息時，則為靜態檢測，只需將數據庫中的數據轉化成測試樣本輸入SVM-NB算法中進行分析，得出刷單概率并存入數據庫中，以便下次針對同一商品進行檢測時可以節省時間；當用戶檢測的商品在數據庫中不存在相關信息時，根據用戶輸入的網址首先利用爬蟲技術動態爬取網頁內容，獲取用戶選擇時間段內的商品最新信息。

3)本文方法有較好的完整性和閉環性，能夠對刷單概率過高的店鋪提出警告信息，不僅能夠基于數據庫中已有的店鋪商品信息進行檢測，而且實現了動態更新，保證了刷單概率檢測結果的可用性和準確性；在給出最終的檢測結果后，用戶還能夠查看所選商品的詳細測試數據以及同行業數據，直觀明了，增強了結果的說服力。

4)用戶能夠同時對多個商品進行刷單概率的檢測，最終系統會顯示出所選擇的多個商品的計算結果，以供用戶進行同類商品刷單行為檢測結果的對比，并且能夠同時顯示多個商品的數據信息。

4　結語

隨著網絡購物逐漸成為一種新的生活方式，電商刷單現象也愈演愈烈。為了保證網購環境的透明化與可信度，本文提出了面向用戶的電商平臺刷單行為智能檢測方法(SVM-NB)和構建刷單特征值方法，基于SVM算法訓練樣本數據并進行分類，為用戶提供判斷刷單的商品特征項信息，直觀地給出系統計算的刷單概率，并通過K折交叉驗證算法驗證了SVM-NB算法應用的合理性和準確性，采用RBF函數在實驗條件下的計算結果準確率達到了95.053 6%。但本文實驗受真實數據量所限，隨著真實數據量的增加，計算結果的準確性會有所變化，不過該結果仍可以幫助消費者較為準確地鑒別店鋪資質和商品質量，降低消費者由于電商刷單所帶來的財產風險。

參考文獻:

[1]3·15曝光刷單超詳細過程曝光淘寶刷單黑產業 [EB/OL]. [2016- 03- 16]. https://v.qq.com/x/page/a0188rpxwvn.html. {(3·15 exposure the detailed process of click farming and exposure Taobao black industry click farming [EB/OL]. [2016- 03- 16].https://v.qq.com/x/page/a0188rpxwvn.html.)

[2]賀駿.電商刷單產業鏈屢禁不止京東利用大數據“捉妖”[EB/OL]. [2016- 03- 21]. http://tech.hexun.com/2016- 03- 21/182861037.html. (HE J. E-commerce industry chain of click farming repeatedly banned, Jingdong use big data “catch demon” [EB/OL]. [2016- 03- 21]. http://tech.hexun.com/2016- 03- 21/182861037.html)

[3]新浪.詳細解讀淘寶稽查系統的主證與旁證系統 [EB/OL]. [2016- 10- 11]. http://edu.yjbys.com/taobao/104994.html. (Sina. Detailed interpretation of the main symptom and circumstantial evidence system of Taobao check system [EB/OL]. [2016- 10- 11]. http://edu.yjbys.com/taobao/104994.html.)

[4]COUELLAN N, WANG W. Uncertainty-safe large scale support vector machines [J]. Computational Statistics and Data Analysis, 2017, 109: 215-230.

[5]高雷阜，王飛.基于混沌更新策略的蜂群算法在SVM參數優化中的應用[J].計算機工程與科學，2017,39(1):199-205. (GAO L F, WANG F. Application of artificial bee colony based on chaos update strategy in support vector machine parameter optimization[J]. Computer Engineering & Science, 2017, 39(1): 199-205.)

[6]MOKHTARI A, RIBEIRO A. A Quasi-Newton method for large scale support vector machines [C]// ICASSP 2014: Proceedings of the 2014 IEEE International Conference on Acoustics, Speech and Signal Processing. Piscataway, NJ: IEEE, 2014: 8302-8306.

[7]CHANG C-C, LIN C-J. LIBSVM — a library for support vector machines [J]. ACM Transactions on Intelligent Systems and Technology, 2011, 2(3): Article No. 27.

[8]何東健.SVM支持向量機算法的詳細推導 [EB/OL]. [2016- 05- 10]. http://www.doc88.com/p- 1905946677891.html. (HE D J. Detailed derivation of Support Vector Machine (SVM) algorithm [EB/OL]. [2016- 05- 10]. http://www.doc88.com/p- 1905946677891.html.)

[9]熊浩勇.基于SVM的中文文本分類算法研究與實現[D].武漢:武漢理工大學,2008. (XIONG H Y. Research and implement of Chinese text categorization algorithm based on SVM [D]. Wuhan: Wuhan University of Technology, 2008.)

[10]BURGES C J C. A tutorial on support vector machines for pattern recognition [J]. Data Mining and Knowledge Discovery, 1998, 2(2): 121-167.

[11]XIE L, LI G, XIAO M, et al. Hyperspectral image classification using discrete space model and support vector machines [J]. IEEE Geoscience and Remote Sensing Letters, 2017, 14(3): 374-378.

[12]VOISAN E I, PRECUP R E, DRAGAN F. Facial expression recognition system based on a face statistical model and Support Vector Machines [C]// SACI 2016: Proceedings of the 2016 IEEE 11th International Symposium on Applied Computational Intelligence and Informatics. Piscataway, NJ: IEEE, 2016: 63-68.

[13]LI J, CAO Y, WANG Y, et al. Online learning algorithms for double-weighted least squares twin bounded support vector machines [J]. Neural Processing Letters, 2017, 45(1): 319-339.

[14]王雅玡.基于樸素貝葉斯和BP神經網絡的中文文本分類問題研究[D].昆明:云南師范大學,2008. (WANG Y Y. Researching on Chinese text classification based on naive bayes and BP neural network [D]. Kunming: Yunnan Normal University, 2008.)

[15]AAZI F Z, ABDESSELAM R, ACHCHAB B, et al. Feature selection selection for multiclass support vector machines [J]. AI Communications, 2016, 29(5): 583-593.