基于社交平臺的眾包質量控制算法研究

丁岳偉+王飄

摘要：

眾包產生于比較復雜的互聯網平臺上，必須對互聯網平臺上的眾包質量進行控制，研究基于社交平臺的眾包質量控制算法尤為必要。根據眾包問題涉及領域，將用戶在社交平臺領域的直接信譽度算法與用戶對歷史任務完成情況的質量評估算法相結合完成用戶篩選，并根據篩選用戶給出的方案集，利用最大期望算法（E-M算法）獲取正確率相對較高的方案。實驗結果表明，即使在加入了一些惡意工作者的情況下，利用直接信譽度算法與用戶質量評估算法篩選用戶，并使用E-M算法處理方案集能夠使社交平臺上的眾包質量得到較好控制。

關鍵詞：

眾包；社交平臺；質量檢測；領域信譽度；最大期望算法

DOIDOI：10.11907/rjdk.171970

中圖分類號：TP312

文獻標識碼：A 文章編號：1672-7800（2017）012-0090-04

Abstract：As crowd-sourcing is generated on the Internet platform complex relatively， it is necessary to control the quality of crowd-sourcing on the Internet platform. So far， however， there has been little research into crowd-sourcing quality control on social platforms. Mainly studies the quality control algorithm of crowd-sourcing based on social platform. Firstly， this paper adopts the user's direct reputation algorithm based on the social platform and the user's quality evaluation algorithm for the completion of the historical task to filter users， according to the domain covered of crowd-sourcing problem. Finally， according to the scheme set of the filtered users， the maximum expectation algorithm （EM algorithm） is adopted to obtain the scheme with correct rate relatively high. The experimental results show that， even in the case of some malicious workers joining in， using the direct algorithm of the reputation and the quality of the user evaluation algorithm to filter users， and using EM algorithm to process scheme set can make the quality of crowd-sourcing on social platform get control better.

Key Words：crowdsourcing； social networking platform； quality inspection； field of credibility； maximumexpected algorithm

0 引言

作為一種新興的分布式計算模型，眾包已成為一大研究熱點。在這種分布式計算模型中[1-2]，企業通過互聯網平臺分配任務招募優秀工作者，讓他們為任務提供更合理的解決方案。目前，越來越多的企業開始使用眾包模式[3]。對于企業而言，眾包可以為他們降低成本并提高他們的技術水平和創造力。目前數據顯示，使用亞馬遜（AMT）眾包的應用最為廣泛，社交平臺對眾包的應用最少。隨著Facebook等社交平臺對眾包的應用，以及社交平臺的不斷發展壯大，眾包在社交平臺的應用會越來越廣泛。但是眾包是一種面向互聯網大眾的分布式問題解決機制，它通過整合計算機和互聯網未知大眾完成計算機單獨難以完成的任務。當面臨諸多解決方案時，發包者很難作出選擇。但并不是每個工作者都是合格的工作者，由于不同背景的工作者信譽和能力不同，甚至可能在眾包平臺上存在惡意工作者，因此，從大量的眾包工作者中挖掘出工作者的信譽并判斷工作者的意圖十分重要。為了使眾包在社交平臺能夠得到更加準確的應用，本文著重對社交平臺上的眾包質量控制算法進行研究。

1 相關工作

近年來，眾包作為一種新型的分布式技術，已經得到了廣泛應用，并且在很多領域已經運用于眾包平臺。目前數據顯示，使用亞馬遜（AMT）眾包平臺的應用最為廣泛，社交平臺上眾包的應用最少。但隨著Facebook等社交平臺對眾包的應用，以及社交平臺的不斷發展壯大，眾包在社交平臺上的應用也會越來越廣泛。大多數眾包都是依賴線下或人工方式對質量進行控制和評估[4]，忽略了互聯網平臺上的質量控制問題，鑒于此，很多研究者[5-7]開始關注互聯網平臺上眾包的質量控制。其中，Kamar等[8]提出了一個模型使得系統能夠平衡預期收益和雇傭工作者的成本。Vakharia andLease[9]在其調查中將質量精確度控制作為調查的重要部分，在很多眾包平臺上使用不同方法和不同控制工具以控制工作者的質量。這些方法或多或少都需要人工干預，對工作者質量的人工控制嚴重影響了眾包發展，對在線工作者的質量評估[10]已經吸引了越來越多人的注意力。

Joglekar[13]基于對方案集的分歧評估工作者質量，同時為了提高評估精確度，使用置信區間評估工人。Rzeszotarski和Kittur[11-12]通過討論工作者的行為評判不同的工作者，這需要眾包系統提供不同工作者的行為。這些方法大多是對商業平臺的眾包質量控制，沒有考慮基于專門平臺對眾包質量的控制，同時也沒有考慮到一些隱含因素。當前其研究方法雖有一定進展，但仍然受幾大因素的限制：任務發布平臺、時間、經濟、參與者。

針對上述不足，本文基于社交平臺，利用參與者的相關背景知識或者其在該領域的活躍程度，判斷用戶在該領域的信譽度，并結合參與者歷史任務完成情況對參與者進行綜合評價，選出優質參與者作為工作者，同時采用最大期望算法驗證方案集的合理性。本文結合這兩種評判指標對社交平臺上的眾包進行質量檢測與控制。

2 社交平臺上的眾包質量檢測

社交平臺上的質量檢測包含若干環節，本文主要討論其中的兩個環節：一是檢查參與者是否為誠實的工作者；二是檢測所得方案集的合理性。通過控制這兩個環節提高社交平臺上的眾包質量。

2.1 用戶直接信任度

本環節檢測參與者是否為誠實的工作者，實質上是在所有參與者中過濾掉那些惡意的工作者。本文根據社交平臺上發布的問題所涉及領域，計算工作者在該領域的直接信任度，再根據其值篩選工作者。

2.1.1 參與者領域衰減因子

現實生活中，每個人對不同領域的興趣度持續時間不同，惡意工作者所持續時間比信譽度較高的工作者持續時間要短很多。因此，參與者衰減因子越小，代表用戶越可靠，反之亦然。

可以選取社交平臺的一段相對比較長的時間，然后將時間離散化，分成若干個時間段，給每一個時間段進行標號，序號按照時間依次變大。其中，時間間隔表示用戶在該領域進行交互的時間段序號與現在時間段序號的差值。若用戶對于某個領域的評分行為保持連續性，則認為該參與者對該領域有一定了解。因此，用戶在該領域的持續性可用參與者從第一次在該領域互動的時間段序號與當前時間段序號之間，用戶在該領域進行交互所占比例表示，比例越高，持續性越好，衰減速度越慢。

2.4 眾包結果篩選

眾包質量檢測在收到所篩選的參與者給出方案集時，并不能保證所接受的方案是正確的，需要將正確率低的結果過濾掉。本文采用較為通用的最大期望值算法。

最大似然估計算法利用迭代過程，主要應用于存在缺失或者隱含數據情況下的最大似然估計。算法主要分為兩步：①E步中對隱含數據的估計，需要根據已經觀測到的數據和當前估計的概率模型參數確定；②M步根據E步中得到的隱含數據，通過最大似然函數估計新的概率模型參數。

4 實驗結果與分析

由實驗1可知，當取0.6時， Pselected得到的正確性最高；由實驗2可知，在不斷添加作弊者數目時，Pselected相對于TU，V、ScorceW影響更小；由實驗3可知，E-M算法比M-V算法選擇效果更好。由此可以得出，應利用參與者在社交平臺上的直接信譽度與工作者質量評估函數相結合判斷選擇合適的工作者。同時，在所得到的結果中用E-M算法比其它算法得到的正確率更高。

5 結語

通過上述實驗結果可知，通過計算參與者的直接信任度方法與E-M算法結合對社交平臺上眾包質量的控制與檢測，增加惡意工作者數量顯然使得最后方案集的準確率更高，影響也更少，這使得眾包的優勢得到很好體現。

本文重點探討了眾包在社交平臺上的質量檢測，而對于眾包在其它平臺上的質量控制方法尚有待進一步研究。同時，本文對于眾包的質量控制并沒有考慮一些隱含因素，比如：根據工作者每次提交任務的時間等進行工作者篩選，這在后續工作中需加以考慮。

參考文獻：

[1] BRABHAM D C.Crowdsourcing as a model for problem solving： an introduction and cases[J].the International Journal of Research Into New Media Technologies，2008， 14（1）：75-90.

[2] ALLAHBAKHSH M， BENATALLAH B， IGNJATOVIC A，et al.Quality control in crowdsourcing systems：issues and directions[C].IEEEInternet Computing IEEE Internet Computing，2013，17（2）： 76-81.

[3] CLOUGH P，SANDERSON M， TANG J， et al.Examining the limits of crowdsourcing for relevance assessment[J].IEEE Internet Computing，2013，17（4）：32-38.

[4] HOWE J.Therise of crowdsourcing [J].Wired Agazine，2006，14（4）：1-5.

[5] WANG J， KRASKA T， FRANKLINM J， et al. CrowdER：crowdsourcing entity resolution，[J].Proceedings of the VLDB Endowment， 2012，11（5）：1483-1494.

[6] MANISONNEUVEN，CHOPARD B.Crowdsourcing satellite imagery analysis： study ofparallel and iterative models[J].Crowdsourcing satellite imagery analysis： Study of parallel and iterative models，2012，7478（1）：116-131.

[7] WU S， WANG X， WANGS， ZHANG Z， et al. K-anonymity for crowd sourcing database[J].IEE Transactions on Knowledge and Data Engineering， 2014，26（9）：2207-2221.

[8] KAMAR E， HACKERS HORVITZ E. Combining human and machine intelligence in large-scale crowdsourcing[J].Proceedings of the 11th International Conference on Autonomous Agents and Multiagent Systems，2014，27（1）： 129-164.

[9] VAKHARIA D，LEASEM.Beyond AMT：an analysis of crowdwork platforms[Z].Research Gate，2013.

[10] LIU Q，PENGJ，IHLER A.Variational inference for crowdsourcing[Z].2012.

[11] KARGERD R， OH S，SHAH D. Iterative learning for reliable crowdsourcing systems[J].25th Annual Conference on Neural Information Processing Systems （NIPS），2011：1-8.

[12] RZESZOTARSKI J M，KITTUR A. Instrumenting the crowd：using implicit behavioral measures to predict task performance[C].In Proceedings of the 24th Annual ACM Symposium on User Interface Software and Technology，UIST11， ACM，2011： 13-22.

[13] JOGLEKAR M， GARACIA-MOLINA H， PARAMESWARAMA.Evaluating the crowd with confidence[Z].2014.

（責任編輯：孫 娟）