張雪峰,操雅琴,丁 一
安徽工程大學 管理工程學院,安徽 蕪湖 241000
眾包作為“互聯網+大眾智慧和創造力”的協同創新工作模式[1],借助網絡平臺,利用和融合大眾群體的知識、能力和創造力完成不同類型的任務,從簡單的信息收集到復雜的產品設計等[2]。當前,眾包模式已得到廣泛地研究和應用,并有多種類型的網絡眾包平臺,如Amazon Mechanical Turk[3]、一品威客網和任務中國等[4]。
在眾包平臺上,大都采用自選擇方式執行任務,即參與者根據自身特點和偏好,自主選擇并參與任務[5]。然而,自選擇方式給參與者和發包方帶來一些不利影響。參與者從規模較大和類型多樣的任務列表中搜索和選擇合適的任務,不僅要付出較大的努力和成本,而且可能選擇到匹配度較低的任務,無法充分發揮其特長和興趣,降低其積極性;發包方可能錯過較多的優秀參與者,而不得不選擇一些次優的參與者和方案,造成任務完成質量的降低。
針對自選擇方式的不足,任務推送是一種有效的補充解決方式[6],即根據任務要求和參與者特點等,將任務推送給多個合適的參與者。然而,對于一項尚無參與者參與且無任何評價信息的新任務,如何確定合適的參與者;如何測量參與者的勝任度,從而將任務推送給勝任度高的參與者,保證任務完成質量;如何測量參與者接受推送任務的可能性,從而將任務推送給可能愿意接受該任務的參與者,減少反復推送的次數以及產生的成本等。以上所述是保證任務推送效果的關鍵問題,也是本研究擬解決的問題。
眾包模式下的任務推送方式比自選擇方式具有多種優勢,使其成為眾包領域中的研究熱點之一,同時一些平臺已開始應用,如一品威客眾包平臺針對高級威客的任務推送。目前,關于眾包模式下的任務推送且與本研究直接相關的研究主要分為兩個方面,分別是任務推送中參與者特性分析和任務指派模型與方法研究。
(1)任務推送中參與者特性分析
參與者的特性,如知識、能力和經驗等,對這些特性的收集和分析是任務推送的重要內容[7-8]。任務推送中考慮的參與者特性主要包括專業知識、信譽和偏好3類[9]。專業知識反映的是參與者完成任務的能力,可通過專業認證和經驗兩個方面體現[10]。其中,專業認證是發包方或眾包平臺根據參與者注冊填寫的信息和參與任務的表現等對其知識、能力等方面的評價;經驗是參與者通過參與任務以及平臺對其進行訓練和支持所積累的技巧和方法等。參與者信譽在一定程度上反映了參與者提供高質量結果的可能性和發包方對參與者的信任程度,是任務推送的關鍵影響因素[11]。參與者偏好是參與者選擇任務重點關注的方面,ZHENG et al.[12]認為經濟報酬、能夠獲得的成就感和認同感等是影響參與者選擇任務的重要方面。
為收集和分析上述參與者的特性信息,學者們提出了多種方法,最主要的方法是通過分析參與者在眾包平臺上的行為而得到,包括:①分析參與者在所參加任務中的表現以及與其他參與者交互等方面[13];②分析參與者在注冊平臺時對相關問題的回答或將已知結果的任務進行隨機分配,考察和評估參與者的特點和能力等級[14];③分析參與者的觀點,如通過文本挖掘的方法分析參與者的能力和知識構成[15]。另一種方法則是通過融入參與者在其他領域中的行為綜合分析,以更全面和準確地反映參與者的特性,保證任務推送的準確性,但該方法的應用難度較大[16],已有研究和應用還相對較少。
分析參與者的特性與任務要求之間的匹配度并進行推送或匹配是任務推送的一種方式,然而,由于參與者特性的多樣性、不完全性和隱蔽性等特點,導致直接、全面和準確地收集、綜合和測量的難度較大,也難以保證推送或匹配的效果。
(2)任務指派模型與方法研究
在參與者特性分析的基礎上,為將任務指派給合適的參與者,學者們重點研究基于參與者與任務匹配的任務指派和面向不同約束的任務指派兩類問題。
基于參與者與任務匹配的任務指派研究中,GONG[9]針對知識密集型眾包任務,通過文獻總結和調研訪談的方式,提出包括能力匹配度、技能水平、完成的任務數、獲得獎金數和發包方滿意度等7個一級指標,然后采用AHP和灰色TOPSIS方法從多個眾包平臺中選擇合適參與者;沈洪洲{17]針對應急信息收集類眾包任務,通過問卷分析和處理技術,提出反映參與者勝任力的個人特征,主要包括道德品質、知識技能、動機與定位、個人素質等4個方面共20種,并期望根據這20種選擇合適參與者。但該研究對具體的選擇過程和方法未深入探討。呂英杰等[18]針對創新型眾包任務,分析該類任務對參與者的要求,提出選擇參與者的評價指標體系,然后采用TOPSIS多指標決策算法評價和選擇參與者。該方法更多的是線下操作,確定任務可能的參與者以及在線上獲取和評價參與者這些指標信息難度較大。YUEN et al.[13]針對任務推送中的冷啟動問題,根據參與者與任務、任務與任務組以及參與者與任務組3個方面的關系,采用概率矩陣分解方法計算參與者對新任務的評價值,然后據此給任務指派合適的參與者。該方法采用二元數值表示三者之間的關系,難以反映出參與者對任務的偏好以及任務之間的相似度的大小。朱小寧[19]開發了一個支持任務推送的系統,該系統雖然給出了考慮用戶活躍度的任務推送算法,但該項研究重點在于系統開發技術和開發過程,對如何將其推送給勝任且愿意接受推送的參與者尚未深入涉及。黃麗媚[20]提出基于眾包平臺的用戶信用度的消息推送算法,但應用于推送眾包平臺上較為復雜的任務還有一定的改善空間。
除了考慮任務與參與者的匹配度,任務的成本和時間約束也對任務指派產生影響。當前,對眾包模式下面向不同約束的任務指派的研究中,KARGER et al.[21]針對簡單任務集合,根據每個參與者完成任務的可能性,以最小化任務指派次數為目標,建立任務指派模型,并提出基于置信傳播算法和低階相似矩陣算法進行求解;ROY et al.[10]以知識密集型眾包任務為對象,考慮參與者知識和能力、報酬要求和空閑程度等,以最大化任務要求滿足度建立任務指派模型,并提出多種算法進行求解;BABA et al.[22]以競賽型眾包模式為研究對象,基于參與者特征及其參與競賽的歷史信息和獲勝信息,建立參與者參與矩陣和獲勝矩陣,利用基于特征的矩陣分解和學習遷移方法確定參與者在一項競賽中相對其他參與者的獲勝概率,然后將任務推送給獲勝概率大的參與者。還有研究則是基于拍賣模式,根據不同潛在參與者提供的報價及其與任務預算之間的對比選擇合適的參與者[23-24]。上述研究通過拍賣模型、概念矩陣分解等方法給出任務指派模型,側重于多目標規劃模型的構建以及算法的提出和改進,對于如何將任務推送給愿意接受且能夠完成任務的參與者的研究相對較少。
上述研究成果為解決任務推送問題提供了理論、技術和方法支持,但仍有需進一步補充和完善之處,主要表現在:①眾包平臺上,對于一項尚無參與者參與的新任務,如何確定潛在的參與者,這是進行任務推送的前提,而當前研究都假設已提前給出潛在參與者;②任務推送不僅要考慮參與者完成任務的可能性,還要考慮參與者接受推送的可能性,否則可能導致反復推送及其帶來的成本和時間的增加,而當前研究主要關注前者,對綜合考慮兩者的任務推送研究還相對較少;③直接量化計算參與者與任務的匹配度需要大量的準確數據,且計算難度和工作量較大,如何有效量化參與者完成和接受任務可能性是任務推送中需進一步研究的問題。
在上述分析基礎上,本研究建立基于參與者勝任度和接受度的任務推送模型,見圖1。
該模型的基本思想和主要構成為:眾包平臺上的任務按照不同的維度可以劃分為不同層次和類別,同一類別中的任務具有一定的相似性,如圖1中的任務1及其相似任務2、任務3和任務4;參與與新任務相似任務的參與者也可能符合新任務的要求和能夠完成新任務[25],本研究將參與者符合任務要求的程度稱為參與者勝任度。參與與新任務相似度越高的任務且表現越好的參與者符合新任務要求的程度越高,勝任度越大,提交高質量成果的可能性越大[26]。通過分析參與者以往參與的任務,可以得到參與者對任務各方面的基本要求,如賞金、難度、時間等。當新任務的要求與參與者的要求越接近,參與者接受新任務推送的可能性越高,本研究稱之為參與者接受度。綜合參與者的勝任度和接受度可以確定參與者的優先序,作為任務推送的依據。
由于直接收集和分析參與者特性難度很大,尤其是參與者的知識和能力[27-28],在此基礎上計算參與者與任務的匹配度的工作量較大且結果的準確性難以保證,而該模型通過計算任務間的相似度和參與者在任務中表現量化值確定參與者的勝任度,操作相對簡單和計算工作量較小。此外,該模型將參與者接受度融入到參與者篩選過程中,有助于保證任務推送成功的可能性,提高推送的效率。
眾包平臺上的任務數量較多,將這些任務分為不同的類別,有助于有效管理任務和參與者篩選任務。一般地,眾包平臺大多按照賞金、時間和任務類型等維度分類任務。然而,通過這些維度劃分得到的任務類別較少,同一類中的任務數量較多,且有些任務之間的差異較大,不利于參與者對比和選擇,同時增加了參與者搜索合適任務的時間和成本。本研究參考JIANG et al.[29]提出的樹形分解結構,提出眾包模式下的任務劃分思路,將數量較多的任務按照多個維度劃分為具有多層次的任務樹,見圖2。

圖1基于參與者勝任度和接受度的任務推送模型Figure 1Task Recommendation Model Based on Participants′ Competency and Acceptance Degree

圖2任務劃分Figure 2Task Partition
令{p1,…,pq,…,pQ}為劃分任務的維度集合,pq為第q個維度。任務劃分維度不僅包括常用的任務賞金、類型和時間等,還包括任務難易程度和任務能力要求等[30]。L為劃分得到的任務層次,令L={l1,l2,…,lm},lm為最低的第m層。具體劃分過程為:按照維度p1將所有任務分成多個任務類,記為{(1),(2),…,(i1),…,(D0)},(i1)為第l1層的第i個任務類,D0為第l1層的任務類數量;同理,按照維度p2可將第l1層中的任務類進一步劃分,得到第l2層的任務類,任務類(i1)劃分的結果可表示為{(i1,1),(i1,2),…,(i1,i2),…,(i1,Di1)},(i1,i2)為任務類(i1)劃分后得到的第i2個任務類;Di1為(i1)包含的任務類數量;以此類推,當劃分到最低的lm層時,任務劃分完成,且最低一層的節點表示各項任務,如{(i1,i2,…,im-1,1),(i1,i2,…,im-1,2),…,(i1,i2,…,im-1,im),…,(i1,i2,…,im-1,Dim-1)}即為任務類(i1,i2,…,im-1)劃分后得到的任務,(i1,i2,…,im-1,im)為第im項任務,Dim-1為任務類(i1,i2,…,im-1)包含的任務數量。
上述任務劃分過程將所有任務分為不同的類,對于屬于同一任務類中的任務,當所處的層次越低,任務之間的相似度越高。為便于后續分析和表達的簡便性,令T為任務類(i1,i2,…,im-1)劃分后得到的任務集合,T={t1,t2,…,ti,…,ts},ti=(i1,i2,…,im-1,im),s=Dim-1。該集合中的任務在維度{p1,p2,…,pQ}上具有較高的相似性,可以認為參與該任務集合中某項任務的參與者也具有參與其他任務的能力和意愿程度[25]。由于劃分維度{p1,p2,…,pQ}的具體內容和任務劃分方法非本研究的重點,在此不展開深入研究,相關內容可參考ZHENG et al.[12]、JIANG[31]、XU et al.[32]和王文憲等[33]的研究成果。
為確定任務集合中各任務之間的相似度,本研究利用啟發式相似度算法進行測量,與常用的皮爾遜相關系數法、夾角余弦相似度算法和均方差方法等相比,該方法能夠處理數據較少的情況且更為合理和準確地反映對象之間的相似度[34]。該方法從接近度、影響度和顯著度3個方面綜合測量兩個對象的相似度大小,計算公式為


(1)
其中,zu和zv分別為評估對象,Sim(zu,zv)為zu與zv之間的相似度;ru,k為評估對象zu在第k個維度上的評價值,rv,k為評估對象zv在第k個維度上的評價值;Cu,v為用于比較zu與zv相似度的維度集合;Pro(ru,k,rv,k)為ru,k與rv,k之間的接近度,不僅能反映兩個評價值的不同,更能體現它們之間的一致性;Imp(ru,k,rv,k)為ru,k和rv,k的影響度,體現了不同評價值反映的決策者偏好;Pop(ru,k,rv,k)為ru,k和rv,k的顯著度,反映不同評價值對相似度測量的影響程度。
令T為可根據圖2劃分得到的一個任務集合,根據前文分析可知集合中的各項任務在維度P具有一定的相似性,P={p1,…,pq,…,pQ}。在測量任務間相似度的過程中,考慮到各項任務在各維度上的情況大都采用自然語言進行描述且具有一定的差異性,很難直接采用量化的數值表示,而通過本體相似度[35]或文本語義相似度[36]算法進行求解,不僅可行性較小,而且難度較大。為此,本研究擬采用模糊語言變量和模糊數量化各項任務在各維度上的表現情況,然后根據量化值計算各任務之間的相似度。
利用上述評估等級及其相應的量化值,可以評價得到各個任務在各維度上的評價值,并據此計算任務之間的相似度為[34]


(2)



(3)
令A(ri,q,rj,q)表示兩個評價值ri,q與rj,q的一致性,可表示為

(4)
其中,A(ri,q,rj,q)=1表示ri,q與rj,q具有一致性,A(ri,q,rj,q)=0表示ri,q與rj,q不具有一致性。
由此給出任務ti和tj在維度pq上評價值的距離D(ri,q,rj,q)為[34]

(5)
(5)式表示兩個評價值具有一致性時,距離越近則兩項任務在該維度上的評價值越接近。反之,則接近度越低,并通過增加懲罰系數(如式中的2)的形式來反映兩個評價值的不一致性。
根據D(ri,q,rj,q),可以計算得到任務ti和tj在維度pq上評價值的接近度PR(ri,q,rj,q)為[34]

(6)
IM(ri,q,rj,q)表示任務ti和tj在維度pq上的評價值ri,q和rj,q對任務間相似度的影響程度,與ri,q和rj,q均取較小值相比,二者均取較大值時,ti和tj在維度pq上具有更高的相似性。計算公式為[34]

(7)
PO(ri,q,rj,q)表示任務ti和tj在維度pq上的評價值ri,q和rj,q與其他任務在該維度上的評價值的差異性,差異性越大,則任務ti和tj在維度pq上的評價越顯著。計算公式為[34]

(8)
其中,μq為所有任務在維度pq上的評價值的平均值。
在此基礎上,計算任務ti和tj在其他維度上的評價值的接近度、影響度和顯著度,并根據(2)式綜合得到兩項任務之間的相似度Sim(ti,tj)。當Sim(ti,tj)越大,說明兩項任務相似度越高;反之,說明任務之間的相似度越低。
假設任務tj為一項新任務,根據其在各個維度上的情況,將其劃分到任務集合T中,即有tj∈T={t1,t2,…,ti,…,ts}。根據前文的分析,參與任務{t1,t2,…,ti,…,ts}的參與者也有可能滿足任務tj的要求并完成該任務,在本研究中視為任務tj的潛在參與者,記為Wtj,Wtj={w1,w2,…,wo,…,wO},Wtj為任務tj的潛在參與者集合,O為潛在參與者數量,wo為第o個潛在參與者。
參與者勝任度反映了參與者滿足任務要求的程度,影響參與者完成任務的可能性。然而,按照一般的計算參與者的特性(如知識、能力和經驗等)與任務要求的匹配度確定參與者勝任度,不僅計算工作量大,而且充分收集、合理量化和準確計算參與者與任務相關信息的難度很大且可行性較低。由于不同的參與者在參與的任務中具有不同的表現,如僅瀏覽了任務或提交了方案等,這些行為在一定程度上反映了參與者對任務的偏好程度以及知識和能力等滿足任務要求的程度[13]。因此,可通過分析參與者在參與的任務中的表現來反映參與者對任務要求的滿足程度[38]。在此基礎上,結合參與者參與的任務與新任務之間的相似度,可測量出參與者對新任務的勝任度。如果參與者參與的任務與新任務相似度越高,且表現越好,參與者對新任務的勝任度越高。為了量化參與者在任務中的表現,賦予參與者不同表現相應的量化值,具體見表1。實際中,參與者表現描述的語言和劃分及其相應的量化值可根據不同的情況進行調整。

表1參與者表現及其量化值Table 1Participant′s Performance and Its Values
對于新任務tj的潛在參與者{w1,w2,…,wo,…,wO},根據表1可以確定每個參與者表現的量化值,記為{Vw1,Vw2,…,Vwo},且有Vw1,Vw2,…,Vwo∈{1,2,3,4,5}。對于新任務tj∈{t1,t2,…,ti,…,ts},利用(2)式可以計算得到任務tj與每項任務之間的相似度,結合參與者在參與任務中表現的量化值,可以得到每個參與者對任務tj的勝任度,即

(9)

眾包模式下,參與者選擇任務時會對任務的各方面要求與自身期望要求之間進行對比,兩者越符合,參與者選擇該任務的可能性越高[39]。因此,本研究期望通過分析參與者參與的所有任務的各方面要求,綜合得到參與者對任務各方面要求的接受范圍。當一項新任務各方面要求與參與者可接受的范圍越接近,參與者接受該新任務的可能性越大,則認為參與者對新任務的接受度越高。



表2任務-維度決策表Table 2Decision Table for Task-dimension

(10)
其中,U為論域,TH為U中的對象,ri,q的上、下近似限分別表示在某個維度上的評價值高于和低于ri,q的任務集合。
根據ri,q的上、下近似限,給出該類的邊界區間Bnd(ri,q)為

(11)


(12)
其中,FU為ri,q上近似限包含的類的數量,FL為ri,q下近似限包含的類的數量,即某個維度上的評價值大于和小于ri,q的任務數量。
由此得到ri,q的粗數RN(ri,q)和粗邊界RBnd(ri,q)為

(13)
(14)
通過上述方法將各任務在維度pq上的評價值轉化為模糊區間值,粗數和粗邊界表示各任務在該維度上評價值的一致性情況,如果RBnd(ri,q)=0,說明各任務在某維度上的評價是一致的。相對于給出各任務在某維度上的直接評價值,該方法更為合理,不僅能夠直接反映單個任務在某維度上的表現,而且能綜合體現所有任務在該維度上的表現。
同理,對于不同任務在維度pq上的其他評價值,即其他的類,根據(13)式和(14)式也可以得到這些類的粗數和粗邊界。然后將這些類的粗數和粗邊界進行綜合,得到所有任務在維度pq上評價值的粗數和粗邊界。


(15)
由此得到所有任務在維度pq上評價值的粗數RN(pq)和粗邊界RBnd(pq)為

(16)
(17)

為進一步測量參與者對新任務的接受程度,本研究通過rj,q與M(pq)之間的距離D[rj,q,M(pq)]表示,M(pq)為所有任務在維度pq上評價值的平均粗數,且有

(18)
根據AHN[34]提出的相似度算法,有

(19)



(20)

(21)


(22)
其中,ωQD為勝任度對參與者綜合評價值的影響程度,ωAD為接受度對參與者綜合評價值的影響程度,且0≤ωQD≤1,0≤ωAD≤1,ωQD+ωAD=1。當ωQD=1,ωAD=0,說明在確定參與者在任務推送中的優先序的過程中只考慮參與者對任務的勝任度的影響,這也是大部分研究重點考慮的方面;當ωQD=0,ωAD=1,說明將參與者對任務的接受度作為確定參與者優先序的唯一因素;當0<ωQD<1,0<ωAD<1,且ωQD+ωAD=1,表示在任務推送中綜合考慮參與者勝任度和接受度。
以中國應用廣泛的網絡眾包平臺一品威客網(www.epwk.com)上的任務為例,說明本研究提出的任務推送模型的應用過程及其有效性。在眾包平臺已有的任務劃分維度任務大類、任務小類和任務賞金的基礎上,針對劃分得到的任務類包含的任務數量仍然較大、不便于參與者篩選的情況,本研究再按照緊急程度、工作量和難易程度3個維度進一步劃分任務,得到7個層次的任務樹,最低一層為任務層,見圖3。需要說明的是,本部分增加的3個任務劃分維度是作者根據平臺上的任務特點給出的,實踐中需要進一步調研影響參與者選擇任務的因素以及這些因素的影響程度,然后再深入細分。
(1)任務相似度計算
令t1表示任務“有機蔬菜產品VI全套設計”,t2表示任務“農村電子商務VI設計”,t3表示任務“海參禮箱包裝及VI設計”。同時,令“食品企業宣傳畫冊和VI設計”為平臺上發布的與上述3項任務屬于同一類別的新任務,記為t4。為測量任務之間的相似度,首先測量各任務在各劃分維度上的評價值。由圖3可知,各任務在前兩個維度上差異性很小,暫不考慮,只考慮賞金、緊急程度、工作量和難易程度4個維度,記為p1、p2、p3和p4。為簡化分析,統一采用5點評分法表示各個劃分維度上的評價等級及其量化值,具體見表3。
根據各個任務在劃分維度上的實際情況,得到任務在各維度上的評價值,見表4。
根據表4的數據,利用(3)式~(8)式計算得到任務t4與t1、t2、t3在各維度上評價值的接近度、影響度和顯著度,然后由(2)式計算得到任務間的相似度,見表5。

圖3一品威客網上的任務劃分示例Figure 3Example of Task Partition on epwk.com

評價維度評價等級及其量化值54321賞金/元2 600~3 0002 200~2 6001 800~2 2001 400~1 8001 000~1 400緊急程度非常緊急緊急一般不緊急非常不緊急工作量很大大一般小很小難易程度很大大一般容易很容易
表4各個任務在各維度上的評價值Table 4Evaluation Value of Each Task on Each Dimension
(2)參與者勝任度計算
從任務t1、t2和t3的參與者中選取15名作為任務t4的潛在參與者,記為Wt4={w1,w2,…,w15}。對于每位潛在參與者,收集和分析他們在各項任務中的表現。按照一品威客眾包平臺上描述參與者在任務中表現的語言,如中標、入圍和備選等,結合表1給出的參與者在任務中表現的量化值對每個潛在參與者的表現進行評分。由于實際中部分參與者僅參與了一項任務,如參與者w3僅參與了任務t2。為更好地說明任務推送模型和方法的應用過程,本研究根據該類參與者參與的任務與其他任務之間的相似度及其表現,預估給出參與者在其他任務中表現的量化值。某項任務與參與者參與的任務相似度越高,則參與者在該項任務中的表現量化值可能越高。如根據參與者w3參與的任務t2與任務t1和t3之間的相似度及其在任務t2中的表現(表現量化值為5,即提交的方案中標),確定w3在任務t1和t3中表現的量化值分別是4和3。根據上述分析,得到參與者在各任務中表現的量化值,見表6。

表5任務間的相似度Table 5Similarities among Tasks

表6參與者在任務中表現的量化值Table 6Scores of Participants′ Performance on Tasks
根據表6,采用(9)式計算得到每個參與者對任務的勝任度,然后進行歸一化處理以便于比較。各參與者對任務t4歸一化后的勝任度分別為0.051、0.030、0.112、 0.051、 0.045、 0.030、 0.060、 0.127、 0.058、 0.060、 0.051、 0.089、 0.103、 0.082、 0.052。
(3)參與者接受度計算
以參與者w3為例,其參與的任務在維度p1、p2、p3和p4的評價值見表4。對于維度p1,由(10)式~(12)式計算得到類3的粗數上、下近似限為

在此基礎上,利用(13)式和(14)式計算得到類3的粗數和粗邊界,分別為


同理,可以得到類1的粗數上、下近似限以及粗數和粗邊界,分別為



由(15)式~(18)式計算得到所有任務在維度p1上的上、下近似限以及粗數、粗邊界、平均粗數,分別為

RN(p1)=?1.667,2.833?,RBnd(p1)=1.166
M(p1)=2.250
同理,可以得到所有任務在維度p2、p3和p4上的上、下近似限以及粗數、粗邊界、平均粗數,分別為

RN(p2)=?2.445,2.889?,RBnd(p2)=0.444
M(p2)=2.667;
RN(p3)=?3.500,4.500?,RBnd(p3)=1,M(p3)=4;
RN(p4)=?3.445,3.889?,RBnd(p4)=0.444
M(p4)=3.667
根據(19)式和(20)式計算得到參與者w3在維度p1、p2、p3和p4對任務t4的接受度分別為4.335、0.308、9.000、 2.418。假設4個維度的重要度一致,都為0.250,根據(21)式計算得到w3對任務t4的接受度為4.015。考慮到部分參與者在某些任務中表現很差,如表現量化值為1和2的任務,這些任務對參與者接受推送新任務的影響較小,本例中不予考慮,其對新任務的接受忽略不計。
(4)任務推送排序
根據上述分析,可以得到各個參與者對任務t4的勝任度和接受度,并利用(22)式計算得到每個潛在參與者對任務t4的綜合評價值。在任務推送中,對參與者勝任度和接受度側重不同時,即ωQD和ωAD取不同值時,將得到對參與者不同的推送優先序。在本例中,令ωQD=1,ωAD=0;ωQD=0,ωAD=1;ωQD=0.5。分析這3種情況對任務推送的影響,即僅考慮參與者勝任度對任務推送的影響、僅考慮參與者接受度對任務推送的影響,以及同時考慮參與者勝任度和接受度對任務推送的影響且二者影響程度相同3種情況。

表7參與者的綜合評價值及其排序Table 7Comprehensive Evaluation Scores in Respect to Participants and Their Orders
由此得到參與者在3種情況下的綜合評價值及相應的排序,見表7。
根據表7中各參與者在不同情況下的綜合評價值及相應排序,在一定程度上可以認為,①在任務推送中,僅考慮參與者勝任度或接受度,或同時考慮二者,將會影響參與者在任務推送中的優先序,如參與者w1、w4和w7等。②參與者參與的任務越多,且在這些任務中表現越好,其對一項相似新任務的勝任度越高,如參與者w8、w3和w13等。這也符合本研究假設及協同過濾的基本思想[36],而且這一情況對于知識密集型或創新型眾包任務更加適用[42]。因為這類任務對參與者知識和能力等有較高的要求,參與者參與的任務越多且表現越好,說明其滿足任務要求的程度越高。同時參與者通過多次參與任務,積累了一定的信譽值和經驗,其知識和能力也在不斷的更新[23],提供高質量方案的可能性也就越大。③參與者參與的任務越多且表現越好,其對任務各方面要求能夠接受的區間越大,新任務各方面要求處在參與者能夠接受的區間的可能性越大,從而使參與者對新任務接受度越大,如參與者w8、w3和w13等。④參與者勝任度和接受度兩者并不是相對獨立的,而是相互關聯的,它們受一些共同的因素影響,如參與者參與任務的數量、參與者的表現、任務要求的相似度等。參與者勝任度越大,其對新任務的接受度可能越高,如參與者w8、w3、w13、w12和w14。
此外,本例中將新任務t4推送給每個潛在參與者,并對比分析在綜合考慮參與者勝任度和接受度與僅考慮參與者勝任度兩種情況下前10名參與者的任務完成效果,主要包括平均完成時間、提交方案數量、接受推送的人數和中標數量等方面。同時,進一步對比分析任務推送方式和自選擇方式下的任務完成效果,結果見表8。
由表8可知,相對于自選擇方式,任務推送方式能夠縮短參與者在平臺上眾多任務中比較和篩選任務的時間。同時,任務推送結果是在綜合考慮參與者知識、能力和經驗等方面的基礎上給出的,能夠保證被選擇的參與者滿足任務要求并具有完成任務的可能性,有助于提升其提交方案的質量。如表8中任務推送方式比自選擇方式得到的中標數量更多。此外,任務推送在一定程度上能夠保證任務的“曝光度”和參與者的數量,避免了任務在不斷增加的任務列表中“被掩蓋”,保障了得到的方案數量,擴大發包方方案選擇的空間,如表8中通過任務推送方式得到的方案數量多于自選擇方式。

表8不同任務執行方式下的任務完成效果Table 8Task Completion Effect under Different Ways of Performing Tasks
任務推送中,在綜合考慮參與者勝任度和接受度得到的前10名參與者中,w8、w3、w13、w12、w14、w4和w11接受任務并提交方案,并根據發包方的評價,最終中標的是前3個參與者提交的方案,w9和w10接受任務但未提交方案,w1未回復。推送回復率為90%,方案提交率為70%。在僅考慮參與者勝任度得到的前10名參與者中,w8、w3、w13、w12和w14接受任務并提交了方案,w9和w10接受任務但未提交方案,w1、w7和w15未回復,推送回復率為70%,方案提交率為50%。雖然排序靠前且提交方案的參與者大部分都是工作室或小型機構,其參與并提交方案的可能性較大,但兩種情況下的推送結果也在一定程度上反映了考慮參與者勝任度和接受度的任務推送與僅考慮參與者勝任度的任務推送相比,有助于減少推送的次數和提高推送成功率。
針對當前眾包模式下參與者自選擇任務執行方式和僅考慮參與者勝任度的任務推送方式的不足,本研究提出參與者勝任度和接受度的概念,并據此構建任務推送模型。該模型提出綜合考慮任務相似度和參與者表現的參與者勝任度的測量方法,避免了直接獲取參與者特性和任務要求以及測量兩者之間匹配度難度較高和工作量較大的問題。根據參與者以往參與的任務,利用擴展的粗數方法,提出測量參與者接受度的方法和過程。在此基礎上,綜合考慮參與者勝任度和接受度,從而確定參與者的推送優先序,為將任務推送給能勝任和愿意接受推送的參與者提供依據和參考。
研究結果表明,相對于參與者自選擇方式,基于參與者勝任度和接受度的任務推送模型和方法有助于降低任務完成的平均時間,尤其能夠降低參與者在數量較大的任務列表中選擇合適任務的時間。同時有助于保證一定的參與者數量,由此可增加方案的規模性和多樣性,促進任務完成質量的提高。與僅考慮任務與參與者匹配程度的任務推送方式相比,該任務推送方式在一定程度上能夠保證任務推送的成功率,減少多次推送及其帶來的成本和時間的增加。
在理論上,研究成果不僅有助于豐富和擴展眾包平臺上任務執行方式,補充眾包質量控制策略和方法,而且為后續進一步解決基于拍賣模式以及面向成本和時間等約束的任務指派和分配問題奠定一定的基礎。此外,研究發現參與者對推送任務的勝任度和接受度不是相對獨立的,都是受參與者參與的任務數量、參與者行為和表現以及任務要求之間的相似度等因素的影響。參與者參與的任務數量越多且在任務執行過程中表現越好,其對相似的新任務的勝任度和接受度就會越高,被推送的概率越大。因此,對于參與者而言,需要在眾包平臺上選擇合適且能夠較好完成的任務,以不斷提高自身對相似任務的勝任度和接受度,從而提高在后續獲得合適推送任務的可能性;對于發包方而言,與在眾包平臺上發布任務、然后由參與者自主參加相比,任務推送方式對獲得更多方案以及更高質量的方案有更好的保障作用。因此,對一些要求較高且時間較緊的任務,基于推送的任務執行方式是更好的選擇。
本研究也存在一些不足,主要表現在:①評價任務相似度時僅采用確定數值來表示任務在維度上的評價值,而忽略了實際中任務在維度上的評價的模糊性和不確定性;②測量參與者接受度時,未考慮不同任務之間的差異性對接受度的影響,同時對其他因素的影響未加考慮,如參與者在線時間、忙碌狀態和情感等因素;③用于對模型和方法驗證的任務和參與者數量有限,雖然在一定程度上說明了提出的模型和方法的有效性,但是在任務和參與者數量較大且應用眾包平臺和任務類型不同的情況下,模型和方法的有效性需要進一步驗證。針對上述研究的不足,后續的工作將進一步深入研究并期望解決這些問題,從而進一步完善基于參與者勝任度和接受度的任務推送研究成果。