基于日志數(shù)據(jù)的研發(fā)工程師能力評(píng)價(jià)研究

魏 忠 魯 源 黃阿娜

(上海海事大學(xué)經(jīng)濟(jì)管理學(xué)院 上海 201306)

0 引 言

人事經(jīng)濟(jì)學(xué)中的一個(gè)核心問(wèn)題是，當(dāng)企業(yè)對(duì)員工行為和工作特征的了解有限時(shí)，該如何評(píng)估和篩選員工[1]。績(jī)效評(píng)價(jià)指標(biāo)往往被用于緩解由信息有限而引起的問(wèn)題[2]，因此員工評(píng)價(jià)問(wèn)題通常從挖掘員工信息和確立評(píng)價(jià)指標(biāo)兩方面著手。

一方面，大數(shù)據(jù)的發(fā)展引發(fā)行為大數(shù)據(jù)的爆發(fā)，促使更多人展開對(duì)行為的分析研究[3]。行為大數(shù)據(jù)是指人們?cè)谏a(chǎn)活動(dòng)中產(chǎn)生的行為數(shù)據(jù)集，而員工的行為數(shù)據(jù)則是在企業(yè)工作中形成的行為記錄，比如考勤記錄、工作日志、研發(fā)腳本等。其中，工作日志主要用于記錄日常工作內(nèi)容包括工作進(jìn)度、問(wèn)題分析、應(yīng)對(duì)方法等。雖然是自由文本形式，但已被證明能夠反映員工行為的隱性素質(zhì)，成為深入了解員工行為特征的有效途徑[4]。如Zacher等[5]基于日志數(shù)據(jù)驗(yàn)證雙元領(lǐng)導(dǎo)對(duì)員工創(chuàng)新行為的影響；Hooff等[6]通過(guò)對(duì)工作日志的分析，討論研究員工工作需要的滿足感與工作狀態(tài)恢復(fù)之間的關(guān)系[6]；程鵬等使用統(tǒng)計(jì)法對(duì)員工日志進(jìn)行統(tǒng)計(jì)分類，通過(guò)分類對(duì)員工進(jìn)行歸納分析，總結(jié)員工的行為特征等。

另一方面，前人研究往往選擇建立一套評(píng)價(jià)指標(biāo)體系，從而減少直接評(píng)分的主觀性、量化評(píng)價(jià)結(jié)果。如陳沛然[3]構(gòu)建了包含6個(gè)指標(biāo)的績(jī)效考評(píng)標(biāo)準(zhǔn)指標(biāo)體系，通過(guò)層次分析法賦予權(quán)重；樊文有[7]基于平衡計(jì)分卡建立了一套考評(píng)指標(biāo)體系，通過(guò)4個(gè)維度對(duì)工作進(jìn)行評(píng)價(jià)[7]；吳紅霞等[8]從三個(gè)角度創(chuàng)建了能力績(jī)效的評(píng)價(jià)體系，并運(yùn)用三階段DEA分析方法進(jìn)行測(cè)度等。

上述的方法雖然確立了評(píng)價(jià)指標(biāo)體系，但直接定義的指標(biāo)內(nèi)容并非來(lái)源于管理者的統(tǒng)一意志，無(wú)法代表企業(yè)對(duì)員工的能力要求。因此，本文在前人研究的基礎(chǔ)上，順應(yīng)大數(shù)據(jù)時(shí)代的要求，以某公司軟件研發(fā)部門為例，對(duì)研發(fā)工程師的工作日志數(shù)據(jù)進(jìn)行文本處理和特征研究；同時(shí)，采用德爾菲法確定企業(yè)管理者的能力評(píng)價(jià)標(biāo)準(zhǔn)體系，結(jié)合前景隨機(jī)占優(yōu)準(zhǔn)則對(duì)員工能力進(jìn)行量化分析，最終得出一個(gè)更加客觀全面的研發(fā)工程師能力的評(píng)價(jià)結(jié)果。

1 日志數(shù)據(jù)預(yù)處理

1.1 數(shù)據(jù)準(zhǔn)備

某公司日志系統(tǒng)用于記錄員工日常工作內(nèi)容，包括工作進(jìn)度、問(wèn)題分析、應(yīng)對(duì)方法等。在日志記述中要求員工實(shí)事求是，并規(guī)定填寫時(shí)限，極大保證行為數(shù)據(jù)的客觀性和有效性[9]。本文的研究數(shù)據(jù)來(lái)源于該公司服務(wù)器上全部75位研發(fā)工程師入職至今的所有日志數(shù)據(jù)，保證了原始數(shù)據(jù)的完備性，降低丟失重要判別信息的可能性[10]。

與此同時(shí)，為了提高日志數(shù)據(jù)的準(zhǔn)確性、確保數(shù)據(jù)分析的最終結(jié)果，采用Python對(duì)日志數(shù)據(jù)進(jìn)行預(yù)處理[11]。首先對(duì)研發(fā)工程師的工作日志按照時(shí)間跨度進(jìn)行排序整理，剔除重復(fù)數(shù)據(jù)和噪聲數(shù)據(jù)，同時(shí)去除不滿足條件的樣本：

(1) 日志記錄條數(shù)過(guò)少或每條日志內(nèi)容過(guò)少；

(2) 日志文本時(shí)間跨度不夠，即從事研發(fā)工作時(shí)間不長(zhǎng)；

(3) 工作內(nèi)容與研發(fā)無(wú)關(guān)。

經(jīng)整理，研究的樣本量減少為59。其次，通過(guò)數(shù)據(jù)清理過(guò)程為文本挖掘準(zhǔn)備合格的數(shù)據(jù)，剔除高頻非特征的詞語(yǔ)、非中文詞語(yǔ)(數(shù)字、符號(hào)、其他語(yǔ)言等)，至此得到的所有日志數(shù)據(jù)均為干凈可直接使用的文本。

同時(shí)，為了驗(yàn)證本文分析方法的準(zhǔn)確性，預(yù)先邀請(qǐng)?jiān)摴竟芾韺訉?duì)研發(fā)工程師進(jìn)行能力評(píng)分(0～10分)，將其作為實(shí)際結(jié)果與本文的預(yù)測(cè)結(jié)果進(jìn)行對(duì)比分析，如圖1所示。

圖1 軟件開發(fā)人員能力初始評(píng)價(jià)圖

1.2 特征分析

基于前文的可用數(shù)據(jù)，采用中科院漢語(yǔ)分詞系統(tǒng)(NLPIR)對(duì)所有文本進(jìn)行分詞，并標(biāo)注詞性(包括動(dòng)詞、名詞、形容詞、副詞等)，統(tǒng)計(jì)詞性比例。同時(shí)依據(jù)詞頻提取研發(fā)工程師的特征詞，通過(guò)Python制作日志詞云進(jìn)行可視化展示。

本文選取開發(fā)型、操作型、管理型三類具有代表性的研發(fā)工程師詞云進(jìn)行示例，如圖2所示。詞語(yǔ)字號(hào)越大表示其使用頻次越高，一定程度上反映該工程師某方面能力突出。比如“開始”、“進(jìn)行”、“完成”等詞體現(xiàn)工程師條理清晰，執(zhí)行力強(qiáng)；“討論”、“溝通”等詞體現(xiàn)工程師協(xié)作配合能力強(qiáng)；專業(yè)詞匯則可體現(xiàn)工程師的專業(yè)化程度等。

根據(jù)詞云圖片不難看出，研發(fā)工程師的工作方式特點(diǎn)各異、工作能力大相徑庭。因此，基于日志文本對(duì)研發(fā)工程師進(jìn)行能力評(píng)價(jià)具有很大的參考價(jià)值。

(a) 開發(fā)型

(b) 操作型

(c) 管理型圖2 研發(fā)工程師日志詞云示例

1.3 特征詞選取

本文采用向量空間模型VSM，將每個(gè)員工的日志抽象為一個(gè)向量。假設(shè)每個(gè)向量由n個(gè)詞組成，每個(gè)詞的權(quán)重為wi(i=1,2,…,n)，此時(shí)員工能力評(píng)分可表達(dá)為多維向量d=(w1,w2,…，wn)。采用詞頻TF(Term frequency)計(jì)算權(quán)重，公式如下：

(1)

式中：M表示文本的總詞數(shù)，N表示特征詞在文本數(shù)據(jù)中的出現(xiàn)的次數(shù)。

由于日志文本維數(shù)過(guò)多，需要降維處理，本文綜合計(jì)算所有研發(fā)工程師日志中詞頻排名前100的詞語(yǔ)，最終，確定具有代表性的特征詞(即關(guān)鍵詞)100維。

2 基于德爾菲法的能力調(diào)查

德爾菲法又稱專家集體評(píng)價(jià)法，即專家以匿名的方式對(duì)調(diào)查者提出的問(wèn)題發(fā)表意見(jiàn)和建議。通過(guò)多輪調(diào)查、反復(fù)總結(jié)和修訂，使專家組的預(yù)測(cè)意見(jiàn)趨于集中，最終得出具有整合意義的結(jié)果。

2.1 指標(biāo)量化

德爾菲法最關(guān)鍵的一點(diǎn)是挑選合格的專家[10]。為了保證價(jià)值判斷的正確性和加權(quán)結(jié)果的客觀性，本文在考慮專家的權(quán)威程度、實(shí)踐經(jīng)驗(yàn)、理論水平的基礎(chǔ)上[11]，邀請(qǐng)?jiān)摴?位高級(jí)研發(fā)部工程師組成咨詢小組。

經(jīng)過(guò)研究溝通，最終確定用于表達(dá)工程師能力的7項(xiàng)指標(biāo)，即特征詞、專業(yè)詞、日志長(zhǎng)度、名詞、動(dòng)詞、修飾詞、數(shù)詞量詞。專家問(wèn)卷內(nèi)容包括最佳比例、重要程度、熟悉程度、判斷依據(jù)等。采用Likert測(cè)度法從弱到強(qiáng)將指標(biāo)比例、指標(biāo)重要程度等劃分為5度，將特征詞重要性分為7度，專家據(jù)實(shí)打分，進(jìn)行指標(biāo)量化，如表1所示。

表1 專家問(wèn)卷指標(biāo)量化與評(píng)分標(biāo)準(zhǔn)

2.2 統(tǒng)計(jì)分析

德爾菲法的統(tǒng)計(jì)分析過(guò)程是其量化過(guò)程中的關(guān)鍵部分，這一過(guò)程關(guān)系到是否保留預(yù)設(shè)指標(biāo)。本次調(diào)查共向7位專家展開兩輪咨詢，經(jīng)統(tǒng)計(jì)分析：

(1) 積極系數(shù)：即問(wèn)卷的回收率，本文共咨詢2輪，每一輪專家積極系數(shù)均為100%。

(2) 集中程度：即調(diào)查選用的專家對(duì)研究選定的各指標(biāo)相對(duì)重要性的意見(jiàn)的集中程度。經(jīng)兩輪咨詢，確定指標(biāo)重要程度排名為數(shù)量、形副、動(dòng)詞、專業(yè)詞、日志長(zhǎng)度、特征詞、名詞。如表2所示。

表2 專家意見(jiàn)的集中程度

(3) 協(xié)調(diào)程度：專家協(xié)調(diào)系數(shù)的P值經(jīng)過(guò)兩輪咨詢后數(shù)值小于0.05，表明專家對(duì)各指標(biāo)的評(píng)價(jià)意見(jiàn)經(jīng)過(guò)兩輪咨詢達(dá)到一致，如表3所示。

表3 第一、二輪咨詢的專家協(xié)調(diào)系數(shù)

(4) 權(quán)威程度：指在這一領(lǐng)域接受采訪的專家的理論和實(shí)踐水平，反映調(diào)查的可信性。本研究的專家權(quán)威程度(Cr)為0.735～0.788，一般Cr≥0.70 即可。

綜上，各項(xiàng)統(tǒng)計(jì)結(jié)果均在可接受范圍內(nèi)，專家評(píng)估意見(jiàn)的協(xié)調(diào)性好、可信度高，指標(biāo)體系客觀、合理。在此基礎(chǔ)上，采用百分權(quán)重法，將專家對(duì)指標(biāo)重要性評(píng)分的算術(shù)平均值除以所有指標(biāo)總均數(shù)值。最終，通過(guò)德爾菲法確定的各指標(biāo)相對(duì)重要性，即特征詞、日志長(zhǎng)度、專業(yè)詞、名詞、動(dòng)詞、形副、數(shù)量7項(xiàng)指標(biāo)的權(quán)重分別為0.3、0.15、0.05、0.10、0.2、0.05、0.15。

3 基于前景隨機(jī)占優(yōu)的能力評(píng)價(jià)

3.1 問(wèn)題描述

3.2 決策方法

針對(duì)研發(fā)工程師能力評(píng)價(jià)問(wèn)題，員工屬性的評(píng)價(jià)結(jié)果會(huì)呈現(xiàn)離散概率分布的形式，顯然，評(píng)價(jià)結(jié)果可被視為一個(gè)離散型隨機(jī)變量。本文給出一種基于員工日志文本和管理層期望的研發(fā)工程師能力評(píng)價(jià)方法。該方法包括3個(gè)部分：計(jì)算評(píng)價(jià)損失結(jié)果及其概率分布、構(gòu)建兩兩員工比較的能力隨機(jī)占優(yōu)關(guān)系矩陣、選擇優(yōu)秀的員工。

i=1,2,…,m，j=1,2,…,n，l=1,2,…,k，ε∈[0,1]

(2)

(3)

式中：wj表示屬性Cj的權(quán)重，yij表示針對(duì)工程師Ai關(guān)于屬性Cj的評(píng)價(jià)的損失結(jié)果。

另外，為了判斷該方法對(duì)研發(fā)工程師能力評(píng)價(jià)的準(zhǔn)確性，引入下式計(jì)算研發(fā)工程師能力評(píng)價(jià)平均準(zhǔn)確率：

(4)

式中：RC表示員工訓(xùn)練后排名，RI表示員工初始調(diào)查排名，M表示參與排名的員工總數(shù)。

同時(shí)，使用歐式距離度量所有研發(fā)工程師預(yù)測(cè)排名與初始排名的相似度，如下所示。歐式距離越小說(shuō)明前后排名差異越小，即分析結(jié)果越準(zhǔn)確。

(5)

式中：xi表示調(diào)查樣本中每個(gè)研發(fā)工程師的初始排名，yi表示運(yùn)用本方法計(jì)算而得的排名。

3.3 評(píng)價(jià)結(jié)果

根據(jù)上述的評(píng)價(jià)方法，計(jì)算易得每個(gè)研發(fā)工程師的能力評(píng)分結(jié)果，具體得分排名整理部分如圖3所示。評(píng)分越高的研發(fā)工程師，說(shuō)明其工作日志中各項(xiàng)指標(biāo)更符合管理層的期望，即該工程師更符合管理層專家對(duì)于研發(fā)工程師的要求。

同時(shí)，根據(jù)式(4)求得開發(fā)人員能力評(píng)價(jià)準(zhǔn)確率為83.76%。根據(jù)式(5)計(jì)算而得分析排名與初始排名的歐式距離為9.70。因此可得，該方法準(zhǔn)確率較高，在樣本數(shù)較少的情況下也具有一定的穩(wěn)定性。

圖3 開發(fā)人員能力評(píng)價(jià)圖

4 結(jié) 語(yǔ)

針對(duì)員工能力評(píng)估的企業(yè)管理問(wèn)題，本文基于研發(fā)工程師的工作日志，采用德爾菲法量化確定各日志指標(biāo)的相對(duì)重要性，結(jié)合前景隨機(jī)占優(yōu)準(zhǔn)則，設(shè)置參數(shù)，對(duì)比分析研發(fā)工程師的能力水平，最終得出研發(fā)工程師的能力水平得分排名，為企業(yè)選拔優(yōu)秀研發(fā)工程師提供一定的借鑒意義。但本文同時(shí)也存在一定的局限性，比如本文僅局限于軟件開發(fā)部門，所評(píng)能力較為單一。未來(lái)的研究可著眼于多個(gè)部門的多種能力，如數(shù)據(jù)部門、硬件部門等，這樣不僅可以評(píng)估員工對(duì)當(dāng)前崗位的勝任能力，同時(shí)還可以預(yù)測(cè)員工對(duì)于其他崗位潛力，如此將對(duì)企業(yè)管理培養(yǎng)人才提供一個(gè)更好的解決方案。