不同職業類別的職業技能評價方法研究

□黃方慧 趙志群

一、問題的提出

隨著新職業教育法的頒布實施，職業教育進入了提質增效的新發展階段，科學、有效且可行的學業評價，對職業教育質量保障體系建設具有重要的意義。《深化新時代教育評價改革總體方案》明確提出建立“富有時代特征、彰顯中國特色、體現世界水平”的教育評價體系，這對職業教育學業評價提出了具體的高質量要求。

學業評價是以教育教學目標為依據，運用恰當、有效的工具，系統收集學生在學習過程中認知行為變化的信息和證據，根據一定標準對學生的知識、技能和能力水平做出客觀衡量和科學判定的過程。近年來，我國職業教育在兩大領域對學業評價方法進行了深入探索實踐，一是建立“職教高考”制度，通過多種形式的“文化素質+職業技能”考試進行高等職業院校生源選拔；二是“1+X”技能等級證書試點，通過職業技能等級水平評價，對反映學生職業活動和個人職業生涯發展所需要的綜合能力進行評定和認證。

與普通教育相比，職業教育學業評價更為復雜，它既要迎合勞動力市場的功利性需求，又要實現促進學生生涯發展的教育性目的，這在評價技術上面臨著很多挑戰。例如，通過對現場操作進行觀察和評分的傳統技能測試方法具有很多局限，特別是在對心智技能要求較高的專業領域。而且，如果開展大規模技能測試，要達到較高的信效度，測試費用會高到令人無法接受的地步。由于職業教育專業種類繁多、專業間差別巨大和職業技能本身的特點（如隱性知識和能力），實施統一的大規模技能測試既不科學也不現實[1]，因此我們必須對各種技能考試進行深入分析和整體化設計。只有厘清不同類型職業技能評價方法的內部規律和差異性，才能夠確保技能評價的科學性、有效性和可行性，保證技能評價結果的可信度，這也是保證X 證書質量和實現“職教高考”公正公平的基礎。

本文針對不同類型職業的技能評價方式，以五個X 技能等級證書評價為例，研究不同技能評價方法的特征和差異，為科學的技能評價方法開發提供基礎。

二、研究方法與過程

（一）研究方法

本文“職業技能評價”指對職業技能的“測試”或“測量”，即社會組織根據特定職業（或崗位）的資格和（或）能力要求，采用一定工具對特定人群進行的測量、描述和評價。采用質性研究范式，首先，通過文本分析對不同職業的技能評價方法的資料（如評價實施方案、評分說明、考場說明、評分表、試題等公開文件）進行編碼和分析。其次，采用非參與式觀察法收集技能評價實施過程的信息資料（如考生答題過程和狀態、評分者評分過程和狀態）。技能評價一般在封閉環境中進行，為不打擾所觀察的場域，研究者充當場景中一個實際角色，如巡考員，在觀察場域或其邊緣進行觀察。再次，通過訪談對所收集的資料進行佐證和補充，調查技能評價利益相關者（設計者、考生、教師兼評分者）對技能評價的看法，為技能評價方法的分析提供證據。

（二）研究過程

采用目的性抽樣原則，以教育部X 職業技能等級證書采用的技能評價方法為研究對象，根據所屬職業類別不同和評價組織參與意愿，選取五個證書采用的技能評價方法作為研究對象，分為G 和Z（以技術為服務對象的服務類職業①）、S（以人為服務對象的服務類職業）、J 和D（技術類職業）。五種證書技能評價方法中既有理論考試和實操考試相結合的、也有理實一體化計算機輔助評價，代表我國當前典型的技能評價方式。通過“職業技能等級證書信息管理服務平臺”和評價組織搭建的網絡平臺，收集不同評價方法的信息資料，考題等保密資料由評價組織提供。對五種技能評價方法的31 位利益相關者進行訪談，其中設計者4 位、教師11 位、考生16 位，訪談錄音總計15 小時9 分鐘44 秒，對音頻資料進行轉錄和編碼，轉錄文字217797 字。采用非參與式觀察法對五個技能評價實施過程進行實地觀察，每個考試觀察時間不少于6 個小時，總觀察時間46 小時。

三、研究結果及分析

結合收集的資料和數據，對五種技能評價方法進行分析，發現不同職業領域的技能評價方法的特點和差異，主要體現在：

（一）不同技能評價方法設計在行動類型方面的差異

工業社會學家米克勒（O.Mickler）曾將技術技能工作分為“基本”（primary）和“次級”（secondary）兩個領域[2]。“基本”工作是指生產性職業從事的工作，如加工、生產和組裝等；“次級”工作針對以技術為服務對象的服務類職業，如從事維修、保養和運維等復雜工作。布拉特（M.Brater）將“基本”和“次級”職業領域的行動分為“目的理性行動”和“設計與對話行動”[3]。由于職業的特殊性，不同職業完成工作任務的行動過程也呈現出“目的理性行動”和“設計與對話行動”兩種類型。

1.目的理性行動。目的理性行動的特點是，一旦任務目標確定，就明確了行動步驟，行動可設計空間很小，如生產、制造等技術類職業。本研究中J（機器人應用類職業）和D（加工制造類職業）證書的工作采用目的理性行動，目標確定后行動過程就基本確定，設計的工作過程與實際行動過程能夠保持較大的一致性。這類職業的計劃制定在一定程度上反映了計劃的實施能力。

調查發現，J 和D 考試對工作過程中隨機應變能力、解決方案調整與設計能力的考查關注不多。如參加J 考試的個別考生在備考室就已初步完成了主程序的編程，考生表示“流程都大同小異，主程序我都編好了，到時候只要在子程序里面抓取那幾個都對一下點就可以了”。對D 考試現場觀察發現，不同考生完成任務只有順序差異，工作過程大體一致，如有的考生工作順序是裝刀、對刀、建模、編程、加工；有的考生工作順序是建模、編程、再裝刀、對刀、加工。考生表示“做的順序不同，只是個人習慣不同而已，有些同學一邊編程還一邊加工，有些是全部編完再加工，這都無所謂的”。

按照以上考試方案，只要實施方案確定，工作過程中的變化及影響因素對于任務結果而言并不重要，即能夠影響考生在工作過程中改變問題解決方案的因素較少，考生只需按照提前設計好的任務解決方案和工作過程實施即可。目的理性行動特征的工作受實施過程因素影響較少，但忽略對方案設計或實施過程的評價，是需要注意的問題。因為僅僅通過完成任務結果的評價考核，是否可以全面反映考生的職業技能水平，如何保證方案設計的合理性或實施過程符合相關企業／行業的要求（如規范性和安全性），保證考生具備基本的職業認知能力，這些都是不可忽視的。

2.設計與對話行動。設計與對話行動類型工作的特點是具有開放性目標，只能在一定程度上制定行動計劃，具體步驟只有在具體工作過程中才能被確定，像服務類的汽車維修、營銷等職業，在故障診斷過程中可能會發現其他問題，在營銷服務中顧客會突然提出其他問題和要求。雖然在開始故障診斷和銷售服務前，工作人員會有一個大概、預期的工作過程，但由于問題不確定和人的易變性，很難完全預期實際工作過程。

G、Z 和S 屬于設計與對話行動類型。G（電站運維類職業）考試重視完成真實工作任務的過程，如測量、排除故障過程，關注考生發現不可預測問題的處理和設計能力。G 的設計者表示考試設置了很多故障，考生沒辦法預知故障，需要在排查故障過程中不斷調整和設計方案。Z（汽車運維類職業）和S（營銷服務類職業）考試的設計者關注考生在工作中處理未知問題的設計能力，如車輛問診與故障分析，考生只有在車輛問診過程中才能進一步確定故障，進而設計故障診斷計劃并實施。工作計劃不是事先確定，而是隨著故障的顯現越來越清晰，這需要考生有較強的調整和修改解決方案的能力。特別是以人為服務對象的服務類職業，由于人的易變性和不可確定性強，對工作人員隨機應變能力和解決方案的設計能力要求會更高，因此S 考試設計了語音交互題。語音交互題智能程度并不高，但可把不確定的情境真實展現在考生面前，需要考生根據客戶需求的變化及時調整和設計解決方案。

綜上所述，五種技能評價方法設計都考慮了職業行動特點，G、Z 和S 考試強調考生在完成工作任務過程中隨時調整和修改解決方案以及過程設計能力，S 考試在這方面要求更高；但D 和J 考試沒有涉及考生這方面的能力。這印證了布拉特的理念，即從事“次級”職業的人更需要獨創性，他要“在情境中尋找機會、想點子、找出路。這里重要的不是忠實執行原有計劃，而是要有獨創性的工作”[3]。因此，在設計考試時要考慮不同職業的行動特點，特別是對開放性和獨創性要求較高的設計與對話行動特點的職業（如護士、工藝美術等）要關注工作過程評價、預留設計空間。對于目的理性行動特點的職業，雖然影響工作過程的因素很少，但不可忽略對工作過程或方案設計的評價，特別要關注工作過程規范性、安全性及方案設計合理性等方面的考查。

（二）試題（任務）情境設計的差異

試題（評價任務）是職業技能評價的有效載體，其質量直接影響評價目標的實現。專家智能研究結果表明，對能力的直接評價是不可能的，只有在具體情境或工作行動中才能實現對能力的間接評價[4]。對職業技能的評價，特別是高級別技能的評價，需要在具體的任務情境中開展，即試題要具有情境性。對五個證書評價方法實操考試試題分析發現，存在兩種試題，即去情境化試題和情境性試題。情境性試題來源于企業工作實踐的現實問題，是職業的典型工作任務，反映相應級別技能等級標準的要求，考查學生的實踐性知識。情境性試題的任務解決方案是開放性的，即考生采用多種方式完成任務（考題），去情境化試題則相反。分析發現，G、Z 和S 考試采用情境性試題，J 和D 考試采用去情境化試題。

G（電站運維類職業）實操考試試題由五個工作任務組成，按照工作過程進行任務排序，上一個任務是下一個任務的基礎。工作任務具有一定開放性和情境性。訪談中教師GT1 表示“按照生產的角度設計的，是有情境的，與企業真實工作任務相似”。Z（汽車運維類職業）和S（營銷服務類職業）考試通過虛擬仿真呈現一個虛擬情境，但工作過程的每個環節被拆分為客觀化和量化考題，通過固化流程（虛擬人物每一步做什么，都通過導航確定）消除了工作過程的開放性，無形中破壞了工作任務情境的完整性，成為一個個零碎的技能點和知識點。這說明，簡單任務分解式計算機虛擬仿真測試設計并不適用于對開放性要求較高的服務類職業的技能評價。

J（機器人應用類職業）試題由兩個模塊組成，每個模塊細分為不同子任務。每個子任務均為去情境化的技能操作點，不是完整的工作過程，是為考查考生技能而設計的獨立、封閉性任務。訪談中教師JT1 表示考題與企業工作任務不太一樣。J 考試設計者表示任務是基于企業任務，按照職業院校教學要求進行教學化處理。但在教學化處理中，設計者去除了企業工作情境和工作過程，剩下可教、可考、可量化的知識點和操作技能點，成為缺失工作過程、與情境無關的操作任務，與企業真實工作要求差距較遠。D（加工制造類職業）考試采用“典型工件”作為試題，要求考生按照圖紙要求加工零件，完全是技術操作封閉性工作任務，是去情境化試題。D 的設計者表示任務來自企業，在企業基礎上加入教育元素。但從企業工作實際看，D 的考題只是完整工作過程的一個環節，即實施環節。完整工作過程通常包括獲取信息、制定計劃、作出決策、實施、檢測和評價六個行動環節，缺失任何一個環節都會造成學生能力結構的缺陷。

（三）評分標準設計的差異

評分標準是評分或判斷的依據，是考生最佳表現的體現，具體化表現為評價量規。評價量規有核查表、分值量規、分析性量規和整體性量規四種類型。技能評價量規用來判斷工作表現和任務完成情況。研究發現，X 技能等級評價的評分標準設計與技能等級標準密切相關。注重綜合職業能力獲得的等級標準，其評分標準不是簡單的對錯之分，而是對工作結果和完成任務過程質量的整體評價，主要采用分析性量規和整體性量規。例如G（電站運維類職業）采用整體性量規和分值量規相結合方式，不僅對完成任務過程的整體情況進行評價，也對工作結果進行評價。

只關注知識點和技能點獲得的技能等級標準，偏向采用核查表和分值量規，其評分標準是對知識點和技能點對錯的考核。本研究中，J、D、Z 和S 均采用核查表或分值量規，關注技能點，注重結果評價，忽略對工作過程的評價。例如J 的評分項“調壓過濾器旁邊的手滑閥處于打開狀態”，評分員要對行為結果進行“是或否”判斷；D 的評分表是對加工工件尺寸精度的評價，采用分值量規，如對重要面尺寸、精度的評價內容“Φ8”，每超差0.02 扣1 分。Z 和S 考試是由計算機根據設計者提前設計好的交互點、觸發點自動評分，交互點／觸發點是事先確定了的標準答案或邏輯評分點。此類評分標準是對結果“對與錯”的判斷。

出于知識產權保護，評價組織未向研究者提供計算機評分的標準和邏輯。但從Z 和S 的考核方案可獲知，評分采取“答題正確得分，錯誤不得分”“系統自動抓取觸發點、觸發痕跡，錯誤按百分比扣除相應分數”。可以看出，Z 和S 采用核查表和分值量規進行評分。核查表是根據行為發生先后順序，對可觀察的行為或技能，根據簡短、明確的行為或技能描述語句所列出行為或技能標準進行是與否的判斷[5]。分值量規是在核查表的基礎上，給每一項特征賦予分值，只有完全表現出來才能給分。很多專業行為沒有有無或對錯之分，而是程度或水平高低之分，因此，僅憑核查表／分值量規很難客觀評價考生的技能水平。

（四）結果導向評價和過程性評價的差異

五個技能評價方法中既有強調結果導向評價，也有結果導向與過程性評價相結合。由于過程性評價難度大，耗費大量人力物力，目前大部分技能評價偏向于采用結果評價。

本研究中的D、J、Z 和S 都是對操作結果進行核對和評價，不關注獲得結果的過程。雖然D 采用結果評價（占總分的90%）+過程評價（占總分的10%）相結合方式，但過程性評價只關注安全文明生產，而且只有在出現重大安全事故和違規操作時才會扣分。現場觀察發現，加工過程不是D 的評價內容，考生完成任務（如工藝設計、程序編寫等）的過程性資料都被要求清空。在訪談中，D 的設計者表示企業只看工作結果，不看工作過程，對學生的評價也只評價結果。Z 和S 的設計者表示注意到了過程評價，但事實上采用的仍然是結果評價，他們將原本開放、復雜的工作過程進行固化，按照其意圖將（固化的）工作過程／流程分解為一個個量化考題／交互點（觸發點），并不對考生的工作過程進行評價，只對每一步的行為結果（交互點）進行評價。

G 的設計者表示：“看到結果后，評分員會詢問是從哪測量？怎么量的？考生得重新操作一遍。……在故障排除的時候，也是看怎么查找故障，怎么排除故障的過程”，在此同時關注了結果和操作規范性，評分貫穿在考試過程中，因為有時操作結果看起來是對的，但操作不規范也會得到相同結果。結果與過程評價相結合的評價方式，不僅實現了對行為結果的評價，也對認知能力進行判定，有可能實現對綜合職業能力的全面評價。

四、結論與建議

（一）結論

1.從情境性和行動類型兩個維度劃分技能評價方法。情境性和行動類型對職業技能評價方法設計有決定性影響。真實企業中的工作任務是情境性的。按照情境學習理論，技能的獲得是在特定的情境中發生。懷特海（A.N.Whitehead）的“惰性知識”（inert knowledge）理論認為，在無背景情境下獲得的知識是惰性的、不具備實踐價值[6]；職業能力只有在特定的情境中才能被辨識和調查[7]。去情境化和去工作過程的操作性工作任務，無法考查是否具備勝任企業工作任務的能力，特別是高級技能的評價對情境性要求更高。

按照布拉特（M.Brater）職業行動分類模式，對開放性和互動性較強的次級職業和互動性不強的基本職業，其職業能力評價方法有所不同。應從“測試任務的情境性”和“完成任務的行動類型”兩個維度對技能評價方法進行分類。

按照測試任務的情境性，可分為情境性技能測試和去情境（標準化）技能測試。按照完成任務行動類型，可分為完整行動導向型測試（強調目的理性行動）和認知或技能導向型測試（強調設計與對話行動）。兩個維度都有不同的程度之分，有些測試（特別是對高級技能測試）對任務情境性要求較高，有些測試（對較低級技能的測試）對任務情境性要求較低。在設計與對話行動方面，以人為服務對象的服務類職業比以技術為服務對象的服務類職業要求更高。本研究中，G、S、Z 屬于情境性、認知或技能導向（強調設計與對話行動）型測試，J 和D 屬于去情境、完整行動導向（強調目的理性行動）型測試，如圖1 所示。

圖1 職業技能評價方法分類

2.簡單的“對—錯”標準無法實現對職業能力的評價。職業技能包含職業認知技能和職業操作技能，職業認知技能有水平高低之分，而不僅僅是對錯。簡單的“對—錯”評分標準無法用來客觀評價復雜技能（綜合能力）[8]，也無法反映考生目標職業的相關表現。職業教育不是單純的技術或經濟活動，而具有很強的社會性特征，不能用“對—錯”標準或“投入—產出”關系衡量[9]。當今社會對技術技能人才的要求越來越高，特別是新職業教育法所強調的職業綜合素質和行動能力，即有能力參與設計工作計劃，按照經濟性、創新性和環境可持續發展等方面的要求對工作的過程和成果進行控制評價，具備“參與設計和創造未來技術和勞動世界”[10]能力。

3.純結果導向評價無法實現對職業能力的評價。目前各行業普遍采用結果導向的標準化測試，它具有客觀性、易實施、成本低等優勢，具有行為主義心理測量學基礎，曾一度被認為是科學的評價工具。然而近些年來，標準化測試由于忽視嚴密思考、推理和表達能力的培養，不能考查學生的發散性思維能力[11]，無法對學習提供有效支持[12]等原因，遭到了越來越多的質疑和批評。人們認為其僅僅引導學生對事實性知識的掌握，無法對“高等級的思考技能”進行評價，鼓勵對知識的記憶而不是理解[13]，因此“可能會導致最糟糕的學習”[14]。現有技能評價多數按照結果導向評價理念，采用標準化測試，只對結果進行評價，不關注完成任務的過程，這可能是出于低成本和操作簡便的原因。但僅憑借一張試卷、一張行為結果檢驗單，就對考生職業技能水平做出整體化判斷，其證據顯然不足，因為職業認知能力只有在完成工作任務的過程中才能顯示出來。

4.計算機虛擬仿真測試無法代替線下實操考試。計算機虛擬仿真測試是基于計算機開展的測試，具有能實現跨區域大規模測試以及時間、人力成本低和效率高等優點[15]，已成為大規模測試發展的一種趨勢。但目前X 技能評價中的計算機虛擬仿真測試多是將設計者預先固化的工作過程／流程中的工作任務分解為一道道可考、可量化的客觀題，這破壞了工作任務的復雜性和工作過程的完整性。此類虛擬仿真測試雖然提供了虛擬工作場景和工作要求，但工作任務被拆分為碎片化的可考查的技能點，考生只能按照固化的工作流程和步驟，通過鼠標單擊和拖拽完成一個個“選擇題”。按照相同流程完成任務，無法體現考生的認知職業技能差異，考試結果只能反映考生對專業知識的掌握程度，無法真實反映其解決問題等認知方面的技能。計算機仿真考試在大規模考試的可行性、評分客觀性和成本方面具有優勢，但簡單任務分解式虛擬仿真測試無法代替線下實操考試，更無法全面反映考生真實的職業能力和技能發展水平。

（二）建議

1.根據情境性要求和行動類型不同采用不同的技能評價方法。不同職業類別的技能評價應考慮采用不同的方法。例如以人為服務對象的服務類職業的技能評價強調情境性、認知或技能導向型評價方法，宜采用情境性的綜合理論考試+口試或技能考試；以技術為服務對象的服務類職業的技能評價強調情境性、認知和技能導向型評價方法，宜采用情境性試題的綜合理論考試，輔之以技能考試和（或）口試；技術類職業的技能評價強調情境性的、完整行動導向型評價方法，采用情境性的綜合理論考試，并輔之以操作技能考試。建議在設計技能評價方法時，充分考慮職業領域的工作情境和完成任務的行動類型的差異，有針對性地選擇和設計職業技能評價方法。對“目的理性行動”主導的職業（專業）如數控加工等，可采用情境性的、完整行動導向型的技能評價方法，考核其從明確任務、制定計劃、做出決策的角度探討完成技術任務的過程，同時以操作技能考試作為輔助；對“設計與對話行動”主導的職業（專業）如營銷、汽車維修等，可采用情境性的、認知或技能導向型技能評價方法，同時以口試作為輔助。

2.采用事實性標準，注重使用整體性量規和分析性量規。學業評價的評價標準分為事實性標準、社會性標準和個性化標準[16]。事實性標準是根據已有的教學標準或職業標準中明確的能力要求作為考生表現的評價依據。職業技能評價是根據職業技能標準設計的，目的是檢驗考生是否達到行業企業所要求的職業技能，應采用事實性標準，反映職業要求的效度[17]。“整體性量規”是通過語言描述的方式對考生整體的表現進行判斷，“分析性量規”是對考生每一條評分指標的質量作出等級判斷。在職業技能評價中，為判斷工作表現和任務完成情況，通常用“整體性量規”和“分析性量規”[18]，例如世界技能大賽就采用分析性量規，而不采用簡單的核查表和分值量規。核查表是對考生目標行為出現是與否的判斷，分值量規是在核查表基礎上賦予分值，兩者均是對行為有無的判斷，無法實現對能力水平高低的判斷。建議在設計職業技能評分標準時，圍繞職業技能評價目標，采用事實性標準，注重使用“整體性量規”和“分析性量規”，避免使用簡單的核查表和分值量規。

3.結果導向評價與過程性評價相結合。隨著評價理念的轉變，人們不僅希望獲得高效率且可靠性高的評價結果，還希望通過有效且可靠的評價促進學習[15]。結果導向評價（如總結性評價或終結性評價）注重學習結果，不關注考生內在復雜的認知過程，無法實現對真實問題解決能力和批判性思維能力的考查，反而有可能將考生的學和教師的教導向片面的“唯分數論”的困境，“衍生教育生態的異化”[19]。由于結果導向評價的局限性，過程性評價成為評價的重要發展趨勢。過程性評價關注問題解決過程，強調過程導向理念。目前，大規模測試PISA 和TIMMS也非常重視過程性評價，通過對解決現實問題的過程和解答方案進行評價。《深化新時代教育評價改革總體方案》中也強調“改進結果評價，強化過程評價”。拉德馬克（H.Rademacker）的研究也表明：強調結果導向的標準化測試無法用來檢驗職業技能[20]。標準化試題難度不是任務的復雜程度，而是設計者對錯誤選項的人為設計，如通過巧妙的文字表述等。特別是對于那些與生命安全相關的職業技能，不應允許使用結果導向的標準化測試的試題[21]。建議在職業技能評價中，重視學生解決問題的過程性評價，如引入表現性評價，將其與結果評價相結合，共同實現對考生職業技能的全面評價。

4.關注計算機虛擬仿真測試的效度和職業適切性。計算機虛擬仿真測試不是將紙筆測試或線下實操考試進行簡單的計算機化，而是在試題情境設計、組卷和統計方式等方面進行變革[22]。其在如何評估學習者最后的問題解決結果及問題解決的過程[15]等方面依然面臨挑戰，例如PISA 早在2012 年數學素養測試中就引入計算化測試，但至今PISA采用的計算機化測試依然不能實現對開放性主觀題目的自動評分[23]。并且計算機虛擬仿真測試的效度受多方面的影響，如考生對計算機熟悉程度（計算機硬件操作，特別是鼠標和鍵盤操作的熟悉程度）、計算機的呈現方式（多屏幕、屏幕大小、字體字號、圖像分辨率等）、試聽感知能力等[24]。此外，并不是所有職業都能用計算機虛擬仿真測試代替實操考試，特別是對開放性和設計能力要求較高的職業領域，由于任務解決路徑無法提前確定或窮盡，計算機無法為其提供所有解決方案。因此，在設計計算機虛擬仿真測試時要充分考慮效度和職業領域的適切性。

注釋：

①國際上對服務類職業有不同的分類方式，如商業服務、生產服務和管理服務等。從20 世紀90 年代開始，德國大規模職業教育研究計劃“工作與技術研究”把服務類職業分兩大類，即“針對人的服務”（personenbezogene Dienstleistung）和“針對技術生產的服務”（produktionsbezogene Dienstleistung），這種分類一直沿用至今。參見Rauner，F.，Grollmann，P.Eds.Handbuch Berufsbildungsforschung[M].Bielefeld: wbv，2018：571.