基于動態業務流程的學科競賽創新評價體系設計

石 雷，徐 娟，畢 翔

（合肥工業大學 計算機與信息學院，安徽 合肥 230009）

0 引 言

在“大眾創業，萬眾創新”的背景下，以學科競賽驅動的人才培養方式正不斷受到高校師生的重視[1-2]。2018年2月，中國高等教育學會發布《2013—2017年中國高校創新人才培養暨學科競賽評估結果》，以“互聯網+”“挑戰杯”“ACMICPC大學生程序設計競賽”等19項賽事為主要依據，從4個維度進行綜合評價，最終給出中國高校的學科競賽排名榜單[3]。在這些工作的驅動下，全國高校對于競賽的重視也達到空前高度，各類校級、省級和國家級的各種專業、行業和綜合性的競賽如雨后春筍般生根、發芽。

1 安徽省計算機類競賽存在的問題

安徽省計算機類競賽基本是由安徽省教育廳主辦、安徽省計算機教育研究會承辦的。目前，安徽省高等學校計算機教育研究會承辦的計算機類省級賽事共有7項，分別是安徽省大學生程序設計大賽、安徽省機器人大賽、安徽省大學生數字媒體創新設計賽、安徽省大學生信息安全作品賽、安徽省大學生網絡攻防賽、安徽省大學生單片機與嵌入式系統應用技能競賽以及安徽省大數據技術與應用賽。

在這些競賽如火如荼開展的同時，保證競賽結果的公平公正是一個困難的議題，這里說的困難是指由于競賽本身具有的競賽形式的不確定性和競賽結果的主觀性而不可避免地造成公平公正評價的困難[4]。以數字媒體創新設計賽為例，由于參賽學校和隊伍數量眾多，有可能會需要經過校賽、初賽、決賽等幾輪評比，而究竟需要幾輪又是由當年參賽隊伍數量決定的，這就存在著競賽形式的不確定性；再如，信息安全作品賽要求參賽隊伍設計一個信息安全相關的作品并進行現場答辯，專家評委根據現場答辯情況進行打分，這就存在著專家評委對隊伍評價的主觀性。

以上問題并不完全是新問題，如對于競賽過程的幾輪評比方面，國內一些大型競賽（如“挑戰杯”全國大學生創業計劃競賽）都有較好的路程管理方法可借鑒[5-6]；在競賽結果的主觀性評價方面，可通過經典的層次分析法等數學手段進行處理[7-8]。然而，以上經典解決方案并不能直接使用于安徽省計算機類競賽，主要有兩個原因。①安徽省計算機類競賽種類較多，每種比賽的路程不盡相同，即便是同一類競賽，受每年場地、規模、時間等各方面因素的影響，其競賽形式也會有所變公，而傳統的競賽路程管理方法往往變通困難，無法適用于這種具有多樣性和經常變公的競賽形式；②安徽省計算機類競賽的評價方式各不相同，特別是通過專家評委打分決定最終成績的競賽，可能會有網評、現場答辯等不同階段，造成最終成績的計算和匯總工作量大，再垢慮到不同專家打分尺度的不一致性，還需要設計消減這種不一致性的手段，而傳統的主觀評價手段往往更關注于評分項目的有效設定上，對于這種不一致性的消減以及這種大工作量下的成績計算和匯總并不能很好地解決。

2 動態業務流程的體系構建

目前，安徽省高等學校計算機教育研究會承辦的7類計算機類競賽中，不同競賽的路程雖然各不相同，但總體上來說，都包括報名、審核、線上評審、現場決賽等步驟。表1給出料安徽省高等學校計算機教育研究會承辦的相關競賽路程安排情況。其中，“√”表示該路程必須有，“○”表示該路程可根據情況選擇是否采用，“◎”表示該路程可根據情況采用一至多次。以最復雜的多媒體類競賽為例，其操作路程變換情況如圖1所示。

由圖1可知，整個競賽從報名到公布結果，每一步路程都有許多需要垢慮的因素。報名時，需要設計簡單易用的方式讓系統在用戶報名的同時生成參賽教練及隊員的賬號；網評專家分配時，需垢慮雙盲評審、同單位回避、工作量平均等因素。同時，隨著競賽工作的不斷深入和延續，可以預見未來也會有新的競賽類型的加入。基于此，設計基于動態業務路程的系統數據庫實體關系圖，如圖2所示。

圖1 多媒體類競賽流程示意圖

圖2 基于動態業務流程的系統數據庫實體關系圖

圖2中，通過將競賽類型基本信息以樹形結構的形式存放在“競賽類型表”中，保證未來新競賽類型的順利加入；通過將競賽路程類型以數據字典的形式存放在“競賽路程建議表”中，保證競賽路程的動態變公；并通過對評分項目的動態設定（評分項目分項表）、權限角色的設定（權限關系表、角色設置表等）以及專家評審信息的動態分配（專家評選作品分配表、現場分組信息表等）等手段最終保證動態業務路程體系的順利構建。

3 創新評價算法設計

競賽中網評和現場成績采用專家根據評分項目打分的形式，不可避免會有主觀因素，因此，設計創新評價算法盡可能修正這種主觀因素造成的不公平，以網評的算法為例，具體設計如下。

傳統方式下，會將專家對某一作品的所有打分取平均，作為該作品的最終得分。定義為傳統方式下第個作品的最終得分，則有

不難發現，傳統方式下專家的主觀因素容易造成結果的不公平，如有的專家喜歡打高分，打的分數都在80分以上，并且有很多90分以上的；而有的專家喜歡打低分，打的分數普遍在70～80分。由于一般網評時每個作品分配的專家數量不會很多（通常d≤4），因此容易造成某個作品分配的專家都喜歡打高分，或者都喜歡打低分，使得該作品的最終得分偏高或偏低，進而導致隊伍之間得分的不公平性。為此，設計修正的創新評價算法如下。

注意到采用式（3）右邊第一項計算時，有可能會算出某些得分超過100分，因此對設置最大值100，以保證分數的合理性。經過如此調整，即可有效消除由于專家打分偏好而造成的不公平性，從而最終實現創新評價算法的設計。

4 結 語

基于動態業務路程的學科競賽創新評價體系的大學生競賽管理系統在安徽省計算機類學科競賽中得到料很好的應用，能有效提高競賽管理質量，提升競賽工作效果，保證競賽工作的公平公正性。目前，系統還在不斷使用和改進中，下一步計劃吸取更多先進的競賽管理和評價理念、手段，融入基于動態業務路程的學科競賽創新評價體系中，并在軟件平臺里予以體現，以期取得更好的效果。