關于“雙向評價系統”的質量控制

摘要:結合“雙向評價系統”開發，從質量控制的角度出發，在指標體系、評價項目、數據合成、時限要求四個方面采取了一些控制措施，針對每一方面的特點和實際需要，就具體做法進行了介紹。

關鍵詞:雙向評價;質量;控制

On Quality-control of Two-way Evaluation System

HUANG Ying-tang， CAO Meng， MEI Lin

(Medical Training Brigade， Xi’an Land Force Academy， Hutubi 831200， China)

Abstract: Combining with the development of Two-way Evaluation System and considering the quality-control， we take some measures in four aspects including quota system， evaluation items， results composition and time limit， and introduce specific practice in accordance with feature and practical require of each aspect.

Key words: two-way evaluation; quality; control

開發“雙向評價系統”的主要目的是為方便教學雙方開展互相測評和信息交流搭建技術平臺，通過此平臺的搭建，為教學管理部門提供有價值的數據。但如何保證所提供的數據客觀真實和準確可靠，是軟件開發人員首先應考慮的問題。

所謂質量控制，就是針對軟件的功能特點和評價任務需求，在軟件開發時刻意設置的技術手段和有效措施。通過這些技術手段和措施的設置，以切實保證所提供數據資料的可信度和實用價值[1-3]。

“雙向評價系統”涉及諸多要素和環節，科學區分這些要素，準確把握這些環節，根據這些要素和環節的不同，選準質量控制點，并有針對性地采取質量控制措施加以嚴格控制是極為重要的。本文結合該軟件的質量控制實踐，介紹一些具體做法，僅供大家參考。

1 評價指標體系的質量控制

所謂評價指標體系的質量控制，就是在所涉及的評價指標體系中設置相應的質量控制措施。加大對評價指標體系的質量控制，是保證評價質量的前提。評價指標體系的質量控制，要做到通盤考慮，統籌設計，不能顧此失彼。評價指標體系是“雙向評價系統”設計的主體，只有把評價指標體系的質量控制擺到優先考慮的位置，采取全面有效的質量控制措施，才能保證整體評價質量的真實可靠。

對于評價指標體系而言，只要抓住權重、評價等級、等級系數這3個重要環節，緊緊圍繞這3個關鍵點采取相應措施，就能夠最大限度地滿足其質量控制需要。之所以如此考慮，是因為權重起著對指標體系的整體控制作用，評價等級起到對某一評價點的控制功能，等級系數決定著對某一評價點的具體區分。因此，要想加大對指標體系的質量控制，就必須把權重、評價等級、等級系數作為一個有機整體，放在同樣重要的位置，加以統籌考慮。

我們的具體做法:一是對評價所涉及到的理論教學、實驗教學、教案設計、課件制作4大類14種評價指標體系，統一設置了權重;二是對每項評價標準或評價點，設計了A、B、C、D 4個評價等級;三是在設置評價等級的同時，還設計了與之相匹配的等級系數，等級系數采用固定模式，統一規定等級系數為:A=1.0、B=0.8、C=0.6、D=0.4。受篇幅限制，圖示從略。

2 評價項目設置的質量控制

所謂評價項目設置的質量控制，就是對評價所涉及的評價項目要事先經過縝密設計，以最大限度地滿足評價需求。評價項目決定評價范圍，只有做到評價項目設置的系統完整，才能確保評價范圍的深度和廣度;評價項目的設置要有依據可查，要得到專家的認可，經過實踐檢驗;評價項目的設置要事先經過周密設計，不能任意設項，更不能隨意杜撰，自行擴展;評價項目要能體現上級的評價意圖和導向，反映院校建設的現狀和愿景，滿足教學評價的需要和訴求。正因如此，只有把評價項目的質量控制措施做到位，才能實現預期的評價效果。

系統采用的用以對教學質量進行評價的項目包括:課堂理論教學、實驗教學、教案設計、課件制作和教學優勝獎評比等。我們所設置的這些評價項目，是根據教學評價需要而設計的，是經過全校專家嚴格論證和幾輪次評價實踐所檢驗的。在確定評價項目的同時，還將由誰評價這些項目一并進行考慮。從這個意義上講，參評對象的選擇和組合，同樣也決定著評價項目的評價質量。為了加大對評價項目的質量控制，我們采取的辦法是，把評價項目的設置與參與評價人員的授權緊密結合起來，只有得到授權的評價人員才能對相關項目進行逐項評價。

系統根據有權限的用戶要求，對所有項目進行原始記錄顯示和總評分統計，也可以對各評價指標進行等級評價命中率統計。根據系統設計，在評價項目中，用以綜合匯總結果生成的項目是必評項目。用于教學質量評價結果匯總的有以下4個方面:①用于專家、同行、領導、學員的理論、實驗、教學課件評價;②用于專家、同行、領導的教案評價;③用于教學優勝獎綜合匯總的專家的理論、教案、課件評價;④用于教學優勝獎綜合匯總的學員理論評價。見圖1(圖中只顯示①-②，③-④未顯示)。

3 評價數據合成的質量控制

所謂評價數據合成的質量控制，就是在評價數據合成時對不同角色權重的分配或分值比例要有所區別?？紤]到參評人員對教學情況熟悉程度的差異，不能把不同角色的權重分配或分值比例按照同一個標準對待，必須根據不同角色的身份確定其權重分配或分值比例，只有如此，才能保證所有評價數據的客觀公正。

根據教學評價實際需要，我們把參與評價的人員分為專家、同行、學員和領導4種類型，這4類人員在教學評價中所起的作用、所扮演的角色是不同的有所區別的。從現代教育學的觀點出發，教學評價必須尊重專家教授、同行和學員的意見，把發揮專家教授、同行和學員在教學評價中的主導作用放在重要位置。正是基于這種考慮，我們在合成各類參評人員的評價數據方面，采取了一些措施。

教學質量評價結果的數據合成，主要包括理論教學、實驗教學、教案設計、課件制作4個方面，我們采取的具體辦法是，分別按照專家0.25、同行0.2、領導0.05、學員0.5的權重或分值比例對4個方面的數據進行綜合匯總。為了保證數據合成的完整，各評價數據應該全面，如果缺少其中一項評價數據，在計算匯總結果時，將會缺失某項分值，從而影響總評得分。上述權重值也可根據院校實際，進行必要的調整，但無論如何采取平均計算的辦法是不可取的。當然，可以肯定地講，如果不設置這一環節，必將會影響整體評價結果。見圖2。

4 評價時間限制的質量控制

所謂評價時間限制的質量控制，就是要求參評人員必須在規定的時限內完成特定的評價任務、并錄入評價數據。對評價時間的限制，是確保評價數據保持其原始性的重要環節，只有保持評價數據的原始狀態，才能保證評價數據的真實性和可靠性。

為了加大對評價時間的質量控制，我們采取了以下措施:一是規定以48小時為時限，即要求評價人員在參加某項評價后48小時內完成相關數據的錄入，在48小時內參評人員可以修改認為不合適或不準確的數據，超過48小時系統將自動鎖定;二是與此同時，系統自動顯示評價人員錄入數據的具體時間;三是要求參與評價的人員必須完成每周一次的評價任務(如課堂聽課)。采取這種措施的最大優點是，可有效地防止和避免不按規定要求實施常規性評價、搞臨時性突擊、甚至造假數據的弊端。見圖3。

參考文獻:

[1] 黃應堂，姚亞軍，高永峰.教學督導質量控制研究與實踐[J].醫學教育，2003，195(3):11-12.

[2] 黃應堂，梅冠廷.教師考評質量控制研究與實踐[J].西北醫學教育，2006，14(3):299-301.

[3] 黃應堂，高永峰，任芳寧.信息化教學建設的質量控制[J].中國醫學教育技術，2008，22(4):317-320.