基于證據推理的高校人才培養質量評價系統研究*

鐘金宏，黃 玲，李興國，牛曉玲

（1．合肥工業大學管理學院，安徽合肥230009；2．解放軍電子工程學院，安徽合肥230037）

基于證據推理的高校人才培養質量評價系統研究*

鐘金宏1，黃 玲2，李興國1，牛曉玲1

（1．合肥工業大學管理學院，安徽合肥230009；2．解放軍電子工程學院，安徽合肥230037）

本文分析了高校人才培養質量監控與評價方面的研究進展。采用面向互聯網的W eb應用程序架構，設計了一個涵蓋內部教學質量和外部人才培養質量評估的高校人才培養質量監控與評價系統，并詳細分析了系統的具體組成。全面使用證據推理方法體系，建立了各類人才培養質量評價模型，給出了系統實現方案。

人才培養質量；監控與評價系統；證據推理方法

教育部于2003年啟動了五年一輪的本科教學評估，以加強對人才培養質量的評估與監控。同時，學校為保證教學質量和實時監控，需要建立常態的教學質量保障系統。本文提供了一個高校人才培養質量監控與評價系統的設計及實現方案。它可以動態檢測與評價各類教學活動及其責任主體的質量，及時獲取外部對人才培養質量的評價；通過集結內外評價，對學校工作提供指導或導向。

一、研究現狀分析

現代高等教育評估最早可追溯到1845年Mann用學生測量分數來評價一所學校的教學質量。[1，2]目前這方面的研究主要有：

在指標體系研究上，很多研究集中在教學質量監控體系的構建原則和總體設計方面，其中有一般性論述，也有針對具體類型高校和教學實體的。[3-5]涉及的各類具體指標體系可歸類為：課程教學質量指標體系和教師評價、實踐教學質量監控指標體系、就業與外部評價。[6-8]從文獻可看出，目前的指標體系大都偏向課堂教學、教師教學等某一方面，缺乏面向教學、學生和管理人員三方面的綜合監控與評價體系，難以全面評價高校的人才培養質量。

在高校人才培養質量監控與評價系統建設方面，很多研究限于系統架構和分析設計，且主要側重于某單一責任主體、載體和單一教學環節；實際系統的研發少，且大都功能單一，還沒有面向教師、學生和管理人員的涵蓋所有教學活動的全過程、全方位的人才培養質量監控與評價系統；部分研究關注了系統的具體實現技術，如數據倉庫、數據挖掘、.NET、ASP、Web數據庫等技術在監控與評價系統中的應用。[9,10]

此外，部分作者研究了國外的高教評估情況，意在為國內高教評估提供借鑒和啟示。[11-13]相當多文獻介紹了高校在教學質量監控與評價方面的實踐情況。[14-17]在評估理論與方法方面，主要有ISO9000質量管理體系、齊次馬爾可夫鏈分析法、層次分析法、模糊綜合評價和證據推理方法等在高校教學質量監控與評價中的應用研究。[18-20]

二、系統架構及組成

為適應信息系統軟件的發展趨勢和信息收集發布的便利，高校人才培養質量監控與評價系統采用面向互聯網的Web應用程序架構。為實現充分利用現有的信息數據，以及與現有信息管理系統的無縫連接，開發基于XML的信息交換組件。系統結構如圖所示。

圖 高校人才培養質量監控與評價系統

1.人機交互接口系統

信息采集、處理和轉換系統收集政府評估、中介評估、社會評價、用人單位評價，以及來自其他信息管理系統的信息，支持手工輸入、專用接口導入和網上收集。采集的原始數據經處理、轉換由基礎數據庫管理系統存入基礎數據庫。

在其他監控和評價系統中，各種質量的信息輸入主要采取用戶習慣的方式，用圖表實現，盡量做到準確、直觀和有自我查錯能力，避免模型輸入錯誤。質量評價結果主要以分布式方法描述，以圖表形式展示。數據庫、模型庫、方法與知識庫管理系統也將以專用人機接口實現，避免直接修改數據庫以增強系統容錯能力。

2.數據、模型、知識和方法庫

基礎數據庫和現有數據庫能互相兼容和通訊。除了從現有數據庫中提取、挖掘和整理的數據外，它主要用來存貯和管理與責任主體和教學活動質量相關的原始信息。基礎數據庫管理系統除能提供常用的數據庫管理功能外，還應該能和模型數據庫、知識與方法數據庫通訊，為其提供必要的原始信息，同時負責與人機接口和顯示模塊的通訊。

模型庫用于存貯質量評價模型的結構及運行模型所必需的知識和信息。模型數據庫用來存貯評價責任主體和教學活動質量所需要的當前輸入信息和相應的評價結果。模型庫管理系統用來構建、修改和更新模型結構和相應的模型數據庫，并負責和基礎數據庫的雙向通訊，即從基礎數據庫獲取模型所需的輸入信息，同時向基礎數據庫輸出質量評價結果。

該系統需要應用多種方法進行數據處理、信息轉換、知識推理和決策支持。例如，傳統的統計方法；決策理論中的規范化方法，以用來對數據進行歸類和預處理；證據推理方法中的數據轉換技術，以處理不精確信息和知識的綜合問題，并產生質量的結果分布。這些方法將組成專有方法庫和知識庫，并與相應模型庫中的模型結構相鏈接以實現這些方法的功能。方法庫和知識庫管理系統負責方法的構建、修改和更新。

3.監控與評價系統的功能模塊

（1）教學活動質量監控與評價系統。教學活動按其性質可分為公共基礎課程教學、專業課程教學、實踐教學和創新性教學。該系統實時地評價和產生各類教學活動的質量分布，以準確和全面地指出教學活動中可能存在的質量問題和嚴重程度；并可產生、分析和評價不同的質量改進方案和估計可改進的程度，從而避免因盲目而制定不切實際或不必要的質量改進方案。

（2）責任主體評價系統。教學活動責任主體可分為人員和機構兩類。面向人員的責任主體包括教師、學生和管理人員；面向機構的責任主體包括學院（系）、系（教研室）和教學管理部門。該系統產生各責任主體在各指標層次上的教學質量水平分布和量化評分。分布式評價能夠對各主要管理環節及方面做出全面客觀的評估，指出各責任主體在教學質量及其管理上的主要薄弱環節和需要改進的方面。

（3）社會和用人單位評價系統。社會評價主要涉及學生、家長和市場等方面的評價，主要是學校聲譽和印象方面的，感性部分較多。用人單位評價比較實際、客觀，參考價值大。該系統給出社會和用人單位對學校人才培養質量的評價分布。

（4）內部、外部及內外綜合評價系統。在教學活動及其責任主體的教學質量評價的基礎上，進行校級內部評估，判斷學校教學工作的整體運作態勢，對全校的人才培養過程及其質量進行全面的綜合診斷，找出存在的問題，為學校相關決策提供依據，并建議改進方案。外部評估可看作是政府、社會、市場、畢業生和家長等對高等教育質量的監控，不具實時性，所得結果有助于學校培養社會需要人才；通過集結得到學校外部對人才培養質量的評價分布。綜合內部、外部的評價結果，給出某高校人才培養質量的評價分布，生成評價結果的解釋；比較學校內外部對人才培養質量的評價，對學校工作提供指導或導向作用。

三、系統實現方案

1.數據收集、處理、歸化及數據庫準備工作

為實現前述系統，大量工作將用于支持每一個目標的數據收集。為了收集教學質量指標的相關數據，將充分利用高校原有信息管理系統積累下的數據，如畢業生跟蹤系統，以及學校積累的紙質數據；同時將采用調查問卷、網上信息收集、電話和電子郵件等多種方式采集信息。對收集的信息進行統計、量化分析和分類，建立了質量信息關鍵詞的數據庫。

關鍵詞組織采用逐級下拉層次結構，每一級關鍵詞都是人才培養質量水平評價的內容，只是不同層級的關鍵詞反映的是不同的管理深度，只有針對不同層級的關鍵詞進行統計、量化分析和模型計算，才能根據不同需要有層次地（或在不同層面上）提出不同的評價和改進措施或要求。

在網絡平臺和信息源分類數據庫建立后，需要將日常監督工作中發現的質量問題錄入到數據庫，在統計質量問題數量的同時將不同質量問題反映的質量管理水平進行等級化或量化，綜合質量問題數量后，將綜合信息作為源信息（或不同數學模型的輸入）提供給各類人才培養質量水平評價模型。

2.基于證據推理方法的評價模型建立

在人才培養質量的指標體系上，主要參考國內外高校和教育部門的相關評估標準和模型。國內將主要參考教育部的 《普通高等學校本科教學工作水平評估指標體系》以及相關學者研究成果。國外擬參考芬蘭ADULT學校、美國卡內基·梅龍大學和杜克大學等在教學質量評價方面的做法，亦參考美國、英國和德國等高教發達國家的政府及民間機構的一些做法。在對機構評估時，將參考和借鑒歐洲質量管理委員會的標準模型，即EFQM模型，雖然它是面向歐洲企業的綜合質量評估。擬基于XML技術先構造一個基本的指標體系描述文件，再采用繼承遞增模式產生各類教學活動的指標體系描述文件。

采用證據推理方法體系作為建立人才培養質量評價模型的理論基礎。證據推理方法的核心是采用基于評價準則的分布式置信結構建模，并運用概率統計和人工智能中的近似推理方式進行多指標綜合。這種建模與分析的特點是質量管理水平能夠客觀、準確和透明地評價成基于所規定準則的分布，這種分布可以在質量評價指標的各個層次產生并可以進一步量化成評分。這種分布與評分相結合的評價方法既有助于產生真實、可信和全面的質量評價結果，又能輔助識別哪些方面需要改進以提高質量。即該質量分布具有可追溯性和解釋性，可一直追溯到最底層的質量關鍵詞，利于找出問題所在，避免改進方案的盲目性。

在評價標準或依據建立上，由于各個學校的定位不同、培養目標不同，所以對學生的知識、能力素質的要求不一樣，擬采用用戶設定或用戶初始化來解決。在質量等級與指標分類、分級間的關系上，考慮到人才培養質量評價的方法、過程和結果同時具有定性和定量的特點，采用證據推理多指標決策方法中的置信結構作為基本形式，對這類復雜評價問題進行信息收集、整理和歸類，將原始信息和數據轉換成證據推理方法所要求的信息結構，建立教學質量評價信息庫。

采用證據推理方法中的證據合成算法，直接利用置信結構進行人才培養質量的推理評估；利用證據推理方法中的基于規則和基于效用的信息轉換技術，實現各層次間質量評估的傳遞。這樣可以全面有效地利用各類指標的檢驗過程和結果，以避免信息損失和變形，保證人才培養質量評估的完整性、合理性和可靠性。

建立人才培養質量評估模型的另一個步驟是估計各類指標在相應評估層次上所起的相對作用。可以想象，各類指標所起作用的程度不會完全相同，因此，需要通過系統調查分析，建立各級各類指標的相對權重和可能的變化區域。

四、結束語

為實現校內教學質量的監控與評價，獲取并集結校外對人才培養質量的評價，本文設計了一個高校人才培養質量監控與評價系統的框架，分析了其詳細組成。全面使用證據推理方法體系，給出了該系統的實現方案。系統本身適用高校本科人才培養質量監控與評價，通過擴展（指標體系、模型），系統可實現對研究生培養質量的監控與評估；實現的基于證據推理的質量評估方法適用于各種領域的質量評估。☉

[1]張慧潔,袁海軍.高等學校教育評估概述[M].香港:雅園出版公司,2000:10-17.

[2]趙鐵.“水平評估”對教學質量監控體系構建的啟示[J].高教論壇,2006(1):35-39.

[3]韓理安,張斌,劉紹勤.高等教育教學質量監控體系的總體設計[J].中國高教研究,2002(12):77-78.

[4]任文濤.高等學校教學質量監控與評價體系的若干思考[J].教育理論與實踐,2007,27(4):6-7.

[5]陳慧,張曉珠,劉濟科.研究型大學本科教學質量監控體系構建與探索[J].高等理科教育,2006(1):7-10.

[6]張麗娜.北京理工大學課堂教學質量監控體系的建立與實踐[J].北京理工大學學報(社會科學版)2007,9(5):116-117.

[7]彭文博.實踐教學質量監控體系的實踐與探索[J].實驗室科學,2006(2):11-13.

[8]余新麗,費毓芳.構建新的高校就業工作評價體系[J].高等農業教育,2004(4):79-82.

[9]陳德良.高校質量管理信息系統關鍵技術研究[J].(中國)教育信息化,2006(11):39-41.

[10]趙秀峰.基于ASP和W eb數據庫的高校教學質量評價系統的設計與實現[J].中國教育信息化2007(7):54-55.

[11]劉紹勤,韓理安.國內外教學質量監控與評估的比較研究及啟示[J].中國高教研究,2002(5):51-52.

[12]劉拓.國外高校教學質量監控體系分析及啟示[J].高等理科教育,2006(1):83-86.

[13]史秋衡.美國社區學院教學質量監控體系的結構及設計思想[J].高等教育研究,2006,27(8):91-96.

[14]朱永江.構建高校內部教學質量監控體系的探索[J].高教發展與評估,2005,21(1):51-52.

[15]楊小慧,魏紅.北京高等學校教學質量監控與評價現狀分析[J].高等理科教育,2005(1):34-38

[16]陳新民.新建本科院校教學管理制度改革的思考和實踐[J].中國大學教學,2005(12):47-49.

[17]高海生.高等教育教學質量保障監控體系的構建與實踐[J].教育研究2006(10):89-92.

[18]冉寶春,魏建軍.我國高校建立ISO 9000質量管理體系的誤區分析[J].清華大學教育研究,2004,25(6):43-46.

[19]張镅.齊次馬爾可夫鏈分析法在教學效果綜合評價中的應用[J].合肥工業大學學報(自然科學版)1999,S1:162-165.

[20]Y.M.W ang,J.B.Yang and D.L.Xu.The Evidential Reasoning Approach for Multiple Attribute Decision Analysis Using Interval Belief Degrees[J].European Journal of Operational Research2006,175(1):35-66.

（編輯：金冉）

G642.0

B

1673-8454（2010）13-0080-03

安徽省高等學校省級教學研究重點項目（2008jyxm047），合肥工業大學教學研究項目（XJ2009015）。