CMMI度量和分析過程域在高校評教系統中的應用研究

吳亞軍

江蘇教育學院如皋分院 如皋高等師范學校 江蘇如皋 226500

1 引言

從我國高等學校教育發展的客觀要求來看，建立一套健全的科學化、規范化和制度化的教育教學質量監控與評價系統是高校教育教學自身發展的客觀要求，是確保高校教育教學質量必不可少的環節。本質上，由于教學因素的多樣性、教學內容的可擴展性、專業內涵的復雜性，導致客觀評價標準的模糊性。教學質量監控和評價需依賴一套科學的質量標準體系，用于檢測高校教育的規律性、統一性和可度量性。

我國的高校教育信息化評教起步時間不長，對于高校的信息化評價方法和評價指標的研究較少，缺乏系統和科學的體系以及量化的指標框架。高校現有的監督測評研究較為零散，因此迫切需要建設教育教學監督測評的體系和度量方法，對高等教育信息化水平、發展進程、存在的問題進行量化的反映與評價，以便更清楚地了解高等教育信息化的現狀，研究高等教育信息化發展的規律[1]。

2 基于CMMI度量和分析過程域的評教系統建立要點

CMMI全稱是Capability Maturity Model Integration，即系統工程和軟件工程的成熟度模型集成，是由美國國防部與卡內基—梅隆大學和美國國防工業協會共同開發和研制的。CMMI是一套融合多學科的、可擴充的模型集合，其研制的初步動機是為了利用兩個或多個單一學科的模型實現一個組織的集成化過程改進[2]。

MA PA（Measurement and Analysis Process Area， 度量和分析過程域）是CMMI模型的一個過程域，它的目的是開發和維持一個用于支持組織信息需要的度量能力。在CMMI系統里，這個過程域包括：2個SG（Specific Goal，具體目標），有8個SP（Specific Practice，具體實踐）；2個GG（Generic Goal，通用目標），1個GG2通用目標有10GP（Generic Practice，通用實踐），1個GG3通用目標有2GP[3]。

在這些目標和實踐里，作為度量和分析的框架系統，將其運用在教育教學的評測系統中，考慮可摘取采用的MA要點：1）詳細說明度量和分析的目的，使其與已標識的信息需要和目的一致；2）詳細說明度量、數據采集、存儲機制、分析技術及報告和反饋機制；3）實現數據的采集、存儲、分析和報告；4）提供可用于作出可靠決策的客觀結果，并采取適當的糾正行動。

將度量和分析活動與教學活動的其他過程集成，并支持：1）客觀的教學計劃和估計；2）按已制定的教學計劃和目的跟蹤實際的性能；3）標識和解決與過程相關的問題；4）提供將度量合并到未來的附加過程中去的基礎；5）度量能力可以集成到單獨的教學項目中或者集成到其他組織級功能中（比如質量保證）；6）度量活動剛開始集中在單課程。然而，在處理系級或者院校級信息需要方面，度量能力是很有用的，課程教學可以把特定的課程相關數據和結果存放在課程專用的倉庫中。當數據在課程之間廣泛共享時，數據要存儲在院校級評教度量倉庫中。

MA過程域的關鍵要點在對應高等教育信息化綜合評價系統時，出發點考慮的是一個立方體結構，將嚴謹的CMMI的科學模型中剝離MA過程域的要點運用在評教系統上，需將具體的過程域內的活動和具體目標以及通用目標轉換成評價系統的框架，然后可將國內高校評教的重點關注指標如教學態度、教學內容、教學方法、教學手段、教學內容的組織、語言表達、課堂管理、教學效果衍生開來，作為實踐與目標中的具體指標。

計量教學目的與教學活動，提供計量的評價結果，制度化一個已管理的過程，制度化一個已定義的過程等，是高校評價系統的方式與方法，但也完全可與CMMI MA的具體目標與通用目標映射。所以，引入該科學模型的度量和分析過程域作為高校的科學評教系統，是完全具有探索意義的[3]。CMMI度量圖如圖1所示。

3 過程域與教學度量監督評測系統的映射

圖1 CMMI度量圖

SG指的是在執行或實現某一個過程域的時候需要達到的目標，即過程域的目標。SP指的是執行或實現某一個過程域的時候需要執行的所有實踐活動，即過程域的實踐活動。

在MA里，SG1是協調度量和分析活動：度量的目的和活動要與已標識的信息需要和目的相一致。在CMMI模型里，這是個特定目標下的特定實踐，在建立高校評度量監督與評測系統目標時，可遵照其模型中的本意，運用在評測系統中，提前考慮詳細說明度量和分析規程的必要準則。還同時考慮有關評測數據采集和存儲規程的約束。在專注于度量規格說明、數據采集或數據存儲之前，詳細說明要進行的基本分析通常是很重要的。

SP 1.1 建立度量目的：建立和維護從已標識的信息需要和目的導出的度量目的。在評測系統中，可以裁減為度量的目的來源，可以是教學管理、課程大綱、傳授技術等方面的需要，度量的信息需要和目的來源可包括：對應的教學計劃、教學質量監督，對教師和其他同行、學生的訪談，已建立的管理目的、教學大綱、教學技術、教案準備、外部的教學基準、教學改進計劃、授課學時、關于監督的課程信息、關于學生授課滿意度量表、可追蹤性及其有關信息。對應的子實踐分別為：1）將信息需要和目的文檔化；2）對信息需要和目的進行優先級排序；3）將度量目的文檔化、評審和更新；4）必要時，為細化和澄清信息需要和目的提供反饋；5）維護度量目的與已標識的信息需要和目的之間的可跟蹤性。

SP 1.2 詳細說明度量：詳細說明度量來處理度量目的，通常使用派生度量的例子。這里可以采用具體教學指標量表來代替，如[4]：1）每周課程學習所投入的時間；2）學習開始前對課程的興趣；3）教師激發學生興趣的效果；4）教師對學生學習的支持（如郵件、約見、電話等形式）；5）課程對智力的挑戰；6）課程學習收獲；7）教師對不同性別、能力等學生的尊重；8）學生建設性評論。

派生度量通常表示為比率、復合指標或其他累計度量。它們通常比用于產生它們的基本度量有更加量化的可靠性和有意義。

SP 1.3 詳細說明數據采集和存儲規程：詳細說明如何獲得和存儲度量數據。模型中過程域的本實踐可直接采用，主要為高校信息化建設相關采集方法的詳細規格說明，有助于確保合適地采集正確的數據。還可能進一步幫助澄清信息需要和度量目的，適當地注意存儲和檢索規程，有助于確保數據在將來是可用的和可訪問的。

SP 1.4 詳細說明分析規程：詳細說明如何分析和報告度量數據。預先指定分析規程，確保執行了適當的分析和報告來處理已文檔化的度量目的。這個方法還提供了對數據是否按事實采集的檢查。評價系統中典型的工作產品相似，為分析規范和規程、數據分析工具。在子實踐中，通常要考慮的問題包括：1）選擇可視化顯示和其他展示工具，比如餅圖、條形圖、直方圖、散點圖或表格等；2）選擇適當的描述統計學，比如算術平均值、中值或模式（教學評測量表）；3）當不可能或不必要檢查每個數據元素時，關于統計采樣準則的決策；4）關于如何在缺少數據元素時進行分析決策；5）選擇適當的分析工具。

評價進行度量和分析的準則包括：1）遺漏的或已標記為不一致的數據量是否超出指定閾值；2）在采樣中是否存在有偏見的選擇（比如只調查感到滿意的）；3）最終用戶來評價滿意度，或者只評價不成功項目；4）度量數據是可重復的（比如在統計上是可靠的）；5）已經滿足統計假設（比如關于數據的分布或關于合適的度量刻度）。

在度量和分析過程域MA里，SG2提供度量結果：提供度量結果以處理已標識的信息需要和目的。在高校的評測系統中，映射為進行度量和分析的主要原因是教學的需要和目的?；诳陀^證據的度量結果，有助于監督教學質量、完成教學大綱計劃、教學任務、知識體系的掌握和創新性，作出正確的管理和技術決策以及采取適當的糾正行動。

SP 2.1 采集度量數據：獲得特定的度量數據。

SP 2.2 分析度量數據：分析和解釋度量數據。

SP 2.3 存儲數據和結果：管理和存儲度量數據、度量規格說明和分析結果。

這里的子實踐需要強調的是評審數據，確保數據的完備性、完整性、準確性和及時性，使存儲的內容僅被適當的小組和個人使用，防止不適當地使用數據和相關信息的例子，包括對數據存取進行控制，并教育人們適當地使用數據。不適當地使用的例子包括：1）將提供的保密信息泄露；2）基于不完全的、過時的語境或易誤解的信息，對信息作出錯誤解釋；3）將度量用于不適當地評價人員或項目的性能；4）對特定的個人進行片面的評價。

在評測系統中，評教管理者、評教主體和評教客體之間存在明顯的信息不對稱。管理者和評價操作人員一方面要注意引導參與評測的教員或學生，正確認識并掌握評價標準；另一方面要幫助他們做出自己的判斷，不受其他因素的干擾。

SP 2.4 交流結果：給所有有關的項目相關人員報告度量和分析活動的結果。鑒于評教結果具有一定的私密性，管理者在反饋評教結果信息時可以采取比較謹慎的方式，根據教師和學生對評估結果關心側重點的不同，有區別地進行反饋。學生評教結果如果不能及時反饋給學生，勢必會使學生產生懈怠與厭煩情緒。從權利與義務的對等原則來看，學生提出擴大自己信息知情權的要求也是合理的。

在高校的評價體系中，還可將模型的通用目標引入加以應用。通用目標指的是在完成一系列過程域具體目標之前首先需要達到的目標。可以通俗地理解為通用目標就是“為（具體）目標而（制定的）目標”。

GG2概念為制度化一個已管理過程：將該過程制度化為一個已管理過程?？蓪⑵湎碌?0個通用實踐轉換為評價系統的通用實踐：GP 2.1 建立一個院校級教學管理方針；GP 2.2計劃該過程；GP 2.3 提供資源；GP 2.4 分配職責；GP 2.5培訓人員；GP 2.6 管理配置；GP 2.7 標識和引入有關的教職人員；GP 2.8 監督和控制該過程；GP 2.9 客觀地評價符合性；GP 2.10 由校領導評審狀態。

GG3概念為制度化一個已定義過程：將該過程制度化為一個已定義過程?？蓪⑵湎碌?個通用實踐轉換為評價系統的通用實踐：GP 3.1 建立一個已定義過程，建立和維護已定義的度量和分析過程的描述；GP 3.2 采集改進信息，根據教學計劃和執行度量和分析過程的情況，采集教學教案、度量結果以及教學改進信息，以便院校級在今后的使用過程中進行改進。

通過映射比對，可以看出CMMI模型的度量和分析過程域，絕大部分的具體目標與具體實踐和高校的評價系統是可對應的，并且在評測和度量的框架中，要求的通用目標和通用實踐考慮得更為全面和細致，對單科的教學評測和高校整體的組織評測都有很強的借鑒意義。

4 SG1協調度量和分析活動的SP在評教系統中的運用

由于評價具有導向功能，高校在教學效果評價中關注什么，教師也就會在教學過程中注重什么。這種以教師為中心，以課堂教學為主要內容的評價，必然導致教師僅僅在如何改善講授方法和技巧上下功夫，力求語言流暢，重點突出，融會貫通。如何在關注教學目標達成的同時，對教學效果進行客觀的評價，并且立足于教學對學生思維能力、分析能力、創新能力的有效質量指標評測，即對學生各種能力的形成進行評測？這將打破舊的評價標準，通過對學生學習的興趣激發，課程中的聯動，對課程的評價納入教學質量的管理中來。

本部分提出對課程教學效果、質量的度量。引用度量模型中的效率指標，轉變為確定相關學生評教中的教學質量的測試方法，并以客觀的方式解釋測量結果。

4.1 統計公式說明

Amin=MIN(Ai),(i=1～n)，表示Amin是A1, A2, … ,An中最小的一個值。

4.2 滿足度公式說明

1）基本滿足度公式?；緷M足度采用測量值與期望值相比較的形式，其基本形式為：其中，Y為教學效果指標滿足度，X為教學效果指標度量值，R為教學效果指標期望值。對不同的教學效果指標，有時滿足度小于1時，表示滿足學生的教學期望，且越小越好；有時大于1時，表示滿足學生的教學期望，且越大越好。應此，為了方便對度量進行評價，進而有了歸一化滿足度，使得對于度量值有了統一的評價。

2）歸一化滿足度公式。按照教學效果指標的目標類型的不同，效果目標表現為3種不同的方式。其中，Rmin為期望的教學效果指標最小值；Rmax為期望的教學效果指標最大值；X為效率指標度量值，Y為效率指標歸一化滿足度。

①期望值為Rmax的情況：

效率指標歸一化滿足度的取值范圍被規范到-1～1之間。當歸一化滿足度大于等于0時，表示該指標滿足用戶的效率目標，且越接近1，滿足的程度越高；當歸一化滿足度指標值小于0時，表示該指標不滿足用戶的效率目標，且越接近-1，不滿足的程度越高；而當歸一化滿足度等于0時，表示指標正好滿足用戶的效率目標。

然而，評價的取值范圍被規范到-1～1之間，并不易于理解，所以有了以下的滿足度評價公式。

3）滿足度評價公式：

其中，E為滿足度評價，為100分值。60分以下為不合格，60～70分為合格，70～80分為中，80～90分為良，90～100為優。以此采用學生評教方式對教學滿意度進行測評。

5 結論

CMMI模型的度量和分析過程域經過改良，是適用于高校信息化評測系統的?？山梃b模型中度量和分析內容的合理因素，完善我國高校學生評教指標系統。

1）確定高校評測系統的度量目的，以各個指標的代入，以培養學生的學習能力等主體能力為目標，考核具體的教學活動，確定考核方法和指標。對高校常見的考核手段和量表等采集方式作了更規范的數據采集、存儲和分析，并定義了度量和過程。

2）明確了采集和分析的度量數據，管理和存儲數據，并報告度量結果，可規范促進者的行為評價。對教學組織形式合理性評價、師生關系評價、作業及考試環節評價、課程教材與資料的作用評價、學生學習投入和效果的自我評價也給出可借鑒的制定目標實踐。

3）詳細說明評價分析結果以及進行度量和分析活動的實用性準則，評價分析結果的實用性的準則在具體的子實踐中都有包括。

4）評價進行度量和分析的準則包括：遺漏的或已標記為不一致的數據量是否超出指定閾值，在采樣中是否存在有偏見的選擇（比如只調查感到滿意的）；學生來評價教學的滿意度，或者只評價教學質量較差的課程，來確定整體的學校教學水平。度量數據是可重復的（比如在統計上是可靠的），已經滿足統計假設（比如關于數據的分布或關于合適的度量尺度）。

5）結果：能及時提供；是可理解的；用于制定決策，執行其工作的成本比它所提供的效益要少。

因此，將度量和分析過程域運用于高校信息化評測系統的方法是切實可行的。

[1]朱桂娟.教育信息化水平測評方法研究[J].科技進步與對策,2004(5):127-129.

[2]Capability Maturity Model? Integration: Version 1.1(SWCMMI)[M].Pittsburgh, PA: CMU/SEI,2002.

[3]Ahern D M,等.CMMISM精華：集成化過程改善實用指南[M].1版.周伯生,等,譯.北京:電子工業出版社,2001.

[4]陳曉端.美國大學學生評價教學的理論與實踐[J].比較教育研究,2001(2):29-32.

[5]GB/T 16260.2.軟件工程 產品質量,第2部分:外部度量(ISO/IEC TR9126-2:2003)[S].北京:中國標準出版社,2006.