D-S證據(jù)理論在教師授課認(rèn)真程度綜合評價中的應(yīng)用*

◆布少聰 楊波

0 引言

高校教師教學(xué)評價是非常重要的一個教學(xué)環(huán)節(jié)，常用的評價方式是學(xué)生評價和督導(dǎo)組聽課評價二者結(jié)合。學(xué)生評價即學(xué)生在網(wǎng)上匿名一次性評價，打分受較大主觀因素影響，如課程難、教師要求高、不及格率高的課程，學(xué)生給的分?jǐn)?shù)往往偏低。督導(dǎo)組聽課一般1～2次，難以對一學(xué)期的教學(xué)作出全面評價，且非背靠背評分，評分難免主觀。兩種方式的評價意見均不夠具體，且兩項成績合成缺乏科學(xué)依據(jù)。

鑒于此，可以將教師授課認(rèn)真程度綜合評價和研究生學(xué)科核心課程檢測技術(shù)與自動化中的基于D-S證據(jù)理論的信息融合方法結(jié)合起來，作為課程的研究型設(shè)計報告，以全面評價教師的投入程度。以某教師授課情況作為研究對象，通過建立兩層評價指標(biāo)體系，由聽課教師或?qū)W生進行百分制的單項指標(biāo)評價，然后按不同的權(quán)重給定融合判定依據(jù)，采用D-S證據(jù)理論對教師授課質(zhì)量進行綜合評價，提供多角度的分析信息，使評價結(jié)果更具客觀性、科學(xué)性和有效性。

1 問題描述

基于D-S證據(jù)理論實現(xiàn)對教師授課認(rèn)真程度的評價，首先要構(gòu)建評價指標(biāo)體系、評定標(biāo)準(zhǔn)與規(guī)則和處理原始數(shù)據(jù)。

1.1 評價指標(biāo)與辨識框架

通過調(diào)研，將教師授課認(rèn)真程度的評價指標(biāo)設(shè)為八項，可理解為D-S理論中的“證據(jù)”；將這些指標(biāo)分為兩類，構(gòu)建兩級指標(biāo)評價體系，即完成兩次D-S證據(jù)理論信息融合。定義辨識框架Ω中包含A到E五個元素，表示從高到低的程度，用于評價各項指標(biāo)以及指標(biāo)最終合成的“認(rèn)真程度”。具體的指標(biāo)及評價等級描述如表1所示。表中的指標(biāo)說明如下。

表1 教師授課認(rèn)真程度評價項目

1）一級指標(biāo)“客觀狀況”下設(shè)五個二級指標(biāo)。

①出勤情況：參照學(xué)校關(guān)于教學(xué)事故的說明擬定。

②課堂不良行為發(fā)生率：參照學(xué)校關(guān)于教學(xué)事故的說明及教師規(guī)范擬定。

③知識信息量：教師在一堂課上講授有關(guān)課程主題的內(nèi)容多少，選擇用時間比例來衡量（與課程內(nèi)容相關(guān)的時間/一節(jié)課的總時間）教師在該節(jié)課中的真實工作量。

④授課形式：主要是描述教學(xué)手段是否多樣化。

⑤腦力負(fù)荷水平：腦力負(fù)荷（mental workload）可理解為人在單位時間內(nèi)的腦活動量、大腦資源占有率和信息處理能力等[1]，研究表明，該水平與工作投入度和工作能力掛鉤[2-3]，選用該指標(biāo)衡量教師一節(jié)課的工作投入與工作效能。

2）一級指標(biāo)“學(xué)生評價”下設(shè)三個二級指標(biāo)，每個學(xué)生僅以自身的感受作出評判。

1.2 情景假設(shè)與數(shù)據(jù)來源

本設(shè)計中假定每位教師一學(xué)期授64節(jié)課，并有100位學(xué)生參與評教。對于“客觀狀況”下屬的指標(biāo)，每節(jié)課進行一次評價，如此統(tǒng)計并分類得到64個評價結(jié)果。對于“學(xué)生評價”下屬的指標(biāo)用同樣的方式統(tǒng)計并分類得到100個評價結(jié)果。

對于“腦力負(fù)荷水平”這項指標(biāo)，可采用生理測量法完成，或通過主觀評價法[使用美國航空航天局提供的腦力負(fù)荷評價（NASA-TLX）量表和工作能力指數(shù)（WAI）量表]、主任務(wù)測量法、輔助任務(wù)測量法測評[2]。

2 綜合評價設(shè)計方法及實例分析

如上文所述，各指標(biāo)的評價結(jié)果統(tǒng)一到Ω=｛A,B,C,D,E｝中，數(shù)據(jù)合成過程使用到的方法如圖1所示。首先對原數(shù)據(jù)概率化，得到八項指標(biāo)m1～m8的基本概率分配矩陣，它以各指標(biāo)為行，以各等級評價為列；通過度量證據(jù)相似性獲得每個指標(biāo)的可信度，作為證據(jù)融合時的權(quán)重；再利用可信度權(quán)重對兩大類指標(biāo)分別進行第一次D-S證據(jù)理論融合，得出兩個一級指標(biāo)的基本概率分配M1和M2；之后利用信息熵獲取一級指標(biāo)權(quán)重，進行第二次數(shù)據(jù)融合；根據(jù)判定準(zhǔn)則分析最終概率分配，從而得出關(guān)于認(rèn)真程度的判定。

圖1 基于D-S證據(jù)理論的教師授課認(rèn)真程度評價方法流程框圖

2.1 原始數(shù)據(jù)概率化

每個指標(biāo)每個等級對應(yīng)的概率數(shù)即為該位置原始數(shù)字與測試總量之比。對于前五項，每個指標(biāo)的測試總量為64（課時數(shù)），后三項每個指標(biāo)的測試總量為100（參評學(xué)生數(shù)）。為方便后續(xù)計算與融合，遇到概率數(shù)為0時，將其改為0.000 001，同時將該指標(biāo)中最大概率減去0.000 001，以保證對后續(xù)影響最小。得到一個不含0值的8×5的概率分配矩陣Origin_matrix。

2.2 利用證據(jù)相似度獲取第一層次D-S證據(jù)合成時的權(quán)重

此處獲取權(quán)重并引入證據(jù)融合是為了緩解證據(jù)之間的沖突，權(quán)重采用度量證據(jù)相似性方法獲得[4]。利用證據(jù)間的關(guān)聯(lián)度，由證據(jù)可信度來確定證據(jù)權(quán)重，即若某個證據(jù)與其他證據(jù)的沖突較小，則可信度較高，權(quán)重較大。下面結(jié)合程序設(shè)計給出計算方法。

定義一個度量證據(jù)體間相似程度的證據(jù)距離函數(shù)來表示兩個指標(biāo)間的相似性：

該式計算的是歐式距離，值越小說明兩個證據(jù)之間越相似，沖突越小。

把每兩證據(jù)之間的距離值正則化，然后聚集起來構(gòu)成證據(jù)相似性距離矩陣：

利用信度函數(shù)confi=f(si)=(1-si)e-si計算每一個證據(jù)的可信度。可信度confi描述該證據(jù)的重要程度和融合結(jié)果的影響程度。用于計算可信度的信度函數(shù)應(yīng)選用單調(diào)遞減型，且值域配合定義域為（0,1），董增壽等[4]選擇上述指數(shù)關(guān)系函數(shù)。將同一證據(jù)集中的n個confi值聚合為矩陣，得到兩大類指標(biāo)對應(yīng)的可信度矩陣Conf11（1×5）和Conf12（1×3）。

按式（2）歸一化可信度形成證據(jù)權(quán)重：

由此得到兩大類指標(biāo)對應(yīng)的權(quán)值矩陣Weight11（1×5）和 Weight12（1×3）。

2.3 利用信息熵獲取第二層級D-S證據(jù)合成時的權(quán)重

第一層次D-S證據(jù)理論融合后，得到兩個一級指標(biāo)的基本概率分配M1和M2，由于融合證據(jù)數(shù)目較少，因此忽略沖突情況，而是基于人工智能領(lǐng)域中決策樹的相關(guān)知識，考慮用信息熵（Entropy）的概念來計算權(quán)重，每個證據(jù)的信息熵為：

熵描述了信息的純度，值越小表明系統(tǒng)越有序，信息確定性越大，其值介于“0到Ω中元素數(shù)”之間，因此根據(jù)這種關(guān)系計算權(quán)值：

每一層次得到權(quán)值后，按式（5）計算即可得到加權(quán)平均證據(jù)，之后可按照規(guī)則合成證據(jù)。

2.4 D-S證據(jù)理論合成規(guī)則

在這里仍然要列出D-S證據(jù)理論合成公式：

其中歸一化常數(shù)因子K為：

本設(shè)計兩次D-S證據(jù)理論合成均用到式（6）和式（7），并且在對照實驗中更是直接利用兩式對證據(jù)進行融合，因沒有計算權(quán)重，在后文中稱此為傳統(tǒng)方法。所有證據(jù)融合完成后得到最終的基本概率分配BPA，決策的基本原則是選擇BPA中擁有最大概率數(shù)的等級作為終期評價結(jié)果，即為A～E中的一個值，在此前提下細(xì)化規(guī)則如下。

1）若最大概率數(shù)與第二大概率數(shù)之差≥0.1，則認(rèn)為擁有最大概率數(shù)的等級占絕對優(yōu)勢，將該等級作為終期評價結(jié)果。

2）若最大概率數(shù)與第二大概率數(shù)之差＜0.1，則認(rèn)為兩者有比重相當(dāng)；若最大概率數(shù)所屬等級優(yōu)于第二大概率數(shù)所屬等級，則終期評價結(jié)果為“最大概率數(shù)所屬等級-”，反之則終期評價結(jié)果為“最大概率數(shù)所屬等級+”。

綜上，可能的評價結(jié)果有{A,A-,B+,B,B-,C+,C,C-,D+,D,D-,E+,E}共13種。

2.5 實例分析

以李老師為例，原始數(shù)據(jù)信息如表2所示，經(jīng)概率化并作非零值處理后的概率分配如表3所示。從直觀的角度看，李老師的授課認(rèn)真程度中等。

表2 李老師各項指標(biāo)原始評價統(tǒng)計信息

表3 李老師評價指標(biāo)的基本概率分配

可以看到m2與m1～m4存在相對最為嚴(yán)重的沖突，因此可以嘗試通過上文介紹的方法，獲得可信度權(quán)重來減弱m2對于合成結(jié)果的影響。計算得出各類矩陣：

各證據(jù)的可信度分別如下：

conf11和conf12值直接反映該證據(jù)對于其他證據(jù)的支持程度。conf11中的第一和第三個元素大小相當(dāng)，也就是m1與m3的支持度相當(dāng)，m4和m5是同樣的道理，但m2可信度明顯比其他四個指標(biāo)低，這符合原始數(shù)據(jù)中的沖突情況。而conf12中三指標(biāo)的可信度大小相差不大，結(jié)合其原始數(shù)據(jù)信息看，三證據(jù)的概率分布確實有相同的情形（C級概率均為最大，DE的概率數(shù)都接近0）。通過實驗驗證上文獲得的可信度權(quán)重是合理的。

第一層次數(shù)據(jù)融合時的各證據(jù)權(quán)重分別如下：

Weight11=[0.186 3 0.075 2 0.206 4 0.287 9 0.244 3]

Weight12=[0.312 3 0.357 0 0.330 7]

兩類別內(nèi)部各證據(jù)的加權(quán)平均基本概率分配為：

Mean_BPA11=[0.338 5 0.286 3 0.231 2 0.069 4 0.076 4]

Mean_BPA12=[0.223 1 0.235 8 0.484 7 0.049 8 0.006 6]

第二層次數(shù)據(jù)融合時的兩個一級指標(biāo)權(quán)重如下：

weight2=[0.474 5 0.525 5]

加入權(quán)重的方法與傳統(tǒng)方法在融合結(jié)果和評價結(jié)果中的差異如表4所示。

用傳統(tǒng)方法得到的認(rèn)真程度為B，加入權(quán)重后為C。如上所述，李老師的授課認(rèn)真程度中等，因此，加入權(quán)重的方法更適合評估教師授課認(rèn)真程度。從理論層面分析，是因為在第一層次證據(jù)融合中，m1～m5中的m2與其他證據(jù)沖突較大，若不加以緩解，就會出現(xiàn)傳統(tǒng)方法實驗結(jié)果BPA11_trad中極端的概率分配情況；設(shè)計中加入證據(jù)可信度權(quán)重后，BPA11的概率分配不僅值不再是極端接近于0或1，其總體分配也更符合原始數(shù)據(jù)帶來的直觀信息。

3 結(jié)束語

針對目前高校教師授課評價中存在的問題，本文利用研究生課程檢測技術(shù)與自動化中多元信息融合方法的授課內(nèi)容，以課程研究型設(shè)計報告的形式對教師授課認(rèn)真程度綜合評價進行研究。建立雙層評價體系指標(biāo)，從主觀和客觀兩方面制定多角度評價指標(biāo)，分別利用證據(jù)相似度和信息熵獲取第一層次和第二層次D-S證據(jù)合成時的權(quán)重，采用D-S證據(jù)理論對教師授課質(zhì)量進行綜合評價，對綜合評價的有效性進行驗證，評價結(jié)果更具客觀性、科學(xué)性和有效性。

表4 兩種方法的兩次證據(jù)融合結(jié)果與評價結(jié)果對比