基于三角模糊層次分析法的航海類專業MOOC質量評價研究

李 軍 成 利

（武漢船舶職業技術學院，湖北武漢 430050）

我國是貿易大國，也是航運大國，航運業承擔著我國對外貿易90%的運輸量和國內貿易50%的運輸量[1]。在推動航運業可持續發展進程中，航運人才是重要力量，航海職業教育是不可缺少的重要環節。當前我國有近54萬高級船員服務于國內外船東，在船船員的職業培訓一直是航運界關注的話題，如何提高培訓質量，滿足船員個性化學習要求，是航海類職業院校近年來思考的重要課題，MOOC 的發展為解決此類問題提供了契機，航海職業院校紛紛開發建設MOOC，但大量重復建設的MOOC 存在同質化、低質化現象。為保證MOOC 質量，建立合適的MOOC 質量評價體系，構建科學合理的評價模型，幫助提高MOOC 質量顯得尤為重要。

1 MOOC質量評價文獻綜述

經過文獻檢索，發現現有MOOC 質量評價都是在網絡課程、精品課程質量評價的基礎上發展起來的，主要有實驗法、觀察法、分析法和指標體系評價法等，指標體系評價法客觀性好、容易操作，近年來已成為眾多學者研究的對象。部分學者在運用指標體系評價法時，注重評價指標體系的構建，陳永平[2]構建了傳統教學、MOOC與SPOC相結合的教學質量評價指標體系；部分學者不僅注重評價指標體系的構建，還確立各層指標權重，童小素等[3]借鑒網絡課程評價標準，綜合各方面因素建立MOOC 質量評估指標體系，并應用層次分析法確立指標權重；張巖等[4]構建了層次分明、結構清晰的MOOC 質量評價體系，并用Matlab 軟件計算各個指標權重；部分學者不滿足上述研究，引入模糊綜合評價數學模型對指標體系展開評價，李加軍等[5]學者構建了3 層結構的MOOC 質量評價指標體系，利用層次分析法確定各層指標權重，應用模糊綜合評估模型對MOOC 質量進行綜合評估；趙馨蕊等[6]建立了大學物理MOOC 質量評估指標體系，并用模糊綜合評價法對3 所大學的大學物理MOOC 進行綜合評判；還有部分學者借鑒了工程領域的綜合評價方法，建立起多種類型的綜合評價模型，姚凱[7]應用層次分析法構建MOOC質量評價指標體系，并用Vague集的相似度量法建立了評價模型；岳進等[8]設計多層次的MOOC適切性評估指標體系，以區間數理論為基礎采用群決策法建立了MOOC適切性評估模型。

綜上所述，學者們在運用指標體系評價法時，普遍先建立評估指標體系，然后用層次分析法計算指標權重，再應用各種類型的綜合評價模型進行評價，得出一個量化評價結果，但是研究的深度仍然不足。當對兩個指標衡量重要性時，層次分析法并沒有考慮專家在知識、閱歷及經驗上的差異，專家賦值過于絕對，忽視了指標權重和指標值的不確定性因素，影響評價結果的科學性、合理性。

鑒于此，本研究引入模糊數學理論改進層次分析法，運用三角模糊層次法TEAHP 確定指標權重，相較于層次分析法不僅充分考慮了專家賦值的模糊性，還省略了判斷矩陣一致性檢驗程序，促使群決策法具有良好的容錯性，如此評價的結果才更為科學、合理。

2 MOOC質量評價指標體系的構建

構建科學、合理的評價指標體系是開展MOOC 質量評價的基礎，評估指標的遴選和構建除了需要考慮教育部頒布的《網絡課程評價規范（CELTS-22）》，還需借鑒國內外學者對MOOC質量研究的優秀成果。陳永平等[2]學者將“課程設計”、“課程運用”、“課程教學”“課程學習”和“課程管理”作為一級指標，下設20 個二級指標，一級指標的設置僅考慮了“教”的維度；童小素等[3]將“課程內容”、“教學設計”“學習支持”列為一級指標，下設26個二級指標，二級指標過多，評價時容易丟失指標信息；李加軍等[5]將“教學評價”、“教學過程”、“導航設計”“課程內容”作為一級指標，下設16 個二級指標，從“教”與“平臺”兩個維度設置一級指標，缺少“學”的維度，指標設置不甚全面；趙馨蕊等[6]將“教學隊伍”、“教學目標”、“教學方法”、“教學內容”“教學活動”、“教學評價”作為一級指標，下設16 個二級指標，一級指標較多并且僅以“教”的維度設置，指標設置不合理；姚凱[7]將“課程內容”、“界面設計”、“課程管理”、“教學設計”、“媒體技術”作為一級指標，下設23 個二級指標，二級指標較多，結構不合理；岳進[8]等將教學內容、教學方式、評價方式和技術手段作為一級指標，下設20 個二級指標，一級指標設置沒有考慮學生學習感受。

綜上，以上學者以不同視角構建的MOOC 質量評價指標體系，具有極大地參考價值，但是也存在評價指標層次不清晰、結構不合理、覆蓋不全面、重視“教”、忽略學習體驗和平臺設計、沒有考慮專業特點等問題。為此，為提高航海類專業MOOC質量，經過咨詢MOOC 開發專家和比較現有評價指標優缺點，構建一套航海類專業MOOC 質量評價體系，如圖1所示。

圖1 航海類專業MOOC質量評估指標體系

該指標體系從教師、學生和平臺三個維度對MOOC 質量進行評價，遴選的指標充分考慮了學校屬性、專業特點和學生的學習體驗，該指標體系按照指標屬性不同，具有三層結構特征，分別由3個一級指標、11個二級指標和29個三級指標組成。

對MOOC進行質量評價，需要確定評價等級，本研究將MOOC 質量優劣劃分為5 個等級，分別為優秀、良好、中等、及格和待提高，對應評價集為Z=｛Z1，Z2，Z3，Z2，Z5｝。為了適于三角模糊層次分析法和群決策的MOOC質量評價模型，需對評價等級進行量化處理，“優秀”、“良好”、“中等”、“及格”和“待提高”對應的量化區間分別為：[100，90]、（90-80]、（80-70]、（70-60]和（60-0]。

3 基于TFAHP確定指標權重

MOOC 質量評價指標體系為多維度、多層次體系，并且各級評價指標都屬于定性指標。傳統的層次分析法確定指標權重時，沒有考慮專家在知識、閱歷和經驗上的差異，過于絕對，認為因素之間相對重要性只有一種情況。本研究引入模糊數學理論改進層次分析法，運用三角模糊層次分析法（TFAHP）計算指標權重，相較于層次分析法（AHP）更加充分考慮了專家賦值的模糊性，有效彌補了傳統的AHP在模糊決策上的缺陷。

3.1 三角模糊數和TFAHP的基本原理

由于三角模糊數能夠有效地表達難以用精確數值描述的信息，因此，在解決不確定多屬性決策和不確定性評價問題時，三角模糊數應用廣泛。設M為實數域R上的一個模糊數，當M的隸屬函數（從R到[0,1]上的連續映射）滿足

那么M就是一個三角模糊數，即為M=[l,m,u],其中l 為下限值，m為中值，u為上限值。因為層次分析法無法計算模糊型評價指標的權重，因此，在層次分析法的基礎上逐漸演化成三角模糊層次分析法（TFAHP），兩者基本原理類似，主要區別為TFAHP 用三角模糊數代替實數構造判斷矩陣，以三角模糊數運算法則計算權重，計算結果用三角模糊數形式呈現，最后，轉換為實數權重。

步驟1：邀請MOOC開發專家對k層n個指標進行兩兩比較，并用三角模糊數賦值，當專家給出模糊判斷后，就可構建模糊判斷矩陣:，其中和uij分別為三角模糊數的悲觀值、可能值和樂觀值，多名專家的模糊評判結果可以運用三角模糊數運算法則求平均值作為綜合三角模糊數。

步驟2：依據三角模糊數定理：

其中i，j=1,2,3…n，計算第k層第i個指標的綜合模糊權重，同理也可以求出同一層第j個指標的綜合模糊權重。

步驟3：依據三角模糊數定理：

步驟4：根據三角模糊數定理：

將三角模糊數權重轉化為實數權重，最后歸一化處理得到第k層指標權重Wk。

3.2 評價指標權重的確定

依據上述介紹的TFAHP 計算指標權重的方法。首先在廣泛征求MOOC開發專家基礎上構建MOOC 質量一級評價指標三角模糊數判斷矩陣，如表1所示。

表1 一級評價指標三角模糊數判斷矩陣

接著運用三角模糊數運算法則求平均值得綜合三角模糊數判斷矩陣，然后根據公式（2）求出一級指標綜合三角模糊數權重，再依據公式（3）（4）求得一級指標實數權重WU=（0.25,0.60,0.15）。同理可以得到二級指標實數權重和三級指標實數權重，如表2所示。

表2 各級指標實數權重

4 基于TFAHP和群決策的MOOC質量評價模型

前面構建了MOOC 質量評價的多屬性、多層次指標體系，應用TFAHP計算出三級指標的三角模糊數權重和實數權重，下面將三角模糊數、AHP和群決策理論相結合，構建基于TFAHP和群決策的MOOC質量評價模型，具體步驟如下：

步驟1：在廣泛征求MOOC 開發專家基礎上，構建MOOC質量評價指標體系。

步驟2：依據TFAHP 方法及步驟構造評價指標三角模糊數判斷矩陣，依次計算MOOC 質量評價指標體系中的k 層指標三角模糊數權重和實數權重Wk。

步驟3：邀請y名由MOOC開發專家和學生組成的評價團隊，然后請評價團隊根據評語集對k 層的第i 個指標進行評價，如果有x名專家認為第i個指標屬于評語等級Zh，則其隸屬于評語等級Zh的隸屬度為：，其中i=1,2,3…n，h=1,2,3…5，如此可以求得第k層所有指標隸屬度，再歸一化處理就可以建立第k層模糊評判矩陣。

步驟4：求出k層全部指標的權重Wk和建立起k層模糊評判矩陣Rk后，根據矩陣的乘法運算法則Sk=Wk?Rk就可計算k 層指標評價結果，逐層向上計算直到最終結果S。

5 實例驗證

下面以某高職在超星平臺建設的某專業課程為例，實例驗證基于三角模糊層次分析和群決策的MOOC評價模型的科學性、合理性和實用性。

邀請MOOC 開發專家和學習該MOOC 的學生代表組成100 人的評價委員會。首先對第三級指標相對于評價集的符合性進行定性評價，然后依據MOOC質量評價模型的步驟3，用群決策的方法將定性評價轉化成隸屬度，再歸一化處理即可建立第三級指標模糊評價矩陣。如表3所示：

表3 三級指標模糊評價矩陣

根據MOOC質量評價模型步驟4，在求得三級指標實數權重和建立三級指標模糊評價矩陣的基礎上，用矩陣乘法運算計算出評價結果，三級指標評價結果如下：

三級指標評價結果也是二級指標隸屬度，同理可以求得二級指標評價結果，如下：

6 分析評價結果

最終評價結果量化值為：Su?D'=77.9，對應“中等”等級，完全符合實際情況，該課程在2021年度學校組織的評審中榮獲校級精品在線開放課程，但是距離省級精品在線開放課程有一定差距，距離國家精品在線開放課程有很大差距。

同理，除了對最終評價結果進行量化分析外，還需要對各級指標評價結果進行量化分析，方便建設者準確地了解MOOC 建設的優點和不足，從而發揚優點改進不足，提高MOOC 建設質量。其它各級指標評價結果量化值及評價等級，如表4所示。

表4 各級指標評價結果量化值及評價等級

由表4 可知，“新穎性”指標量化值為“72.26”評價等級為“中等”，其原因在于課程內容陳舊，與現代化的智能柴油機脫節，不能體現近幾年船舶智能柴油機的科研成就；“主持人”量化得分“77.39”評價等級為“中等”，其原因在于主持人為非雙師型教師，雖然學歷較高，但是碩士研究生畢業后一直在學校任教，未曾到航運企業實習，實踐經驗不足，另外主持人為講師職稱，在本專業科研能力方面略顯不足；“教學方法”得分“73.48”，究其原因，在于課程團隊教師在授課時較少采用項目驅動教學法，多采用傳統授課法，傳統教學法已經無法激勵學生學習興趣；“教學內容”得分“72.81”，主要原因在于教學內容中缺乏航海文化元素，缺乏利用文化育人，培養學生人文素養的環節；“學習任務”量化得分“76.22”，被評為“中等”，其原因在于教師安排的學習任務較單一，除了課后作業、視頻瀏覽外，缺乏輔助材料的學習，單元測試也缺乏；“生生協作”評分“76.37”，評級“中等”，其原因在于教師授課內容理論偏多，較少安排實驗環節，學生缺少互相協作操作大型船舶設備的機會；“學情反饋”得分“78.99”，評級“中等”，課程團隊在超星平臺建設課程，雖然平臺能自動計算作業、測試完成率、及格率，包括每道題正誤率，但是課程團隊較少審閱這些數據，不能及時反饋學情，無法形成正反饋；“存在感”得分“72.76”，得分較低，究其原因主要在于學生在學習圈存在感較低，一方面學生缺乏學習主動性，交流的主動性，另一方面教師跟學生交流溝通較少，導致學生存在感低；“滿意度”得分“76.67”，評級為中等，表明仍有一部分學生學完后對課程不甚滿意，需要課程團隊后期與學生加強溝通，了解原因查找不足；“深層次思考”得分較低“70.76”分，主要在于課程服務的對象為在職船員，普遍缺乏深度學習能力，缺乏知識遷移能力，因此該項目得分較低，后期需加強學員學習能力培養；“解決現實問題能力”評分“70.86”，得分較低，在于學員在成長過程中，家長著重文化學習，缺乏生活體驗，導致學員專業知識不能與日常生活中需要解決的問題結合在一起；“學習導航”得分“76.89”，評級“中等”，在于超星學習通平臺為新開發的網絡學習平臺，雖然基本功能齊全，但是在菜單布置、導航設計方面還有不符合人機工程學的地方；“顏色搭配”得分較低“70.67”，究其原因在于超星學習通網頁設計方面不注重顏色搭配、畫面沉悶，不符合視覺習慣，學習者長期學習會感覺視覺疲勞；“特色功能”得分最低“66.46”，評級及格，雖然超星學習通平臺基本功能健全，能滿足教師開發課程及學員在線學習基本需求，但是與國外主流網絡學習平臺比較，仍然缺乏“個人學習空間、學習痕跡追蹤、筆記功能”等特色功能，雖然具備防作弊功能，但是使用效果不佳，需要后期完善。

7 結語

MOOC 質量評價是促進MOOC 質量提高的重要手段，本研究針對MOOC 質量評價指標所具有的多屬性、多層次、不確定性和模糊性特點。首先采用三角模糊數和層次分析法相結合的方法計算出MOOC質量評價指標的三角模糊數權重和實數權重，解決了以往層次分析法計算指標權重模糊性不足的缺陷，然后提出運用群決策的方法計算指標隸屬度，構建模糊評價矩陣，最后構建了基于三角模糊層次分析法和群決策法的MOOC質量評價模型。實例驗證了MOOC質量評價模型的科學性、合理性和可操縱性，為解決類似的多屬性、多層次、不確定評價問題提供了一個新的思路和方法，也為提高航海類專業MOOC建設質量提供理論依據。