俞婉琦 吳夢(mèng)吟 李秀央
摘要:目的:構(gòu)建研究生學(xué)位論文質(zhì)量評(píng)價(jià)指標(biāo)體系,改進(jìn)現(xiàn)有評(píng)價(jià)標(biāo)準(zhǔn)。方法:邀請(qǐng)12名相關(guān)領(lǐng)域?qū)<易鳛檎{(diào)查對(duì)象,應(yīng)用Delphi法對(duì)初步構(gòu)建的研究生學(xué)位論文質(zhì)量評(píng)價(jià)指標(biāo)體系進(jìn)行3輪咨詢,利用層次分析法確定指標(biāo)權(quán)重并建立綜合評(píng)價(jià)模型,同時(shí)采用秩和比綜合評(píng)價(jià)法進(jìn)行實(shí)測(cè)評(píng)價(jià)以分析指標(biāo)體系的科學(xué)性。指標(biāo)體系的信度評(píng)價(jià)采用Cronbach α系數(shù),效度評(píng)價(jià)采用探索性因子分析方法。數(shù)據(jù)分析采用IBM SPSS 20.0統(tǒng)計(jì)軟件,以P≤0.05為具有統(tǒng)計(jì)學(xué)意義。結(jié)果:本研究構(gòu)建了由9個(gè)一級(jí)指標(biāo)和52個(gè)二級(jí)指標(biāo)構(gòu)成的指標(biāo)體系。指標(biāo)體系整體內(nèi)部一致性信度高(Cronbach α=0.902),探索性因子分析共提取6個(gè)因子,分別命名為“文字表述”、“研究方法”、“資料分析”、“寫作規(guī)范”、“文獻(xiàn)綜述”、“選題”,累計(jì)貢獻(xiàn)率為50.32%。該指標(biāo)體系的實(shí)測(cè)評(píng)價(jià)結(jié)果與秩和比綜合評(píng)價(jià)法結(jié)果呈正相關(guān)(r=0.942,P<0.05);秩和比綜合評(píng)價(jià)法回歸方程為R?譓R=0.100+0.080×Probit,根據(jù)Probit值將實(shí)測(cè)對(duì)象分為優(yōu)秀、良好、及格和不及格四檔。結(jié)論:本研究建立的指標(biāo)體系專家認(rèn)可程度高,整體信度較好,結(jié)構(gòu)效度尚不理想,且與傳統(tǒng)的秩和比綜合評(píng)價(jià)法結(jié)果一致性高,說明該指標(biāo)體系整體上科學(xué)、合理、有效,具有應(yīng)用價(jià)值。
關(guān)鍵詞:學(xué)位論文;質(zhì)量評(píng)價(jià);層次分析法;綜合評(píng)價(jià)
中圖分類號(hào):G642.477 文獻(xiàn)標(biāo)志碼:A 文章編號(hào):1674-9324(2018)35-0037-05
研究生學(xué)位論文(Graduate Degree Thesis)是高等學(xué)校或研究機(jī)構(gòu)的研究生為取得學(xué)位,在導(dǎo)師指導(dǎo)下完成的科學(xué)研究、科學(xué)實(shí)驗(yàn)成果的書面報(bào)告。其作為連接理論和實(shí)踐的紐帶[1],是研究生就學(xué)期間最重要的一項(xiàng)任務(wù),它不僅匯聚了研究生對(duì)所學(xué)知識(shí)的理解和運(yùn)用,更反映了研究生的工作實(shí)踐能力和科研技術(shù)水平,是衡量高校研究生培養(yǎng)水平最重要的標(biāo)志[2]。因此,如何科學(xué)、客觀地評(píng)價(jià)研究生的學(xué)位論文質(zhì)量至關(guān)重要。目前國內(nèi)高校現(xiàn)行的學(xué)位論文質(zhì)量評(píng)價(jià)方法存在評(píng)價(jià)指標(biāo)粗略、評(píng)分標(biāo)準(zhǔn)模糊、受評(píng)審專家主觀因素影響較大等問題[3-5],急需一套客觀、科學(xué)、全面的指標(biāo)體系和評(píng)價(jià)方法。本研究在深入了解研究生學(xué)位論文的特點(diǎn)及內(nèi)涵的基礎(chǔ)上,運(yùn)用Delphi法、層次分析法及秩和比法建立學(xué)位論文質(zhì)量評(píng)價(jià)的指標(biāo)體系和綜合評(píng)價(jià)模型,為研究生學(xué)位論文質(zhì)量評(píng)價(jià)提供標(biāo)準(zhǔn)和測(cè)量工具。
一、對(duì)象與方法
1.對(duì)象。根據(jù)Delphi法開展研究,邀請(qǐng)符合以下條件的12名相關(guān)領(lǐng)域的專家作為調(diào)查對(duì)象。
(1)從事高等教育或科研工作10年及以上。
(2)中級(jí)技術(shù)職稱及以上,碩士學(xué)歷及以上。
(3)對(duì)本研究積極性較高,愿意參加2—3輪專家咨詢。
(4)愿意支持研究生學(xué)位論文質(zhì)量評(píng)價(jià)研究,能夠從不同視角提供意見及建議。
2.方法。
(1)指標(biāo)篩選。本研究在2016年3—10月期間采用Delphi法對(duì)達(dá)到入選標(biāo)準(zhǔn)的專家進(jìn)行三輪問卷調(diào)查,調(diào)查采用面呈及電子郵件的形式進(jìn)行。專家資訊問卷采用李克特5點(diǎn)量表的形式,5分為“絕對(duì)必要”,4分為“必要”,3分為“無所謂”,2分為“不必要”,1分為“絕對(duì)不必要”。專家意見的集中和離散程度通過專家打分的滿分頻率(K)、算術(shù)均數(shù)■、標(biāo)準(zhǔn)差(s)、變異系數(shù)(CV)進(jìn)行評(píng)價(jià)。對(duì)指標(biāo)按如下規(guī)定進(jìn)行篩選:①滿分頻率K≥50%,認(rèn)為該指標(biāo)必要程度高,可保留。②某項(xiàng)指標(biāo)得分的算術(shù)均數(shù)■≥4,認(rèn)為必要程度高;3≤■<4,結(jié)合滿分頻率和變異系數(shù)判斷是否剔除;■<3,剔除該指標(biāo)。③某項(xiàng)指標(biāo)變異系數(shù)CV≤0.25,認(rèn)為專家意見一致性較好;CV>0.25時(shí)結(jié)合滿分頻率和算術(shù)均數(shù)判斷是否剔除該指標(biāo)。
(2)權(quán)重確定。本研究利用層次分析法(Analytic Hierarchy Process,簡(jiǎn)稱AHP)確定指標(biāo)權(quán)重,采用1—9Saaty標(biāo)度,根據(jù)Delphi法得出的專家對(duì)各指標(biāo)的重要性賦值均數(shù)進(jìn)行兩兩比較(見表1)。假設(shè)Zij、Zik分別為某一層次中任意兩個(gè)指標(biāo)的重要性分值,根據(jù)兩者的差值確定Saaty標(biāo)度的規(guī)定如下:若0.25≥Zij-Zik,Zij與Zik同樣重要,Saaty標(biāo)度取1;若0.25 根據(jù)上述規(guī)則,構(gòu)造各層指標(biāo)的判斷矩陣,確定指標(biāo)權(quán)重,并檢驗(yàn)其邏輯一致性。 (3)實(shí)測(cè)評(píng)價(jià)。本研究以2008—2015學(xué)年的研究生學(xué)位論文作為實(shí)測(cè)對(duì)象。其中,國內(nèi)碩博論文通過浙江大學(xué)圖書館購買的中國知網(wǎng)(CNKI)數(shù)據(jù)庫進(jìn)行檢索,國外研究生學(xué)位論文通過OADT國際碩博學(xué)位論文發(fā)現(xiàn)系統(tǒng)獲得。 樣本含量計(jì)算公式如下:n=■×deff (1) 式中π=50%,α=0.05,允許誤差δ=10%π,復(fù)雜抽樣的隨機(jī)效應(yīng)deff=1.5。 本研究采用分層隨機(jī)抽樣法,國內(nèi)研究生學(xué)位論文根據(jù)研究生的學(xué)科、導(dǎo)師職稱、學(xué)位名稱、出版時(shí)間進(jìn)行分層隨機(jī)抽樣;國外研究生學(xué)位論文按研究生的學(xué)位名稱和出版時(shí)間進(jìn)行分層。 (4)統(tǒng)計(jì)方法。采用Epidata3.1建立研究生學(xué)位論文實(shí)測(cè)評(píng)價(jià)數(shù)據(jù)庫。計(jì)量資料如服從正態(tài)分布,以x±s表示,否則M(QR)表示,計(jì)數(shù)資料用頻數(shù)、率和(或)構(gòu)成比表示。專家咨詢采用Delphi法,確定權(quán)重采用層次分析法(AHP),綜合評(píng)價(jià)采用秩和比法(RSR),調(diào)查表的信度檢驗(yàn)采用Cronbachα系數(shù),效度評(píng)價(jià)采用探索性因子分析方法。層次分析法計(jì)算指標(biāo)權(quán)重采用YAAHP10.5軟件,數(shù)據(jù)統(tǒng)計(jì)采用IBM SPSS Statistics 20.0統(tǒng)計(jì)分析軟件,以P<0.05為差異有統(tǒng)計(jì)學(xué)意義。
(5)質(zhì)量控制。數(shù)據(jù)采取雙錄入,所有評(píng)閱文章均由作者按統(tǒng)一的調(diào)查表進(jìn)行評(píng)閱,并由另一作者復(fù)核,如兩者評(píng)閱結(jié)果不同則由項(xiàng)目小組進(jìn)行討論決定。
二、結(jié)果
1.咨詢結(jié)果可靠性分析。
(1)專家的基本情況。本研究共邀請(qǐng)了12位專家進(jìn)行問卷咨詢,其中男性10名,女性2名,平均年齡(51.0±8.4)歲,均滿足中級(jí)職稱以上、與相關(guān)專業(yè)領(lǐng)域相關(guān)等基本要求。專家的主要領(lǐng)域是衛(wèi)生統(tǒng)計(jì)學(xué)(33.3%)、流行病學(xué)(25.0%)、勞動(dòng)衛(wèi)生學(xué)、社會(huì)科學(xué)、全球定位系統(tǒng)、預(yù)防醫(yī)學(xué)、中醫(yī)學(xué)。在教學(xué)科研單位工作的有11人,占91.7%;醫(yī)療機(jī)構(gòu)1人,占8.3%。各專家對(duì)于研究生學(xué)位論文的質(zhì)量評(píng)價(jià)的熟悉程度均較高。
(2)專家的積極系數(shù)。專家積極系數(shù)以問卷回收率表示。第一輪函詢發(fā)放問卷12份,回收有效問卷12份,有效回收率為100%;第二輪函詢發(fā)放問卷12份,回收有效問卷12份,有效回收率為100%;第三輪函詢發(fā)放問卷12份,回收有效問卷12份,有效回收率為100%。
(3)專家意見協(xié)調(diào)程度。專家意見協(xié)調(diào)程度以肯德爾系數(shù)表示。三輪專家咨詢的專家評(píng)分協(xié)調(diào)系數(shù)如表3所示。三輪咨詢的專家協(xié)調(diào)系數(shù)依次為0.313(χ2=326.366,P<0.01)、0.192(χ2=154.318,P<0.01)、0.267(χ2=151.224,P<0.01),均具有統(tǒng)計(jì)學(xué)意義。
2.指標(biāo)體系及權(quán)重確定。
(1)指標(biāo)篩選。第一輪專家咨詢問卷包括9個(gè)一級(jí)指標(biāo)、88個(gè)二級(jí)指標(biāo),以本輪專家咨詢打分結(jié)果為基礎(chǔ),結(jié)合專家對(duì)指標(biāo)所提的意見,共剔除了20個(gè)指標(biāo),調(diào)整1個(gè)指標(biāo),得到新的指標(biāo)體系,共包括9個(gè)一級(jí)指標(biāo)和68個(gè)二級(jí)指標(biāo),并以此為依據(jù)制定第二輪專家咨詢表。結(jié)合第二輪專家咨詢結(jié)果,共剔除3個(gè)重復(fù)指標(biāo)和1個(gè)必要程度低的指標(biāo),得到由9個(gè)一級(jí)指標(biāo)和64個(gè)二級(jí)指標(biāo)組成,并以此為依據(jù)制定第三輪專家咨詢表。第三輪專家咨詢后剔除5個(gè)必要程度低的指標(biāo),合并6個(gè)重復(fù)指標(biāo),剔除2個(gè)重復(fù)指標(biāo),將一級(jí)指標(biāo)“文獻(xiàn)綜述”整體調(diào)至一級(jí)指標(biāo)“討論”之后、一級(jí)指標(biāo)“其他注意問題”之前,使評(píng)分順序與閱讀順序相符,同時(shí)修改部分指標(biāo)表述方式,使語義一致。最終得到由9個(gè)一級(jí)指標(biāo)、52個(gè)二級(jí)指標(biāo)構(gòu)成的研究生學(xué)位論文質(zhì)量評(píng)價(jià)指標(biāo)體系。
(2)權(quán)重確定。根據(jù)專家對(duì)各指標(biāo)的重要性賦值均數(shù)構(gòu)建判斷矩陣,計(jì)算各級(jí)指標(biāo)權(quán)重及組合權(quán)重,最終指標(biāo)體系的權(quán)重設(shè)置、指標(biāo)評(píng)分標(biāo)準(zhǔn)見表4。其中,各級(jí)指標(biāo)判斷矩陣的一致性比例CR均小于0.1。
3.實(shí)測(cè)評(píng)價(jià)。
(1)指標(biāo)體系信度。本研究共抽取642份研究生學(xué)位論文進(jìn)行實(shí)測(cè)評(píng)價(jià),指標(biāo)體系整體Cronbach α系數(shù)為0.902,各一級(jí)指標(biāo)的信度見表5。
(2)指標(biāo)體系效度。為判斷觀測(cè)變量是否適合做因子分析,首先進(jìn)行適當(dāng)性檢驗(yàn),結(jié)果顯示KMO=
0.825,Bartlett球形檢驗(yàn)P<0.001,表明指標(biāo)間存在公共因子,適合進(jìn)行因子分析。采用最大方差正交旋轉(zhuǎn)法分析結(jié)構(gòu)效度,以特征根值λ>1的標(biāo)準(zhǔn)提取因子,共提取6個(gè)因子,累計(jì)貢獻(xiàn)率為50.32%,見表6。
(3)秩和比法評(píng)價(jià)結(jié)果。將642篇實(shí)測(cè)論文按52個(gè)指標(biāo)得分由低到高分別排秩,計(jì)算得到無量綱統(tǒng)計(jì)量秩和比(Rank Sum Ratio,RSR),根據(jù)RSR由高到低將實(shí)測(cè)論文進(jìn)行排序。計(jì)算得到回歸方程:R?譓R=
0.100+0.080×Probit,方程決定系數(shù)R2=0.953,F(xiàn)=
13090.709,P<0.001。根據(jù)回歸方程將實(shí)測(cè)對(duì)象進(jìn)行分檔,Probit>6.50為優(yōu)秀,5.00 (4)綜合評(píng)價(jià)結(jié)果相關(guān)性分析。綜合以上兩種綜合評(píng)價(jià)模型結(jié)果,本研究制定的研究生學(xué)位論文質(zhì)量綜合評(píng)價(jià)模型與秩和比法的排序結(jié)果不完全一致,但將兩種方法得到的排序結(jié)果進(jìn)行相關(guān)性分析,得到綜合評(píng)價(jià)模型與秩和比法的相關(guān)系數(shù)r=0.942,P<0.05,可以認(rèn)為兩種方法的排序結(jié)果呈正相關(guān)。 三、討論 1.指標(biāo)體系的科學(xué)性。本研究構(gòu)建了一套由9個(gè)一級(jí)指標(biāo)和52個(gè)二級(jí)指標(biāo)構(gòu)成的研究生學(xué)位論文評(píng)價(jià)體系,其理論框架、形成過程、指標(biāo)篩選和權(quán)重配比均具有一定的科學(xué)性。首先,本研究以研究生學(xué)位論文質(zhì)量要求、寫作規(guī)范為導(dǎo)向,以研究生學(xué)位論文的構(gòu)成要素為基礎(chǔ),從科研設(shè)計(jì)的原則和要素的角度出發(fā),構(gòu)建了一套條目較為細(xì)致、評(píng)價(jià)標(biāo)準(zhǔn)相對(duì)客觀的指標(biāo)體系,與以往的研究有較大的不同[6-8]。其次,本研究先后采用了文獻(xiàn)研究法、Delphi法和層次分析法建立指標(biāo)體系和綜合模型,并首次采用秩和比法對(duì)研究生學(xué)位論文進(jìn)行了質(zhì)量評(píng)價(jià),這些方法均較為成熟,所得結(jié)果可靠。最后,指標(biāo)篩選和權(quán)重計(jì)算結(jié)果顯示,本研究在進(jìn)行研究生學(xué)位論文質(zhì)量評(píng)價(jià)時(shí)對(duì)論文的創(chuàng)新性和科研設(shè)計(jì)兩方面的重視程度較高,這一結(jié)果與部分已有的研究相契合[9-11]。此外,本研究通過實(shí)測(cè)評(píng)價(jià),利用科學(xué)的方法對(duì)指標(biāo)體系的信度和效度進(jìn)行了分析,這一部分內(nèi)容僅在極少部分研究中有所報(bào)道[12]。本研究所構(gòu)建的指標(biāo)體系整體具有極好的內(nèi)部信度,但部分一級(jí)指標(biāo)下屬子指標(biāo)內(nèi)部信度較弱。究其原因,可能是由于本研究所制定的指標(biāo)體系是以研究生學(xué)位論文的一般結(jié)構(gòu)為基礎(chǔ),因此每個(gè)一級(jí)指標(biāo)下所包含的子測(cè)度之間并不同質(zhì),但整體指標(biāo)體系主要從選題、研究方法、資料分析、文字表達(dá)、寫作規(guī)范、綜述等角度出發(fā)設(shè)置,因此產(chǎn)生了上述結(jié)果。而在效度方面,雖然提取出的因子符合理論構(gòu)想,但其對(duì)結(jié)果的解釋度并不高,且少數(shù)指標(biāo)與公共因子的從屬關(guān)系難以解釋,因此指標(biāo)仍有增刪和修改的空間。除此之外,本研究同時(shí)還利用秩和比綜合評(píng)價(jià)法抽取的論文樣本進(jìn)行實(shí)測(cè)評(píng)價(jià),所得結(jié)果與本研究構(gòu)建的模型評(píng)價(jià)結(jié)果相關(guān)性較強(qiáng),可以認(rèn)為本指標(biāo)體系的權(quán)重設(shè)置較為合理,而該方法在國內(nèi)研究生學(xué)位論文質(zhì)量評(píng)價(jià)的研究中尚未見報(bào)道。
2.指標(biāo)體系的可行性。在對(duì)現(xiàn)有學(xué)位論文質(zhì)量評(píng)價(jià)的研究中,根據(jù)研究對(duì)象范圍的不同,大致可分為兩種類型:一種是面向所有學(xué)科的學(xué)位論文,這些研究大多僅設(shè)立了粗略的指標(biāo)和模糊的評(píng)分標(biāo)準(zhǔn)[13];另一種則是針對(duì)某些學(xué)科或?qū)I(yè)所制定的指標(biāo),能夠最大程度地貼合該專業(yè)的特點(diǎn)及需求,但其適用范圍較小,且在不同學(xué)科之間無法進(jìn)行橫向比較[14]。本研究結(jié)果與上述兩種類型的評(píng)價(jià)體系均有所不同,研究者力圖以客觀、細(xì)致的指標(biāo)去評(píng)價(jià)所有學(xué)科的學(xué)位論文,使其評(píng)價(jià)結(jié)果盡可能標(biāo)準(zhǔn)、科學(xué),并且能在不同學(xué)科之間相互比較。本體系中的大部分指標(biāo)均能夠適用于各個(gè)學(xué)科,使用時(shí)只需逐條計(jì)分即可,操作性較強(qiáng)。但由于本研究是從科研設(shè)計(jì)和統(tǒng)計(jì)學(xué)的角度出發(fā),而部分學(xué)科(例如人文和經(jīng)管的部分學(xué)位論文)并不涉及科研,因而少數(shù)指標(biāo)(例如“具體說明所使用統(tǒng)計(jì)分析方法”、“給出描述性統(tǒng)計(jì)指標(biāo)”等)對(duì)其不適用,仍需要修改和完善。
3.進(jìn)一步研究計(jì)劃。為了進(jìn)一步加強(qiáng)該體系的科學(xué)性和適用性,擬定進(jìn)一步研究計(jì)劃如下:首先,針對(duì)某些指標(biāo)適用范圍有限的問題,可考慮邀請(qǐng)更多學(xué)科的專家進(jìn)行討論,進(jìn)一步對(duì)指標(biāo)進(jìn)行篩選和修正。其次,該指標(biāo)體系中仍有部分指標(biāo)的評(píng)分標(biāo)準(zhǔn)較為模糊,可通過咨詢專家意見對(duì)各個(gè)指標(biāo)的評(píng)分進(jìn)行量化處理,強(qiáng)調(diào)評(píng)分的客觀性和可操作性,加強(qiáng)不同評(píng)審專家評(píng)審結(jié)果的可比性。最后,根據(jù)指標(biāo)體系研制研究生學(xué)位論文質(zhì)量管理評(píng)價(jià)系統(tǒng),該系統(tǒng)依托于計(jì)算機(jī)技術(shù),可實(shí)現(xiàn)研究生學(xué)位論文評(píng)審、管理等相關(guān)功能,提高學(xué)位論文質(zhì)量管理的工作效率。
參考文獻(xiàn):
[1]Rowley J.Slack F.What is the Future for Undergraduate Dissertations?[J].Education and training,2004,46(4):176-181.
[2]姚秀穎,李秀兵,陸根書,吳宏春. 研究生學(xué)位論文質(zhì)量影響因素研究[J].學(xué)位與研究生教育,2008,(1):2-6.
[3]劉穎,孫火斤,吳振一.博士學(xué)位論文評(píng)估的實(shí)踐與思考[J].學(xué)位與研究生教育,2000,(4):26-29.
[4]王戰(zhàn)軍.學(xué)位與研究生教育評(píng)估技術(shù)與實(shí)踐[M].北京:高等教育出版社,2000:28-45.
[5]雷亞萍.研究生學(xué)位論文的模糊綜合評(píng)價(jià)方法[J].西安科技學(xué)院學(xué)報(bào),2003,(9):331-334.
[6]楊培濤,譚駿珊,王帥,蘇慧.碩士學(xué)位論文質(zhì)量評(píng)價(jià)模型構(gòu)建研究[J].中南林業(yè)科技大學(xué)學(xué)報(bào)(社會(huì)科學(xué)版),2012,(06):217-220.
[7]蒲利春,冉秦翠.研究生學(xué)位論文質(zhì)量評(píng)估的量化系統(tǒng)研究[J].上海教育評(píng)估研究,2016,(03):56-59.
[8]管祎,夏品奇.博士學(xué)位論文評(píng)價(jià)體系的統(tǒng)計(jì)分析與合理制定[J].學(xué)位與研究生教育,2010,(05):29-32.
[9]孔范龍,李悅,曲麗麗,郗敏,吳健敏,張清磊.專業(yè)學(xué)位研究生學(xué)位論文質(zhì)量體系研究——以環(huán)境工程專業(yè)為例[J].高師理科學(xué)刊,2013,(03):113-116.
[10]李曼菁,段萬春.基于AHP和模糊綜合評(píng)價(jià)的工程碩士學(xué)位論文質(zhì)量評(píng)估[J].中國市場(chǎng),2011,(09):125-127,132.
[11]程姍姍,趙秋利,仰曙芬,李永泉,賀長治,孔繁瑩,馬江平,劉爽,王艷秋.護(hù)理學(xué)碩士研究生學(xué)位論文評(píng)價(jià)指標(biāo)體系的構(gòu)建[J].護(hù)理學(xué)雜志,2016,(01):10-13.
[12]肖華茵.基于結(jié)構(gòu)方程模型的碩士學(xué)位論文質(zhì)量評(píng)價(jià)——以江西省高校為例[J].教育學(xué)術(shù)月刊,2016,(04):55-60.
[13]李霞.基于AHP的法學(xué)碩士學(xué)位論文綜合評(píng)價(jià)方法及應(yīng)用[J].價(jià)值工程,2012,(04):212-214.
[14]林予松,樊波,齊鑫焱.工程碩士論文評(píng)價(jià)體系關(guān)鍵問題研究——以鄭州大學(xué)為例[J].河南教育(高教),2014,(02):52-54.