評估維度量化方法研究
——以基礎教育信息化績效評估維度為例

王 海，解月光，付海東

(1.東北師范大學 歷史文化學院，吉林 長春 130024；2.東北師范大學 教育學部，吉林 長春 130024；3.東北師范大學 信息與軟件工程學院，吉林 長春 130117；4.長春大學 教務處，吉林 長春 130022)

評估維度量化方法研究
——以基礎教育信息化績效評估維度為例

王 海1,2，解月光3，付海東4

(1.東北師范大學 歷史文化學院，吉林 長春 130024；2.東北師范大學 教育學部，吉林 長春 130024；3.東北師范大學 信息與軟件工程學院，吉林 長春 130117；4.長春大學 教務處，吉林 長春 130022)

評估維度是評估指標體系構建的基礎及前提，是評估結果應用的重要依據，對整個評估活動的開展有著重要的作用。目前評估維度多基于專家法等以定性分析為主進行確立。該類方法及過程雖然易于接受，但定性分析的成分較多，評估維度之間相互關聯且不穩定，進而導致評估指標體系不穩定、評估結果應用不理想。該文以基礎教育信息化績效評估維度為例，試圖利用探索性因子分析的方法進行評估維度的量化研究。研究結果表明，利用該方法確立的評估維度更加穩定且獨立，同時依據各維度對整體評估的貢獻率，可以科學地指導評估指標體系的構建及評估結果的應用。

基礎教育信息化；績效評估；評估維度

一、問題的提出

評估維度是評估指標體系構建的基礎及前提，是評估結果應用的重要依據，對整個評估活動的開展有著重要的作用。目前，對于評估維度的研究，主要存在以下問題：

(一)評估維度之間相互關聯

評估維度是考量評估對象的層面、側面或角度。評估維度之間相互關聯將會干擾評估結果的應用。因此，要求評估維度之間盡量弱相關或者無相關。評估維度的確立可以依據評估理論、評估模型，也可使用各種方法。目前，比較常見的方法是利用定性分析的方法，如：專家法、德爾菲法和層次分析法等。在這些方法中，雖然也有定量分析的成分，但均屬于輔助地位。利用定性分析方法確定績效評估維度的好處是操作過程簡單、確立評估維度容易。但此類方法比較適合于簡單的評估對象，對于教育信息化這樣復雜的評估對象，由于評估項目較多、評估內容繁雜，很難主觀判斷各維度之間的相關性，容易造成評估維度之間相互關聯。

(二)評估維度不穩定

評估維度的穩定性是保證評估指標體系信度的基礎和前提，不以評估研究者的知識體系為轉移。評估維度確定過程可分為自上而下的維度分解過程和自下而上的維度降解過程。維度分解的方法常見的有層次分析法和關鍵成功因素法，維度降解的方法常見的有主成分分析法和因子分析法。目前，基礎教育信息化績效評估指標體系構建多選擇維度分解的方法。維度分解的方法通常把研究對象看作一個系統，利用邏輯推理，比較判斷，綜合分析的思維過程進行決策，使復雜系統逐級分解。該方法符合人類思維習慣，易于人們接受。但當群體或個體不盡相同時，分解的結果會有所不同，這樣導致評估維度不穩定。而維度降解的方法是完全基于量化的方法，各級指標的產生過程較少被人工干預，因而評估維度較穩定、生命周期長。

二、研究方法與過程

本研究的目的在于完全用量化的方法確定基礎教育信息化績效評估的維度。完全量化的方法遵循了自下而上的維度降解理念，主要包括主成分分析法和因子分析法。兩種方法均是使用少數不相關的綜合變量盡可能全面地反映多個原始變量的信息，既消除了原始變量之間的相關性，又提高了可信度。不同的是，主成分分析法中的綜合變量是原始變量的線性組合，而因子分析法中的綜合變量是基于原始變量之間的復雜關系，通過對原始變量進行分解而得到的公共因子。因子分析法包括探索性因子分析法和驗證性因子分析法。探索性因子分析法主要用于找出影響原始變量的公共因子個數，以及公共因子和各原始變量之間的相關程度，以試圖揭示出錯綜復雜原始變量的內在結構[1]。驗證性因子分析法是依據一定的理論，對原始變量和公共因子之間的關系做出合理的假設，并對這種假設進行統計檢驗的現代統計方法。驗證性因子分析主要用于檢驗事先定義的因子模型擬合實際數據的能力，以試圖驗證原始變量和公共因子之間的關系是否與預先建立的假設一致[2]。

本研究中未對原始變量和公共因子之間的關系做出假設，僅是想探索影響基礎教育信息化績效水平的原始變量的公共因子個數，以及公共因子和各原始變量之間的相關程度，進而揭示出原始變量的內在結構及確定公共因子，即確定基礎教育信息化績效評估的維度。因此，本研究選擇探索性因子分析法確定基礎教育信息化績效評估維度更為適合。下面將按照探索性因子分析過程展開研究。

(一)收集原始變量

收集原始變量通常采用抽樣的方法，具體可使用量表或問卷進行抽樣。本研究選擇問卷進行抽樣。

1.基礎教育信息化績效水平調查問卷編制

首先，明確問卷的調研目的和科學可行的調研內容。本次問卷的調研目的是用于收集影響基礎教育信息化績效水平的原始變量。調研內容是基礎教育信息化的績效水平。為此，根據近年來國內外基礎教育信息化績效研究的相關文獻，分析基礎教育信息化系統的構成要素及要素間的相互關系，分析基礎教育信息化績效的內涵及考察內容，進而獲得影響基礎教育信息化績效水平的原始變量[3]。

其次，采用德爾菲法對原始變量做進一步的修正、裁減及合并。德爾菲法實施過程先后包括：成立專門工作小組、選取咨詢專家成員、制定征詢方案、發放和回收征詢表、統計分析征詢結果等。經過專家多輪征詢，確定最終的影響基礎教育信息化績效水平的原始變量。

最后，遵循問卷編制的原則及注意事項，將影響基礎教育信息化績效水平的原始變量轉換為問卷題項。依據數據采集對象不同，將問卷分為校長問卷、信息化管理者問卷、信息技術教師問卷、學科教師問卷及學生問卷五類。

2.基礎教育信息化績效水平調查問卷施測

首先，采用區域抽樣與分層抽樣相結合的調查方法，在吉林省長春市市內及周邊選取12所學校作為本次調查樣本，其中包括3所小學、8所初中及1所高中。

其次，發放及回收問卷。問卷總共發放1029份，其中校長問卷16份、信息化管理者問卷16份、信息技術教師問卷37份、學科教師問卷240份、學生問卷720份。問卷回收總共1000份，其中校長問卷16份、信息化管理者問卷16份、信息技術教師問卷37份、學科教師問卷228份、學生問卷703份。回收問卷中學科教師問卷作廢2份、學生問卷作廢14份。問卷回收率達97%，問卷有效率達98.4%。

最后，問卷編碼和錄入。選擇IBM SPSS Statistics 19.0軟件，將5套問卷分開進行編碼錄入。

(二)初始檢驗

構造相關矩陣，對問卷的信度和效度進行檢驗，用于確定是否可以進行因子分析。

1.基礎教育信息化績效水平問卷信度檢驗

信度反映問卷測量所得到結果的一致性和穩定性。信度檢驗常用方法包括重測信度法、折半信度法和Cronbach's Alpha信度系數法。本研究選擇Cronbach's Alpha信度系數法進行信度檢驗。一般而言，信度系數0.6以下為不可信；信度系數在0.6和0.7之間為可接受；信度系數在0.7和0.8之間為較好；信度系數在0.8以上為非常好。本次調研總共回收有效問卷984份。對這些問卷進行信度檢驗。檢驗結果如表1所示。5套問卷的Cronbach's Alpha信度系數和基于標準化項的 Cronbach's Alpha信度系數均在0.8以上，由此可知，問卷的信度非常好，問卷的穩定性和內在一致性非常高。

表1 調查問卷信度分析表

2. 基礎教育信息化績效水平問卷效度檢驗

效度反映問卷測量所得到結果的準確性和有用性。一般可通過內容效度分析和結構效度分析得出問卷效度。5類問卷在編制過程中使用了德爾菲法，已經由專家對測驗項目與所涉及的內容范圍進行了符合性判斷。因此，問卷的測量內容及范圍的科學性和準確性已經得到驗證。結構效度分析可通過計算簡單相關系數矩陣、計算逆影像相關矩陣、巴特利特球形度檢驗和KMO檢驗等方法進行。本研究使用KMO和巴特利特球形度檢驗。一般而言，KMO檢驗時KMO值0.6以下不適合進行因子分析；KMO值在0.6和0.7之間可勉強進行因子分析；KMO值在0.7和0.8之間可進行因子分析；KMO值在0.8和0.9之間適合進行因子分析；KMO值在0.9以上非常適合進行因子分析。對于巴特利特球形度檢驗時，如果巴特利特球形度檢驗的統計量數值較大，且對應的相伴概率值小于設定的顯著性水平，則適合進行因子分析。本研究中，由于校長問卷、信息化管理者問卷及信息技術教師問卷數量過小，不適合進行結構效度分析，故只對學科教師問卷及學生問卷進行結構效度分析。分析結果如表2所示。

表2 調查問卷效度分析表

由表2的數據可知，學科教師問卷的KMO值為0.914，學生問卷的KMO值為0.912。并且均通過了顯著性水平為0.05的巴特利特球形度檢驗，基礎教育信息化績效水平問卷效度很好。由內容效度分析和結構效度分析可知，基礎教育信息化績效水平問卷非常適合進行因子分析。

(三)提取因子并確定因子個數

提取因子的方法有多種，如主成分分析法、最小二乘法、極大似然法及映像分析法等。本研究選擇比較常用的主成分分析法提取因子。一般來講，確定因子的個數可根據特征根的大小、因子的累計貢獻率和碎石圖三方面準則來綜合考慮。當然，如果研究者有一定的假設，也可根據預先的假設來確定因子個數，但需要將統計結果與預設結合分析。對調查數據進行因子分析，提取特征值大于1的因子共6個，這6個因子的累計貢獻率達到91.057%(如表3所示)。并且由碎石圖(如右圖所示)可知，這些因子中有6個占大部分變異性，曲線在因子6后開始逐步變直。說明其余因子僅占很小部分的變異性，可能并不重要。綜合特征根的大小、因子的累計貢獻率和碎石圖三方面考慮，確定6個因子。

表3 各因子的特征值及方差解釋量

(四)因子旋轉

由于初始因子綜合性太強，難以找出具體實際意義，一般需要對因子進行旋轉來簡化因子載荷矩陣，進而合理解釋因子結構。常用的因子旋轉方法有很多，如最大方差法、最大四次方值法、最大平衡值法、直接Oblimin轉軸法、Promax轉軸法。其中前3種方法為正交旋轉法，后兩種為斜交旋轉法。本研究使用最大方差值的正交旋轉法，旋轉在20次迭代后收斂，旋轉后的因子載荷矩陣如右表4所示。

表4 旋轉后的因子載荷矩陣

(五)解釋因子結構

經因子旋轉后，使得每個原始變量僅在一個公共因子上有較大載荷，而在其他公共因子上的載荷中等或較小，這就保證了各公共因子之間弱相關，同時適合對各因子進行具體解釋。

公共因子一與教師信息化水平、管理者信息化水平、學生信息化水平、信息化資源建設水平、信息化資源應用水平、信息化人才保障程度6個原始變量緊密相關，主要反映師生信息化水平、信息化資源建設及應用水平、信息化人才保障程度，可將公共因子一定義為信息化資源匹配主體程度，其方差貢獻率達到38.437%，是對整個績效水平影響最大的公共因子。

公共因子二與校園網絡建設水平、電腦設備建設水平、信息化教室建設水平、信息技術教學水平4個原始變量緊密相關，主要反映信息技術環境建設水平及信息技術教學水平，可將公共因子二定義為信息技術環境支撐教學程度，其方差貢獻率達到16.985%，是對整個績效水平影響第二大的公共因子。

公共因子三與網站建設水平、管理信息系統建設水平兩個原始變量緊密相關，主要反映信息化服務平臺建設水平，可將公共因子三定義為信息技術環境提供服務程度，其方差貢獻率達到12.447%，是對整個績效水平影響第三大的公共因子。

公共因子四與信息技術與課程整合水平、廣播電視平臺建設水平、基礎設施應用水平3個原始變量緊密相關，主要反映信息技術應用于學科教學水平，可將公共因子四定義為信息技術與課程整合程度，其方差貢獻率達到10.348%，是對整個績效水平影響第四大的公共因子。

公共因子五與信息化制度保障程度、信息化政策保障程度兩個原始變量緊密相關。公共因子六與信息化資金保障程度、信息化機構保障程度兩個原始變量緊密相關。雖然4個原始變量分別影響各自的公共因子，但均屬于信息化發展的保障建設。因此，現將其合并為一個公共因子，可定義為信息化發展保障程度。合并前各自方差貢獻率分別為7.449%、5.391%，是對整個績效水平影響較小的兩個公共因子。

三、研究成果

對影響基礎教育信息化績效水平的原始變量進行探索性因子分析，揭示出原始變量的內在結構及公共因子，即確定了基礎教育信息化績效評估維度。評估維度共包含5個，分別是信息化資源匹配主體程度、信息技術環境支撐教學程度、信息技術環境提供服務程度、信息技術與課程整合程度、信息化發展保障程度，各維度的評估內容如下：

(一)信息化資源匹配主體程度維度

與維度一緊密相關的原始變量包括：教師信息化水平、管理者信息化水平、學生信息化水平、信息化資源建設水平、信息化資源應用水平、信息化人才保障程度。其評估的內容主要有信息化主體的信息意識、信息化主體的信息技術知識、信息化主體的信息技術能力、信息化資源的建設水平、信息化資源的應用水平、信息化資源的滿意程度等[4]。

(二)信息技術環境支撐教學程度維度

與維度二緊密相關的原始變量包括：校園網絡建設水平、電腦設備建設水平、信息化教室建設水平、信息技術教學水平。其評估的內容主要有校園網帶寬、校園網覆蓋率、師生電腦擁有率、電腦聯網率、信息化教室配置級別、信息技術環境的滿意程度、信息技術教學的滿意程度等[5]。

(三)信息技術環境提供服務程度維度

與維度三緊密相關的原始變量包括：網站建設水平、管理信息系統建設水平。其評估的內容主要有網站規模、網站服務等級、管理信息系統的種類、管理信息系統的功能級別等[6]。

(四)信息技術與課程整合程度維度

與維度四緊密相關的原始變量包括：信息技術與課程整合水平、廣播電視平臺建設水平、基礎設施應用水平。其評估的內容主要有校園網功能發揮程度、電腦設備功能發揮程度、廣播電視平臺功能發揮程度、信息化教室設備功能發揮程度、信息技術應用于學科教學的滿意程度等[7]。

(五)信息化發展保障程度維度

與維度五緊密相關的原始變量包括：信息化制度保障程度、信息化政策保障程度、信息化資金保障程度、信息化機構保障程度。其評估的內容主要有信息化制度健全程度、信息化政策執行程度、信息化資金投入程度、信息化機構職能健全程度等[8]。

四、結論

在基礎教育信息化績效評估的研究領域內，比較典型的研究成果有郭偉剛等的《學校教育信息化績效評價研究》、解月光的《農村基礎教育信息化績效評估研究》。郭偉剛等的研究成果中包含的評估維度有組織與管理、基礎設施與公用管理平臺、教育教學資源建設與應用、信息化應用及信息化人才，該研究成果是在參考國內外專家學者的研究成果基礎上確立[9]；解月光的研究成果中包含的評估維度有信息化設施建設水平、信息化教學資源建設水平、信息化應用水平、信息化保障建設水平、信息化主體發展水平，該研究成果同樣是在參考國內外專家學者的研究成果基礎上確立[10]。將本研究確立的評估維度及內容與上述研究成果比較分析發現，本研究的評估內容與領域內的典型成果類似，但評估維度不同。郭偉剛和解月光的研究成果主要對評估對象的結構進行分析，在綜合比較領域內典型研究成果基礎上確立評估維度。這類評估維度主要關注的是基礎教育信息化系統構成要素的發展水平，測量結果反映的是基礎教育信息化水平發展現狀。本研究確立的評估維度打破直接從評估對象的結構分析確定評估維度的研究思路，從影響復雜研究對象發展水平的原始變量入手，通過對各原始變量之間的關系分析以及各原始變量與公共因子的相關程度分析而揭示出評估對象內部難于主觀推斷的結構，進而確定評估維度。此種方法確定的基礎教育信息化績效評估維度更多關注的是基礎教育信息化績效結構要素的均衡、有效及優質發展，測量結果反映的是績效發展均衡程度及績效整體發展程度。同時，在利用探索性因子分析法確定評估維度的過程中，較少被人工干預，故而確立的評估維度更加穩定、獨立。另外，探索性因子分析法確定評估維度后可以得出各維度對整體評估的貢獻率，這些數據可以科學地指導評估指標體系的構建及評估結果的應用。

[1][2]周曉宏,郭文靜.探索性因子分析與驗證性因子分析異同比較[J].科技和產業,2008,(9):69-71.

[3]-[8][10]解月光.農村基礎教育信息化績效評估及發展研究[M].北京:人民出版社,2015.

[9]郭偉剛,李亞娟,岑健林,朱珍,戎海武.學校教育信息化績效評價模型的設計和應用[J].中國電化教育,2010,(4):36-40．

Study on Quantitative Methods to Evaluate Dimensions—Take Performance Evaluation Dimensions of ICT in Basic Education for Example

Wang Hai1,2, Xie Yueguang3, Fu Haidong4
(1.School of History and Culture, Northeast Normal University, Changchun Jilin 130024; 2. Faculty of Education,Northeast Normal University, Changchun Jilin 130024; 3. School of Information and Software Engineering, Northeast Normal University, Changchun Jilin 130117; 4. Academic Affairs Office, Changchun University, Changchun Jilin 130022)

Evaluation dimension is the basis and premise in the construction of Evaluation System. It provides the foundation for assessing the application of evaluation results, and plays an important role in carrying out the entire evaluation activities. Currently,the evaluation dimensions are mainly established through qualitative analysis such as Delphi method. Although the method of this kind is easy to accept, it relies more on qualitative analysis, which, together with the interlinked and unbalanced relationship among dimensions, leads to instability of the evaluation system and less desired application results. This study, using evaluation dimensions of ICT in basic education as an example, attempts to conduct quantitative study on evaluation dimensions with the method of exploratory factor analysis. The results show that the dimensions established by this method are more stable and more independent. In addition, the contribution rate of each dimension to the overall evaluation system can offer guidance to the construction of evaluation system and the application of evaluation results.

ICT in Basic Education; Performance Evaluation; Evaluation Dimensions

G434

A

王海：在讀博士，高級工程師，研究方向為信息技術教育、中小學教育信息化(lucky_sir@tom.com)。

解月光：教授，博士生導師，研究方向為信息技術教育、農村基礎教育信息化、數字化學習環境設計(xyg6367@126.com)。

付海東：在讀博士，講師，研究方向為信息技術教育應用研究(fuhd.ccu@163.com)。

2016年7月27日責任編輯：趙興龍

1006—9860(2016)10—0097—05