護理本科“五維一體”發展性評價體系的信效度分析及應用

聶玉翠,盧玉林,史書毓,王肖芹,饒 夢

國內護理教育事業起步稍晚,雖然取得了一定成績,但是在教學評價方面還有待進一步規范和完善。在“新醫科”和《深化新時代教育評價改革總體方案》的時代背景下,尚缺乏具有護理專業特色的發展性教育評價體系指標。在前期研究中,小組成員通過半結構化訪談法、德爾菲法和層次分析法最終構建出適切的護理本科“五維一體”發展性評價體系,但尚未對該體系進行信效度檢驗以及初步應用。因此,本文主要介紹該體系的信效度檢驗和初步應用情況分析,進一步完善體系并盡早應用于護理本科生的綜合素質評價中。

1 對象與方法

1.1 研究對象

1.1.1 納入與排除標準

1)納入標準:目前就讀于護理本科專業的學生,入學時間≥3個月;知情同意,并愿意配合問卷調查者。2)排除標準:未就讀護理專業或已經畢業的學生;拒絕填寫問卷者。

1.1.2 樣本量

根據影響因素分析的樣本量計算方法[1],樣本量應該是最大條目數的5～10倍[2-3],由于本研究的三級指標共79個條目,因此所需樣本量至少為395人,考慮10%的失訪率,則所需的實際樣本量至少為435人。結合實際,本研究于2022年12月—2023年1月抽取昆明市某醫科大學一年級、二年級、三年級和四年級護理本科生共481人作為調查對象。

1.2 調查方法

1.2.1 調查工具

以前期構建的評價指標體系為依據,研究小組編制轉化成調查問卷作為研究工具,通過合理設計、小組討論以及專家建議,最終形成護理本科“五維一體”發展性評價體系調查問卷。問卷共包括三部分內容:第一部分為問卷說明和調查對象的一般資料,后者包括年齡、年級、性別、政治面貌和職務5項內容。第二部分為護理本科“五維一體”發展性評價調查表,共計20項(79個條目)相關問題。調查對象根據自身實際情況予以評分。本研究采用Likert 5級評分法進行評定,即完全掌握=5分,掌握=4分,部分掌握=3分,未掌握=2分,完全未掌握=1分。第三部分為各維度下相關的實際定量指標,包括思政、學業和體測的平均成績(滿分100分)以及正負指標實際情況。

1.2.2 調查過程

本次調查研究通過問卷星平臺發放問卷,在開始調查前與各年級負責人取得聯系,征得同意后發放調查問卷,并詳細說明問卷填寫的相關注意事項。

1.3 質量控制

1)后臺預設置:問卷以匿名的方式發放;設定每個賬號僅能填寫1次;同時限定所有問題填寫完畢后方能提交問卷;全程保證問卷填寫的質量[4]。2)數據處理:由研究者本人對收回的答卷進行嚴格檢查,剔除無效問卷。問卷核對無誤后,由2名研究生導出數據進行統計分析,確保數據資料準確無誤。

1.4 統計學方法

采用EpiData 3.1軟件建立數據庫,采用SPSS 23.0軟件對數據進行統計學描述和數據分析。1)一般資料描述:應用人數/頻數、百分比(%)對調查對象的相關資料進行統計。2)信度(reliability):通常應用克朗巴赫系數(Cronbach′s α系數)檢驗指標體系的內容一致性信度。3)效度(validity):通常檢驗內容效度和結構效度2個方面。

2 結果

2.1 調查對象一般資料

本次調查共回收問卷481份,經檢查核對后剔除不合格問卷8份,最終有效問卷為473份,有效回收率為98.3%。參與本研究的護理本科生年齡以18～22歲的大學一年級～大學四年級學生為主,其中女生占84.78%,66.6%的護理本科生政治面貌為共青團員,擔任班委的占21.99%。

2.2 護理本科“五維一體”發展性評價指標體系的信效度檢驗

2.2.1 信度檢驗

本研究主要對指標體系的內部一致性進行檢驗,內部一致性主要用于反映指標體系各級指標間的一致性程度,采用Cronbach′s α系數表示[5]。結果顯示,護理本科“五維一體”發展性評價體系的Cronbach′s α系數為0.987。

2.2.2 效度檢驗

2.2.2.1 內容效度

內容效度主要根據19名專家第2輪函詢對各級條目的重要性評分結果進行計算[6],總體系的內容效度(S-CVI)為0.93,各指標條目水平的內容效度(I-CVI)為0.75～1.00。

2.2.2.2 結構效度

結構效度分析所采用的方法是探索性因子分析法[7]。經統計分析,該評價體系的79個條目的KMO值為0.968,Bartlett球形檢驗顯著性為0.000,說明符合做因子分析的條件。采用主成分分析法,取特征根>1的因子為公因子[8],共提取出7個公因子,累計貢獻率為81.204%,經最大方差正交旋轉后的因子載荷矩陣中,各條目的載荷值均>0.4。探索性因子分析結果見表1,總方差解釋詳見表2,碎石圖見圖1。根據不合理題項刪除標準:1)某分析項的共同度(公因子方差值)小于0.4;2)某分析項對應的“因子載荷系數”的絕對值均小于0.4;3)某分析項與因子對應關系出現嚴重偏差——“張冠李戴”現象;則需要對該分析項進行刪除處理。本研究中未出現上述刪除標準,因此全部予以保留,另外部分指標項中出現“糾纏不清現象”(兩個因子載荷系數均高于0.4,可以歸屬到A維度,也可歸屬到B維度,此種情況最終可以被接受),再結合專家意見及條目的專業解釋,將其歸屬于載荷值高的維度。第一次分析結果:因子1為維度1“德”,因子3為維度2“智”,因子2為維度“體”“美”“勞”;再將“體”“美”“勞”維度做二次分析,結果為3個因子分別對應3個維度。

圖1 碎石圖

表1 護理本科“五維一體”發展性評價體系的探索性因子分析結果(n=473)

表2 總方差解釋

2.3 護理本科“五維一體”發展性評價指標體系的初步應用結果

最終回收473份護理本科“五維一體”發展性評價指標體系有效問卷,結果如下。大學一年級、大學二年級、大學三年級、大學四年級的平均得分分別為337分、343分、356分、379分(79項指標滿分為395分)。各維度下量性指標具體補充結果:94.5%的護理本科生能通過思想政治理論課程考核;97.89%的護理本科生在大學期間未出現過違規違紀等情況;34.67%的護理本科生順利通過大學英語四級考試;96.19%的護理本科生未能通過大學英語六級考試;13.32%的護理本科生參加各級各類體育比賽獲得表彰;25.58%的護理本科生參加各類文藝活動獲得表彰;97.46%的護理本科生能夠熟練掌握洗衣、做飯、做家務等生活技能;50.53%的護理本科生參加勞動類競賽獲得表彰;此外,92.40%的護理本科生對該評價體系持滿意態度;只有4.70%的護理本科生對該體系提出個人意見和建議。

3 討論

3.1 指標體系的信度分析

信度主要用于評價研究工具的一致性或穩定性[9]。目前,信度檢驗主要包括折半信度、重測信度和內部一致性信度[10]。結合本課題的特點及相關設計,應用內部一致性信度的Cronbach′s α系數對該體系進行信度檢驗[11]。一般來說,當檢驗水準α=0.05時,其取值應在0～1。通常認為,信度系數在0.9以上,表示量表的信度很好;>0.8～0.9為可以接受;0.7～0.8表示有些項目需要修訂;在0.7以下,說明有些項目需要拋棄[12];換言之,Cronbach′s α系數越接近1,說明各級指標間的相關性越好,也充分證明該指標體系的信度越高[13]。本研究結果顯示,護理本科“五維一體”發展性評價體系整體的Cronbach′s α系數為0.987。由此可見,該評價指標體系具有較好的內部一致性和穩定性,而且各級指標間的相關性也較好。

3.2 指標體系的效度分析

效度是衡量測評工具質量的關鍵指標,能夠真實反映測評工具的有效性和準確性。效度檢驗分為內容效度和結構效度2個方面[14]。通常采用總體指標體系內容效度指數和條目內容效度指數評價指標體系的內容效度;而采用一級指標之間以及與總體之間的相關系數評價指標體系的結構效度。如果效度越高,則表示測量結果越能顯示其所要測量的特征,反之,則效度越低。結合本研究的特點,采用內容效度和結構效度對護理本科“五維一體”發展性評價體系進行了效度檢驗。

3.2.1 內容效度分析

內容效度是指測量工具中的指標條目能恰當地反映所能測量概念的程度。有學者認為,當專家人數>6人時,要求I-CVI必須>0.78;當S-CVI>0.80時,可認為量表內容效度較好[15-16]。本研究采用前期第2輪專家函詢的19位專家對指標體系的評價結果分析其內容效度[17]。研究結果顯示,護理本科“五維一體”發展性評價體系的79個條目的I-CVI為0.79～1.00,均高于0.78;S-CVI為0.93,高于0.80,說明該評價指標體系問卷具有良好的內容效度。

3.2.2 結構效度分析

結構效度是指測量工具能夠實際測量到的某種結構與測值之間的對應程度[18]。本研究的79個條目的KMO值為0.968,Bartlett球形檢驗顯著性為0.000,說明適合做因子分析。采用主成分分析法,取特征根>1的因子為公因子,共提取出7個公因子,累計貢獻率為81.204%。有學者指出,公因子的累積方差貢獻率應至少達到40%[19]。另外2次探索性因子分析結果與原問卷的一級指標5個維度一致。綜上所述,該評價體系問卷同樣具有良好的結構效度[20]。

3.3 指標體系的應用結果分析

通過473份問卷的統計分析結果可以得出:1)高年級(大學三年級+大學四年級)的平均分普遍高于低年級(大學一年級+大學二年級),一方面可能是由于低年級護理本科生所涉及的正向指標完成度相對較少;另一方面可能是高年級護理本科生的思想認識更成熟一些,會更有目的性和針對性地發展對自身有利的優勢;2)根據得分差距的不同,說明該評價體系的指標內容有層次梯度的劃分,得分較高者,表明其綜合素質水平較高;3)大多數護理本科生的“德”“智”2個維度保持在同一較高水平,說明大多數護理本科生明確其具體的指標要求;而“體”“美”“勞”3個維度有所欠缺,得分參差不齊,說明對其有所忽略,這需要引起重視,督促護理本科生及時調整不足的方面,補己之短;4)通過定性+定量的評價方式,大部分護理本科生表示該體系有明確的指向作用,能夠對照指標要求不斷發展,終成德、智、體、美、勞全面發展的高素質護理人才[21]。

4 小結

綜上所述,本研究所構建的指標體系問卷具有良好的信效度,系統全面地涵蓋了“五維一體”的發展性評價應該具備的各項明確的指標要求,同時也具有較好的初步應用效果,可為客觀評價護理本科生綜合素質的梯度水平提供一定借鑒。但也有不足之處,由于該體系的初步應用范圍較為局限,故后期可考慮擴大應用區域,以此不斷延展其適用性。