陳宇清 郭伊莉



摘要:通過對肇慶醫學高等專科學校2018級高職護理專業2個班級2019至2020學年第一學期《基礎護理學》課題期末理論考試網絡護理學(高職)題庫抽題組卷試卷214份定量分析,顯示網絡護理學題庫的網絡平臺組卷試卷的難度、區分度、信度、效度、穩定性都能較好地滿足設計要求,對學生進行有效評估。但也存在A、B兩卷均有個別相互提示題、知識點之間的重疊,并有部分超綱的題目,缺少“病人的安全”“護士職業防護”內容等問題,不能滿足《基礎護理學》課程標準對教學內容的全部要求。因此,應定期更新試題,使題庫試題與學科發展、教材建設等保持同步,并繼續完善網絡題庫試題質量以及組題方法,以保證科學評價教學效果。
關鍵詞:基礎護理學;試題庫;試卷分析
中圖分類號:R471;G642文獻標識碼:A文章編號:2095-6916(2021)16-0111-03
考試是檢驗教學效果最有效的手段,提高考試的準確性、客觀性和可靠性,已成為職業院校教學與考試改革的重要任務。教考分離是指將教學與考試分離進行,即將由任課教師命題及評分的做法,改為由教學管理部門組織人員從規范、標準的試題庫中科學篩選、組合出符合要求的試卷,并統一組織考試,統一評閱試卷[1]。題庫建設是實現考試規范化、科學化的重要措施,是實現考教分離,體現考試的公正與公平原則,促進教學質量提高,保證人才培養質量的重要手段[2]。《國家中長期教育改革和發展規劃綱要(2010—2020年)》[3]中提出了“在高等教育中需強化信息技術的應用”,在推進護理學專業教育改革發展,加快教育信息化的進程,促進考試工作科學化、標準化、規范化的過程中,網絡題庫作為護理學專業教育評價的重要載體發揮著重要作用。《基礎護理學》是護理學專業的核心課程 [2],本研究擬在我校進行網絡題庫《基礎護理學》題庫的測試,對考試成績、試題難度、區分度以及試卷的信度和效度等進行分析,提出切實可行的網絡平臺試卷命題意見,為建立一個優質、可靠、系統、有效的《基礎護理學》網絡題庫提供依據。
一、對象與方法
(一) 研究對象
選擇肇慶醫學高等專科學校2018級高職護理專業2個班級2019至2020學年第一學期《基礎護理學》課程期末理論考試網絡題庫抽題組卷試卷214份作為研究對象,其中試卷A108份,試卷B106份,合計214份。
(二)研究方法
本研究采用資料分析法。
(三)組卷及考試實施
1.組卷及試題設置
考試的題目來源于某公司網絡題庫(護理學)基礎護理學學科的一類題庫,題庫共有2880道試題,包括填空題、選擇題、簡答題及案例分析等題型。本次組卷使用網絡題庫平臺系統的“智能組卷”功能,通過填寫題庫平臺的“雙向細目表”設置題型、子題數量、分值、難易度比例及考核內容要求等,試卷整體難度控制中等,其中較易10%,易20%,中50%,難10%,較難10%,試題按照課程標準要求(了解、熟悉、掌握)及認知分級(記憶、理解、應用)設置合適比例并由試題庫智能化根據“雙向細目表”隨機出題。組卷完成后,教研室組織非任課教師進行全卷及細目表查看,將超綱的題目進行試題的替換操作。為與護士執業資格考試題型接軌,本次試題題型全部采用單項選擇題(Al/A2、A3/A4),共計120小題。使用系統的防作弊功能,將同一試卷的試題隨機排序并對每道試題設置為不能回看。
2.考試實施
課程結束后1周對學生進行閉卷考核,學生登錄指定網址,進入題庫平臺客戶端,填寫賬號信息,完成考試;對監考教師及任課教師進行統一培訓,保證考試的公平及公正;考試前對全體學生開展考試系統的學習培訓,確保每個學生均掌握了系統的操作方法;考前1天,做好各項硬件設施的調試,并安排計算機技術人員參與監考,確保當考試系統出現問題時能被正確處理,保證考試不被耽誤。
二、結果
(一)試卷基本情況
試題的考試時間設置為90分鐘,全部學生均在90分鐘內交卷,其中1名學生考試過程出現過中斷,重新登錄后順利完成考試。試卷覆蓋了《基礎護理學》課程的17章49節,章節知識覆蓋率為89.1%,A卷有2題相互提示,2個考點出現重復,B卷有1個考點出現重復。
(二) 成績分布
2套考試平均成績分別為92.3分、91.4分(換算成百分制為分75.8及76.6分),及格率為94.4%、95.3%,具體結果詳見表1。考試成績分布2套試卷考試成績均基本符合正態分布(圖1)。
表1護理專業214名學生《基礎護理學》課程考試成績
試題人數平均分最高分最低分及格率(%)優秀率(%)A卷10892.31164494.47.4B卷10691.41176395.36.6合計21491.91174494.87.0注:及格率為成績≥72分(百分制60分);優秀率為成績≥108分(百分制90分)的學生比例
圖1試卷成績分布直方圖
(三)試卷質量評價指標
1.難度
難度是指試題或試卷的難易程度,是評價試題或試卷質量的主要指標之一。本研究采試題的通過率作為難度的指標,P=X/W,X為樣本平均得分,W為試題總分,當P0.3表示試題難度高,0.3
2.試卷的區分度
區分度是指試卷區分考生能力的程度,是評價試卷質量、篩選試題的主要指標和依據。本研究采用高低分組法[4]計算區分度,采用公式為D=(PH-PL)/F計算,其中PH代表高分組(成績排序前面27%的部分為高分組)的平均分,PL代表低分組(成績排序后27%的部分為低分組)的平均分,F代表總分。D0.40表示區分度很好;0.30D<0.4表示區分度良好;0.20D<0.30表示區分度尚可,須跟進修改;D<0.19表示區分度差[5]。結果顯示,試題區分度波動在0~0.8之間,其中兩卷均存在區分度為0的題目,A卷整卷的區分度為0.23,B卷整卷的區分度為0.22,區分度尚可。
3.試卷的信度
信度是指測量工具的可靠性、精確性和穩定性的程度,是測量分數不受測量誤差影響的程度。因學生期末考試的不可重復性,采用Cronbach's系數法衡量所有題目間的一致性程度。一般認為, Cronbach's系數大于0.7, 即信度較高。統計結果顯示,A卷Cronbach's系數為0.726;B卷Cronbach's系數為0.715,說明2份試卷的信度良好。
4. 效度
測量效度是指測量者想從實際收集和分析的結果中得到印證的程度,在教育評價領域,測量效度具有準確性、關聯性和實用性方面的屬性。效度分析包括內容效度和試卷效度系數,內容效度指考卷的內容對所要考查的全部內容的代表程度(符合課程標準的情況),參照課程標準,試卷章節覆蓋率和細目覆蓋率即為內容效度,試卷根據雙向細目表在網絡題庫中智能組卷,選題滿足考試要求,且避免主觀因素的影響,通過網絡題庫組卷具有較高的內容效度,其期望值在90%~95%。后者通過信度系數的算術根(X效=α)評價。當X效>0.87,表示試卷效度很好,當0.75 52套試卷成績的比較 使用單因素方差分析對2套試卷的成績進行比較,A、B2套試卷的成績比較(見表2)。 表2A、B2套試卷成績比較 平方和自由度均方F值P值組間16.418116.4180.1270.722三、討論 (一) 試卷基本情況分析 2018級高職護理專業A卷考生106人,B卷考生108人,共計214人,從課程考試成績的基本情況(表1)和分數分布情況(圖1)來看,試卷總體情況達考試要求,2套試卷成績呈現正態分布,90~100分占比最大,且全部學生均在90分鐘內交卷,說明課程教學效果較好。從試卷的內容分析,A、B2卷均有個別題相互提示,及個別考點重復,在組卷時,應保持各個題目的獨立性,提示在題庫中的網絡試題知識點的歸類及編碼應確保其正確性,同時要避免知識點之間的重疊,并且需要重視超綱、重復考點以及答案選項不合適等問題,同時某一試題的表述不能成為另外一個試題的答案或答案提示。試卷覆蓋了《基礎護理學》課程的十六章四十九節,章節知識覆蓋率為89.1%,說明網絡題庫題量大,考核范圍較全面,但也有部分超綱的題目,故題庫智能抽題組卷的內容是否適合考生,仍需要教師進行審核。同時,在編制“雙相細目表”時發現,題庫內容不能滿足《基礎護理學》課程標準對教學內容的全部要求,缺少“病人的安全”“護士職業防護”等內容,因此,應定期更新試題(題型、內容),使題庫試題與學科發展、教材建設等保持同步。2套試卷中難度值較大的題目主要是A3/A4型題,該題型以臨床案例為題干,要求學生具有較強的評判性思維的能力及綜合分析能力,提示學生將基礎知識運用于臨床實際案例還有一定的難度。護理學是一門應用型學科,在教學中應需要進一步理論結合實際,提高學生的臨床判斷、臨床決策和綜合分析能力。 (二)試卷質量分析 高質量的試卷應難易度適中,覆蓋面廣,且具有較高的區分度、信度和效度,學生考試成績呈正態分布[5]。2卷難度分別為0.76及0.77,整體難度適中,題目難度的確定,主要取決于考試的目的和類型,本次考試的目的主要是檢驗指定年級學生的《基礎護理學》課程的學習情況,考試難度應該是中等難度[3],該網絡題庫的智能組卷功能可以預設試題難度,調整不同難度題目的比例。由此可見,高質量的網絡題庫網絡平臺出卷可以更好地控制試卷整體難度,較好地實現考試目的。2套試卷的區分度均大于0.22,提示考題對學生能力的區分度尚可,課程評價型考核對區分度要求不高,適中即可,主要是試卷內容的覆蓋面要廣。試題的區分度波動0~0.8,在其中2卷均存在區分度為0的題目,一方面可能確實存在需要刪除的題目,另一方面也可能與本研究的樣本量較小有關。2套試題信度系數均大于0.70,提示試題的穩定性和可靠性程度在正常范圍,考試結果可信,此次成績能較為真實地反映學生實際水平。試卷的內容效度達89.1%,提示題庫已有題目跟“雙向細目表”匹配度高,試卷效度系數均為0.85,效度等級為“較好”,說明試卷與要考核的內容比較吻合。2套試卷比較的單因素方差分析P值為0.722,P值大于0.05,提示2套試卷的成績沒有統計學差異,說明該網絡題庫試題屬性,如題目內容、參考答案、所屬章節、難度系數、知識點歸類等準確性高,基于網絡題庫的《基礎護理學》課程試題組卷題目質量穩定、可靠,在隨機智能組卷的考試中能滿足試題考試設計要求,且保證考試的公平性。 結論 基于網絡護理學題庫的網絡平臺自動組卷,提高了出卷的效率,可通過“雙向細目表”從題庫中準確、高效地挑選合適的題目,基于網絡題庫的組卷試卷的難度、區分度、信度、效度、穩定性都能較好地滿足設計要求,說明試題可靠有效,整卷質量較好,能真實反映學生的學習效果,達到考核目的,是對學生該門課程理論水平的有效評估方法。為適應護理學學科發展趨勢,護理學專業題庫內試題的內容和題型需要不斷更新和完善,開發有效可靠的測試題是一個持續改進的過程,可基于規劃教材知識內容變化進行試題增刪,對難度過大或區分度較差的題型,進行適當修改或刪除,同時應進一步完善題庫的功能(選題、組卷和反饋等),使試卷更真實反映教學效果及學生的知識掌握情況。網絡題庫試題的基本類型包括選擇題、名詞解釋、填空題、簡答題和案例分析等,本研究僅對護士執業考試相關題型進行了分析,接下來會根據教學環節的需要,進一步開展對于其他題型的測試研究。 參考文獻: [1] 張雪艷,馬立立.高校“教考分離”多元化評價機制的構建[J].沈陽師范大學學報,2016(5). [2] 陳明.基于教考分離制度的藥理學試題庫建設研究[J].衛生職業教育,2016(15). [3] DIANEM,BILLINGS,JUDIH A HALSTEAD,等.護理教師必讀——實用教學指導[M].孫宏玉,主譯.北京:北京大學出版社,2019. [4] 楊永利,程志偉,杜玉慧,等.預防醫學專業《衛生統計學》試卷質量評價[J].中國衛生統計,2016(4). [5] 閆平,王榮福,張春麗,等.八年制臨床醫學專業核醫學課程考試成績和試卷分析的評價與思考[J].中華醫學教育雜志,2017(1). 作者簡介:陳宇清(1980—),女,漢族,廣東肇慶人,單位為肇慶醫學高等專科學校,主要研究方向為護理教育和腫瘤護理。 郭伊莉(1984—),女,漢族,廣東潮州人,單位為肇慶醫學高等專科學校,主要研究方向為護理教育和護理心理。 (責任編輯:董惠安)