信息檢索MOOC中的交互式問題設計與評分導向*

摘 要：文章結合筆者在愛課程網開設“信息檢索”MOOC的實踐，討論如何在MOOC中通過隨堂練習、單元測驗、結課考試、互動作業這四種交互式問題的設計和合理的評分導向來吸引學員完成課程、獲得證書。

關鍵詞：信息檢索 信息素養教育 MOOC

中圖分類號： G254.97 "文獻標識碼： A " 文章編號： 1003-6938（2014）06-0014-04

Design of the Interactive Questions and Grade Guidance in the MOOC of Information Retrieval

Abstract This paper discusses， in combination with the practice of setting up a MOOC named \"Information Retrieval\" on iCourse platform， how to lead students to complete this MOOC and acquire certificate through designing of the interactive questions which are \"class exercise\"， \"unit test\"， \"final examination\"， and \"interactive homework\".

Key words information retrieval; information literacy instruction; MOOC

大規模開放在線課程（Massive Open Online Course， MOOC，國內多音譯為“慕課”）是近年來迅速興起并引起廣泛關注的一種基于互聯網的教學形式。《紐約時報》將2012年定義為“MOOC元年”[1]，2013年開始大規模傳入中國，國內有學者將之定義為“中國MOOC元年”[2]。信息素養是信息時代每個人必備的生活技能，信息檢索課程操作性、應用性強，有廣泛的適應面，旨在培養學員獲取信息的能力，較為符合MOOC學員來源廣泛、受教育層次多樣的特點，因而“信息檢索”課程非常適合開設成MOOC。

信息素養教育面向不同層次學員，在傳統Face to Face（F2F）的課堂教學中，老師采取當面講授的方式，輔以一定量課外的檢索實踐，向學生講授信息檢索理論與方法，具有一定的局限性。MOOC的教學理念與方式為信息檢索課程提供了一個更加理想的授課范式，打破了學習過程中時間和空間的限制，加強了授課者與學員之間的互動與交流。然而，由于學員在MOOC環境中處于一種完全自由的學習狀態，容易造成“棄課”與注意力分散的問題，MOOC中的交互式問題設置就成為對學員狀態進行控制的一個重要手段。本文擬結合筆者在愛課程網開設“信息檢索”MOOC的實踐，討論如何在MOOC的課堂內、課堂外兩種渠道設置不同層次的交互式問題，通過評分導向引導學員完成課程學習、進行線下實踐和獲得課程證書。

1 課內問題層次設計

MOOC最大的特點是重新調整了課堂內外的時間，將自主權交還于學生，學生可以隨時隨地地學習。因此，在MOOC的授課過程中，要考慮到學員在學習的不同階段的心理狀態，合理設置問題以實現課堂控制的目的。交互式問題的設置貫穿于MOOC的備課、拍攝、后期制作、富文本資料、課程結構設置、作業設計等全部過程，但總體上一般分為單元測驗、結課考試和隨堂練習三個層次（見圖1）。

1.1 隨堂練習

隨堂練習是MOOC最為常用的一種問題設置方式，即在課程視頻播放過程中，預先選定某個時間點設置彈出式題目，學員解答后（無論正誤）方可繼續學習。隨堂練習的首要目的就是為了加強學生對于關鍵知識點的記憶，其次是為了使學生集中注意力，避免視頻仍在播放但人已不在聽講的情況。因此，隨堂練習一般設置難度較低，題型以單項選擇題或判斷題為宜，避免使學員感到過于困難而產生厭煩的心理。隨堂練習設置的時間點一般是在單個視頻長度的1/3至2/3處，密度為平均2個視頻（5～12分鐘）設置一次。隨堂練習不影響成績，設有正確答案，答案正確與否不影響最終的成績評定和證書獲取。

1.2 課后作業或單元測驗

MOOC一般以周為一個教學單元，每周的課程結束后，需要設置課后作業或單元測驗，對本周知識點進行歸納和考核。由于信息檢索課程具有很強的實踐性，綜合性的單元測試應當加入一定的實踐內容，以達到與學員互動的目的。同時，單元測驗要有一定的難度，以回顧每一周的重點內容為主，題目數量與視頻數量比例在1：1至1：1.5之間，以達到激勵學員完成作業的目的。此外，課后作業或單元測驗的題型需要與每一周授課內容相匹配，避免超出授課范圍，題目從易到難比例一般設置為70%簡單題、20%中等難度題和10%較難題。同時，設置的問題不限制使用搜索引擎和參考文獻，測驗完成時間也比較寬裕，為學員留下以實踐的方法得到正確答案的機會。單元作業一般在評分中占10%至15%的比重，有教師評分和互評兩種方法，分數計入最終成績;單元測試一般在成績中占有25%至30%的比重，設有正確答案和參考答案，有兩次答題機會，結果取最高值，分數也計入最終成績。

1.3 結課考試

證書是學員完成MOOC學習的證明，因此除了隨堂練習和課后測試，還需要在學習中期或學習結束時設置結課考試。結課考試所占的分數比重較大，需要全方位地回顧整個課程涉及的重要知識點，梳理信息檢索的關鍵技巧并設置題目對學員進行檢驗。結課考試是學員獲取證書的關鍵環節，在整體分數比重中通常占有20%～30%的比例，直接影響著學員能否獲得證書和優秀學員證書，因此題目的設置要以檢驗學員是否系統地對本課程進行學習為主，輔以信息檢索關鍵技術及專業知識。結課考試的題目數量與單元數量比重為1：1至1：1.5之間，學員有一次限定時間的答題機會，分數計入成績。

1.4 三個層次交互式問題的比較

三種課堂內的問題在命題周期、題目密度、出題范圍、難易程度等8項指標都有所不同，層次分明（見表1）。值得注意的是，題型的設置需要與單元內容相匹配。如在本課程中，前3講內容分別為“第1講：導論”、“第2講：如何利用信息檢索提高生活質量”、“第3講：如何利用信息檢索提高綜合素質”，這三周的內容是信息檢索MOOC的導入課程，內容淺顯易懂，因此在單元測驗中都設置為討論題，由老師評分或學生互評，較易得分。第4周后，課程內容難度逐漸升高，知識點密度增大，因此開始設置單元測試，激勵學員檢測自己對知識點的掌握，吸引更多的學員參與到答題和獲得證書中。

1.5 問題反饋與改良

由于MOOC學員的年齡、職業、受教育程度等各不相同，對于問題有不同的理解和感受。因此，依托于MOOC課程論壇、QQ群、微博等社交網絡，課程團隊需要對題目的質量、難度進行摸底，收到學員反饋后在未來的課程問題設置中進行改良，以期在不同層次的受眾之間達到一個平衡。獲得反饋的方式包括發帖、調查問卷、隨機抽取QQ群成員采訪等方式，將反饋內容進行記錄后，以小組討論的方式確定未來交互式問題設計與改良的方案。

此外，愛課程網MOOC平臺也提供了強大的后臺分析功能（見圖2），能夠獲得題目參與人數、平均得分情況、單題正誤率等指標，是調整出題難度、題型、時間控制等內容的重要參考因素。

2 課外互動問題的設計

為了增強學員對于信息檢索的實踐能力，在課堂之外需要設計互動交流問題進行適當的引導。課外互動問題主要在課程內置的論壇中進行，采用發帖提問、跟帖回答的方式。課外問題強調互動性，弱化檢驗知識點的功能，要有一定的激勵機制來實現。

2.1 互動理念

互動問題不是簡單的設置問題等待學員寫出答案，而是在Web2.0背景下的一種實踐性作業的設計，因此，在設計時需考慮到的理念為：

（1）弱化分數觀念，強化實踐操作。互動問題不能夠影響到證書與最終分數，否則會對學員造成負擔，使學員以功利化的目的來對待它，不能起到很好的實踐效果。相反，互動問題設置的意義在于引導學員對某一個專題進行檢索，獲得與該專題相關的全面、客觀的參考資料，經過篩選后組織自己對于該專題的理解和答案。

（2）增強題目時效性與實用性。信息檢索課程講授的內容具有實用性和一定的時效性，因此配套的互動作業應具有這兩方面的特點。如在本課程第5周設置的互動作業為—查找互聯網上關于轉基因或非轉基因的權威資料，具體要求有：第一，不能持有自己的觀點，只需要鋪陳客觀的材料;第二，檢索到的材料必須權威、客觀，如來自美國政府、中國政府的資料，不能是媒體人、科學家個人等主觀性資料;第三，檢索到的材料需要與轉基因或非轉基因密切相關。該話題具有時效性，轉基因問題近年來在我國引起激烈討論，本題的設置旨在培養學員檢索客觀信息的能力、獲取權威參考資料能力和對檢索到的內容思辨性地進行篩選的能力。

（3）激勵機制。由于互動作業在考核中不占分數，為了激勵學員們積極參與，每周的作業都進行綜合評分，排名靠前的學員可以獲得如明信片之類的小禮品，以此激發學員參與互動作業的積極性。在國外一些信息素養類MOOC的教學實踐中，發現游戲化教學是較為有效的方法，而激勵機制就是游戲化教學的主要手段。例如紐約州立大學著名的MOOC“Metaliteracy”就采用了徽章獎勵的方法來激勵學員參與任務，獲得任務徽章，最終完成課程學習。

2.2 設置方法

互動作業的設置以周為單位，每周在課程討論區的互動作業專項論壇設置題目，采用群郵件和社交媒體的方式進行宣傳。以本課程的互動作業為例，第5周的互動作業為“檢索關于“轉基因”的權威資料”，第六周互動作業為“在信息檢索中如何對虛假信息進行判斷和篩選”。兩周都各有超過500人點擊查看了該作業，并共有60人參與了作業，有31位學員獲得了獎勵（見表2）。

2.3 作業匯編

學員完成互動作業不僅非常認真，有接近一半比例的作業質量也非常高，能夠很好地完成從信息檢索到信息篩選的流程并用形象生動的案例進行內容組織。為了讓更多的學員學習互動作業和信息檢索的實踐方法，課程團隊將互動作業進行了匯編，以郵件的形式推送到每一位學員手中，使沒有時間參與互動作業的學員也可以快速地學習相關知識。同時，對于十分優秀的作業，課程團隊也給予了相應的獎勵，包括寄送明信片、配套教材、免費升級證書等，目的是引導更多的學員參與到信息檢索實踐中來。

3 評分導向

MOOC的證書機制使得學員普遍想要獲得課程證書，而證書的獲得與課程得分直接相關，那么在MOOC學習中的評分導向就顯得尤為重要。

3.1 評分原則

3.1.1模塊化原則

MOOC的分數是由單元測驗、論壇討論、期末考試、課程實踐、作業互評等多個模塊按照一定的占分比例所共同構成的。這樣一方面可以保障學員不會因錯過了某個板塊而造成大面積失分，同時也可以增加作業的多樣化程度，使學員不會產生厭倦心理。

3.1.2機評互評相結合原則

在大規模教學的環境中，教師很難在短時間內完成成千上萬份作業的評分工作，因此要多使用MOOC平臺內置的基于機器學習的自動評分功能，主要面向客觀題的評分。許多計算機程序設計類的MOOC都是采用了機器學習的方法，將正確的程序編碼輸入后臺，再與學員的答案進行比對從而實現自動判分。另一方面，學員互評是MOOC學習的一大特色，即學員完成作業后，需要參與作業的互相評價，主要面向主觀題的評分。互評不僅可以學習別人的答案，參與評分實踐，而且參加過互評的的學員還可以使自己的分數得到保障—愛課程網MOOC中的默認互評為“單元作業采用互評的，提交作業后才能參加互評，作業互評最少個數為6個;未參與互評得分為50%比例;未完成互評為80%;全部完成互評為100%”。

3.1.3實踐導向性原則

所謂實踐導向性，是指通過評分標準來實現促進學員增加信息檢索實踐的一種方法。在MOOC中主要是指參與課程討論和完成實踐性作業。在本課程中，參與課程討論的形式包括QQ課程群討論、MOOC內置論壇討論、在線咨詢助教等多種方式，每一種方式的討論都計入了最后的綜合評分，占到了30%的比例。上文提到的互動作業的設置雖然不計入課程分數，但也實行了打分評比來激勵學員廣泛參與信息檢索實踐。

3.2 作業比例

為了使學員能夠堅持整個學期的學習，積極參與課程作業、測驗與互動，在課程的權值分配上采取了一分為三的策略，即課程分數由單元測驗（作業）、課程討論、結課考試三部分組成，其中單元測驗和單元作業共占40%的分數，課程討論占30%的分數，結課考試占30%的分數。本課程前三周的單元作業都采取了討論的形式，除了第1周由老師進行評分外，第2、3周的單元作業都采取了“互評”的方式，每位參與單元作業的學員作業互評任務最少為6個，未參與互評只能夠得到50%的分數，未完成互評可以得到80%分數，全部完成互評則能夠得到100%的分數。單元測驗和結課考試以客觀題為主，采取了自動判分的方式。

4 結語

截止2014年12月5日，本課程共吸引了全國各地超過13600名學員參加了學習，在同期上線的課程中居于領先。為了滿足大規模在線學習的需求，先后有超過200名來自各大高校的信息管理專業教師、資深圖書館員、碩博士研究生等助教參與到了課程建設。本課程主要通過隨堂練習、單元測驗和作業、互動作業、結課考試來實現對學員整體學習效果的控制和課程證書的考核。在MOOC廣泛存在“棄課率”高這個大背景下，課程團隊采取了多種理念來吸引學員的興趣，依據收到的反饋而言有很多學員較為享受完成課程作業、互動作業和作業互批的過程。但是，本課程仍然存在一些不足之處：如單元測驗的起止時間設置存在問題，導致有部分學員錯過了這部分的考核;隨堂練習的密度不均衡，前6周課程的隨堂練習比較多，而在后6周的課程中則較少;互動作業的設置與單元測驗有一定的沖突，造成了部分學員對互動作業的誤解。隨著第一期課程的介紹，課程團隊總結了在問題設置和評分導向中的成功與失誤之處，擬在未來的課程中進行適當調整，改進這門適合大眾學習的課程。

參考文獻：

[1]Pappano， Laura. The Year of the MOOC[N].The New York Times， 2013-04-30.

[2]搜狐教育.著名經濟學家湯敏：MOOC中還有創業機會嗎？[EB/OL].[2014-11-18]. http：//learninh.sohu.com/20

140926/n404674623.shtml.

作者簡介：黃如花，女，武漢大學信息管理學院教授，博士生導師;李白楊，男，武漢大學信息管理學院博士研究生。