主觀題自動評閱在信息化教學中的應用研究

穆煒煒

【摘 要】主觀題自動評閱是信息化教學考試中的瓶頸問題，也是亟待解決的問題，通過自動評閱可以縮短閱卷時間，降低誤判率，進一步確保閱卷公平性，提高閱卷效率，完善考試流程，改進信息化教學方式。

【關鍵詞】主觀題；自動評閱；應用研究

中圖分類號： TP391.6 文獻標識碼： A 文章編號： 2095-2457（2018）30-0144-002

DOI：10.19694/j.cnki.issn2095-2457.2018.30.062

Application of Automatic Marking of Subjective Questions in Information Teaching

MU Wei-wei

（Hunan Chemical Vocational Technology College，zhuzhou hunan 412000，China）

【Abstract】The automatic marking of subjective questions is the most difficult problem and the most urgent problem in the information examination.Computer marking can shorten the marking time and reduce the rate of misjudgement.To ensure fair marking，improve the efficiency of marking，improve the examination process，and improve the information-based teaching method.

【Key words】Subjective questions；Automatic marking；Application research

信息化教學是目前各級各類學校普遍應用的教學方式，因為通過信息化的手段可以使師生輕松獲得更多優質教學資源，改善教學方法、提高教學效率、拓展知識視野，真正實現人人處處時時皆可學習。在信息化教學中，考試也逐漸從單一的筆試慢慢過渡到筆試+機試等多樣化的考試方式，通過計算機考試、評閱可以最大限度保證閱卷的公平性，降低誤判、錯判的幾率，節省人力、物力，克服了人為差錯的可能性。目前，很多考試、測驗系統中客觀題均實現了自動評閱，但主觀題的自動評閱一直是瓶頸問題，本文重點研究了主觀題自動評閱在信息化教學中的重要意義及可實施性。

1 主觀題自動評閱的重要意義

在信息化教學中，我們可以通過網絡獲取資源，通過移動終端進行教學、交互、考試和數據統計，從而拓展教學空間，提高教學效率。考試對于教師和學生來說都是不可缺少的教學環節，通過考試，學生可以了解自己的學習狀況，增強自己的學習效果，鞏固知識的積累；通過考試，教師可以檢驗學生的學習成績，了解學生對知識的掌握程度及教學效果。雖然，學校在很大程度上實現了教學的信息化，但是由于各個專業、各門課程具有各自不同的特點和要求，并且各科考試的特殊性和重要性，現在學校各類考試基本上都還采用傳統的紙質方式進行，傳統的考試方式有其優勢，但也有其缺點。傳統的考試都是筆試，人工閱卷容易造成誤判、漏判或傾向性判卷等主觀問題，而且效率不高，難以適應高效率的信息化教學時代。在線考試系統中的最大優點就是可以快速、準確、客觀地給出考試成績，有效地縮短考試周期，這一優點主要得益于考試系統的自動評閱計分。

目前，在國內很多考試如駕照考試、學法考試、專業科目學習及考試大多都采用了網絡考試方式，用戶只需在聯網的情況下，通過手機端或PC端學習、考試即可，不過這種考試都是以單選題、多選題和判斷題等客觀題為主要題型，計算機可以根據事先設定好的答案輕松判斷結果的對與錯；而以主觀題形式出現的在線考試系統很少應用，究其原因是主觀題的自動評閱一直是在線考試中的瓶頸。因為漢語言的內涵豐富，表達方式多樣，往往主觀題的答案不唯一，同一種語句意義可以用多種語句方式表達，計算機難以正確理解和判定，這給計算機自動評閱帶來了很大的困難，導致主觀題的評閱仍然以傳統方式為主，很大程度上影響了教學考核的效率和公平。研究應用主觀題自動評閱方式將徹底改變傳統考核模式，積極促進信息化教學的發展。

2 主觀題自動評閱的關鍵技術

對于主觀題而言，由于漢語言表達方式多樣化和復雜性的特點，主觀題的判斷和批改涉及到自然語言的翻譯、理解及語義的匹配等，這就要求計算機程序設計的復雜度非常高。現在國內基于主觀題評閱的研究主要有：字符串匹配的方式，如文字錄入考試中，計算機根據錄入文字的準確性進行自動比較判斷，確定其正確性，這是相對較為簡單的一種；基于文本語義相似度計算的方式，如同一語義由不同的句子表達，計算機程序通過詞語相似度、文本相似度等多種方式判斷、比較，最終給出正確的評價，這是較為復雜的一種方式，也是用的較多的一種方式，涉及到多種特征相似度的比較計算等。目前，國內外有一些主觀題自動評閱系統的應用取得了良好的成效，如，IEA[1]系統基于Latent Semantic Analysis（潛在語義分析）理論，通過對大量的文本集進行統計分析，自動地實現知識提取和表示，從中提取出詞語的上下文使用含義，進一步提高了文本處理的準確度；ATM[2]（Automated Text Marker）是針對開放式問題的任意文本答案的自動匹配，主要利用NLP技術，先對語法進行預處理、然后解析句子的主要成分及相互關系，再將結果與標準答案進行匹配，最后給出分數；李輝陽[3]等提出了基于關系的帶權匹配方法，實現了CAI中對簡單論述自動評閱判斷。王剛[4]等提出了一種基于語義元的相似度計算方法，綜合考慮語義元的相關性、相似性及支持度等元素，實現相似度的計算。通過分析研究發現，由于漢語言的復雜性，完全基于自然語言的主觀題評閱還存在準確性不高、差異性較大等很多問題，有待進一步的改進和提高。

主觀題自動評閱主要涉及到文本的預處理、文本分類及相似度比較計算等多個方面技術。其中文本的預處理是把自然語言通過相應的規則和方式處理成計算機能理解、能運算的表達形式，是計算機實現自動評閱的第一步。目前，常用的文本預處理方法有哈工大研究的LTP語言技術平臺（Language Technology Platform），是一種源代碼開放共享的語言處理技術。LTP提供了包括中文分詞、詞性標注、命名實體識別、依存句法分析、語義角色標注等豐富、 高效、精準的自然語言處理技術，已經被 500 多家國內外研究機構和企業使用。從2014年開始，哈工大聯合科大訊飛共同推出了語言云服務，能夠更好地為用戶提供需求。文本分類技術[6]是數據檢索和挖掘分類的重要支撐，主要作用是在預先設置的類別標識集合下，根據文本內容和數據信息進行分類識別。文本分類技術主要應用在自然語言處理、理解及識別、信息的組織、鑒別及管理、數據的過濾等領域。目前，文本分類的主要應用技術是基于機器學習的分類技術，主要是通過學習數據樣本或是數據訓練集來分析挖掘出數據分類的規則信息，然后總結歸納出數據規則集合或建立文本分類器，再根據這些分類集合對需要分類的文本進行分類。常用的文本分類算法有：決策樹（Decision Tree）分類算法、K緊鄰（K-Nearest Neighbor）算法、樸素貝葉斯（Naive Bayes）算法、粗糙集（Rough Sets）算法等。其中決策樹分類算法是一種較適用于文本分類的算法，決策樹是一個預測模型，包括一個根節點、若干枝節點和葉節點，樹中每個枝節點表示某個對象，不同的路徑代表不同的屬性值，每個葉節點對應該對象的值，即類別，如圖1所示。

圖中A=X和A=Y且B=Y的樣本屬于類1，A=Y且B=X和B=Z的樣本屬于類2。

相似度比較計算是信息分類及判別的關鍵技術。由于自然語句是由字、詞語及關鍵字等組成，相似度的比較計算可以分為詞語相似度、語義相似度、句子相似度、句長相似度等多個特征方面。其中，詞語相似度是指兩個或幾個詞語所表達的內涵相同或相近，可以互相替換使用而不改變整個語句的文義的程度，常用的詞語相似度算法有基于統計和基于規則的兩種方法；句子相似度主要由基于語法的分析和基于詞匯相似度矩陣的分析方法。通過多個特征相似度的分析計算，對語句及其含義進行綜合對比研究，從而達到自動評閱的目的。

3 主觀題自動評閱的發展方向

主觀題自動評閱技術一直是完全實施考試信息化、教學信息化的瓶頸問題，研究的很多，但進展較為緩慢，特別是應用于實際的成果比較少，其主要原因是一些關鍵技術、核心技術還處在研究、發展階段，如：自然語言的深入理解、模式的識別、人工智能技術的發展等。主觀題自動評閱主要是采用基于大數據分析的自然語言處理技術，按照評閱流程，可以分為分句、分詞、語言的預處理、分類計算、相似度比較計算等幾個環節。但對于漢語言來說，自然語言處理的技術實現難度非常大，由于漢語的復雜性，表達形式多樣性，計算機很難準確把握和判斷，如果算法不精確，沒有將關鍵語義包括在內的話，將會直接導致自動評閱的誤判。在前沿技術上，通過大數據分析技術的不斷發展和推動，進一步完善主觀題自動評閱在教學信息化中的實際應用將具有廣闊的前景和市場需求。

【參考文獻】

[1]Hearst M，etal.The Debate on Automated Essay Grading[J].IEEE Intelligent Systems，Treads&Controversies; feature，2000，15（5）：22-37

[2]Lawrence Rudner，etal.An Overview of Three Approaches to Scoring Written Essays by Computer.www.circ.cd.gov

[3]李輝陽，韓忠愿 有限領域簡述文字的自動判讀及其在CAI中的應用[J]，計算機工程應用，2002，38（8）：76-78

[4]王剛，邱玉輝，蒲國林 一個基于語義元的相似度計算方法研究[J]，計算機應用研究，2008，25（11）：3253-3255

[6]蘇金樹，張博鋒，徐昕 基于機器學習的文本分類技術研究進展[J]，軟件學報，2006，17（9）：1848-1859