自動評分方法研究現狀及趨勢

肖靈云 侯開虎 戴洪濤

摘 ?要： 自動評分方法是教育中實現計算機評分的一項研究，經過歸結、分析國內外自動評分方法及最新的科研成果，完善對自動評分方法的研究，便于快速學習和把握自動評分方法，了解該領域的發展現狀及趨勢。經過對過去該領域經典文獻整理，分析不同自動評分方法的運用思想、優劣勢，總結每種計算方法的側重點及最新的應用進展。本文從國內外自動評分方法兩方面進行闡述，形成較為清晰的思路。指出基于自然語言處理的自動評分方法為主流方法，基于深度學習的自動評分方法（CNN、RNN、LSTM）將成為該領域的發展趨勢，有助于全面把握和深刻了解自動評分方法的現狀和未來發展趨勢。

關鍵詞： 自動評分方法;自然語言處理;深度學習;CNN;RNN;LSTM

中圖分類號： TP391.41 ? ?文獻標識碼： A ? ?DOI：10.3969/j.issn.1003-6970.2019.06.035

本文著錄格式：肖靈云，侯開虎，戴洪濤，等. 自動評分方法研究現狀及趨勢[J]. 軟件，2019，40（6）：153156

【Abstract】： The automatic scoring method is a study of computer scoring in education. It is based on the analysis of domestic and international automatic scoring methods and the latest scientific research results， perfecting the research on automatic scoring methods， facilitating rapid learning and grasping the automatic scoring method. To understand the development status and trends in this field. After reviewing the classic literatures in the past， analyze the application ideas， advantages and disadvantages of different automatic scoring methods， and summarize the focus of each calculation method and the latest application progress. This paper elaborates on two aspects of automatic scoring methods at home and abroad， and forms a clearer idea. It is pointed out that the automatic scoring method based on natural language processing is the mainstream method. The automatic scoring method based on deep learning （CNN， RNN， LSTM） will become the development trend in this field， which will help to fully grasp and deeply understand the current status and future of the automatic scoring method and development trend.

【Key words】： Automatic scoring method; Natural language processing; Deep learning; CNN; RNN; LSTM

0 ?引言

自動評分技術就是借助于計算機和有關科學技術通過網絡平臺來輔助人工評分的一項技術。最近這些年，很多學者對各種評分方法的較為重視，特別是對主觀題的評分，利用自動評分方法可以幫助閱卷者快速、準確、公平公正的評分，以達到減少人力、物力、財力的目的。因此，全面把握和了解自動評分的方法研究發展現狀及趨勢具有非常大的現實意義。目前，國內外已經實現了對英語作文的自動評分，漢語考試中的單選題、多選題的批改技術也相當成熟。而主觀題自動評分方法由于涉及到人工智能、模式識別和自然語言理解等多方面的理論知識，因此，對比較多的主觀試題如名稱解釋題、簡答題、論述題等諸多問題的自動評分方法還沒有取得令人非常滿意的理想結果。有些在技術上的問題仍然沒有得到很好的解決，所以，實現主觀試題自動評分已經成為在線考試系統中的一個技術重點和難點[1]。

主觀題可以分為長文本主觀題和短文本主觀題，長文本主觀題包括文檔、篇章，短文本主觀題包括簡答、論述。到目前為止，大多數自動評分的方法主要是針對答案比較短的短文本的主觀題進行評分。由于漢語具有獨特的特點，其表達方式不僅多樣化，而且還具有復雜性，所以主觀題自動評分方法涉及到文本語義理解的問題。國內對于主觀題自動評分的研究仍存在很多不明白的技術問題，主觀試題自動評分方法仍不能很好的應用于實踐當中[1]。主觀題自動評分不但可以排除閱卷人的主觀因素的作用，使得評分結果有據所依，客觀并有說服力。而且可以大大減輕閱卷者的負擔，對主觀題自動評分方法的研究具有很大的實用意義[1]。

1 ?國內外自動評分方法及其優缺點

1.1 ?國外自動評分方法

國外專注于研究主觀題自動評分方法的時間相對國內比較早，并取得了一系列的科技研究成果，其中針對短文本主觀題的自動評分系統主要有 Auto Mark、ATM 等，針對長文本主觀題的主要有 PEG、IEA、E-rater等。PEG（Project Essay Grad） 系統主要運用統計學原理知識把文章的淺層語言形式特征的相似度作為主要評分依據，是一個規模比較大的作文評分系統，被看作是自動評分領域的開拓者[2]。由于沒有考慮文章的構造內容和語義信息，不能很好的理解文本內容，因而該系統的效果不太好。

IEA（Intelligent ?Essay ?Assessor）是由Hearst[2]等人開發出的基于隱含語義分析技術（Latent Semantic Analysis， LSA）的作文評分系統。IEA既考慮了語義信息和文本內容，又關注文本內容的質量，挖掘內容的語義信息。LSA 沒考慮詞序，只能片面地反應句子語義。IEA評分系統對社會科學、歷史學等說明性文章可以進行評分，但對事實性文章不太適合，能夠計算大規模、詞量豐富的文本的相似度，但對短文本、詞量較少的文本其向量空間會存在很多孤立點。

E-Rater（Electronic Essay Rater）是為了評估GMAT 考試中的英文寫作能力而研發的計算機程序[3]。E-rater綜合應用了NLP、矢量空間模型技術和統計學技術，綜合考慮了文本的語言質量、篇章結構、內容質量，并進行分析評估。該系統評分準確性比較高，但它采用的整體評分的策略，不僅不能單純判斷正誤，而且不能對那些需要判別內容正誤并給出分數的自動評分類問題進行評分，并沒有較深入的判斷文章的中心思想，只能評價考生的寫作水平而不能判斷考生答案與題目是否很好的吻合。

Auto Mark 系統[2]通過事先為每個題目分別制定多個正確答案或錯誤答案的評分模板，將考生答案逐一與模板匹配，判斷正確程度并給出分數，符合人的思維方式，意思表達到位即可，真正完成了基于語義、內容的任何文本答案的自動評分，為主觀題自動評分技術的發展研究開拓了新思路。

ATM（Automated Text Marker）是一款針對有明確正誤之分、答案文本較為簡短的題目進行計算機輔助評分的一種評分系統[2]。其針對開放式問題的任意文本答案的自動匹配功能，主要利用NLP技術，經過語法預處理、句子的主要成分及相互關系進行解析、匹配結果與標準答案幾個步驟計算出分數。ATM取得了較大的突破，但該系統使用了語法和語義分析技術，增加了實現該系統的難度。

1.2 ?國內自動評分方法

我國吸取和完善上述一些先進的技術逐漸開始注重對自動評分方法的研究，并應用到實際生活中。目前國內基于主觀題自動評分的方法主要有：產生式規則;運用動態規劃方法改進語句相似度的計算;模糊數學中單向貼近度;有限領域中文本自動判讀技術;字符串匹配的方法;文本相似度;空間模型技術;統計學技術;自然語言處理技術等。國內學者將上述方法、或者其改進方法、或上述方法相結合應用于自動評分系統中，并取得了一定的成績，但仍有諸多不足之處需要改進。

將產生式規則思想應用在考試評分方法中，可以實現一定程度上對非客觀試題的智能化評分閱卷，如計算機上機操作考試、語文和英語類等。通過定義產生式規則的分解和運算，使得產生式規則的簡化和在關系數據庫中的存儲問題得到了很好的解決[4]。

諸多學者將模糊數學中貼近度理論或者將貼近度理論與句法分析相互結合，然后將其應用于主觀題自動評分系統中。通過研究分析閱卷者對主觀題評分流程的思維方式，依據得分點和貼近標準答案的程度來評分，能在一定程度上完成對主觀題的評分，使教師的工作量得到減少。但是此類計算方法比較簡單，沒有考慮語義、語序等問題對評分系統的作用，其評分精度不高。

李輝陽等人[5]經過對有限領域中文本自動判讀技術的研究，提出的可應用于計算機輔助教學的基于關系的帶權匹配技術并獲得了成功，其實現的方法能夠對簡單論述正誤進行較好的判別，該方法在某種程度上模擬了老師閱卷過程，實現了計算機自動批改列舉題、簡述題、簡答題等諸多主觀題，對主觀題自動評分有一定的實際指導意義。張量等[6]用字符串匹配的方法開發了一種自動批改技術，主要是針對計算機基礎上機操作考試中的文字錄入題，該方法主要判斷學生所錄入的字數、錯錄、漏錄情況。

有些學者將作文評分過程看作是文本分類過程，通過決策樹分類器將文本分類?；蛘甙凑兆魑脑~匯等的相似度通過文本聚類進行分類，實現了英語作文自動評分方法中文本聚類的應用文。雖然采用梯度提升決策樹分類器的分類效果，但其方法特征不能充分反映作文特征，可擴展性也不好。通過文本聚類將差異性較大的可能跑題的作文交由老師評閱，減少了教師工作量，并使作文批改的準確性程度和老師的工作效率都得到了一定的提高。而基于向量空間模型的問答題智能化評分方法，其依據VSM將學生的答案及標準答案表示成特征向量的形式，然后計算其相似度，從而確定學生的得分。

主觀題自動評分方法的好與壞，無非是體現在標準答案和考生試題答案之間的相似度程度上。在全面考慮了語義，語序，文本整體表達涵義之后，相似度高，則得分高，相似度低，則得分低。為此，諸多學者在如何提高文本相似度有關方面進行了大量的科學分析研究。學者們充分將知識庫或詞典或兩者相結合引入到評分過程中，以便提高相似度計算的準確性。然后再對計算得分的計算模型加以改進，計算出最后得分。經過一系列的操作之后，評分結果與人工的評分結果更加接近。然而這種方法仍有缺陷，首先，詞庫覆蓋范圍不夠足夠大，再者，提取特征時有不足之處，還需要進一步改進。

隨著自然語言處理技術的日益成熟，對于自然語言處理技術將如何應用于主觀題自動評分中，諸多學者進行了大量嘗試，并取得一些進展。比如基于自然語言處理的智能評分方法，經過改進已有的文本相似度計算方法，提出了一種新的排序和劃分區間的評分方法。查看實驗結果，表明該智能評分方法有效且可行。通過一些算法生成自然語言概念圖或概念網，然后對目標文本進行預處理，再計算文本相似度，從而計算得分。在應用自然語言處理技術，可以與《知網》知識庫或《同義詞詞林》詞典相結合，以便更好的理解文本語義，從而提高評分準確率。

2 ?自動評分方法展望

由于漢語表達方式的多樣化和復雜性，國內對于主觀題自動評分的研究仍存在很多問題，到目前為止，并沒有很好的應用于實踐的主觀題自動評分方法[2]。主觀題的評分判斷涉及到自然語言的翻譯、理解及語義的匹配等，主觀題自動評分方法涉及到的技術主要有文本的預處理、相似度計算、計算分數等諸多個方面。主觀題自動評分不單單是自然語言理解技術的一個很有意義的應用，而且還依賴于NLP技術的研究發展[7]。

由于大數據以及計算力的提升，深度學習有了極大的突破，基于神經網絡的深度學習方法被引用到NLP算法中。深度學習作為機器學習的一個重要分支，可以自動地學習合適的特征和多層次的表達與輸出。在NLP技術領域，主要在信息抽取、詞性標注、命名實體識別、文本分析等研究方向都有成功的應用。和傳統方式相比，深度學習的重要特性是，用詞向量來表示各種級別的元素。傳統的算法一般會用統計等方法去標注，而深度學習會直接通過詞向量表示，然后通過深度網絡進行自動學習。目前，深度學習在自然語言處理中是比較流行的，其中算法包括：多層感知機、CNN、RNN、Seq2Seq等。

卷積神經網絡[8]（Convolu-tional Neural Network，CNN），是一種由輸入層、卷積層、池化層、全連接層、輸出層組成的前饋神經網絡，其具有良好的自學習能力和泛化能力，在短文本的表示和句子分類上也取得了一系列進展。而循環神經網絡（RNN）與卷積神經網絡不同，是一種能夠對時序數據進行精準建模的網絡。而文本的獨特在于是典型的序列數據，每個文字的出現都是依賴于前面的單詞和后面的單詞，所以循環神經網絡應用于文本較為廣泛，近年來，RNN及其變種長短時記憶網絡（Long Short Term Memory ，LSTM）在NLP領域得到了廣泛應用，例如在語言模型、句法分析、語意角色標注等領域均有優異的表現。LSTM是RNN的升級版本，從抽象的角度來看，LSTM保存了文本中的長期依賴信息。并通過對循環層的刻意設計來避免長期依賴的問題和梯度消失的問題。

3 ?結論

自動評分方法，特別是主觀題自動評分方法一直是完全實施考試信息化、教學信息化的瓶頸問題，研究的很多，但進展較為緩慢，特別是應用于實際的成果比較少，其主要原因是一些關鍵技術、核心技術還處在研究、發展階段[5]，如：對自然語言的深入理解、模式的識別、人工智能技術的發展等。主觀題自動評分方法主要是利用基于大數據分析的NLP技術，按照評閱流程，可以分為分句、分詞、語言的預處理、分類計算、相似度比較計算等幾個環節。在前沿技術上，通過大數據分析技術的不斷發展和推動，進一步完善主觀題自動評分在教學信息化中的實際應用將具有廣闊的前景和市場需求。近年來隨著神經網絡的出現，自動評分的準確程度得到了顯著的提高。本文總結了以往研究中的經典方法，并且對當前主流的研究方法進行總結分析。通過對自動評分中大量的方法進行梳理和歸納分析，主要將其分為國外經典自動評分方法、國內自動評分方法兩方面來介紹。其中，國內的自動評分方法主要包括產生式規則;基于動態規劃方法對語句相似度進行改進;模糊數學中單向貼近度;有限領域中文本自動判讀技術;字符串匹配、文本相似度;空間模型技術;統計學技術;自然語言處理技術等。其中基于自然語言處理技術的自動評分方法主要包括：中文分詞、去停用詞、詞義消岐、詞性標注與命名實體識別技術、句法分析、關鍵詞提取、文本向量化等。國內外自動評分方法具體如圖1所示。

目前應用較多的是基于自然語言處理的自動評分方法其中比較流行的深度學習算法有：多層感知機、CNN、RNN、Seq2Seq等。而基于深度學習的神經網絡的主觀題評分方法將成為未來的發展趨勢，具有較好的應用前景。自動評分方法與基于神經網絡的深度學習方法相結合，通過深度網絡進行自主學習，提取文本特征，這將會帶領主觀題自動評分方法邁向一個新的臺階。

本文對國內外學者取得的進展和最新成果進行了總結歸納，形成了較為全面的分類體系，希望有助于全面把握和深入了解自動評分方法的研究現狀和未來發展趨勢。

參考文獻

[1] 高思丹， 袁春風. 主觀試題的計算機自動批改技術研究 [J]. 計算機應用研究， 2004， 21（2）： 181-185.

[2] RudnerL，GagneP.An Overview of Three Approaches to Scoring Written Essays by Computer[J]. Practical Assessment， 2001， 151（3）： 501.

[3] Attali Y， Burstein J. AUTOMATED ESSAY SCORING WITH E-RATER?; V.2.0[J]. Journal of Technology Learning & Assessment， 2006， 4（2）： i-21.

[4] 劉增鎖， 吳敬. 產生式規則在考試評分系統中的應用研究 [J]. 計算機技術與發展， 2006， 16（7）： 162-164.

[5] 李輝陽， 韓忠愿. 有限領域簡述文字的自動判讀及其在CAI中的應用[J]. 計算機工程與應用， 2002， 38（8）： 76-78.

[6] 張量， 詹國華. 開放式、智能化計算機考核閱卷系統的設計與實現[J]. 計算機工程與應用， 2001， 37（10）： 108-110.

[7] 麥范金， 岳曉光， 趙子強， 等. 基于自然語言處理的智能評分系統[J]. 桂林理工大學學報， 2010， 30（3）： 426-430.

[8] 劉亞軍， 徐易. 一種基于加權語義相似度模型的自動問答系統[J]. 東南大學學報（自然科學版）， 2004， 34（5）： 609-612.

[9] LiB，YaoJM.Automated Essay Scoring Using Multi-classifier Fusion[C]//International Conference on Information & Management Engineering.2011.

[10] Kim Y. Convolutional neural networks for sentence classification[J]. ar Xiv preprint ar Xiv：1408.5882， 2014.

[11] Wang R， Wang X， Chi Z， et al. Chinese Sentence Similarity Measure Based on Words and Structure Information[J]. International Conference on Advanced Language Processing & Web Information Technology， 2008：27-31.

[12] Bin L， Ting L， Bing Q， et al. Chinese Sentence Similarity Computing Based on Semantic Dependency Relationship Analysis[J]. Application Research of Computers， 2003.

[13] Page， E. B. Computer grading of student prose [J]， using modern concepts and software. Journal of Experimental Education， 62， 127–142.

[14] Thomas k. Launder， Darrell Latham， Peter Foltz， Automatic essay assessment [J]， Assessment in Education， 2003， 2003（10）， 295-308.

[15] Valenti S， Neri F and Cucchiarelli A. An Overview of Current Research on Automated Essay Grading[J]. Journal of Information Technology Education， 2003， 2： 319-330.

[16] Han， Na-Rae， Martin Chodorow， and Claudia Leacock. Detecting errors in English article usage by non-native speakers[J]. Natural Language Engineering， 2006. 12（1）： 115-129.

[17] ]Rudner L M， Liang T. Automated essay scoring using Bayes' theorem[J]. The Journal of Technology， Learning and Assessment， 2002， 1（2）.

[18] 張春英， 李春虎， 付其峰. 基于WV-CNN的中文文本語義相似度計算方法[J]. 華北理工大學學報（自然科學版）， 2019， 41（01）： 123-132.