卷積循環(huán)神經(jīng)網(wǎng)絡(luò)在高考數(shù)學(xué)填空題評閱中的應(yīng)用

沈晨　林正聞　馮朝君

摘要：在高利害型考試中（例如高考），閱卷是一項(xiàng)時間有限、條件有限的細(xì)致工作。當(dāng)前，深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)是人工智能領(lǐng)域中非常成功的算法，它能夠模擬人來處理識別文字圖片等數(shù)據(jù)。對于填空題這樣的客觀題型，利用深度學(xué)習(xí)技術(shù)，可以進(jìn)一步提高閱卷效率和閱卷質(zhì)量。文章將構(gòu)建并訓(xùn)練可用于識別手寫字符的神經(jīng)網(wǎng)絡(luò)模型，以實(shí)現(xiàn)高考數(shù)學(xué)中填空題的機(jī)器自動智能批閱。具體實(shí)現(xiàn)大致如下：首先對答題掃描圖片進(jìn)行預(yù)處理，然后用訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)模型對答卷進(jìn)行自動化批閱，最后對比人工閱卷結(jié)果進(jìn)行差異化分析。結(jié)果表明，機(jī)器智能識別評分的準(zhǔn)確率達(dá)到90%以上，對正確作答的召回達(dá)到甚至超過了預(yù)期水平。相比之前智能通過采樣少量樣本預(yù)測評分得分率，智能閱卷可以利用全部答卷（即總體），給出更加準(zhǔn)確的得分率，這對評分細(xì)則的制定十分有益。此外，通過差異化分析，智能閱卷還能輔助閱卷質(zhì)檢人員，盡量避免可能存在疑問的答卷圖片。

關(guān)鍵詞：自動閱卷；卷積網(wǎng)絡(luò)；深度學(xué)習(xí)；高考數(shù)學(xué)；填空題

中圖分類號：TP18? ? ? ? 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2023）01-0024-04

中國作為全球教育考試體系較為完善的國家，每年都有大量的閱卷需求。高考、中考作為高利害性考試，從出題到閱卷的各個環(huán)節(jié)要求都十分嚴(yán)格。據(jù)統(tǒng)計(jì)，上海作為中國教育發(fā)達(dá)地區(qū)之一，參加中考的學(xué)生人數(shù)從2015年的7.9萬人，逐漸增長到2021年的近10萬人，到了2022年，總?cè)藬?shù)在11.4萬人。從人口統(tǒng)計(jì)數(shù)據(jù)可以預(yù)見，2023年參加中考的學(xué)生人數(shù)將會達(dá)到新的峰值在18萬人左右；同時，2022年參加上海高考的考生人數(shù)也在7萬左右，并逐年呈上升趨勢。

隨著考生規(guī)模的不斷擴(kuò)大，人工評閱的工作量顯著增加，因此利用智能算法來自動化閱卷將是一種非常有潛力的解決方案。作為高考常規(guī)考試題型，填空題具有客觀性、多樣性等特點(diǎn)，相較于計(jì)算題、主觀題這樣靈活性較高的題型而言，填空題容易實(shí)現(xiàn)自動化閱卷，從而在一定程度上降低人工評閱的工作量；然而，相較于選擇題這樣答案固定的題型而言，填空題的多樣性增加了自動閱卷的難度。另外，填空題采用的是考生用筆書寫的作答方式，因此，答卷中不可避免地帶有考生各自獨(dú)特的書寫習(xí)慣，這將是智能自動閱卷需要重點(diǎn)解決的問題。本研究旨在探索卷積神經(jīng)網(wǎng)絡(luò)這一智能算法，在高考數(shù)學(xué)填空題評閱中的應(yīng)用和該評分系統(tǒng)的效度，為其進(jìn)一步的使用和推廣奠定基礎(chǔ)。

1 研究背景

1.1? 數(shù)學(xué)填空題的特點(diǎn)

數(shù)學(xué)填空題是一類常規(guī)的客觀題型，需要考生在規(guī)定的位置書寫答案，其形式簡單，答案較為固定，例如：

這類題型中每一空格的答案較為固定，但正確答案的形式可以有多種等價表述，即具有答案多樣性。以某次考試的填空題為例：

在第1題中，正確答案可以是[2-i]也可以是[-i+2]；再例如第2題中，答案[（1，2）]也可以寫成集合的等價形式：{x|1

數(shù)學(xué)符號的書寫特點(diǎn)，填空題的答案不但可能包含多重元素，如數(shù)字、數(shù)學(xué)符號、漢字、標(biāo)點(diǎn)符號等，還可以有左右，上下甚至嵌套等結(jié)構(gòu)。例如：分?jǐn)?shù)可以寫成[1/2]的左右結(jié)構(gòu)，也可以寫成[12]這樣的上下結(jié)構(gòu)；再例如：[5]是一種數(shù)學(xué)符號與數(shù)字的嵌套結(jié)構(gòu)，因此數(shù)學(xué)填空題答案具有元素和結(jié)構(gòu)復(fù)雜性。除此以外，部分?jǐn)?shù)學(xué)符號的手寫近似程度很高，例如：中括號與小括號，逗號和點(diǎn)號，字母x及其大寫X等，即具有一定程度的混淆性。

總的來說，數(shù)學(xué)填空題答案的多樣性、元素和結(jié)構(gòu)的復(fù)雜性以及易混淆性，成為了正確評閱填空題的難點(diǎn)，也正是本研究要解決的主要問題。

1.2 卷積神經(jīng)網(wǎng)絡(luò)算法對手寫數(shù)學(xué)符號的識別

當(dāng)前人工智能（Artificial Intelligence， 簡稱AI） [1]在制造、交通、金融、教育和醫(yī)療等都有相當(dāng)廣泛的應(yīng)用。例如：自動駕駛系統(tǒng)、身份識別、大數(shù)據(jù)風(fēng)控、智慧供應(yīng)鏈等都是AI的技術(shù)的成功應(yīng)用場景。人工智能賦能千行百業(yè)，萬物智能化是技術(shù)發(fā)展的前沿的趨勢，在教育領(lǐng)域，智能化閱卷是智慧教育的一個非常有潛力的研究領(lǐng)域。

卷積循環(huán)神經(jīng)網(wǎng)絡(luò)（Convolutional Recurrent Neural Network，簡稱CRNN） [2]是一種用于解決序列圖像問題的端到端的識別方法，是人工智能領(lǐng)域的重要算法之一。CRNN集成了卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，簡稱CNN） [3]和循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，簡稱RNN） [4]兩種網(wǎng)絡(luò)的特點(diǎn)，可直接從圖片中預(yù)測序列。該模型在印刷體文字的識別上已經(jīng)達(dá)到了相當(dāng)?shù)臏?zhǔn)確率，其優(yōu)點(diǎn)在于：1） 無須預(yù)先分割所要識別的文字，這將解決數(shù)學(xué)填空題中出現(xiàn)的結(jié)構(gòu)復(fù)雜性問題。在以往的嘗試中，分割數(shù)學(xué)字符就已經(jīng)是非常困難的任務(wù)，由于考生書寫習(xí)慣的不同，其手寫數(shù)學(xué)符號往往帶有連筆，這樣的答案幾乎是無法分割的，但CRNN的端到端的特點(diǎn)十分有效地解決了這一問題[5]。2） 采用（Connectionist temporal classification，CTC） 結(jié)構(gòu)作為網(wǎng)絡(luò)的訓(xùn)練目標(biāo)函數(shù)[6]，將解決文字書寫的對齊問題，這樣一來，無論符號之間留有多少空白區(qū)域，都可以對應(yīng)正確的識別輸出。3） 非常容易遷移學(xué)習(xí)，這將有助于提高神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速度，也有助于擴(kuò)大訓(xùn)練的樣本種類，繼而一定程度上克服數(shù)學(xué)符號的多樣性和易混淆性問題，并使得模型具有更好的泛化能力[7]。

2 評閱流程

2.1 神經(jīng)網(wǎng)絡(luò)構(gòu)建與模型訓(xùn)練

在神經(jīng)網(wǎng)絡(luò)搭建過程中，卷積循環(huán)網(wǎng)絡(luò)的結(jié)構(gòu)采用了經(jīng)典的網(wǎng)絡(luò)參數(shù)配置[8-13]，并使用成熟的Keras框架進(jìn)行構(gòu)建；在網(wǎng)絡(luò)的訓(xùn)練過程中，輸入的訓(xùn)練數(shù)據(jù)包含了國內(nèi)外開源數(shù)據(jù)集合，例如：MNIST數(shù)據(jù)集，IAM數(shù)據(jù)集等，并從中學(xué)中現(xiàn)場采集了部分?jǐn)?shù)據(jù)集，基本覆蓋了數(shù)學(xué)符號、集合、分?jǐn)?shù)、根號、英文字符、標(biāo)點(diǎn)符號等種類。整個訓(xùn)練過程包含了預(yù)訓(xùn)練，遷移學(xué)習(xí)，增加數(shù)據(jù)集，再訓(xùn)練這樣若干次反復(fù)迭代過程，這也是本研究的創(chuàng)新點(diǎn)之一。通過這樣的迭代式訓(xùn)練，整個網(wǎng)絡(luò)能力在不斷提升，有助于持續(xù)獲得最佳數(shù)學(xué)填空題的識別效果。

2.2 評閱實(shí)施技術(shù)細(xì)節(jié)

首先，需要對考生的答案圖片進(jìn)行預(yù)處理，其中包括對各個試題的分割，例如圖3、圖4中，要對1～6和7～12題分別進(jìn)行題目分割，即把每一題的區(qū)域提取出來。在圖片的掃描過程中，整體圖片位置與大小等特征方面基本沒有差異，由此筆者針對每一道題目只要按照少量圖片為基準(zhǔn)進(jìn)行選框，并對所有圖片以框?yàn)閱挝粚騼?nèi)的圖像進(jìn)行提取即可得到該題所有考生的答案圖片。當(dāng)然，這里可能需要注意的是，掃描機(jī)器的精度有限，每一張答題卡間的在橫坐標(biāo)與縱坐標(biāo)上都有著細(xì)微的差異，因此在選框的過程中要在接近題號的部分進(jìn)行留白，在上下限的劃分則需要根據(jù)經(jīng)驗(yàn)判斷選框區(qū)域。這里需要注意的是，畫框的合理性會決定最后的準(zhǔn)確率，框的不合理可能會導(dǎo)致有一部分圖片中沒有把全部答案框選進(jìn)來，從而導(dǎo)致預(yù)測的錯誤。

在完成選框后，下一步進(jìn)行的是對所有考卷按照選定的圖像進(jìn)行圖像切割。切割后的圖片無論是尺寸、顏色或是位置特征可能會有一些不符合模型要求，因此在切割的過程中需要對圖片進(jìn)行處理，處理流程如下：

1） 根據(jù)選定的圖像框坐標(biāo)進(jìn)行圖片提取；

2） 對圖片進(jìn)行0-1二值化處理，即將圖像中的值轉(zhuǎn)化為0或1；

3） 計(jì)算全為0的行與列，并將四周的無用部分去除，即找到最小矩形區(qū)域選出所有含有1的特征；

4） 計(jì)算長寬比例，將長或?qū)掃M(jìn)行0填充至60：270的比例（訓(xùn)練數(shù)據(jù)圖像比例）；

5） 將圖像縮放至32：256的大小，將圖像反色后按題號導(dǎo)出至指定文件夾。

在完成預(yù)處理的所有流程后，將根據(jù)選框數(shù)量得到數(shù)個文件夾，每個文件夾中包含所有考生該題的答案圖片，以供后續(xù)預(yù)測使用。

然后，按照圖5的流程進(jìn)行閱卷評分，其中主要包括：利用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型識別考生答卷中的數(shù)學(xué)符號以及文字，比對評分標(biāo)準(zhǔn)進(jìn)行評分，在評分結(jié)束后自動生成評分結(jié)果并提交給使用者。

2.3? 評價指標(biāo)設(shè)計(jì)

在智能閱卷過程中，將同時對每一題的得分率進(jìn)行預(yù)測，最終將與人工評閱結(jié)果進(jìn)行對比。因此，智能評閱系統(tǒng)將有如下的幾個評分指標(biāo)：1） 考生得分預(yù)測準(zhǔn)確率；2） 預(yù)測每一題得分率的準(zhǔn)確率；3） 差異化分析后的混淆矩陣和結(jié)果。

3 智能化閱卷實(shí)施效果

以某次考試的具體閱卷實(shí)施為例，智能化閱卷（下文中稱機(jī)器評閱）所預(yù)測的考生得分結(jié)果與人工評閱的比較如圖6所示。

可見，其準(zhǔn)確率達(dá)到了90%以上，已經(jīng)非常接近人工評閱的結(jié)果。其次，對于考生作答正確的情況，其召回率也超出了預(yù)期，如圖7所示。

可見在大部分題目（題1、題4-10） 中，機(jī)器評閱能最大限度地把做對的考生尋找出來，其表現(xiàn)能力要優(yōu)于人工評閱的情況。

機(jī)器評閱所預(yù)測的得分率情況如表1所示。可以看到，經(jīng)過機(jī)器評閱全部試題后，可以預(yù)測每一題的得分率。另外，由誤差矩陣，還可以進(jìn)一步對預(yù)測的得分率進(jìn)行修正。得分率乘以每題總分，既可以獲得得分情況，結(jié)果表明，機(jī)器預(yù)測的得分結(jié)果更加接近真實(shí)成績。事實(shí)上，這一優(yōu)勢來自機(jī)器評閱是對全部試卷進(jìn)行評分，而人工評閱只能通過采集部分少量樣本進(jìn)行預(yù)測。

機(jī)器評閱后，將進(jìn)行差異化分析之，獲得的混淆矩陣如圖8所示。

從圖8可以看出，各題在人工判對的情況下機(jī)器判對的概率都在98%以上，但在人工判對的情況下機(jī)器判錯的概率并不低，這是由于機(jī)器閱卷中設(shè)定的標(biāo)準(zhǔn)要嚴(yán)格一些，例如：出現(xiàn)涂改的地方往往判定為考生答錯。在具體的應(yīng)用過程中，基本可以完全確定肯定對和肯定錯的部分，這對正確評閱試題非常有幫助，此外，對于誤差矩陣中判錯的部分，還將分析其差異性的來源，幫助質(zhì)檢人員尋找可能有疑問的答卷。

基于差異化分析的結(jié)果，可以得出以下結(jié)論：

1） 盡管機(jī)器評閱已經(jīng)解決了一部分有涂改痕跡的圖片的問題，但還有很大的提升空間，機(jī)器評閱的錯誤大多來源于此，另外，涂改會造成學(xué)生答題位置的改變，例如，將第1題的答案寫在了第1、2題的中間位置，這為機(jī)器評閱增加了難度。

2） 機(jī)器評閱可以幫助質(zhì)檢人員檢測出大部分可能有疑問的答卷，從而盡量減少了由于人工疲勞和慣性思維導(dǎo)致的問題。

通過評閱一致性對比，見圖9，其中“假陽性比例”是預(yù)測為真、真實(shí)為假的比例，“假陰性比例”是預(yù)測為假、真實(shí)為真的比例。可以看出，機(jī)器的批閱更加嚴(yán)格。

4 結(jié)論與討論

卷積循環(huán)神經(jīng)網(wǎng)絡(luò)模型對手寫識別的準(zhǔn)確率在純數(shù)字，根式與分式都有較高的準(zhǔn)確率，普遍達(dá)到80%，甚至90%以上，這可能是這些情況相對容易識別，但在區(qū)間與集合上的情況中，模型的表現(xiàn)能力弱一些，這可能與括號的準(zhǔn)確識別有關(guān)，尤其是中括號和小括號的手寫體，即便是人工批閱都有一定程度的主觀性，而數(shù)學(xué)公式講究嚴(yán)格性，中括號與小括號的區(qū)間含義不同，這就為識別造成了較大的困難。對于端到端學(xué)習(xí)，筆者采用了組合多種多樣的手寫區(qū)間與集合的訓(xùn)練集來增強(qiáng)其泛化能力。

因此，若將現(xiàn)階段模型用于考試填空題的預(yù)測，對于只包含純數(shù)字序列、根式與分式的題型可以直接進(jìn)行預(yù)測識別。但對于區(qū)間和集合，筆者建議先使用少部分的數(shù)據(jù)用于遷移學(xué)習(xí)，再用于全部答卷的預(yù)測識別。

通過機(jī)器實(shí)際評閱下來，筆者發(fā)現(xiàn)，如果要進(jìn)一步提高準(zhǔn)確率，可以采用以下幾個方面的策略：1） 答題紙最好能夠確定每一題的答題范圍，這樣就能保證圖片按題切割的成功率；2） 對于手寫涂改樣式進(jìn)行明確要求，可以有效提升機(jī)器和人工的識別準(zhǔn)確率和效率；3） 采用多個獨(dú)立的智能算法機(jī)器閱卷模型，可以盡可能減少人與機(jī)器在批閱時同時誤判的情況，從這方面講，機(jī)器閱卷如果要在未來完全脫離人工進(jìn)行獨(dú)立閱卷還有很長的路要走。

基于本論文的研究結(jié)論，筆者將繼續(xù)完善和豐富手寫字符數(shù)據(jù)庫和訓(xùn)練集，繼續(xù)針對數(shù)學(xué)填空題的評閱優(yōu)化提升預(yù)測精度，著重處理涂改等技術(shù)難題；并且嘗試擴(kuò)展填空題的適應(yīng)范圍，探索機(jī)器智能閱卷系統(tǒng)在英語、語文考試中的應(yīng)用場景。筆者相信，機(jī)器閱卷通過努力最終會成為非常有潛力的“閱卷員”。

參考文獻(xiàn)：

[1] 周飛燕，金林鵬，董軍.卷積神經(jīng)網(wǎng)絡(luò)研究綜述[J].計(jì)算機(jī)學(xué)報，2017，40（6）：1229-1251.

[2] 尹寶才，王文通，王立春.深度學(xué)習(xí)研究綜述[J].北京工業(yè)大學(xué)學(xué)報，2015，41（1）：48-59.

[3] 郭華.深度學(xué)習(xí)及其意義[J].課程 教材 教法，2016，36（11）：25-32.

[4] 郭麗麗，丁世飛.深度學(xué)習(xí)研究進(jìn)展[J].計(jì)算機(jī)科學(xué)，2015，42（5）：28-33.

[5] 宋睿，陳鑫，洪宇，等.基于卷積循環(huán)神經(jīng)網(wǎng)絡(luò)的關(guān)系抽取[J].中文信息學(xué)報，2019，33（10）：64-72.

[6] 王鑫，吳際，劉超，等.基于LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)的故障時間序列預(yù)測[J].北京航空航天大學(xué)學(xué)報，2018，44（4）：772-784.

[7] 李柯泉，陳燕，劉佳晨，等.基于深度學(xué)習(xí)的目標(biāo)檢測算法綜述[J].計(jì)算機(jī)工程，2022，48（7）：1-12.

[8] 周凱龍.基于深度學(xué)習(xí)的圖像識別應(yīng)用研究[D].北京：北京工業(yè)大學(xué)，2016.

[9] 紀(jì)國強(qiáng).基于機(jī)器學(xué)習(xí)的圖像識別研究[D].沈陽：沈陽理工大學(xué)，2018.

[10] 張雁.基于機(jī)器學(xué)習(xí)的遙感圖像分類研究[D].北京：北京林業(yè)大學(xué)，2014.

[11] 張慧，王坤峰，王飛躍.深度學(xué)習(xí)在目標(biāo)視覺檢測中的應(yīng)用進(jìn)展與展望[J].自動化學(xué)報，2017，43（8）：1289-1305.

[12] Shi B G，Bai X，Yao C.An end-to-end trainable neural network for image-based sequence recognition and its application to scene text recognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（11）：2298-2304.

[13] Choudhury A，Sarma K K.A CNN-LSTM based ensemble framework for in-air handwritten Assamese character recognition[J].Multimedia Tools and Applications，2021，80（28/29）：35649-35684.

【通聯(lián)編輯：唐一東】