雙向匹配向量空間算法在智能閱卷系統中的應用

季天凱　朱軒　周漢清

摘要：目前，主觀題自動化閱卷的準確度是智能閱卷系統能否有效的關鍵要素，通過提出雙向匹配向量空間算法，使用盤古分詞組件進行文本預處理，利用算法中的雙向匹配和向量空間計算關鍵詞匹配和文本相似度，實現主觀題自動閱卷的評分功能，并通過C#.NET語言開發智能閱卷系統。通過系統實驗結果證明，該算法下的自動閱卷與人工閱卷的結果誤差率較小，具有良好的應用前景。

關鍵詞：中文分詞;雙向匹配;向量空間;相似度計算

中圖分類號：TP18? ? ? 文獻標識碼：A

文章編號：1009-3044（2021）12-0079-03

Abstract： Currently， the accuracy of automatic marking of subjective questions is the key factor for the effectiveness of intelligent marking system， by proposes a bidirectional matching space algorithm， use Pangu word segmentation for text preprocessing， use keyword bidirectional matching and vector space model to calculate keyword matching and text similarity， and C#. Net design marking system. Experimental results show that the result of automatic marking under the guidance of this algorithm is less different from that of manual marking， and has a good application prospect.

Key words： Chinese word segmentation; bidirectional matching; vector space; similarity computation

1 背景

智能閱卷是指通過計算機對學生作答的試題答案進行自動閱卷[1]，減少閱卷工作量，提高評卷的公平性和效率。目前，智能閱卷是在線考試領域研究的前沿技術之一[2]。現階段，針對客觀題的智能閱卷已經得到了廣泛的應用，例如計算機等級考試、GRE考試以及會計電算化考試等[3]，然而由于主觀題評閱涉及分詞技術與關鍵詞匹配技術等，這使得主觀題評閱成為智能閱卷中的技術難點。近年來，隨著對自然語言處理理論研究的深入，已經提出了一些相對較為成熟的主觀題算法，但是在系統實現和具體應用上面仍然很少[4]。本文主要利用基于雙向匹配的中文分詞技術和向量空間的文本相似度技術，通過中文分詞技術將答案切分成不同的詞語，再經過雙向關鍵字匹配，獲取關鍵詞得分點;并通過向量空間，計算答案與標準文本的貼近度，完成主觀題答案的自動評閱，實現在線考試的智能閱卷功能，并利用實驗結果驗證智能閱卷的可靠性。

2 雙向匹配向量空間算法原理

本系統中主觀題部分的評閱采用雙向匹配向量空間算法實現，算法流程如圖1所示。

算法主要包含關鍵詞匹配計算方法，語義相似度計算方法以及綜合相似度融合算法。其中，關鍵詞匹配度可以通過關鍵詞雙向匹配進行計算，而語義貼近度可以通過向量空間進行量化，答案文本綜合相似度則通過關鍵詞匹配度與語義相似度兩維度進行融合，最終得出對主觀題的智能閱卷得分。

2.1 關鍵詞雙向匹配

關鍵詞雙向匹配即通過正向匹配和反向匹配相結合的方式，把學生答案中的關鍵詞依次和標準答案中的關鍵詞進行比較，當匹配一致時將字符字數進行累加，最后將正向匹配和反向匹配中匹配字符數值大的一項與標準答案中的關鍵詞字符數進行相除，得出的比值即為學生答案與標準答案關鍵詞的匹配程度。例如設[A0]為考生的答案，[?（T，A0）]為關鍵詞匹配的比值。雙向匹配的具體公式為：

在公式1中，[Ti]和[Tj]分別為關鍵詞在正向和反向匹配中匹配成功的字符數;[Ui]為標準答案中關鍵詞的字符數，[?Ti，A0]為考生答案與標準答案某關鍵詞匹配字符的比值;在公式2中，[S0]是題目的分值，[U]是標準答案中關鍵詞的個數，[T]為關鍵詞匹配的最終得分。

2.2 中文分詞技術

在主觀題智能閱卷中，中文分詞的作用十分重要，它可以將中文語句中的詞匯，按照一定的規則進行切分，形成一個一個單獨的詞語。而由計算機自動識別文本中的詞，實現切分處理過程的技術就是中文分詞技術[5]。例如中文“中國的首都是北京”，分詞結果是“中國＼的＼首都＼是＼北京”。在分詞時，分詞的結果受到語義、句法等因素影響。

目前，中文分詞技術已經比較成熟，網絡上出現很多開源的分詞軟件，例如盤古分詞、IKAnalyzer、Phpanalysis、Paoding等[6]。本文的中文分詞技術采用的是開源的盤古分詞組件，它是目前能夠對中文語句進行準確切詞的工具之一。例如，利用盤古分詞對中文“操作系統是管理計算機硬件與軟件資源的計算機程序。”進行分詞，最終的結果為“操作系統＼是＼管理＼計算機硬件＼與＼軟件＼資源＼的＼計算機＼程序”。

2.3 向量空間

在向量空間模型中，文本以向量的形式進行表示，通過把文本轉化為對向量空間的相似度運算計算文本相似度。向量空間相似度的計算可以用內積、夾角余弦、Jaccard相似度和Dice系數等方法來計算[7]。

本文采用夾角余弦方法計算文本相似度，當向量間的夾角越接近于0°，即夾角余弦值越接近于1，表示兩個向量越相似，即文本間的相似程度越高。計算公式為：

在公式3中，其中[A]和[U]表示兩個向量，代表考生答案和標準答案，[Ai]和[Ui] 分別表示兩個向量中的各個元素。

2.4 相似度融合

在得到答案文本基于關鍵詞的匹配得分以及基于語義結構的相似程度后，采用統計回歸的方法將兩個維度的相似度以最優的權重融合為答案文本的最終綜合相似度。本文將關鍵詞匹配與語義相似度定義為自變量，將考生答案得分與題目滿分值定義為因變量，定義的主觀題評分公式為：

在公式4中，[S]為考生答案最終得分;[S0]為題目滿分值;[T]為關鍵詞匹配得分值;[SimilarityA，U]為考生答案與標準答案間的相似度;[α]和[β]分別為匹配關鍵詞和文本相似度的權重，滿足[α+β=1]，權重可以根據實際需求自行調整。

3 智能閱卷系統設計

本文中基于雙向匹配向量空間算法設計的智能閱卷系統框架主要包括三個重要模塊，分別為定義模塊、處理模塊和響應模塊，如圖2所示。

定義模塊由試題內容、試題分值、標準答案、權重分配和考生答案構成，值得注意的是，在定義主觀題閱卷權重時，需要分別設置關鍵詞和相似度的權重，并保證兩者權重之和為1。主觀題設置界面如圖3所示。

處理模塊由中文分詞組件、關鍵詞抽取、關鍵詞雙向匹配和詞語相似度計算構成，通過盤古分詞組件對中文語句進行切詞，濾除與分詞無關的干擾項，通過雙向匹配和夾角余弦算法對關鍵詞匹配和文本相似度進行計算。

在響應模塊，通過對關鍵詞雙向匹配和文本相似度兩個維度的融合計算，量化并確定題目的最終得分。另外，系統中還加入了人工評閱的功能，對主觀題自動評閱的得分進行修正和完善，從而保證系統得分的準確性。閱卷效果如圖4所示。

4 實驗結果及分析

在完成基于雙向匹配向量空間算法設計的智能閱卷系統后，為了驗證算法的可用性，選取了50名考生的試卷進行測試，由于每份試卷有4道主觀類型的題目，在測試時，先利用中文分詞、關鍵詞匹配和夾角余弦相似度計算，進行系統閱卷，然后再進行人工閱卷，最后比較兩者的誤差率，測試結果如表1所示。其中，誤差率=|人工閱卷得分-系統閱卷得分|/滿分，誤差率越小表示系統閱卷結果可靠性越高。

另外，隨機選取其中第二題的閱卷記錄，利用折線圖的方式更加直觀的展示人工閱卷和系統閱卷之間的評分差異性，如圖5所示。

通過表1和圖5可以發現，雙向匹配向量空間算法指導下的系統閱卷雖然與人工閱卷在評分上不完全一致，但是誤差率基本控制在20%之內，說明該算法的結果是比較合理的。

5 結束語

本文詳細分析了雙向匹配向量空間算法的具體應用，在該算法中首先采用雙向匹配對關鍵詞的匹配程度進行度量、再通過向量空間量化文本間的相似度，最后通過對兩個維度的相似度融合，計算出考生答案與主觀題答案最終貼近程度。經過系統的仿真實驗結果表明，雙向匹配向量空間算法指導下的自動閱卷與人工閱卷之間的誤差率較小，在智能閱卷系統領域中具有良好的應用前景和推廣價值。

參考文獻：

[1] 張帥.基于孿生神經網絡的主觀題自動閱卷評分技術[J].現代計算機，2020（5）：23-25.

[2] 李紀扣，韓建宇，王嫄.基于相似度融合算法的主觀題自動閱卷機制[J].天津科技大學學報，2019，34（1）：76-80.

[3] 張翠翠，周國祥，俞磊，等.基于MVC的試卷生成及主觀題判卷算法研究[J].系統仿真學報，2020，32（1）：105-112.

[4] 陳賢武，劉道波.基于語句相似度的主觀試題自動閱卷模型研究[J].武漢大學學報（工學版），2018，51（7）：654-658.

[5] 馮光，喬丹丹，常靜怡.基于分詞匹配的主觀題自動評閱技術研究[J].計算機與現代化，2013（3）：212-214，219.

[6] 宋雪亞，王傳安.基于中文分詞的主觀題自動評分算法研究[J].河北北方學院學報（自然科學版），2017，33（9）：7-11.

[7] 秦學勇.基于相似度計算的主觀題閱卷系統設計[J].安徽建筑工業學院學報（自然科學版），2010，18（4）：77-80.

【通聯編輯：謝媛媛】