融合常識庫和語法特征的數學應用題題意理解

劉清堂，馬鑫倩，周 潔，吳林靜，周鵬霄

（華中師范大學 人工智能教育學部，武漢 430079）

0 引言

數學題自動求解的難點在于數學問題的題意理解。從Bobrow 等［1］開發出最早的STUDENT 數學問題理解系統開始，越來越多的學者投入到題意理解的研究中來，但現有研究中大多圍繞計算步驟簡單的數學計算題或者題意清晰的應用題開展。在早期基于規則的邏輯關系模型基礎上，不同學者將其創新性地轉化為分類、實體識別等問題，通過引入機器學習方法實現數學問題的題意理解，常見的方法有最大熵模型（Maximum Entropy Model，MaxEnt）［2］、支持向量機（Support Vector Machine，SVM）［3-4］和條件隨機場（Conditional Random Field，CRF）［5-6］等；但在對語義表述多變、求解規則復雜的應用題的題意理解方面的研究仍然存在方法不多、準確率低的問題，尤其是以古典概型題為代表的概率與統計問題是中高考的熱點題型，它研究的是生活中的隨機現象，與實際情境聯系緊密，可作為突破機器題意理解的極佳的研究對象，且由于其情境復雜、參數較多等特征，很難利用已有方法自動抽取解題所需的信息來實現題意的較高準確率理解。

本文選擇了初等數學古典概型應用題作為復雜語境的數學應用題題意理解的突破點，通過分析其文本特征和結構特征，構建了面向自動解題的古典概型應用題意表征模型；并根據古典概型應用題命題特點，提出了融合常識庫和語法特征題意理解方法。首先通過兩層語法特征識別層獲得語法特征表示，然后將識別結果輸入到CRF 層進行參數識別，最后通過常識參數補全模塊得到最終的題意理解表征。本文中的語法特征是指詞法特征、句法特征和邊界特征的總稱，常識庫是指面向數學解題領域構建的情景和數學類常識庫。以新東方在線網站和21 世紀教育在線題庫中的948 道古典概型應用題為實驗語料進行實驗，實驗結果表明，所提方法對古典概型類應用題題意理解具有顯著成效。

1 相關研究

1.1 題意理解

人通過語言將其所要表述的“意思”傳達出來，計算機通過理解語言中的問題所蘊含的“參數”實現人機的自動交互。當前自然語言處理領域題意理解的研究主要基于三種方法來開展：基于規則的方法［7］、基于統計的方法［8-9］和基于神經網絡的方法［10-11］。題意理解是數學問題自動求解所面臨的第一個問題，主要目標就是讓計算機具有類人思維，從復雜的數學文本中提取出與解題相關的信息。對數學問題的題意理解方法研究，最早是Bobrow［1］開發的STUDENT 數學問題理解系統，基于關鍵詞和句式匹配的方式建立邏輯關系模型，實現英文代數問題的題意理解。基于此，有學者探索并實現了對面向微積分應用題的CARPS（CAlculus Rate Problem Solve）題意理解系統［12］和面向基本概率問題的HAPPINESS 題意理解程序［13］，此外還有文獻［14-15］等。隨著機器學習技術的發展，不同學者將題意理解創新性地轉化為子模塊優化、分類問題及實體識別問題等，通過引入不同的機器學習方法實現數學問題的題意理解。吳林靜等［16］針對初等數學分層抽樣問題提出了包含五種語義角色的題意表征框架，將題意理解問題轉化為句子分類問題，設計了分層抽樣問題的題意理解框架，此外還有部分學者［17-18］采用分類方法實現題意理解。吳宣樂［19］將句模理論和命名實體識別相結合構建了題意理解系統，實現了初等數學問題的題意理解。當前命名實體識別領域應用較為廣泛的有MaxEnt［2］、隱馬爾可夫模型（Hidden Markov Model，HMM）［20］、SVM［3-4］、CRF［21］等，其中CRF 因其能靈活引入多種特征、充分利用上下文信息，得到了學者的廣泛關注，在軍事［22］、醫療［23］、食品安全［24］、不同語言［25-27］等領域均取得了很好的效果。此外，對于復雜多變的數學問題也有學者嘗試引入知識庫以提升數學題意理解的效果：Wong 等［28］通過構建InfoMap 本體知識庫設計了一個基于認知知識的數學應用題題意理解系統（Learner-initiating instruction model of geometry word problems，LIM-G）；劉清堂等［29］通過構建常識庫系統輔助題意理解。

綜上所述，基于機器學習技術的題意理解方法逐漸成為主流，但通過對文獻的深入分析，發現大部分研究都圍繞計算步驟簡單的數學計算題或者題意清晰的應用題開展，在對語義表述多變、求解規則復雜的應用題的題意理解方面的研究較少。有研究指出使用機器學習方法進行實體識別進行建模，若單純考慮字詞級別層面的特征可能會導致模型與數據產生過擬合的問題［30］。在詞法特征的基礎上增加句法特征分析可以增加詞語間的長距離依賴能力［31-32］，促進對復雜情景信息的理解。因此，本文擬探索引入詞法特征、句法特征和邊界特征等多種語法特征，引入機器學習模型，探索適合數學領域的題意理解方法。

1.2 常識庫及應用

古典概型應用題是概率與統計領域的基本題型，命題信息大多來源于人們日常的生產實踐活動以及生活經驗等，題意表達涉及豐富的情境信息、數學專業知識等常識信息。人進行題意理解時，往往可根據所具備的日常經驗對常識信息進行補全；但計算機在進行題意理解時，不具備這些對情境和數學知識具有完善作用的信息。因此，如何解決計算機對常識信息的自動識別與補全成為題意理解的重要研究問題。常識是一種來源于生活實際的重要的人類知識［33］。常識研究是自然語言處理領域的重要組成部分，Smith［39］將人們與常識世界的交互稱之為自然認知，而在自然認知過程中使用的就是自然語言，因此，通過自然語言處理去進行常識的相關研究，不僅能促進常識的獲取，也有助于自然語言理解和常識特點與結構的相關研究。

對常識的相關研究主要分為常識表示和常識庫的構建兩個方面，應用比較廣泛的常識表示法有謂詞邏輯表示法、產生式表示法、語義網絡表示法以及框架表示法。圍繞常識庫的構建，國內外眾多學者開展了相關研究，常見的常識庫有Foxvog 等1984 年開始的構建以知識工程為基礎的Cyc 常識庫［40］，該常識庫采用人工方式通過謂詞邏輯表示法表示常識知識；Liu 等在OMCS（Open Mind Common Sense）語料［34］基礎上利用“常識抽取規則”自動構建的Concept Net 常識庫［35］、普林斯頓大學Miller 等［41］基于同近義詞詞匯映射設計開發的WordNet 常識庫。在中文領域應用最為廣泛的是HowNet 常識庫以及盤古常識庫，其中盤古常識庫采用基于本體的常識表征方式；HowNet 通過義原來表示詞語之間的關系［36］，即是采用框架表示法將詞按照“詞-義項-義原”三層結構來形式化表示。在本文中，初等數學古典概型應用題的常識被定義為常用于古典概型應用題中的、具有不確定性的、包含解題關鍵信息的隱性知識。根據解題的需要，在借鑒現有常識相關研究的基礎上選擇框架表示法的常識庫構建方法輔助古典概型應用題題意理解。

2 古典概型應用題題意理解分析

2.1 文本特征分析

古典概型應用題是數學領域的一種重要題型，其題意表述具有數學語言的一般特征，同時也具有獨特的特性。從題意信息的載體上來看，古典概型應用題的題意信息蘊含在一個個實體之中，想要完整準確地理解題意信息，只需將蘊含解題關鍵信息的實體信息抽取出來，利用各個實體之間的相互關系進行組合，即可實現古典概型應用題的題意表示與理解，如表1 所示為對古典概型應用題兩種典型實例的分析。

表1 古典概型應用題典型實例Tab.1 Typical examples of classical probability word problem

要實現對上述應用題的問題求解，無論是計算機還是學習者都必須先識別題目中的關鍵信息。學習者求解上述應用題的難點在于選擇合適的方法進行推理計算，對題目中已知信息的識別和常識信息的抽取則相對容易；而對于計算機則剛好相反，實現上述應用題自動求解的關鍵是實現題意的正確理解。面向計算機自動解題而言，古典概型應用題題意理解的難點主要有以下幾個方面：

1）命名實體表現為典型長序列。相較于英文以空格作為分詞界限，以大寫字母作為人名、地名等命名實體的開頭，中文文本沒有顯性的邊界特征，而古典概型應用題文本更是存在典型的長序列特征，其中的實體可能由一個或多個詞語共同組成，更是增加了其實體識別的難度。例如，“正四面體骰子”這一實體，其中“正四面體”“骰子”均為生活中常見的詞語，但一般的骰子有6 個面，在這道題中將骰子限定為4 個面，因此，需要將“正四面體骰子”作為一個實體看待。

2）情景信息復雜。情境性較強是大部分數學問題所具有的特征，但古典概型應用題中除了干擾信息以外，其題干中的情境信息也隱含著有助于解題的信息，且存在明顯的上下文情景依賴。例如，有一短句“現有一副撲克牌”，僅僅從字面表述上看，這一短句屬于情境信息，與解題無關，但若后面緊接著“從中抽取一張牌，抽到紅桃的概率”這一句話，則可以看出該情景信息中存在與解題相關的必要實體——“撲克牌”。因此在對古典概型應用題進行命名實體識別時，既要識別直觀呈現的與解題相關的實體，又要排除干擾項，識別蘊含解題信息的情景實體。

3）蘊含大量常識信息。古典概型應用題來源于生活中的隨機現象，題意表達蘊含著大量的常識知識，如“骰子、硬幣”等，但其隱含的數據信息卻不會呈現出來。因此如何實現計算機對常識知識的自動識別與補全是實現其題意理解的重要部分。

2.2 題意表征模型

本文提出的題意理解以自動解題為目的，即是從古典概型應用題文本中，識別并形成一個計算機能夠理解的包含解題相關的關鍵參數及其數值信息的集合，這個集合中不僅要形式化地呈現古典概型題目的結構特征，同時也要包括各類結構中涉及的題意表述的關鍵參數。因此，根據古典概型應用題的文本及結構特征建模出其題意表征模型是研究的基礎。

在對大量的古典概型應用題進行處理和分析的基礎上，從解題的角度對古典概型應用題的結構特征進行分析，該題型具有兩個鮮明特點：有限性和等可能性，即在古典概型中，所有可能出現的基本事件總數是有限的，并且每個事件出現的概率是相同的。根據古典概型求解規則進行反向思考，若要求解古典概型，需要識別并挖掘出整個實驗中的基本事件參數及實驗事件參數等信息。

1）基本事件描述，主要指定位基本事件的主體以及挖掘對應的數值信息，同時描述主體的屬性，如“小球”是事件實體，“5”則是事件的數值信息，而“白色”“紅色”則是主體的屬性。一般而言，題目所求事件A 發生的概率都由主體屬性引申而來，因此，事件主體的屬性及其數量是問題求解的關鍵信息。

2）實驗事件描述包括事件排序、抽取方式、抽取數量以及抽取次數等信息。在古典概型題目中，事件是否有序、有放回抽取還是無放回抽取、一次抽取多個還是多次抽取都會對事件A 發生的概率產生影響，從而影響最終題目求解的準確率。綜上所述，本文設計了包含7 個關鍵解題參數的古典概型應用題意表征模型，如表2 所示。

表2 古典概型應用題意表征模型Tab.2 Representation model of classical probability word problem

如表2 所示如果能夠識別基本事件及實驗事件中的所有參數，然后將相關參數代入古典概型題的相關計算規則進行計算，可以實現從題意理解服務于自動解題。

3 融合常識庫和語法特征的應用題題意理解

3.1 融合多維語法特征的CRF題意參數識別方法

通過對古典概型應用題的文本特征分析發現，其題意表述具有較強的上下文關聯性和情景復雜性。因此，在對其進行題意參數識別時，需要采用能適應文本關聯性和情景復雜性的機器學習模型。CRF 是由Lafferty 等［37］提出的一種無向圖模型，能夠靈活地引入多種特征，充分利用文本中的上下文信息獲取標簽序列，對整個觀測序列進行全局歸一化，求得全局最優解，符合古典概型應用題參數識別的需求。然而，有研究發現使用機器學習方法對數學領域實體識別進行建模，若單純考慮字詞級別層面的特征可能會導致模型與數據產生過擬合的問題［30］。在詞法特征的基礎上增加句法特征分析，可以增加詞語間的長距離依賴能力［31-32］，促進對復雜情景信息的理解。因此本研究設計了融合多維語法特征的CRF 參數識別方法，其中語法特征包含詞法特征、句法特征和邊界特征三個維度的特征。算法實現過程如圖1 所示。

圖1 融合多維語法特征的CRF題意參數識別模型Fig.1 CRF problem meaning parameter identification model integrating multi-dimensional grammatical features

在該模型中，首先通過分詞工具確定分詞和邊界特征，通過詞性特征表示層和句法分析層進行題目的詞法特征識別和依存句法分析，以獲得其詞法和句法特征的識別和標注；然后將詞法和句法特征識別結果輸入到包含特征模板的CRF 模型中進行參數識別模型訓練，通過不斷調整特征模板及其窗口大小，訓練出最佳的解題參數識別模型，實現古典概型題意參數識別。

3.1.1 特征選擇

為保證對長序列及復雜情景信息的識別效果，本文提出的多維語法特征主要包含詞法特征、句法特征和邊界特征3個維度的6 個特征以輔助題意參數識別，具體如表3 所示。其中，詞法特征4 類，除詞特征、詞法特征基礎特征外，還引入數量詞特征、專有名詞特征增強對實體名稱參數及數量參數的識別效果。句法特征采用依存句法對句子結構進行分析，通過分析句子所包含的句法單位和這些句法單位之間的依存關系來揭示其句法結構。邊界特征使用常用的BMES標記模式對語料進行標記，以此作為邊界特征，其中：標記B表示Begin，即當前詞是某個實體的起始詞；M 表示Middle，即識別出實體的中間名；E 表示End，即實體名的結束詞；S指Single 表示獨立成詞。將6 種特征的識別序列作為輸入，通過遍歷組合特征選擇方法選取最優的特征組合，進而完成題意參數識別。

表3 古典概型題意參數識別的多維語法特征Tab.3 Multi-dimensional grammatical features of classical probability word problem meaning parameter identification

3.1.2 特征模板設計

相較于其他實體識別模型，CRF 模型的最大優勢在于它可以有效利用上下文信息。對于古典概型應用題的關鍵參數識別，特征模板設計的關鍵在于對上下文信息的合理利用：過長使得數據會產生大量冗余，模型的可擴展性降低；過短則無法充分提取上下文信息，模型的識別精度降低。上下文信息的利用效率由窗口大小以及內部組合共同決定，常用的特征窗口大小為3 和5，常用的特征模板有原子特征模板和混合特征模板兩類。

在上述6 種詞句法特征的基礎上，為保證CRF 模型對上下文信息的充分利用，本文分別為每一個特征構建了窗口大小為3 和5 的特征模板，并在每個模板中又分別進行了一元、二元、三元、四元以及五元特征的內部組合實驗，以便為每個特征項選擇最適合的窗口大小以及內部組合特征模板，特征模板設計如表4 所示，特征模板以%x［Row，Col］形式化表示，其中：%x 表示當前位置；Row 表示相對于當前位置的行偏移量，即字詞的偏移量；Col 則表示列偏移量，即特征項的偏移量。如，%x［0，0］表示當前字詞的第一個特征項，%x［-1，1］則表示當前詞的上一個字詞的第二個特征項。

表4 特征模板設計Tab.4 Design of feature template

在為每個特征選擇最佳窗口及特征模板后，采用貪婪式特征選擇方法選取最優的特征組合方案。為了對比不同的特征組合對各個標簽中實體識別的貢獻，本文以詞特征（W）為基準線，在此基礎上分別引入不同的特征及組合，通過比較分析實驗結果，選取最優的特征組合，以提高古典概型題意參數識別的精度。

3.2 融合常識庫和語法特征的應用題題意理解方法

上述融合多維語法特征的CRF 題意參數識別方法，雖然可以較好地識別題目中的顯性參數，但是對于“擲骰子、拋硬幣”和計算“點數為偶數”這類包含隱性的常識知識的題目，卻無法準確識別其中隱含的關鍵常識參數信息。為完善對古典概型應用題中隱性參數的識別效果，本文進一步提出了融合常識庫和語法特征的數學應用題題意理解方法。該方法在3.1 節融合多維語法特征的CRF 題意參數識別方法的基礎上增加了參數補全模塊，在引入構建的數學和情景類常識庫基礎上，通過常識識別和常識參數補全實現對隱性常識參數的補全，完善古典概型應用題題意參數識別。

3.2.1 常識庫構建

通過對古典概型的文本分析發現，其包含的隱性常識信息可分為情景類常識和數學類常識兩類，為保證常識庫構建的質量，本文采用框架表示法將常識知識按照“詞-義項-義原”三層結構來形式化表示，以XML（Extensible Markup Language）結構存儲。對全部的古典概型應用題語料信息進行常識抽取，經過去重處理，共獲得61 個常識；通過對涉及解題信息且文本中未對該信息進行描述的常識屬性進行分析，根據題意理解需求，對獲取的61 個常識分別進行描述，共獲得28 條情景類常識和33 條數學類常識，其中情景類常識庫和數學類常識庫的部分信息，分別如表5、6 所示。

表5 面向古典概型應用題題意理解的情景類常識庫（節選）Tab.5 Commonsense knowledge base of situation for understanding of classical probability word problems（part）

表6 面向古典概型應用題題意理解的數學類常識庫（節選）Tab.6 Commonsense knowledge base of math for understanding of classical probability word problems（part）

3.2.2 題意識別方法改進

融合常識庫和語法特征的數學應用題題意理解方法是對上述融合多維語法特征的CRF 題意參數識別方法的優化，將上述方法作為參數識別模塊，并在此基礎上增加“常識參數補全模塊”優化并完善上述方法對隱性解題參數的識別。具體實現步驟如圖2 所示。

圖2 融合常識庫和語法特征的古典概型應用題題意理解方法Fig.2 Classical probability word problem understanding method integrating commonsense knowledge base and grammatical features

在參數識別模塊主要通過融合詞句法特征的CRF 算法進行參數識別，然后對題意參數的識別結果進行判斷，是否存在常識實體且常識參數缺失？若存在則檢索構建的常識庫，對缺失的常識參數進行補全，然后輸出識別結果并將結果轉化為XML 題意表征文本，為下一步的自動解題的實現提供解題數據。為了更直觀地展現引入常識庫的改進前后的題意參數識別結果的變化，以題目“同時拋擲兩枚骰子，求點數之和為3 的概率”為例，改進前后的識別結果如圖3 所示，從識別結果中明顯可以看出，相較于融合多維語法特征的CRF 參數識別方法（如圖3（a）所示），融合常識庫和多維語法特征的改進CRF 題意參數識別方法（如圖3（b）所示）通過引入常識庫的參數補全模塊，實現了對“骰子”隱性常識參數的識別與補全，如骰子的基本事物屬性Inf 和屬性事物數量Inf_num；并且調取數學類常識，修正了因“之和”這類數學類常識的缺失而導致的錯誤，顯著提升題意理解的效果。

圖3 改進前后的應用題題意理解結果對比Fig.3 Comparison of word problem understanding results before and after improvement

4 實驗與分析

4.1 語料概述與評價指標

為驗證方法的有效性，本文以新東方在線網站和21 世紀教育在線題庫中的古典概型應用題為實驗語料，刪除含圖表、題干不完整、重復以及無關題型后，最終得到948 道古典概型應用題。將實驗語料按照7∶3 的比例劃分為訓練集和測試集，667 道作為訓練數據，281 道作為測試數據。

實驗采用CRF++0.58 工具包作為CRF 的實現工具，以HanLP 工具作為分詞、詞性標注及依存句法分析工具。對題意參數識別結果的評測借鑒了MUC 會議中信息抽取系統的相關測評標準，使用正確率（P）、召回率（R）和F1 值進行測評［38］。此外，本文中題意理解是為后續的自動解題服務的，單個的參數識別精度并不能完全說明題意理解的準確性，因此本文還引入了題意理解準確率（Val）［17］作為整題題意理解有效性的評價指標，其計算公式如下：

其中：N表示全部題目的個數，NR表示題意表征正確的題目個數。即通過分析題意識別的XML 表征結果，若XML 結構中能夠完整而準確地呈現出解題所需要的關鍵參數，則認為該道古典概型應用題題意表征正確；若XML 結構中未將解題信息完整地表征出來，或者是將與解題無關的錯誤信息也進行了表征，造成題意表述的混亂，則認為題意表征錯誤。

每個題目的題意表征正確與否是通過人機協同的方式判斷的，分為兩個步驟：1）首先通過編程判斷，排除核心參數如基本事物數量（Num）、基本事物屬性名（Inf）、屬性事物數量（Inf_num）、發生次數（Quan）、發生方式（Meth）識別不正確的題目。2）對于剩余題目的XML 表征結果進行人工判斷，若XML 結構中能夠完整而準確地呈現出解題所需要的關鍵參數，則認為該道古典概型應用題題意表征正確；若XML 結構中未將解題信息完整地表征出來，或者是將與解題無關的錯誤信息也進行了表征，造成題意表述的混亂，則認為題意表征錯誤。最后得出題意表征正確的題目個數NR。

4.2 實驗結果與分析

4.2.1 題意參數識別

為保證在CRF 模型訓練中可以最大限度地有效利用上下文信息，本文對選定詞特征（W）、詞性特征（P）、數量詞特征（Q）、專有名詞特征（M）、句法特征（D）和邊界特征（B）這6個特征項（詳見表3）分別進行了最優窗口大小及特征模板測試，其中詞特征（W）是命名實體識別任務中最基本的特征，任何特征都需要與詞特征進行組合以此實現實體識別任務。6 個特征項的最優窗口大小及特征模板測試結果的F1值如表7 所示，其中加粗的數據為該特征項所對應的最優窗口大小及特征模板，如詞特征，當其特征模板是窗口大小為5 的一元模板時，取得最優識別結果，F1 值為0.894 3，其他特征項依此類推確定最優窗口大小及特征模板。

表7 詞特征與其他特征組合的識別結果的F1值Tab.7 F1-scores of recognition results of combinations of word feature and other features

在確定了每個特征項的最優窗口大小和特征模板的基礎上，本文對選定的6 個特征項（詳見表3）的不同特征組合進行了CRF 模型訓練。首先使用詞特征（W）做基準實驗，在此基礎上使用貪婪式特征選擇方法進行特征選擇，即在上次特征基礎上，與詞性特征（P）、數量詞特征（Q）、專有名詞特征（M）、句法特征（D）、邊界特征（B）5 個剩余特征進行組合，每次選擇對評測結果提升貢獻最大的特征，直到完成所有的特征組合為止。表8 為采用貪婪式特征選擇方法時n個最優特征組合的實驗結果。

表8 展示了不同特征組合對古典概型應用題意表征模型中的7 個核心參數的識別結果數據（具體參數標簽對應的含義詳見表2），可以看出，隨著特征項的依次增加，該模型對題意參數的識別效果呈上升態勢，且融合六種特征的W+P+B+Q+M+D 復合特征組合方案取得了最優識別結果，其平均7 個核心參數的平均F1 值為0.935 6。這也從側面驗證了本文提出的多維語法特征對古典概型題意參數識別的有效性。

表8 不同特征組合的識別結果的F1值Tab.8 F1-scores of recognition results of different feature combinations

為進一步驗證融合多維語法特征的CRF 題意參數識別方法的有效性，本文選取了MaxEnt 模型、雙向長短期記憶網絡-條件隨機場（Bidirectional Long Short-Term Memory-Conditional Random Field，BiLSTM-CRF）模型和傳統CRF 模型作為基線方法，進行對比實驗。其中MaxEnt模型并不做獨立性假設且能夠容納較多的特征，在對上下文關系密切的古典概型應用題文本中比HMM 模型更為適用；BiLSTM-CRF 模型是命名實體識別領域中常用的神經網絡模型，通過雙向長短時記憶神經網絡進行大規模語料的訓練。在此使用題意表征模型中的各個題意參數（具體參數標簽對應的含義詳見表2）識別上的F1值作為模型評價指標，實驗結果如表9所示。

表9 與基線方法識別結果的F1值對比Tab.9 Comparison of F1-score with baseline methods

從實驗結果可以看出，融合多維語法特征的CRF 題意參數識別方法的平均F1 值比MaxEnt 模型高出23.97 個百分點，比BiLSTM-CRF 模型高出6.40 個百分點，比傳統CRF 模型高出1.8 個百分點。分析其原因在于，MaxEnt 模型僅對語料中的每個詞進行單獨識別，上下文信息利用不充分；BiLSTM-CRF 模型未能從小規模語料庫的訓練中學習到充分的上下文信息，容易產生過擬合的問題；而融合多維語法特征的CRF 題意參數識別方法能夠對計算語料序列化后的聯合概率分布，充分地利用應用題文本中所提供的上下文信息，相較于神經網絡模型，其在特定領域的較小語料庫數據中依然能取得較好的題意參數識別效果，彌補了傳統CRF 模型對句法上下文信息學習的不足。

4.2.2 題意理解

在面向自動解題的題意理解任務中，除各核心參數的獨立識別率外，整題的題意表征正確率也是判斷其題意理解效果的重要標準［17］。題意表征正確率用于衡量以整題為單位判斷識別結果將解題信息完整的表征出來的概率。表10 是五種方法的題意理解準確率識別結果的對比，其中NR表示題意表征正確的題目個數，NW表示題意表征不正確的題目個數，Val表示題意理解準確率，根據式（1）計算得到。

表10 與其他方法的應用題題意理解準確率對比Tab.10 Comparison of accuracy of word problem understanding with other methods

從實驗結果來看，本文提出的融合常識庫和語法特征的題意理解方法的整題題意表征正確率顯著高于MaxEnt、BiLSTM-CRF、傳統CRF 等方法。更有趣的是，本文發現傳統CRF 模型雖然在單個參數的識別結果表現較好（F1 值為0.917 6），但是對于整題題意理解準確率卻僅為0.199 2，整題的題意識別效果明顯較低。分別對其表征結果XML 分析發現，傳統CRF 明顯存在參數缺失和參數混淆的問題，而多維語法特征CRF 模型在傳統CRF 的基礎上整合詞法和句特征，顯著改善了這類問題。這也進一步證明了本文提出的融合多維語法特征的CRF 題意參數識別方法的有效性。

對比融合多維語法特征CRF 方法在引入常識庫補全模塊前后的題意表征效果，可以發現題意理解準確率從30.96%上升到了66.54%，可以看出在融合多維語法特征的CRF 模型的基礎上引入常識庫，可以顯著提升古典概型應用題的題意理解效果。除此之外，為了證明引入常識補全模塊的有效性，本文還在MaxEnt、BiLSTM-CRF 兩個基線方法的基礎上，分別加入常識補全模塊，發現引入常識庫補全模塊能顯著提升題意理解準確率，其中，MaxEnt 模型題意理解準確 率Val值從8.19% 提升到了27.4%，BiLSTM-CRF 從23.49%提升到了56.58%。通過對題意理解XML 表征結果進行分析發現，大多數的古典概型題目均包含隱性的常識信息，僅采用融合多維語法特征的CRF 題意參數識別方法會造成隱性關鍵參數的缺失，造成題意表征不準確。而融合常識庫和語法特征的題意理解方法可以在有效識別顯性實體及屬性參數的同時，對隱性參數進行補全，能夠實現對復雜類數學問題的自動題意理解。

4.2.3 錯誤分析

雖然融合常識庫和多維語法特征的題意理解方法可以實現對66.54%的題目的有效題意理解，但是仍有33.45%的題意理解出現問題。通過對未實現正確題意表征的題目分析發現，對于特殊的具有復雜關系的古典概型應用題仍存在題意理解困難。例如，“甲盒中有3 個紅球，2 個黃球，乙盒中有2 個紅球，4 個黃球?，F從甲盒中取出1 個紅球放入乙盒中，再從乙盒中抽取2 個小球，求抽得2 個黃球的概率”，在對這道題目進行題意表征時，只會對“甲盒”“乙盒”這一類實體的屬性、數量等固定信息進行表征，并不能對“從甲盒中取出1 個紅球放入乙盒中”這種動作信息進行表征，由此造成題意表征錯誤的情況。在后續的題意理解研究中針對這類問題可考慮引入知識圖譜建模、探究其他特征選擇等方法進行針對性的解決。

5 結語

本文以概率統計中的典型題型——古典概型應用題作為復雜語境的數學應用題題意理解的突破點，結合其命題和解題特征，構建了面向自動解題的古典概型應用題意表征模型。針對其存在的典型長序列、無明顯邊界特征、情景信息復雜、蘊含大量常識信息的特征，本文提出融合多維語法特征的題意理解方法，通過與MaxEnt 模型、BiLSTM-CRF 模型以及傳統CRF 模型的對比，驗證了該方法在題意參數識別中的有效性。在此基礎上針對隱性常識參數缺失的問題，提出了融合常識庫和多維語法特征的CRF 題意理解方法，將整道題的題意理解準確率從30.96%提升到了66.54%，并且顯著高于MaxEnt 模型、BiLSTM-CRF 模型以及傳統CRF 模型的整題題意表征效果，在面向自動解題的古典概型應用題題意理解效果中取得了明顯成效，為后續復雜數學問題的題意理解研究提供借鑒。但是現有研究中針對特殊的具有復雜關系的古典概型應用題的題意理解仍存在題意理解困難，未來研究中可考慮采用知識圖譜等方法進行針對性的解決。