融合文本與圖形理解的電路題目自動(dòng)解答

菅朋朋 王彥麗 夏 盟

1(華中師范大學(xué)國家數(shù)字化學(xué)習(xí)工程技術(shù)研究中心 湖北 武漢 430079)2(河南財(cái)經(jīng)政法大學(xué) 河南 鄭州 450000)

0 引 言

在多媒體分析、自然語言處理及機(jī)器學(xué)習(xí)等技術(shù)的快速發(fā)展和智能教育需求的合力推動(dòng)下，自動(dòng)解答成為人工智能領(lǐng)域的活躍研究問題[1]。物理電路題目的自動(dòng)理解與解答有文字和圖形兩種題面形式，是自動(dòng)解答的一個(gè)代表性分支[2]，同樣面臨著復(fù)雜多變的自然語言理解、圖形的識(shí)別與分析困難，以及多模態(tài)題目理解等困難挑戰(zhàn)。

面對(duì)這一挑戰(zhàn)，許多專家學(xué)者投入到該領(lǐng)域的研究，并在解決問題的方法探索中取得不斷的進(jìn)步。文獻(xiàn)[3]指出電路模型的分析理解內(nèi)容，包括電路器件、特定節(jié)點(diǎn)、電流電壓分支的識(shí)別與分析。在分析電路圖形時(shí)，文獻(xiàn)[4]則關(guān)注多節(jié)點(diǎn)直流電路結(jié)構(gòu)與電路方程的關(guān)聯(lián)關(guān)系，認(rèn)為完整的解題步驟比一個(gè)正確答案更有價(jià)值。然而，該文沒有給出實(shí)現(xiàn)機(jī)器理解題目或圖形的方法。在電路圖形中電路符號(hào)和連接關(guān)系的識(shí)別方面，文獻(xiàn)[5]提出了基于符號(hào)表達(dá)式驗(yàn)證的方法對(duì)電路進(jìn)行分析。文獻(xiàn)[6]提出了分層量化的方法。文獻(xiàn)[7]提出了一種基于圖形構(gòu)建的圖對(duì)決策樹的方法。這些方法分別從不同角度嘗試完成電路題目自動(dòng)理解任務(wù)，部分完成將人類解題邏輯思路機(jī)器化執(zhí)行的設(shè)定。然而，現(xiàn)有的方法均不能以端到端的方式實(shí)現(xiàn)電路題目的自動(dòng)解答。

在自動(dòng)解答中，文獻(xiàn)[8-10]提出的句法語義模型及其解題框架很好地完成了語義理解問題，即從題目的文本提取實(shí)體間的數(shù)量關(guān)系，以此作為題目理解，并實(shí)現(xiàn)自動(dòng)解答。在此基礎(chǔ)上，本文將多媒體處理技術(shù)引入面向自動(dòng)解答的題目理解，以題目中的多模態(tài)數(shù)據(jù)為對(duì)象，建立題目中雙模態(tài)數(shù)據(jù)的特征表達(dá)，并融合雙模態(tài)數(shù)據(jù)，提出融合文本和圖形理解的電路題目自動(dòng)解答方法。

本文的主要貢獻(xiàn)總結(jié)為以下三個(gè)方面：

(1) 將雙模態(tài)題目形式下的電路題目的理解問題抽象為一個(gè)從題目中抽取各種關(guān)系的過程，同時(shí)可用方程形式來等效表示所抽取的關(guān)系，即完成了題目理解。

(2) 利用句法語義模型抽取電路題目文本中的關(guān)系的同時(shí)，提出網(wǎng)孔搜索法來簡化電路圖的理解，并與卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的方法，提取電路圖形中的結(jié)構(gòu)和數(shù)量關(guān)系。

(3) 基于以上分析與處理，對(duì)文本與圖形中含有的數(shù)量關(guān)系抽取需要形成一致性題目理解，提出基于雙模態(tài)融合的題目理解用于電路題目的自動(dòng)解答。

1 電路題目文本理解

題目理解是從題目提供的所有資料，包括文字、圖形、公式等方面提取出用于解題的信息，理解的結(jié)果形成題目的等價(jià)表示，而題目理解過程可視為題目的等價(jià)轉(zhuǎn)換。

題目文本是解題關(guān)系的重要信息源，其特點(diǎn)為句式簡單、邏輯清晰、表意明確，一般由i個(gè)句子(w1,w2,…,wi)、j個(gè)量(q1,q2,…,qj)，以及未知數(shù)x共同組成。自動(dòng)解答的目標(biāo)即為將相關(guān)實(shí)體映射到帶有運(yùn)算符中的算術(shù)表達(dá)式E中，求解未知數(shù)。

經(jīng)典語義的題目理解方法[11]是通過使用模板匹配提取題目文本中的知識(shí)，優(yōu)點(diǎn)是信息能夠較完整地保存，而且能夠通過再解釋重現(xiàn)情景，有利于人的理解；另一方面則要求模板充足以適應(yīng)不同題目背景。對(duì)于解答來說，模板數(shù)量過多妨礙題目理解。科學(xué)類題目文本內(nèi)容中，句式單一，包含語義部分和句法部分，而其修飾性的輔助背景表述對(duì)于解題無關(guān)緊要。因此，文中采用句法語義模型(Syntax-semantics model,S2模型)來抽取題目文本中的實(shí)體數(shù)量關(guān)系，并提出精簡模板的方法，通過僅保留句法語義部分所需模板，去除修飾性模板，以此形成對(duì)電路題目文本的理解。

1.1 S2模型的構(gòu)建

這里將S2模型定義為三元組形式：

S=(K,P,E)

(1)

式中：K對(duì)應(yīng)電路題目文本中的關(guān)鍵詞，P是詞性模式，E則是對(duì)應(yīng)的電路實(shí)體的數(shù)學(xué)關(guān)系。由此構(gòu)建一個(gè)電路題目的S2模型池。模型池結(jié)構(gòu)如下：

(2)

形成共m個(gè)模板的S2模型池，而所需自動(dòng)解答的電路題目均可據(jù)此抽取題目文本中關(guān)系，形成電路題目文本的理解。

1.2 電路實(shí)體關(guān)系抽取算法

算法1給出了基于S2模型的電路實(shí)體關(guān)系抽取算法。

算法1電路題目文本關(guān)系抽取算法

輸入： 電路題目文本，記為T

輸出： 一組表示關(guān)系的電路方程，記為E

步驟1： 題目文本預(yù)處理，構(gòu)建包含語義詞性序列的文本元數(shù)據(jù)，記為T(kn,pn);

步驟2： 初始化S2模型池S(km,pm,rm)；

步驟3： 使用Sm對(duì)題目文本中的關(guān)鍵詞k和詞性模式p進(jìn)行匹配，即S(km,pm,rm)∩T(kn,pn)；

步驟4： 標(biāo)記匹配上的T(kn,pn)，并分配對(duì)應(yīng)的符號(hào)sm、數(shù)值vm和電路單位um；

步驟5： 結(jié)合步驟4中已分配的信息，將S(km,pm,rm)模型中對(duì)應(yīng)的關(guān)系rm實(shí)例化為一個(gè)電路方程，并存于E中；

步驟6： 返回已獲得所有電路實(shí)體關(guān)系E(rm,sm,vm,um)。

算法輸入為自然語言描述下的電路題目文本，首先需要對(duì)題目文本進(jìn)行標(biāo)準(zhǔn)化處理和語言分析，構(gòu)建相應(yīng)的題目文本元數(shù)據(jù)。這里使用自然語言處理工具ICTCLAS[12]對(duì)文本進(jìn)行詞性標(biāo)注，即對(duì)文本進(jìn)行格式化處理形成統(tǒng)一的表達(dá)格式，進(jìn)一步地將其解析為一組含有詞性標(biāo)注的句法語義序列，然后進(jìn)行句子邊緣檢測與分割，從而得到題目文本的元數(shù)據(jù)。接著，使用S2模型中的關(guān)鍵詞和詞性模式分別與所輸入分句中的電路元素詞和帶磁性標(biāo)簽的詞進(jìn)行匹配，如果匹配成功，則將模型中的數(shù)學(xué)關(guān)系實(shí)例化為一個(gè)電路方程并輸出；否則，跳轉(zhuǎn)到下一個(gè)模型進(jìn)行匹配，直至所有模型被匹配完為止。通過逐句分析，并對(duì)題目文本的元數(shù)據(jù)進(jìn)行關(guān)系抽取形成電路關(guān)系組，從而實(shí)現(xiàn)對(duì)電路題目文本的理解。

2 電路圖形理解

電路圖形包含著豐富的結(jié)構(gòu)信息，因此電路圖形理解是電路題目理解的重要組成部分，是題目文本無法清晰表達(dá)電路結(jié)構(gòu)時(shí)的有效補(bǔ)充。通過分析圖形中的內(nèi)容及連接方式來直接理解電路圖形是棘手且費(fèi)時(shí)的，本文提出一種替代方法來簡化這一任務(wù)。首先將電路圖形轉(zhuǎn)換為一組含有結(jié)構(gòu)信息的圖形元數(shù)據(jù)，包括圖形元件、子圖形，然后結(jié)合圖形結(jié)構(gòu)和元數(shù)據(jù)對(duì)電路圖形進(jìn)行分析，并抽取其中的電路關(guān)系，以此實(shí)現(xiàn)電路圖形的理解。

基于以上分析，可將電路圖形的理解簡化為電路元件與電路圖形、結(jié)構(gòu)識(shí)別，以及相應(yīng)關(guān)系抽取問題。前者是電路分析問題，后者則是圖形關(guān)系等價(jià)表示問題。電路分析要求獲取元器件準(zhǔn)確信息，包括器件類型和電路中的位置，為經(jīng)典的物體檢測問題。為了高效準(zhǔn)確地完成器件檢測，文中采用一種深度卷積神經(jīng)網(wǎng)絡(luò)算法(Fast Region-based Convolutional Neural Networks, Faster-RCNN[13])對(duì)電路圖形進(jìn)行自動(dòng)化識(shí)別，在完成電路元器件準(zhǔn)確分類的同時(shí)，得到相應(yīng)區(qū)域信息。然后，通過網(wǎng)孔搜索算法實(shí)現(xiàn)電路圖形中的關(guān)系抽取。

2.1 Faster-RCNN識(shí)別電路圖形

基于深度卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測算法Faster-RCNN由Fast-RCNN和RPN兩部分組成。電路圖形存在尺寸不同的問題，而Faster-RCNN通過使用空間金字塔池化層SPP滿足處理任意大小圖片的需要。而位置信息為由RPN生成電子元件對(duì)象的建議區(qū)域。

2.1.1RPN網(wǎng)絡(luò)訓(xùn)練

電路圖形元器件檢測需要得到的是元器件位置，用框體位置及寬高四維向量表示(x*,y*,w*,h*)。電路圖形的特征提取由RPN與Fast-RCNN共享卷積層形成。RPN網(wǎng)絡(luò)前5層與ZF網(wǎng)絡(luò)相同，在conv5-3的卷積特征圖中通過n×n大小的滑動(dòng)窗口進(jìn)行滑動(dòng)卷積，每個(gè)滑窗將特征圖映射生成一個(gè)低維向量(選用ZF網(wǎng)絡(luò)，則為256維)作為中間特征，建議層在寬w高h(yuǎn)的特征圖上的每個(gè)像素位置采集k個(gè)初始區(qū)域，得到w×h×k個(gè)錨框初始值[14]。之后由該向量產(chǎn)生兩個(gè)分支全連接層，即區(qū)域分類CLS層和區(qū)域回歸REG層，前者是目標(biāo)和非目標(biāo)的概率，后者則是將前面甄選出的所有可能存在目標(biāo)區(qū)域的候選錨框，通過調(diào)整錨框的邊界得到目標(biāo)候選區(qū)域。然后將所得矩形候選區(qū)域送入興趣區(qū)域進(jìn)行池化，作為Fast-RCNN的輸入。

在RPN網(wǎng)絡(luò)訓(xùn)練時(shí)，考慮電路元器件的對(duì)稱性，以每個(gè)像素為中心點(diǎn)生成長寬比為1∶1的3種尺度面積的錨框，對(duì)于產(chǎn)生的錨框采用交并評(píng)估法(Intersection over-Union，IoU)進(jìn)行正負(fù)樣本集的選擇。在完成錨框標(biāo)注后，RPN網(wǎng)絡(luò)采用梯度下降算法進(jìn)行反向傳播訓(xùn)練，損失函數(shù)定義如下：

L({pi},{ti})=

(3)

(4)

式中：x、y、h和w分別代表預(yù)測框的中心點(diǎn)位置、寬和高；xa、ya、ha和wa分別代表錨框的中心坐標(biāo)、寬和高。

2.1.2Fast-RCNN網(wǎng)絡(luò)訓(xùn)練

Fast-RCNN是在得到候選框基礎(chǔ)上，對(duì)框體的位置及框內(nèi)物體類別進(jìn)行細(xì)致計(jì)算。這里使用可視化卷積網(wǎng)絡(luò)架構(gòu)ZF網(wǎng)絡(luò)生成Fast-RCNN特征圖，其中，ZF網(wǎng)絡(luò)選用ReLu(Rectified Linear Units)[15]作為激活函數(shù)，將其應(yīng)用于所有的卷積層和全連接層進(jìn)行訓(xùn)練。在第5層卷積網(wǎng)絡(luò)中特征圖維數(shù)最大為256×256，這里將該特征圖中的所有特征串連成一個(gè)4 096維向量，并增加一個(gè)4 096維的特征層FC6形成FC7特征層，使得FC7層具有計(jì)算候選區(qū)域檢測的概率和標(biāo)識(shí)其目標(biāo)位置的功能。最后通過使用反向傳播算法對(duì)檢測網(wǎng)絡(luò)精細(xì)化調(diào)整參數(shù)，直到候選區(qū)域滿足限定條件為止。

2.1.3聯(lián)合尋優(yōu)

為了優(yōu)化檢測元器件并得到其位置信息目標(biāo)，這里采用聯(lián)合RPN和Fast-RCNN完成，過程如下：首先使用ImageNet模型對(duì)RPN網(wǎng)絡(luò)進(jìn)行初始化，固定兩者共有的卷積層，再對(duì)RPN網(wǎng)絡(luò)中的獨(dú)有層細(xì)致地調(diào)整參數(shù)，使其滿足兩個(gè)網(wǎng)絡(luò)共享卷積層的效果。接著，在保持共享卷積層不變前提下，通過使用Fast-RCNN對(duì)上述共享卷積層的檢測結(jié)果進(jìn)行區(qū)域回歸，可得到每一個(gè)區(qū)域的邊界框和置信度，從而實(shí)現(xiàn)對(duì)檢測網(wǎng)絡(luò)的微調(diào)。由此便將RPN與Fast-RCNN完成合并，形成一個(gè)統(tǒng)一的共享卷積特征網(wǎng)絡(luò)。最后通過交替優(yōu)化參數(shù)，使得該網(wǎng)絡(luò)在提高電路元器件檢測效率的同時(shí)，獲取準(zhǔn)確的目標(biāo)位置信息。

2.2 網(wǎng)孔搜索提取圖形關(guān)系

在獲得電路圖形中電路元器件類型及其位置信息后，仍需要在此基礎(chǔ)上抽取電路圖像中的關(guān)系才能完在電路圖形識(shí)別，因此，提出網(wǎng)孔搜索算法用于獲取電路圖形中的關(guān)系。

電路圖形中除了結(jié)構(gòu)信息外，主要描述的數(shù)量關(guān)系方程可歸為以下三種：電壓與電流關(guān)系(VCR)方程、基爾霍夫電流定律(KCL)方程和基爾霍夫電壓定律(KVL)方程[16]，可根據(jù)此三類用電路方程將實(shí)體數(shù)量關(guān)系關(guān)聯(lián)起來。

下面通過實(shí)例說明電路圖形理解過程。圖1給出代表性電路圖形，不失一般性，以此為例分析，電路圖形的基本回路由元器件、節(jié)點(diǎn)和連接線以及隱藏其中的電流和電壓組成，這里將其定義為一個(gè)電路網(wǎng)孔。一個(gè)電路網(wǎng)孔有與其對(duì)應(yīng)的VCR方程、KCL 方程和KVL方程，形成漸進(jìn)式的基本回路圖形理解。

最后電路圖形理解結(jié)果記為得到正確的KVL方程關(guān)系式。如圖2所示，這里根據(jù)識(shí)別的節(jié)點(diǎn)與連接線，搜索電路回路以抽取電路圖形中的KVL方程關(guān)系。電路回路的搜索包含兩個(gè)步驟：利用深度優(yōu)先算法遍歷電路圖形中所有回路，并根據(jù)KVL將搜索到的回路實(shí)例化為電路方程組，如圖2所示；接著對(duì)KVL方程組的系數(shù)矩陣進(jìn)行初等變換形成初等矩陣，并將初等矩陣恢復(fù)成線性無關(guān)的KVL方程組。基于網(wǎng)孔搜索的圖形關(guān)系抽取算法如算法2所示。

圖2 網(wǎng)孔分析電路圖

算法2基于網(wǎng)孔搜索的圖形關(guān)系抽取算法

輸入：一個(gè)電路圖形，記為D

輸出：一組表示關(guān)系的電路方程組，記為F

1： 將電路圖形識(shí)別得到的元器件、節(jié)點(diǎn)和連接線集合，記為D=(Γ,Φ,Ψ)；

2： 初始化元器件集合Γ={τi|i=1,2,…,m}、節(jié)點(diǎn)集合Φ={φj|j=1,2,…,n}，將電源處節(jié)點(diǎn)初始化為φ1、連接線集合Ψ={ψk|k=1,2,…,o}，存放回路的集合θ(l)設(shè)為θ(1)；

3： fori=1 tomdo

4： 根據(jù)歐姆定律列寫VCR方程，并存于集合F中；

5： end for

6： forj=1 tondo

7： 根據(jù)KCL列寫節(jié)點(diǎn)電流方程，并存于集合F′；

8： fork=1 toodo

9： 使用深度優(yōu)先算法搜索從φj出發(fā)并回到φj的節(jié)點(diǎn)列表；

10： 將搜索到的節(jié)點(diǎn)列表存于θ(l)中；

11：l←l+1；

12： end for

13： 從Ψ中刪除連接線ψk；

14： end for

15： 對(duì)F′中方程組的系數(shù)矩陣進(jìn)行初等變換形成初等矩陣，然后將初等矩陣恢復(fù)成線性無關(guān)的KCL方程組，并存于F中；

16： 根據(jù)KVL將θ(l)中的回路實(shí)例化為KVL方程組F″，再對(duì)F″中方程組的系數(shù)矩陣進(jìn)行初等變換形成初等矩陣；

17： 將初等矩陣恢復(fù)成線性無關(guān)的KVL方程組，并存于F中。

3 圖文結(jié)合解答電路題目

前文中通過設(shè)定的解題框架分別實(shí)現(xiàn)了題目文本與圖形的理解。進(jìn)一步地，將電路題目文本的理解與圖形理解的結(jié)果相結(jié)合，形成電路題目的一致性理解結(jié)果，即將其轉(zhuǎn)化為等價(jià)方程組，代入已知條件，實(shí)現(xiàn)問題求解。

為了驗(yàn)證本文方法的有效性，設(shè)計(jì)三類對(duì)比實(shí)驗(yàn)，分別從題目文本理解準(zhǔn)確性、電路圖形理解準(zhǔn)確性和融合文本和圖形理解的電路題目自動(dòng)解答實(shí)現(xiàn)進(jìn)行驗(yàn)證。分別驗(yàn)證基于Faster-RCNN和網(wǎng)孔搜索算法抽取圖形關(guān)系的準(zhǔn)確率以及的方法求解電路題目的準(zhǔn)確率。

3.1 數(shù)據(jù)集

目前尚沒有電路題目自動(dòng)解答相關(guān)公開數(shù)據(jù)集，這里從人民教育出版社出版的初中物理課本中收集全部45道電路題目作為實(shí)驗(yàn)的標(biāo)準(zhǔn)數(shù)據(jù)集，其相應(yīng)的信息如表1所示。針對(duì)電路圖形的檢測實(shí)驗(yàn)，本文從歷年中考題目和權(quán)威教育類網(wǎng)站上收集1 054幅電路圖形作為訓(xùn)練樣本，其中包含8類共9 000多個(gè)元器件、節(jié)點(diǎn)和連線等電路元件。

表1 電路題目數(shù)據(jù)集的信息統(tǒng)計(jì)

3.2 文本理解實(shí)驗(yàn)結(jié)果

題目文本理解準(zhǔn)確性主要體現(xiàn)在S2模型抽取題目文本關(guān)系的準(zhǔn)確率。為驗(yàn)證S2模型抽取題目文本中關(guān)系的準(zhǔn)確率，按照不同程度的關(guān)系抽取分別進(jìn)行定義理解結(jié)果，包括關(guān)系完全抽取、關(guān)系的部分抽取和關(guān)系無抽取。當(dāng)關(guān)系方程中的表達(dá)式、符號(hào)、數(shù)值、單位均抽取無誤，則稱為關(guān)系的完全抽取；當(dāng)關(guān)系方程中的符號(hào)和單位部分抽取有誤，則稱為部分抽取；如果方程中的表達(dá)式抽取錯(cuò)誤，則稱為關(guān)系無抽取。選取文獻(xiàn)[12]中提出的方法作為基線方法，與本文的關(guān)系是均為通過使用語義模板將題目文本轉(zhuǎn)化為數(shù)學(xué)關(guān)系。

由表2可知，本文方法在抽取文本關(guān)系時(shí)，在完全抽取和部分抽取的準(zhǔn)確率分別達(dá)到97.22%和2.78%，略高于基線方法的90.74%和9.26%的準(zhǔn)確率，兩種方法均實(shí)現(xiàn)了文本關(guān)系的抽取，因此沒有抽取關(guān)系的準(zhǔn)確率為0。然而，相較于基線方法，本文方法使用的模板數(shù)量要遠(yuǎn)小于基線的模板數(shù)，原因是基線方法使用語義模板匹配來抽取文本中的關(guān)系，而本文方法是使用句法模式代替大量的語義描述。M表示模板數(shù)量，N表示關(guān)系抽取的數(shù)量，P表示關(guān)系抽取準(zhǔn)確率。

表2 基線方法和本文方法在文本關(guān)系抽取的結(jié)果

3.3 圖形理解實(shí)驗(yàn)結(jié)果

圖形理解首先需要驗(yàn)證電路圖形的識(shí)別，包括電路元件識(shí)別準(zhǔn)確率和關(guān)系抽取準(zhǔn)確率。電路圖形識(shí)別實(shí)驗(yàn)環(huán)境采用Ubuntu 16.04操作系統(tǒng)，在Caffe框架上運(yùn)行。基于Faster-RCNN的電路圖形識(shí)別和區(qū)域定位示例如圖3所示。

圖3 基于Faster-RCNN電路圖形識(shí)別示例

基于Faster-RCNN的電路圖元件識(shí)別準(zhǔn)確率如表3所示。由表可知，電路元件中識(shí)別的平均準(zhǔn)確率達(dá)到了93.81%，其中燈泡的識(shí)別準(zhǔn)確率最高，達(dá)到97.97%。由于一些元件的訓(xùn)練樣本不足，導(dǎo)致訓(xùn)練時(shí)特征提取不足，識(shí)別時(shí)產(chǎn)生區(qū)域漏檢或錯(cuò)檢等問題限制了Faster-RCNN的識(shí)別精度，但目前的結(jié)果基本滿足電路圖形識(shí)別的要求。

表3 基于Faster-RCNN的電路圖形識(shí)別結(jié)果

如表4所示，VCR關(guān)系、KCL關(guān)系和KVL關(guān)系的抽取正確率分別是90.91%、81.82%和91.30%，這表明網(wǎng)孔搜索算法可以有效地抽取電路圖形中的關(guān)系；召回率分別為88.24%、81.82%和80.77%，這說明網(wǎng)孔搜索算法可以抽取更多的電路圖形中的關(guān)系；F1-score分別為89.55%、81.82%和85.71%，這說明網(wǎng)孔搜索算法具有較高的電路關(guān)系抽取性能。

表4 基于網(wǎng)孔搜索算法的圖形關(guān)系抽取結(jié)果 %

3.4 自動(dòng)解答實(shí)驗(yàn)結(jié)果

電路題目的自動(dòng)解答實(shí)驗(yàn)通過正確解答題目的數(shù)量來評(píng)估自動(dòng)解答有效性。運(yùn)用本文提出的方法分別對(duì)文本題目、圖文結(jié)合電路題目進(jìn)行自動(dòng)解答，相應(yīng)的實(shí)驗(yàn)結(jié)果統(tǒng)計(jì)見表5。第一類僅含文本的題目，通過S2模型實(shí)現(xiàn)題目理解后求解，29道題目中有26道題目正確解答，達(dá)到89.66%的解答準(zhǔn)確率；第二類為文本與圖形結(jié)合的電路題目，通過使用本文提出的方法實(shí)現(xiàn)87.50%的解答準(zhǔn)確率；最終有40道電路題目被正確解答，解答正確率達(dá)到了88.89%。實(shí)驗(yàn)結(jié)果表明，本文提出的融合文本和圖形理解的電路題目自動(dòng)解答方法是有效的。

表5 融合文本和圖形理解的電路題目自動(dòng)解答實(shí)驗(yàn)結(jié)果

3.5 實(shí)驗(yàn)分析

從以上實(shí)驗(yàn)結(jié)果分析可知，本文提出的針對(duì)圖文結(jié)合的電路題目理解及解答方法能夠基本完成題目解答。驗(yàn)證了所提方法的有效性。

分析錯(cuò)誤理解及解答的原因，主要有以下幾個(gè)方面：① 現(xiàn)有的句法語義模板未能完全覆蓋所有的題目文本出現(xiàn)的數(shù)量關(guān)系，可通過改進(jìn)句法語義模板池改進(jìn)；② 題目中符號(hào)表達(dá)形式多樣，未能準(zhǔn)確匹配，改進(jìn)方法是提高符號(hào)識(shí)別范圍，將一些非標(biāo)準(zhǔn)符號(hào)表達(dá)考慮進(jìn)來；③ 電路元器件分類錯(cuò)誤，引起題目的錯(cuò)誤理解，下一步需要將圖文結(jié)合互相印證，改進(jìn)單一識(shí)別引起的低級(jí)錯(cuò)誤。

4 結(jié) 語

選擇自動(dòng)解答中極具代表性的物理電路題目作為研究對(duì)象，在分析其雙模態(tài)題目形式時(shí)，提出對(duì)文本與圖形中含有的數(shù)量關(guān)系抽取形成一致性題目理解這一解題思想。針對(duì)圖形理解，本文提出利用Faster-RCNN算法識(shí)別電路元器件的類型及位置，并創(chuàng)新地提出了網(wǎng)孔搜索算法，提取電路圖像中存在的數(shù)學(xué)關(guān)系，實(shí)現(xiàn)電路圖形理解。最后將二者相結(jié)合自動(dòng)解答電路題目，并通過實(shí)驗(yàn)驗(yàn)證了本文所提方法的有效性。