一種基于圖文理解的電路題目自動(dòng)解答方法*

菅朋朋 ，何 彬 ，王彥麗 ，夏 盟

（1.華中師范大學(xué)國(guó)家數(shù)字化學(xué)習(xí)工程技術(shù)研究中心，湖北 武漢430000；2.河南財(cái)經(jīng)政法大學(xué)，河南 鄭州 450000）

0 引 言

自20世紀(jì)60年代起，自動(dòng)解答一直是人工智能領(lǐng)域的研究熱點(diǎn)和研究難點(diǎn)[1-2］。它是機(jī)器最基本的智力能力，亦可作為其他智能的基礎(chǔ)。在初等教育方面，自動(dòng)解答為智能導(dǎo)學(xué)系統(tǒng)提供了核心技術(shù)。通過(guò)以吳文俊和張景中院士為代表的一批學(xué)者的深入研究，我國(guó)的自動(dòng)解答技術(shù)目前已處于國(guó)際領(lǐng)先水平，同時(shí)開(kāi)發(fā)了一系列工具如專(zhuān)家系統(tǒng)、超級(jí)畫(huà)板等[3-5］，并將其應(yīng)用于實(shí)際的教學(xué)和學(xué)習(xí)中。自動(dòng)解答對(duì)人工智能和教育信息化的發(fā)展均具有重要的意義。

電路題目的自動(dòng)解答作為自動(dòng)解答的一個(gè)分支，面臨著自然語(yǔ)言理解、電路圖形識(shí)別與分析以及關(guān)系推理等困難。Ahmed等人[6］提出電路題目的解答必須結(jié)合圖形和文本的理解，但他們并未真正實(shí)現(xiàn)自動(dòng)化圖文理解的方法。Weyten等人[7］開(kāi)發(fā)了一個(gè)基于Web的電路題目訓(xùn)練系統(tǒng)，通過(guò)預(yù)先存儲(chǔ)電路題目、解答模型和知識(shí)庫(kù)等內(nèi)容，對(duì)學(xué)生進(jìn)行解答訓(xùn)練。隨后，Weyten等人[8］又提出了基于符號(hào)表達(dá)式驗(yàn)證的方法對(duì)電路進(jìn)行分析。Paramita等人[9］提出了分層量化的方法來(lái)實(shí)現(xiàn)電路圖形中電路符號(hào)和連接關(guān)系的識(shí)別。Shi等人[10］提出了一種基于圖形構(gòu)建的圖對(duì)決策樹(shù)的方法對(duì)電路圖形進(jìn)行分析。然而，現(xiàn)有的方法均不能以端到端的方式實(shí)現(xiàn)電路題目的自動(dòng)解答。因此，本文提出了一種基于圖文理解的電路題目自動(dòng)解答方法。

本文的主要貢獻(xiàn)如下：

（1）提出了一種基于圖文理解的方法用于電路題目的自動(dòng)解答；

（2）將題目理解抽象為一個(gè)從題目中抽取關(guān)系的過(guò)程，并用方程表示所抽取的關(guān)系；

（3）提出了一種句法語(yǔ)義模型用于抽取題目文本中的關(guān)系；

（4）提出了一種網(wǎng)孔搜索和卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的方法，用于抽取電路圖形中的關(guān)系。

1 題目文本中的關(guān)系抽取

在傳統(tǒng)的基于語(yǔ)義的題目理解方法中[11-12］，通常使用語(yǔ)句的模板匹配來(lái)抽取題目文本中的信息，缺點(diǎn)在于需要設(shè)計(jì)大量的語(yǔ)義模板理解自然語(yǔ)言描述的復(fù)雜情景。通過(guò)對(duì)題目文本的觀察與分析發(fā)現(xiàn)，題目文本通常包含語(yǔ)義部分和句法部分，而句法部分可以通過(guò)單詞的詞性來(lái)表示，如動(dòng)詞“是”“為”的詞性可統(tǒng)一標(biāo)記為符號(hào)“/v”。如果將語(yǔ)義和句法相結(jié)合形成一套模型，勢(shì)必會(huì)大大減少語(yǔ)義模板的數(shù)量。基于該思想，本文提出了一種基于句法語(yǔ)義模型的文本關(guān)系抽取方法。

1.1 句法語(yǔ)義模型的構(gòu)建

對(duì)于電路題目的句法語(yǔ)義模型，句法部分是單詞的詞性標(biāo)簽，語(yǔ)義部分是學(xué)科領(lǐng)域內(nèi)的關(guān)鍵詞結(jié)構(gòu)。一個(gè)句法語(yǔ)義模型包括關(guān)鍵詞、詞性模式和對(duì)應(yīng)的電路實(shí)體之間的數(shù)學(xué)關(guān)系。句法語(yǔ)義模型可定義為一個(gè)三元組S=(K,P,E)，其中K是文本中的關(guān)鍵詞，P是文本中的詞性模式，E是對(duì)應(yīng)實(shí)體之間的數(shù)學(xué)關(guān)系。通過(guò)構(gòu)建一個(gè)電路題目的句法語(yǔ)義模型池，可實(shí)現(xiàn)對(duì)題目文本中關(guān)系的抽取。其中，模型池結(jié)構(gòu)為：Σ={Si=(ki,pi,ei)|i=1,2,…,m}。

1.2 基于句法語(yǔ)義模型的關(guān)系抽取算法

基于句法語(yǔ)義模型的關(guān)系抽取算法如算法1所示。該算法對(duì)題目文本進(jìn)行元數(shù)據(jù)構(gòu)建，即對(duì)文本進(jìn)行格式化處理形成統(tǒng)一的表達(dá)格式，然后使用自然語(yǔ)言處理工具[13］對(duì)文本進(jìn)行詞性標(biāo)注，再使用句子邊緣檢測(cè)對(duì)語(yǔ)句進(jìn)行分割，進(jìn)而構(gòu)建題目文本的元數(shù)據(jù)結(jié)構(gòu)。對(duì)于每一個(gè)分句，使用句法語(yǔ)義模型中的關(guān)鍵詞和詞性模式分別與該分句中的電路元素詞和加標(biāo)注的詞性標(biāo)簽進(jìn)行匹配。若兩者均相同，則模型與分句匹配成功，將模型中的數(shù)學(xué)關(guān)系實(shí)例化為一個(gè)電路方程并輸出；若兩者不同，則使用下一個(gè)模型進(jìn)行匹配，直至所有模型被匹配完為止。循環(huán)處理每一個(gè)分句，直至所有分句均被處理，然后輸出實(shí)例化后的電路方程到一個(gè)方程組中，從而實(shí)現(xiàn)題目文本中關(guān)系的抽取。

算法1：基于句法語(yǔ)義模型的題目文本關(guān)系抽取

輸入：電路題目文本，記為Xtext；

輸出：一組表示關(guān)系的方程組，記為Δ；

1：題目文本的元數(shù)據(jù)構(gòu)建，即格式化、詞性標(biāo)注和語(yǔ)句分割，記為Xtext(kn,pn)；

2：初始化句法語(yǔ)義模型池S(km,pm,rm)；

3：在題目文本中匹配關(guān)鍵詞k和詞性模式p，S(km,pm,rm)∩Xtext(kn,pn)；

4：標(biāo)記匹配上的文本Xtext(kn,pn)，并分配對(duì)應(yīng)的符號(hào)sm、值vm和單位um；

5：將模型S(km,pm,rm)中對(duì)應(yīng)的數(shù)學(xué)關(guān)系rm實(shí)例化為一個(gè)電路方程；

6：將電路方程存儲(chǔ)到Δ=Δ(rm,sm,vm,um)中，并循環(huán)3～6，直到抽取所有的關(guān)系為止。

2 電路圖形中的關(guān)系抽取

針對(duì)一個(gè)電路圖形，直接抽取其中的關(guān)系非常困難，而識(shí)別電路圖形中的元件相對(duì)容易，然后根據(jù)識(shí)別的元件信息列寫(xiě)對(duì)應(yīng)的關(guān)系表達(dá)式，即可實(shí)現(xiàn)電路圖形中的關(guān)系抽取。從電路圖形中抽取關(guān)系，需要先識(shí)別電路圖形，根據(jù)識(shí)別結(jié)果進(jìn)行電路分析獲取關(guān)系。由于部分電路圖形結(jié)構(gòu)復(fù)雜且元器件種類(lèi)較多，而電路分析需要準(zhǔn)確的元器件分類(lèi)信息和區(qū)域信息，因此本文采用一種深度卷積神經(jīng)網(wǎng)絡(luò)算法Faster-RCNN[14］對(duì)電路圖形進(jìn)行自動(dòng)化識(shí)別。該方法既可對(duì)多種類(lèi)別的電路元器件進(jìn)行分類(lèi)檢測(cè)，又可獲得區(qū)域信息。根據(jù)電路圖形識(shí)別的結(jié)果，本文提出了一種網(wǎng)孔搜索算法對(duì)電路圖形中的關(guān)系進(jìn)行抽取。

2.1 基于卷積神經(jīng)網(wǎng)絡(luò)算法的電路圖形識(shí)別

Faster-RCNN是一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法，由Fast-RCNN[15］和RPN（Region Proposal Network）兩部分組成。由于RPN可生成特定對(duì)象的建議區(qū)域，并與Fast-RCNN共享卷積層特征，因此節(jié)省了整個(gè)檢測(cè)網(wǎng)絡(luò)的運(yùn)行時(shí)間。此外，空間金字塔池化層（Spatial Pyramid Pooling）的使用，使得Faster-RCNN可以處理任意大小的圖片。

2.1.1 RPN網(wǎng)絡(luò)訓(xùn)練

RPN與Fast-RCNN共享卷積層對(duì)電路圖形進(jìn)行特征提取形成特征圖，然后使用滑動(dòng)窗口對(duì)特征圖進(jìn)行滑動(dòng)卷積，每個(gè)滑動(dòng)窗口將特征圖映射到一個(gè)256維的向量（ZF-net含有256個(gè)維度）；建議層在特征圖（寬高為w×h）上的每個(gè)像素位置采集k個(gè)初始區(qū)域，共可得到w×h×k個(gè)錨框的初始區(qū)域[16］；使用區(qū)域分類(lèi)層甄選出可能存在目標(biāo)的錨框，再通過(guò)區(qū)域回歸層修正錨框的邊界，得到目標(biāo)候選區(qū)域；最后將結(jié)果輸出到ROI（Region of Interest）層進(jìn)行池化。

在RPN網(wǎng)絡(luò)訓(xùn)練時(shí)，首先建議層會(huì)對(duì)生成的錨框做標(biāo)注，即以每個(gè)像素為中心點(diǎn)生成三種面積分別為128×128、256×256和512×512像素的錨框。對(duì)于產(chǎn)生的錨框采用IoU（Intersection over-Union）進(jìn)行正負(fù)樣本集的選擇，規(guī)則如表1所示。

表1 錨框標(biāo)注規(guī)則

標(biāo)注錨框后，RPN網(wǎng)絡(luò)采用梯度下降算法進(jìn)行反向傳播訓(xùn)練。損失函數(shù)由分類(lèi)損失函數(shù)和回歸損失函數(shù)按照一定比例組成，總的損失函數(shù)為：

其中，i代表第i個(gè)錨框，L({pi})代表分類(lèi)損失函數(shù)，L({ti})代表回歸損失函數(shù)，λ代表比例系數(shù)。

每個(gè)錨框后接有一個(gè)二分類(lèi)的softmax，因此可定義每個(gè)錨框的分類(lèi)概率。當(dāng)錨框?yàn)檎龢颖緯r(shí)，pi*=1；當(dāng)錨框?yàn)樨?fù)樣本時(shí)，pi*=0。每個(gè)錨框后也接有一個(gè)用于計(jì)算預(yù)測(cè)窗口與標(biāo)定窗口之間損失的回歸函數(shù)。

當(dāng)RPN網(wǎng)絡(luò)獲取預(yù)測(cè)框的坐標(biāo)參數(shù)后，需要做回歸調(diào)整，使得預(yù)測(cè)框更接近目標(biāo)框，即通過(guò)計(jì)算ti和ti*確定目標(biāo)位置參數(shù)，具體過(guò)程如下：獲取預(yù)測(cè)框，通過(guò)RPN網(wǎng)絡(luò)獲取預(yù)測(cè)區(qū)域的中心位置坐標(biāo)、寬和高；設(shè)定9個(gè)錨框，每個(gè)錨框?qū)?yīng)一個(gè)一定比例和寬高的預(yù)測(cè)窗口，從而確定每個(gè)預(yù)測(cè)窗口的中心點(diǎn)位置坐標(biāo)、寬和高；計(jì)算出目標(biāo)框位置，通過(guò)預(yù)測(cè)框和錨框預(yù)測(cè)窗口確定目標(biāo)框的位置，表達(dá)式為：

其中，x、y、w和h分別代表預(yù)測(cè)框的中心坐標(biāo)、寬和高；xa、ya、wa和ha分別代表錨框的中心坐標(biāo)、寬和高；x*、y*、w*和h*分別代表目標(biāo)框的中心坐標(biāo)、寬和高。

2.1.2 Fast-RCNN網(wǎng)絡(luò)訓(xùn)練

Fast-RCNN的網(wǎng)絡(luò)訓(xùn)練首先通過(guò)使用ZF-net生成特征圖，ZF-net網(wǎng)絡(luò)使用ReLu（Rectified Linear Units）作為激活函數(shù)應(yīng)用于所有的卷積層和全連接層進(jìn)行訓(xùn)練。由于ReLu是一個(gè)簡(jiǎn)化的修正線(xiàn)性神經(jīng)元，訓(xùn)練速度更快，同時(shí)使用交叉熵代價(jià)函數(shù)，可以保留更多的原始像素信息。在第5層卷積網(wǎng)絡(luò)中存在一個(gè)256×256的特征圖，將該特征圖中的所有特征串連成一個(gè)高維（4 096維）向量，再添加一個(gè)4 096維的特征層（FC6）形成FC7特征層。FC7層既可以計(jì)算出候選區(qū)域分類(lèi)檢測(cè)的概率，又可以計(jì)算出候選區(qū)域?qū)?yīng)目標(biāo)的位置，最后可通過(guò)使用反向傳播算法對(duì)檢測(cè)網(wǎng)絡(luò)進(jìn)行微調(diào)。

2.1.3 RPN與Fast-RCNN共享卷積層及聯(lián)合調(diào)優(yōu)

通過(guò)使用ImageNet模型對(duì)RPN網(wǎng)絡(luò)進(jìn)行初始化，固定兩者共有的卷積層，再對(duì)RPN網(wǎng)絡(luò)中獨(dú)有層的參數(shù)進(jìn)行微調(diào)，以達(dá)到兩個(gè)網(wǎng)絡(luò)共享卷積層的效果。保持共享卷積層不變，通過(guò)使用Fast-RCNN對(duì)上述共享卷積層的檢測(cè)結(jié)果進(jìn)行區(qū)域回歸，可得到每一個(gè)區(qū)域的邊界框和置信度，從而實(shí)現(xiàn)對(duì)檢測(cè)網(wǎng)絡(luò)的微調(diào)。這樣RPN與Fast-RCNN被合并成為一個(gè)統(tǒng)一的網(wǎng)絡(luò)，并共享卷積特征。通過(guò)交替優(yōu)化，該統(tǒng)一網(wǎng)絡(luò)不僅提高了檢測(cè)效率，而且可獲取目標(biāo)的位置信息。

2.2 基于網(wǎng)孔搜索算法的電路圖形關(guān)系抽取

在基于Faster-RCNN的電路圖形識(shí)別中，電路元器件可通過(guò)分類(lèi)檢測(cè)進(jìn)行有效識(shí)別，同時(shí)通過(guò)RPN網(wǎng)絡(luò)獲取元器件的區(qū)域信息。然而，單純的電路圖形識(shí)別并不能滿(mǎn)足圖形中關(guān)系的抽取。為此，本文在電路圖形識(shí)別的基礎(chǔ)上提出了一種網(wǎng)孔搜索算法，用于抽取電路圖形中的關(guān)系。

電路圖形理解是題目理解的重要組成部分，因?yàn)槠渲邪S富的結(jié)構(gòu)信息，尤其是在題目文本無(wú)法表達(dá)模糊或復(fù)雜的電路時(shí)。從電路圖形中可根據(jù)電壓與電流關(guān)系（VCR）、基爾霍夫電流定律（KCL）和基爾霍夫電壓定律（KVL）抽取三類(lèi)電路方程，即VCR方程、KCL方程和KVL方程[8,17］。通過(guò)研究發(fā)現(xiàn)，VCR、KCL和LVL中的關(guān)系與電路網(wǎng)孔（即基本回路，如圖1中的m1、m2、m3）緊密相關(guān)。在一個(gè)電路網(wǎng)孔中，通常包含元器件、節(jié)點(diǎn)和連接線(xiàn)，又包含隱藏其中的電流和電壓，如圖1所示。

圖1 電路圖形示例

通過(guò)對(duì)元器件的識(shí)別可直接列寫(xiě)其VCR方程。例如，識(shí)別到一個(gè)電阻R，可列寫(xiě)對(duì)應(yīng)的方程R=U/I。通過(guò)對(duì)節(jié)點(diǎn)的識(shí)別，利用KCL列寫(xiě)對(duì)應(yīng)的節(jié)點(diǎn)電流方程，如圖2所示。

然而，所有節(jié)點(diǎn)電流形成的KCL方程組具有線(xiàn)性相關(guān)性，可通過(guò)對(duì)該方程組的系數(shù)矩陣進(jìn)行初等變換，抽取電路圖形中線(xiàn)性無(wú)關(guān)的KCL方程組。

根據(jù)識(shí)別的節(jié)點(diǎn)與連接線(xiàn)對(duì)電路回路進(jìn)行搜索，可抽取電路圖形中的KVL方程組，如圖3所示。電路回路的搜索包含兩個(gè)步驟：一是使用深度優(yōu)先算法搜索電路圖形中所有的回路，并根據(jù)KVL將搜索到的回路實(shí)例化為電路方程組；二是對(duì)KVL方程組的系數(shù)矩陣進(jìn)行初等變換形成初等矩陣，并將初等矩陣恢復(fù)成線(xiàn)性無(wú)關(guān)的KVL方程組，其中每個(gè)KVL方程即代表一個(gè)電路網(wǎng)孔，如圖3中的m1、m2、m3。

圖2 電路節(jié)點(diǎn)分析

圖3 電路網(wǎng)孔分析

算法2：基于網(wǎng)孔搜索算法的圖形關(guān)系抽取

輸入：一個(gè)電路圖形，記為Xdiagram；

輸出：一組表示關(guān)系的電路方程組，記為Δ；

1：從電路圖形識(shí)別中分別提取元器件、節(jié)點(diǎn)和連接線(xiàn)集合，記為Xdiagram(Γ,Φ,Ψ)；

2：初始化元器件集合Γ={τi|i=1,2,…,m}和節(jié)點(diǎn)集合Φ={φ1j|j=1,2,…,n}，并置電源處節(jié)點(diǎn)為φ1、連接線(xiàn)集合Ψ={ψk|k=1,2,…,o}，將存放回路的集合θ(l)置為θ(1)；

提取VCR方程組：

3：fori=1 tomdo

4： 根據(jù)歐姆定律列寫(xiě)VCR方程，并存于集合Δ中；

5：end for

提取KCL和KVL方程組：

6：forj=1 tondo

7： 根據(jù)KCL列寫(xiě)節(jié)點(diǎn)電流方程，并存于集合 Δ′；

8： fork=1 toodo

9： 使用深度優(yōu)先算法，搜索從φ1j出發(fā)并回到φ1j的節(jié)點(diǎn)列表；

10： 將搜索到的節(jié)點(diǎn)列表存于θ(l)中；

11：l←l+1；

12： end for

13： 從Ψ中刪除連接線(xiàn)ψk；

14：end for

15：對(duì)Δ′中方程組的系數(shù)矩陣進(jìn)行初等變換形成初等矩陣；

16：將初等矩陣恢復(fù)成線(xiàn)性無(wú)關(guān)的KCL方程組，并存于Δ中；

17：根據(jù)KVL將θ(l)中的回路實(shí)例化為KVL方程組 Δ′′；

18：對(duì)Δ′′中方程組的系數(shù)矩陣進(jìn)行初等變換形成初等矩陣；

19：將初等矩陣恢復(fù)成線(xiàn)性無(wú)關(guān)的KVL方程組，并存于Δ中。

3 實(shí) 驗(yàn)

由于當(dāng)前沒(méi)有針對(duì)電路題目自動(dòng)解答的先例，因此本文從題目文本理解、電路圖形理解和電路題目自動(dòng)解答三個(gè)部分進(jìn)行實(shí)驗(yàn)，分別驗(yàn)證基于句法語(yǔ)義模型抽取題目文本關(guān)系的準(zhǔn)確率、基于Faster-RCNN和網(wǎng)孔搜索算法抽取圖形關(guān)系的準(zhǔn)確率以及基于圖文理解的方法求解電路題目的準(zhǔn)確率。

3.1 數(shù)據(jù)集

目前還沒(méi)有針對(duì)電路題目自動(dòng)解答的公開(kāi)數(shù)據(jù)集，因此本文從人教版初中物理課本中收集了45道電路題目作為實(shí)驗(yàn)的測(cè)試數(shù)據(jù)，其信息統(tǒng)計(jì)如表2所示。針對(duì)電路圖形的檢測(cè)實(shí)驗(yàn)，本文從歷年中考題目和互聯(lián)網(wǎng)上收集并建立了一個(gè)1 056張電路圖形的數(shù)據(jù)集作為訓(xùn)練樣本，其中包含10類(lèi)8 968個(gè)元器件、節(jié)點(diǎn)和連線(xiàn)等電路元件。Faster-RCNN的數(shù)據(jù)集按照3:1的比例隨機(jī)產(chǎn)生訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)，即選取792張電路圖形作為訓(xùn)練數(shù)據(jù)，264張電路圖形作為測(cè)試數(shù)據(jù)。

表2 電路題目數(shù)據(jù)集的信息統(tǒng)計(jì)

3.2 題目文本關(guān)系抽取的實(shí)驗(yàn)結(jié)果

為驗(yàn)證句法語(yǔ)義模型抽取題目文本中關(guān)系的準(zhǔn)確率，本文采用完全抽取、部分抽取和沒(méi)有抽取三個(gè)層次表示關(guān)系抽取的程度。如果方程中的表達(dá)式、符號(hào)、數(shù)值和單位均抽取無(wú)誤，則稱(chēng)為關(guān)系的完全抽取；如果方程中的符號(hào)和單位部分抽取有誤，則稱(chēng)為部分抽取；如果方程中的表達(dá)式抽取錯(cuò)誤，則稱(chēng)為沒(méi)有抽取。本文選擇文獻(xiàn)[12］中提出的方法作為基線(xiàn)方法，因?yàn)樵摲椒ㄊ桥c本文方法最相近且用于題目文本的理解。基線(xiàn)方法是一種基于語(yǔ)義分析的方法，通過(guò)使用語(yǔ)義模板將題目文本轉(zhuǎn)化為數(shù)學(xué)關(guān)系。

如表3所示，本文方法在抽取文本關(guān)系時(shí)，完全抽取和部分抽取的準(zhǔn)確率分別為93.5%和6.5%，基線(xiàn)方法的準(zhǔn)確率分別為90.7%和9.3%，且兩種方法均實(shí)現(xiàn)了文本關(guān)系的抽取，沒(méi)有抽取關(guān)系的準(zhǔn)確率為0。本文方法與基線(xiàn)方法在文本關(guān)系抽取的準(zhǔn)確率方面基本相當(dāng)，然而本文方法的模板數(shù)卻遠(yuǎn)遠(yuǎn)少于基線(xiàn)方法，原因在于基線(xiàn)方法是使用語(yǔ)義模板匹配來(lái)抽取文本中的關(guān)系，而本文方法是使用句法模式代替大量的語(yǔ)義描述，再與部分關(guān)鍵語(yǔ)義相結(jié)合來(lái)抽取關(guān)系，其模板數(shù)量要遠(yuǎn)少于基線(xiàn)方法。

表3 基線(xiàn)方法和本文方法在文本關(guān)系抽取的結(jié)果

3.3 電路圖形關(guān)系抽取的實(shí)驗(yàn)結(jié)果

為驗(yàn)證基于Faster-RCNN的電路圖形識(shí)別的準(zhǔn)確率，本文對(duì)電路圖形中的元件進(jìn)行分類(lèi)檢測(cè)。實(shí)驗(yàn)在Caffe框架上運(yùn)行，操作系統(tǒng)采用Ubuntu 16.04，CPU為Intel(R) Core(TM) i7-4790k@4.00GHz，GPU為GeForce GTX Titan Black，32 GB內(nèi)存。

電路圖形的識(shí)別結(jié)果，如表4所示。相比于其他電路元件，電阻的識(shí)別準(zhǔn)確率最高，達(dá)到89.36%，其次是滑動(dòng)變阻器。元件檢測(cè)的平均準(zhǔn)確率達(dá)到了82.41%，表明Faster-RCNN在目標(biāo)檢測(cè)中能夠取得較好的識(shí)別效果。但是，由于一些元件的訓(xùn)練樣本不足，如電容、燈泡等，導(dǎo)致訓(xùn)練時(shí)特征提取不足，識(shí)別時(shí)產(chǎn)生區(qū)域漏檢或錯(cuò)檢等問(wèn)題，這是下一步需要優(yōu)化的地方。由于實(shí)驗(yàn)中使用的電路圖形是純電阻電路或者簡(jiǎn)單的非純電阻電路，且兩個(gè)網(wǎng)絡(luò)的卷積特征共用，使得區(qū)域建議和檢測(cè)時(shí)間在平均24.82 ms內(nèi)完成，可以忽略不計(jì)。

表4 基于Faster-RCNN的電路圖形識(shí)別結(jié)果

如2.2節(jié)所述，網(wǎng)孔搜索算法可以抽取三類(lèi)電路方程，而實(shí)驗(yàn)中通過(guò)正確抽取方程的數(shù)量來(lái)評(píng)估電路圖形理解的效率。如表5所示，68個(gè)VCR方程中60個(gè)被正確抽取、11個(gè)KCL方程中10個(gè)被正確抽取、26個(gè)KVL方程中21個(gè)被正確抽取，抽取正確率分別是88.2%、90.9%和80.7%，表明網(wǎng)孔搜索算法可以有效抽取電路圖形中的關(guān)系。此外，實(shí)驗(yàn)中的錯(cuò)誤主要集中在電路圖形的識(shí)別和網(wǎng)孔搜索上，下一步將會(huì)繼續(xù)優(yōu)化算法，以提高識(shí)別與搜索的精確度。

表5 基于網(wǎng)孔搜索算法的圖形關(guān)系抽取結(jié)果

3.4 電路題目自動(dòng)解答的實(shí)驗(yàn)結(jié)果

本實(shí)驗(yàn)通過(guò)正確解答電路題目的數(shù)量來(lái)評(píng)估所提出方法的有效性。基于圖文理解的電路題目自動(dòng)解答的實(shí)驗(yàn)結(jié)果，如表6所示。其中，針對(duì)文本題目，通過(guò)句法語(yǔ)義模型的理解可實(shí)現(xiàn)79.31%的解答準(zhǔn)確率；針對(duì)文本與圖形結(jié)合的題目，通過(guò)使用圖文理解的方法可實(shí)現(xiàn)68.75%的解答準(zhǔn)確率。最終，有75.56%的電路題目被正確解答，表明本文提出的基于圖文理解的電路題目自動(dòng)解答方法是有效的。

表6 基于圖文理解的電路題目自動(dòng)解答實(shí)驗(yàn)結(jié)果

3.5 實(shí)驗(yàn)錯(cuò)誤分析

本文提出的方法有24.44%的解答錯(cuò)誤率，其中13.33%來(lái)自文本題目、11.11%來(lái)自圖文結(jié)合題目。導(dǎo)致解答錯(cuò)誤的主要原因有以下三點(diǎn)：（1）一些特殊的關(guān)系不在句法語(yǔ)義模型抽取的范圍之內(nèi)，如比例關(guān)系；（2）非標(biāo)準(zhǔn)的文本表達(dá)形式，如符號(hào)下標(biāo)不規(guī)范等，導(dǎo)致符號(hào)匹配錯(cuò)誤；（3）電路圖形中元件的分類(lèi)識(shí)別錯(cuò)誤，并導(dǎo)致回路搜索錯(cuò)誤。這些存在的問(wèn)題將是下一步需要改進(jìn)的方向。

4 結(jié) 語(yǔ)

本文提出了一種基于圖文理解的電路題目自動(dòng)解答方法，將題目理解的過(guò)程抽象為一個(gè)從題目中抽取關(guān)系的過(guò)程，并使用方程表示所抽取的關(guān)系，進(jìn)而提出一種句法語(yǔ)義模型來(lái)抽取題目文本中的關(guān)系。同時(shí)，本文提出一種網(wǎng)孔搜索算法，并與Faster-RCNN算法相結(jié)合來(lái)提取電路圖形中的關(guān)系。最后，通過(guò)對(duì)電路題目自動(dòng)解答過(guò)程的實(shí)驗(yàn)，證明了本文所提方法的可行性和有效性。