基于深度學(xué)習(xí)的智能變電站安措票審票方法

劉清泉，李鐵成，任江波，王獻(xiàn)志，甄加林，周達(dá)明+

(1.國網(wǎng)河北省電力公司電力科學(xué)研究院，河北 石家莊 050021；2.國網(wǎng)河北省電力有限公司 運(yùn)維檢修部，河北 石家莊 050021；3.武漢凱默電氣有限公司 產(chǎn)品設(shè)計(jì)部，湖北 武漢 430223)

0 引 言

智能變電站安措票是檢修作業(yè)前隔離待檢修設(shè)備的核心依據(jù)，針對(duì)安措票的條目順序與文本進(jìn)行正誤審核是安措實(shí)施的基礎(chǔ)性環(huán)節(jié)。

目前，安措票主流審票方法是人工審票，其問題在于審票人主觀因素帶來的不確定性，盡管安措票存在一定的擬票邏輯，但操作條目眾多，當(dāng)站內(nèi)設(shè)備繁多，關(guān)聯(lián)關(guān)系復(fù)雜時(shí)，審核人員基于經(jīng)驗(yàn)審核的可靠性偏低。在智能化審核方面，文獻(xiàn)[1]基于設(shè)備隔離原則編制了混合安措策略，文獻(xiàn)[2,3]對(duì)安措票操作邏輯進(jìn)行形式化描述，結(jié)合Simulink完成正誤校驗(yàn)，文獻(xiàn)[4,5]基于安措規(guī)則專家?guī)鞂?shí)現(xiàn)了安措票開票提示、流程校驗(yàn)、智能預(yù)演等各項(xiàng)功能的集成與一鍵式操作；文獻(xiàn)[6]利用報(bào)文規(guī)范網(wǎng)絡(luò)研發(fā)了二次安措在線校核系統(tǒng)；文獻(xiàn)[7,8]利用專家規(guī)則庫，分別結(jié)合全連接神經(jīng)網(wǎng)絡(luò)與知識(shí)圖譜設(shè)計(jì)了安措智能生成系統(tǒng)；然而上述方法均依賴人為總結(jié)的規(guī)則庫實(shí)現(xiàn)安措票文本邏輯的數(shù)值化轉(zhuǎn)述，由于安措文本結(jié)構(gòu)性偏低，不同變電站內(nèi)類似操作的描述存在差異，導(dǎo)致規(guī)則庫的擬票與審票規(guī)則局限性強(qiáng)。因此，為提高審票效率，保證審票結(jié)果具備高準(zhǔn)確度，本文針對(duì)基于IEC61850標(biāo)準(zhǔn)設(shè)計(jì)，具備完整“三層兩網(wǎng)”結(jié)構(gòu)的110 kV智能變電站內(nèi)安措票文本進(jìn)行語義深度分析，結(jié)合設(shè)備關(guān)聯(lián)關(guān)系挖掘擬票邏輯，建立智能安措票審票模型。

1 相關(guān)工作

安措票審票模型的核心是安措文本的語義識(shí)別與正誤分類，其流程包括文本分詞及向量化表征、特征值獲取與分類預(yù)測，其中文本分詞與向量化表征為文本識(shí)別提供了初步依據(jù)，模型基于文本詞向量進(jìn)行特征值提取，識(shí)別關(guān)鍵語義信息，最終判定文本正確與錯(cuò)誤的概率。傳統(tǒng)分詞與向量化表征方法包括基于詞袋模型與主題模型的表征方法，例如詞頻-逆文檔頻率表征法、潛在語義表示法等[9,10]；傳統(tǒng)特征提取方法通過選取特征函數(shù)求解特征值[11-13]；傳統(tǒng)分類模型包括決策樹、貝葉斯分類器、支持向量機(jī)[14-16]等，但傳統(tǒng)文本表示方法存在語義隔閡，不能有效體現(xiàn)出文本詞間的關(guān)聯(lián)關(guān)系；傳統(tǒng)特征提取方法特征值代表性差，特征信息易遺失；傳統(tǒng)分類模型泛化能力弱，序列數(shù)據(jù)信息挖掘能力差；此外，傳統(tǒng)語義識(shí)別流程將特征提取與分類預(yù)測相互割裂，導(dǎo)致模型無法依據(jù)分類結(jié)果優(yōu)化特征提取步驟，造成語義挖掘片面，對(duì)局部特征值依賴性強(qiáng)[16]。

鑒于此，本文提出的智能審票模型將包括文本詞向量表征模型與語義識(shí)別綜合判定模型，后者將融合傳統(tǒng)語義識(shí)別流程中特征提取與分類預(yù)測步驟，做到特征值提取可隨下游分類任務(wù)進(jìn)行自適應(yīng)調(diào)整。文本處理模型采用基于前饋神經(jīng)網(wǎng)絡(luò)構(gòu)造的word2vec模型，針對(duì)樣本One-Hot向量在語義空間中進(jìn)行降維映射，獲取低維且存在語義關(guān)聯(lián)的詞向量矩陣，實(shí)現(xiàn)對(duì)詞語間關(guān)聯(lián)關(guān)系的表征。待處理文本將包含智能二次設(shè)備(intelligent electronic device，IED)的關(guān)聯(lián)關(guān)系，該關(guān)系通過Python中xml.etree.ElementTree模塊解析變電站配置描述文件(substation configuration description，SCD)獲得。

語義識(shí)別綜合判定模型采用由雙向門控循環(huán)神經(jīng)網(wǎng)絡(luò)構(gòu)造的模型BiGRU。并采用Attention機(jī)制改進(jìn)權(quán)重更新過程。循環(huán)神經(jīng)網(wǎng)絡(luò)RNN(recurrent neural network)是深度學(xué)習(xí)框架中一類具有短期記憶能力的網(wǎng)絡(luò)模型，其突出優(yōu)點(diǎn)在于各神經(jīng)元可同時(shí)接收輸入信息、淺層神經(jīng)元傳遞信息與自身存儲(chǔ)信息，形成具備環(huán)路的網(wǎng)絡(luò)結(jié)構(gòu)，有效考察時(shí)序數(shù)據(jù)不同信息點(diǎn)之間的依賴關(guān)系[12]。RNN強(qiáng)大的記憶功能使其成為電力與人工智能交叉融合領(lǐng)域處理時(shí)序數(shù)據(jù)最流行的網(wǎng)絡(luò)結(jié)構(gòu)。文獻(xiàn)[17]利用LSTM對(duì)光伏短期出力進(jìn)行預(yù)測，在保證預(yù)測精度的基礎(chǔ)上降低了預(yù)測模型復(fù)雜度；文獻(xiàn)[18]將LSTM神經(jīng)網(wǎng)絡(luò)引入電能質(zhì)量擾動(dòng)信號(hào)的識(shí)別，信號(hào)識(shí)別效果優(yōu)異。文獻(xiàn)[19,20]利用快速相關(guān)過濾方法與模糊信息粒化技術(shù)優(yōu)化LSTM網(wǎng)絡(luò)，并應(yīng)用于短期風(fēng)速預(yù)測，所提的動(dòng)態(tài)預(yù)測模型相比傳統(tǒng)模型在預(yù)測精度上均有顯著的提升。由上可知，RNN挖掘時(shí)序數(shù)據(jù)的性能優(yōu)異，可以有效分析安措票長文本不同語義信息點(diǎn)之間的依賴關(guān)系，實(shí)現(xiàn)語義深度識(shí)別，并完成正誤審核。

2 安措票文本信息特征

與常見文本相比，安措票文本特點(diǎn)如下所示：

(1)實(shí)例文本涉及電力專有名詞，例如“母分開關(guān)”“遙測值”等，分詞階段易出現(xiàn)誤分詞現(xiàn)象，導(dǎo)致文本處理模型對(duì)詞向量的誤聚類，因此需引入自定義專有名詞提高詞向量表達(dá)準(zhǔn)確性。

(2)安措單條目字?jǐn)?shù)在15字至60字之間，總字?jǐn)?shù)在100至1000字之間。審核對(duì)象不僅包括條目具體內(nèi)容，還包括安措實(shí)施總流程。

(3)不同設(shè)備安措條目邏輯與順序大致相同，但考慮到各自的關(guān)聯(lián)關(guān)系，條目針對(duì)的操作對(duì)象不盡相同，審票模型需綜合考慮設(shè)備關(guān)聯(lián)關(guān)系，該關(guān)系通過解析SCD文件中SV與GOOSE報(bào)文通訊結(jié)構(gòu)獲取。

3 安措票樣本處理方法

3.1 安措票文本分詞方法

本文基于Python分詞模塊“jieba”完成安措文本的精準(zhǔn)分詞，“jieba”基于詞組有向無環(huán)圖的最大概率路徑分割算法設(shè)計(jì)，模塊內(nèi)置的常用詞詞典可用于分割“退出”、“投入”等常用動(dòng)詞，本文通過導(dǎo)入自定義專有名詞詞典完成專有名詞分割，詞典基于樣文本設(shè)計(jì)，包含各詞組的文字表述、在樣本中的出現(xiàn)頻數(shù)以及詞性，例如“軟壓板”一詞包括了中文表述、詞頻數(shù)“62302”以及詞性“n(名詞)”各詞組詞性均由英文簡稱進(jìn)行表示，自定義詞典后通過“jieba”對(duì)應(yīng)接口函數(shù)導(dǎo)入分詞模塊。

3.2 安措票文本數(shù)值化表示模型word2vec

基于前饋神經(jīng)網(wǎng)絡(luò)構(gòu)造的word2vec模型[21]如圖1所示，模型將滾動(dòng)順次框定局部文本，利用框內(nèi)上下文詞向量值計(jì)算框中心詞向量，避免長距離低關(guān)聯(lián)詞干擾，并據(jù)此獲得互相具備語義關(guān)聯(lián)的低維稠密詞向量。模型更新目標(biāo)為最大化計(jì)算框中心詞出現(xiàn)概率，可等效為最小化某損失函數(shù)E。本文采用word2vec中的CBOW模型進(jìn)行詞向量表征。圖中詞匯量數(shù)目設(shè)為V，隱藏層維度設(shè)為N，滑動(dòng)框模型輸入為C個(gè)上下文詞的One-Hot向量，W1為中心詞向量矩陣，W2為上下文詞向量矩陣，具體計(jì)算參見文獻(xiàn)[21]，最終，目標(biāo)詞向量值表示為其作為框中心詞與上下文詞時(shí)求解向量值的平均值。經(jīng)過CBOW處理，各詞組均表示為了具有規(guī)定維度值的矢量。

圖1 CBOW模型

3.3 安措設(shè)備關(guān)聯(lián)關(guān)系解析法

變電站配置描述文件SCD是描述站內(nèi)二次設(shè)備實(shí)例配置與關(guān)聯(lián)關(guān)系的核心文件，文件采用可擴(kuò)展標(biāo)記語言XML設(shè)計(jì)，內(nèi)容包括節(jié)點(diǎn)、子節(jié)點(diǎn)及節(jié)點(diǎn)屬性，其中節(jié)點(diǎn)針對(duì)變電站應(yīng)用進(jìn)行了擴(kuò)展，例如IED(設(shè)備模型)、Accesspoint(接入點(diǎn))等，通過索引節(jié)點(diǎn)可獲取子節(jié)點(diǎn)值及其屬性值[22]。xml.etree.ElementTree模塊是Python3中常用xml文件解析工具。該模塊既可索引目標(biāo)節(jié)點(diǎn)，也可遍歷節(jié)點(diǎn)進(jìn)行批次操作。圖2為設(shè)備通訊關(guān)聯(lián)解析流程。節(jié)點(diǎn)箭頭所指圓點(diǎn)代表從屬子節(jié)點(diǎn)，實(shí)線相連圓點(diǎn)代表節(jié)點(diǎn)屬性，箭頭代表節(jié)點(diǎn)遍歷，實(shí)線代表屬性值檢索。具體檢索流程參見文獻(xiàn)[23]。最終設(shè)備關(guān)聯(lián)關(guān)系將通過在安措條目后添加通訊關(guān)聯(lián)設(shè)備進(jìn)行表征。

圖2 設(shè)備關(guān)聯(lián)關(guān)系解析流程

4 安措票語義識(shí)別與綜合判定模型

4.1 雙向門控循環(huán)神經(jīng)網(wǎng)絡(luò)語義分析模型

傳統(tǒng)RNN中，隨著序列數(shù)據(jù)不斷輸入，隱狀態(tài)存儲(chǔ)信息逐漸飽和，造成記憶容量不足，而門控循環(huán)神經(jīng)元(gated recurrent unit，GRU)引入門機(jī)制控制信息存儲(chǔ)與更新方式，有效改善了上述情況。第t個(gè)GRU單元包含重置門rt與更新門zt，前者控制候選狀態(tài)h′t是否依賴上一時(shí)刻狀態(tài)ht-1，后者用于控制歷史狀態(tài)保留信息量與候選狀態(tài)接收信息量，相關(guān)計(jì)算式如式(1)～式(4)所示，其中xt為輸入數(shù)據(jù)，Wh、Uh、Wr、Ur、Wz、Uz均為可更新權(quán)重值，σ為logistic函數(shù)，×表示矩陣Hardmard積。GRU單元結(jié)構(gòu)如圖3所示

h′t=tanh(Whxt+Uh(rt×ht-1)+bh)

(1)

rt=σ(Wrxt+Urht-1+br)

(2)

ht=zt×ht-1+(1-zt)×h′t

(3)

zt=σ(Wzxt+Uzht-1+bz)

(4)

圖3 GRU結(jié)構(gòu)

雙向GRU層是在單向GRU層基礎(chǔ)上，綜合上下文信息構(gòu)造的兩層隱藏層結(jié)構(gòu)，通過正反向輸入文本序列強(qiáng)化網(wǎng)絡(luò)語義辨識(shí)能力，從而有效捕捉雙向語義依賴關(guān)系。最終用于分類的輸出向量由正反向GRU隱藏層輸出向量拼接而成，如圖4所示。

圖4 BiGRU神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

本文在讀取安措文本條目后，按照操作順序拼接條目文本，保證各條目輸入雙向GRU層的邏輯與操作邏輯一致，通過雙向GRU層對(duì)樣本輸入次序的記憶功能實(shí)現(xiàn)對(duì)條目先后依賴關(guān)系的挖掘，隨著操作條目依序輸入，各GRU單元同樣順次輸出特征向量，當(dāng)文本出現(xiàn)錯(cuò)序或遺漏時(shí)，雙向GRU層的輸出向量值將發(fā)生改變，最終使模型審核結(jié)果為錯(cuò)誤的概率值高于審核結(jié)果為正確概率值，完成安措票的校驗(yàn)。

4.2 注意力機(jī)制

注意力機(jī)制(Attention)的意義在于提高關(guān)鍵語義信息點(diǎn)權(quán)重值，減小低關(guān)聯(lián)信息點(diǎn)的干擾，從而有效提高下游分類任務(wù)精度。本文中，注意力機(jī)制首先對(duì)BiGRU隱藏層輸出向量進(jìn)行求權(quán)操作，隨后依據(jù)注意力權(quán)重值進(jìn)行賦權(quán)求和，并輸入全連接層分類器完成正誤校驗(yàn)。模型結(jié)構(gòu)如圖5所示，其中ht為單個(gè)BiGRU輸出向量，a(ht) 為ht輸入BP神經(jīng)網(wǎng)絡(luò)的計(jì)算值，αt為ht權(quán)重值，c為待分類特征值。相關(guān)計(jì)算參見文獻(xiàn)[14]。模型最終輸出文本判定為正確或者錯(cuò)誤的概率值，并選擇概率較大者作為審核結(jié)果。

圖5 注意力機(jī)制結(jié)構(gòu)

4.3 模型優(yōu)化算法

(5)

由于參數(shù)U與隱藏層在每時(shí)刻凈輸入zt相關(guān)，因此序列數(shù)據(jù)輸入t個(gè)樣本時(shí)損失函數(shù)有關(guān)U的梯度如式(6)、式(7)所示，i，j分布代表GRU單元所在層數(shù)與門控權(quán)重類別

(6)

(7)

令δt,k如式(8)所示，并將單元中所有Uij合并為矩陣U，則有式(9)，N為輸入文本總數(shù)，同理可求W，b矩陣損失函數(shù)梯度值如式(10)、式(11)，此時(shí)上一層GRU單元中各參數(shù)將據(jù)此按照梯度下降算法進(jìn)行更新

(8)

(9)

(10)

(11)

4.4 模型評(píng)價(jià)標(biāo)準(zhǔn)

智能審票模型可視作正誤二分類判別模型，常用評(píng)估指標(biāo)包括查全率R(0

5 算例分析

5.1 算例情況與模型介紹

為驗(yàn)證Attention-BiGRU模型在安措票智能審票方面的優(yōu)越性能，本文選取某3個(gè)110 kV智能變電站安措票實(shí)例文本作為正例樣本，其均具有完備的文本描述及判定標(biāo)注，條目順次拼接并以分號(hào)進(jìn)行分割。隨后針對(duì)具體條目進(jìn)行了錯(cuò)序排列與刪減處理構(gòu)造負(fù)例樣本，模擬現(xiàn)實(shí)校驗(yàn)過程中安措票條目排序錯(cuò)誤或者內(nèi)容遺失的問題，樣本總數(shù)為3000條。將樣本隨機(jī)均分4份，每份樣本包含750條分類文本，選擇3份作為訓(xùn)練集訓(xùn)練模型結(jié)構(gòu)，1份作為測試集驗(yàn)證模型審核精度。某樣本文本見表1，其中負(fù)例樣本缺失了第一條安措條目“退出1號(hào)主變A(B)套保護(hù)跳排珍1531線開關(guān)GOOSE出口軟壓板1-1CLP1(1-2CLP1)”，第二條安措條目“退出1號(hào)主變A(B)套保護(hù)跳1號(hào)主變10 KV開關(guān)GOOSE出口軟壓板1-1CLP3(1-2CLP3)”與第三條安措條目“退出1號(hào)主變A(B)套保護(hù)跳110 KV母分開關(guān)GOOSE出口軟壓板1-1CLP2(1-2CLP2)”順序發(fā)生了錯(cuò)位。

表1 樣本文本描述

模型采用Python語言編程，并采用Tensorflow工具包高度集成模塊keras構(gòu)造Attention-BiGRU模型，CPU為Intel Core i7-3537U，主頻2.0 GHz，模型超參數(shù)設(shè)置見表2。

表2 模型參數(shù)設(shè)置

5.2 算例計(jì)算與評(píng)估

5.2.1 word2vec數(shù)值化表征性能分析

本文采用word2vec語言模型進(jìn)行條目詞組向量化處理，詞向量可通過主成分分析法降維投影在二維語義空間，此時(shí)，不同向量間的幾何(歐氏)距離可以直觀反映詞組關(guān)聯(lián)關(guān)系，本文選取4個(gè)中心詞組：“主變”，“軟壓板”，“操作”，“閘刀”及其語義關(guān)聯(lián)度最大的6個(gè)詞語共24個(gè)詞語(有重復(fù))作為分析樣本進(jìn)行降維聚類，聚類結(jié)果如圖6所示，PC1與PC2表示高維向量矩陣中方差最大的主成分特征，圖中，語義關(guān)聯(lián)密切的詞組空間距離較小，例如“主變”與 “保護(hù)等；語義關(guān)聯(lián)稀疏的詞匯間隔較大，例如“軟壓板”與 “人工”等。各中心詞及其聚類時(shí)關(guān)聯(lián)緊密的詞組所對(duì)應(yīng)的樣本文本舉例如虛線框文本所示，“”代表分詞操作。

圖6 word2vec詞向量語義空間聚類

5.2.2 Attention-BiGRU模型審核性能評(píng)估

基于Attention-BiGRU的自動(dòng)化審票模型包括安措設(shè)備關(guān)聯(lián)關(guān)系錄入、安措文本詞向量表征以及利用Attention-BiGRU模型進(jìn)行語義挖掘與正誤審核。以表2的樣本文本為例，1號(hào)主變分別與排珍1531線開關(guān)、110 kV母分開關(guān)與備自投、10 kV開關(guān)與1號(hào)母分備自投相連，在將主變保護(hù)狀態(tài)由跳閘改信號(hào)時(shí)，即保護(hù)動(dòng)作后只發(fā)信號(hào)不跳閘時(shí)，需要順次斷開上述開關(guān)與備自投裝置以保證不誤動(dòng)作，因此本文審票模型首先基于SCD文件對(duì)實(shí)現(xiàn)上述裝置斷開操作的GOOSE報(bào)文地址進(jìn)行了解析，并在文本中錄入了負(fù)責(zé)上述操作的設(shè)備，即110 kV排珍線、內(nèi)橋智能終端與備自投保護(hù)裝置，1號(hào)主變低壓側(cè)智能終端以及10 kV 1號(hào)備自投保護(hù)裝置。上述文本首先通過word2vec進(jìn)行向量化表示，即各條目文本映射成詞向量矩陣，隨后輸入Attention-BiGRU模型進(jìn)行語義識(shí)別，最終輸出正誤校驗(yàn)結(jié)果。

基于上述參數(shù)構(gòu)造的模型文本分類訓(xùn)練集與測試集的綜合評(píng)估指標(biāo)F-score值變化曲線如圖7所示。隨著迭代次數(shù)增加，訓(xùn)練集與測試集F-score值逐漸收斂，最終訓(xùn)練集F-score值為0.9725并趨于穩(wěn)定；測試集F-score值為0.9547并趨于穩(wěn)定。

圖7 Attention-BiGRU性能綜合分析

Attention-BiGRU模型具備強(qiáng)大的序列數(shù)據(jù)信息挖掘能力的同時(shí)，也蘊(yùn)藏著過擬合訓(xùn)練集數(shù)據(jù)風(fēng)險(xiǎn)，造成測試集F-score值較低。下文通過訓(xùn)練時(shí)對(duì)隱藏層輸出向量進(jìn)行dropout隨機(jī)失活處理控制模型復(fù)雜度，提高泛化能力。

不同dropout失活比例的模型測試集F-score值曲線如圖8所示，dp表示dropout失活比例，dp=0表示不進(jìn)行dropout處理，dp=0.8表示dropout處理過度，可見dp=0.8時(shí)測試集F-score值劇烈震蕩，語義信息丟失嚴(yán)重，模型無法收斂造成審核結(jié)果穩(wěn)定性差，dp=0時(shí)模型存在一定程度過擬合，F(xiàn)-score值低于dp=0.5時(shí)的值，穩(wěn)定性同樣偏弱，合理設(shè)置dropout失活比例為0.5，模型在測試集上表現(xiàn)優(yōu)異，F(xiàn)-score值可達(dá)96.51%。

圖8 模型泛化能力對(duì)比

為體現(xiàn)本文審票模型的性能優(yōu)越，本文選取3種典型的RNN深度神經(jīng)網(wǎng)絡(luò)判別模型進(jìn)行對(duì)照，包括雙向門控循環(huán)網(wǎng)絡(luò)(BiGRU)、雙向長短期記憶神經(jīng)網(wǎng)絡(luò)(BiLong-short term memory，BiLSTM)，基于注意力機(jī)制的雙向長短期記憶網(wǎng)絡(luò)(Attention-BiLSTM)，文本均采用word2vec進(jìn)行處理。權(quán)重更新學(xué)習(xí)率均為0.01，均做dropout隨機(jī)失活處理，比例為0.5。各網(wǎng)絡(luò)訓(xùn)練集與測試集實(shí)驗(yàn)結(jié)果如圖9所示。測試集評(píng)估指標(biāo)對(duì)比結(jié)果見表3。

由圖9可知。當(dāng)網(wǎng)絡(luò)不添加Attention機(jī)制時(shí)，BiLSTM模型震蕩厲害無法收斂，對(duì)訓(xùn)練數(shù)據(jù)欠擬合；BiGRU在局部最優(yōu)點(diǎn)附近搖擺難以逃脫，直至多次迭代后擺脫造成較大幅度的F-score曲線階躍現(xiàn)象，模型穩(wěn)定性差；Attention-BiLSTM模型曲線較為平穩(wěn)，精度略低于Attention-BiGRU模型，并且由于GRU單元結(jié)構(gòu)較LSTM有所精簡，因此計(jì)算效率高，過擬合風(fēng)險(xiǎn)偏小，在迭代次數(shù)高于30時(shí)收斂性較強(qiáng)。綜上可知Attention-BiLSTM模型性能優(yōu)異，可以滿足安措票智能審票的高精度需求。

6 結(jié)束語

本文考慮到智能變電站安措操作票專業(yè)術(shù)語較多，文本呈現(xiàn)半結(jié)構(gòu)化的特點(diǎn)，并結(jié)合目前人工審票存在不確定性的現(xiàn)狀，提出了基于Attention-BiGRU的安措操作票智能審票方法，結(jié)論如下所示：

(1)利用word2vec模型針對(duì)操作票文本矩陣進(jìn)行向量化處理與語義映射，有效獲取了電力專有名詞詞組關(guān)聯(lián)關(guān)系，實(shí)現(xiàn)了初步語義挖掘。

(2)采取基于Attention-BiGRU模型的審票模型，針對(duì)文本序列數(shù)據(jù)各語義信息點(diǎn)進(jìn)行邏輯關(guān)聯(lián)關(guān)系分析，進(jìn)一步強(qiáng)化了關(guān)鍵語義值篩選能力，提高了審核精度，本文模型在測試集樣本上的分類綜合指標(biāo)F-score可高達(dá)96.5%，審核性能優(yōu)異，為實(shí)現(xiàn)智能變電站安措操作票智能化審票提供了思路。

由于Attention-BiGRU神經(jīng)網(wǎng)絡(luò)對(duì)于安措文本的語義是自主學(xué)習(xí)并提取特征的，因此下一步工作將包括：

(1)研究Attention-BiGRU模型在樣本語義學(xué)習(xí)時(shí)各網(wǎng)絡(luò)層權(quán)重更新過程，調(diào)整不同操作任務(wù)的正負(fù)例樣本比例，動(dòng)態(tài)輸出并觀察梯度更新幅度，強(qiáng)化特征學(xué)習(xí)的可解釋性。

圖9 其它分類模型性能詳細(xì)對(duì)比

表3 其它分類模型對(duì)比

(2)基于Attention-BiGRU模型對(duì)于文本典型錯(cuò)誤語義特征的學(xué)習(xí)流程，進(jìn)一步研究其與現(xiàn)有擬票規(guī)范專家系統(tǒng)互相兼容的方法，并設(shè)計(jì)一個(gè)擬票系統(tǒng)中的邏輯糾誤模塊。

(3)基于Attention-BiGRU模型的核心架構(gòu)，結(jié)合目前各種文本生成式神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)理論，構(gòu)建一套安措票智能擬票系統(tǒng)。