多模態知識圖譜在電力運檢中的應用與展望

藺家駿，閆瑋丹，胡俊華，鄭一鳴，邵先軍，郭炳延

（1.國網浙江省電力有限公司電力科學研究院，杭州 310011； 2.浙江大學 電氣工程學院，杭州 310027； 3.國網浙江省電力有限公司，杭州 310007）

0 引言

近年來，在實現“雙碳”目標、構建以新能源為主體的新型電力系統等國家重要決策部署下［1-3］，國家電網有限公司處在智能化發展的重要時期，綠色低碳和數字化轉型是其關鍵因素。

國家電網有限公司是重資產服務型企業，電力設備規模不斷增大，運行、管理數據量也呈指數增長，電力大數據迎來新機遇、新挑戰。國家電網有限公司設備部提出“加快構建國網特色現代設備管理體系”的戰略規劃，以支撐國家電網有限公司更為安全、更高質量、更有效率、更可持續發展。

電力運檢作為電網運行中重要的一環，運檢是運維和檢修的簡稱，電力運檢主要負責變電站內設備和輸電設備的運行操作、檢查維修、日常維護、更換等工作［4］，例如拉閘停送電、設備日常巡視、事故處理、設備年檢等。提高電力運檢工作的智能化、數字化是國家電網有限公司發展的當務之急。

電力運檢每年會產生大量不同類型的數據，如停電記錄清單等表格數據、故障報告等文字數據、在線監測系統產生的圖片/視頻數據、油色譜監測系統產生的時序數據。電力運檢數據呈現異構化、多樣化、復雜化、孤島化，多種模態數據間的潛在關系沒有得到深入挖掘，且運檢工作對專家經驗依賴較大，工作人員查找資料耗時較長。因此，解決電力運檢在數據充分挖掘利用［5］、智能化運維方式完善、多模態知識庫空缺等方面存在的問題對電網建設具有重要意義。

知識圖譜（Knowledge Graph，KG）作為人工智能四大技術之一，既包含豐富的語義信息，又包含圖的拓撲結構信息，定義為利用圖狀結構組織和使用類型不相同的大規模數據的形式化領域知識，與電力運檢領域現狀高度契合［6］，依托其模態豐富、儲備豐富的運行數據，多模態知識圖譜（Multi-modal Knowledge Graph，MMKG）在電力運檢領域有極高的發展前景。

本文從電力運檢現狀出發，基于實際運檢作業的需求和MMKG 技術的特點，分析了在電力運檢領域發展MMKG 的可行性，介紹了MMKG 構建技術，總結了其能發揮作用的綜合智能問答系統和故障處置兩大類應用場景，提出了具體的應用思路，并深入分析了未來在電力運檢領域發展MMKG 技術將面臨的困難與挑戰，為電力運檢智能化、信息化、數字化發展提供可能的思路與方向。

1 研究背景

本節介紹電力運檢領域的發展現狀和KG 的基礎應用背景，分析KG 技術與電力運檢領域的契合度，介紹MMKG 在電力領域的已有應用，說明其在電力運檢領域有極大的發展前景。

1.1 電力運檢發展現狀

隨著社會用電量的不斷提升，更加要求用電的安全穩定和實時智能等［7］。目前，電力運檢積累了大量數據，涵蓋多種模態，電力運檢數據具備文本結構復雜、語義模糊、專業名詞含量高等特征，傳統的數據分析方法難以對其進行準確的文本挖掘。圖片數據大多來自監控攝像頭，目前主要用于依托計算機視覺（Computer Vision，CV）技術的缺陷檢測、設備狀態感知等。

電力運檢產生的大量歷史運行數據、案例報告等黃金數據有極高的挖掘價值，其蘊含的時序信息、專家經驗等對日常運檢工作有極高的指導價值，然而目前只能通過人工翻閱、關鍵詞檢索等傳統手段獲取其中信息，黃金數據淪為僵尸數據。且人工主觀決策對運檢人員的專業能力有極高要求，電力運檢領域設備類型眾多、故障信息多變、運行規程繁雜，通常需要專家參與，無法保障故障處置的實時性、高效性，亟須更加智能化、自動化、數字化的手段幫助提高現場作業的智能化水平，降低人力成本。

1.2 KG發展現狀

KG 分 為 通 用KG（General Knowledge Graph，GKG）和領域KG（Domain Knowledge Graph，DKG）。GKG 往往包含大量數據，數據范圍廣但不精細，更適用于搜索引擎，難以支撐一個行業的功能需求，而DKG 僅針對某一個專業領域或一個具體方向，根據該領域的業務邏輯進行構建，DKG 要求該領域有較為完備的知識體系及較為準確的深度和廣度，電力運檢規程完整、要求嚴謹、數據龐大，符合構建DKG的要求。

KG 依據數據來源的類型分為單模態KG 和MMKG，大數據時代各領域數據量均呈爆發式增長，KG 以其強大語義信息處理能力、多模態知識融合能力、增量更新能力和推理計算能力，為多領域多模態的大規模數據提供了智能化、數字化產業應用的新方法，已廣泛應用于金融、醫學、影視、軍事等領域，成為各大搜索引擎、各領域智能問答系統、人工智能（AI）助手依托的知識庫。典型KG 見表1。表中YAGO 為大型多語言語義知識庫；XLORE 為大型中英文知識圖譜。

表1 典型KGTable 1 Typical KG

1.3 MMKG在電力的應用現狀

KG 起初主要被用來處理文字數據，隨著CV［8］和多模態學習［9］（Multi-modal Learning，ML）技術的不斷發展，越來越多的學者發現圖片數據對KG 的正面影響，將圖片數據融入KG 以實現KG 補全、模態互補，已有工作證明加入圖像數據的KG 在分類、補全任務中有重要作用［10-11］。

MMKG 是指數據來源為多源異構數據、多種模態數據互聯互通的KG，目前較為典型的MMKG 有Dbpedia［12］，Wikidata［13］，IMGpedia［14］，實現了3 個KG間的實體對齊，包含數字與圖像特征的MMKG［15］等。隨著各專業領域對MMKG 的需求，構建MMKG技術正在飛速發展［16-19］。

KG 在電力領域中的應用正處于起步階段，構建的DKG 多為純文本KG，基于MMKG 做電力功能的研究也比較少。張敏杰等［20］依托自然語言處理技術，構建了變壓器運檢KG，實現了基于智能問答的3 個應用功能。趙振兵等［21］構建了栓母對KG，結合門控圖神經網絡模型，驗證了KG 作為先驗知識對栓母對缺陷分類任務的作用。劉梓權等［22］構建了電力設備缺陷KG，利用圖搜索進行缺陷記錄檢索，驗證了KG 較傳統語義分析方法的高效性。楊強［23］針對設備全壽命周期管理需求，研究基于KG技術的展示平臺，驗證了KG 的可行性。湯亞宸等［24］研究了基于DKG 的規則推理技術，實現涉及設備、事件等5 個關鍵因素的分析與檢索。趙振兵等［25］分析了航拍輸電線路目標檢測的現狀，提出在該任務中融入KG 技術，結合深度學習模型的發展前景。綜上所述，MMKG 在電力運檢領域很多應用方向的研究尚處于空白或剛起步階段。

2 MMKG構建技術

本節介紹針對電力運檢數據的MMKG 構建技術，主要介紹多模態數據采集與預處理、多模態知識抽取與多模態知識融合方法，并給出部分電力運檢領域MMKG示例。

2.1 多模態數據采集與預處理

將收集到的大量文本數據分為結構化、半結構化、非結構化數據，結構化數據包括電網實時及歷史運行數據、設備資產信息數據庫、電網設備屬性等信息。半結構化數據，包括電力知識百科或電力專業詞庫中關于配電網評價的數據等；非結構化數據指長文本或短文本數據，包含配電網運行管理規定、評估導則、配電網歷史評價案例等。

除文本外的其他模態數據，例如圖像/視頻數據、振動信號、故障錄波等主要來自智能感知設備的采集，這些數據由于采集周期短，儲備較大［26］，但其形式多種多樣，且無效數據較多，需要經過數據預處理才能使用。無效數據主要包含由于人員主觀因素、智能設備誤差等原因導致的數據關鍵因素缺失、重復數據、歧義數據等。因此數據預處理工作的重點是進行數據質量的檢測與修復，主要手段包括數據清洗［27］、數據集成［28］、數據轉換［29］、數據降噪降維［30］等，以得到高質量的數據集。

2.2 多模態知識抽取

知識抽取分為實體抽取和關系抽取2 部分，主流方法有基于傳統規則和模板的知識抽取、基于統計機器學習的知識抽取、基于深度學習的知識抽取［31］。在電力運檢MMKG 構建任務中，知識抽取任務需要首先進行實體抽取，完成對不同模態數據中關鍵性語義的抽取，確定關鍵詞對，完成本體構建，再根據業務邏輯進行關系抽取，完成單模態之間的KG 關系構建。針對電力數據特點，在電力領域多模態知識抽取任務中主要采用基于深度學習的方法。

2.3 多模態知識融合

由于電力運檢數據采集設備種類多樣，數據來源復雜，數據間的關聯關系沒有可直接利用的映射，知識存在嚴重的冗余［32］。知識融合技術通過對多源異構數據進行實體消歧［33］、實體對齊［34］、知識加工、知識整合等操作，達到多模態數據的多維度融合，消除冗余信息，生成對應模態數據間的關聯關系，即映射［35］。目前，DKG 主要采用相似度計算的方法對不同模態的數據進行融合，分別對不同模態的數據進行語義標簽抽取，針對文本數據可以采取自然語言處理（NLP）算法實現自動抽取方法。針對圖片數據采用半自動抽取，用少量人工標簽指導模型抽取。視頻數據可采用非自動化抽取，即人工標注。計算3 種標簽的語義相似度，將匹配程度最高的1 組圖片和視頻數據鏈接到文本數據上，形成多模態數據集。多模態知識融合流程如圖1所示。

圖1 多模態知識融合流程Fig.1 Multimodal knowledge fusion process

知識融合能夠實現數據互聯，將來自多個模態的知識整合在同一個網絡中，實現模態互補、知識消歧，提高KG 的豐富度和質量［31］，滿足下游任務需求。電力運檢領域MMKG 構建完成后如圖2 所示。MMKG構建整體流程如圖3所示。

圖2 電力運檢領域MMKG部分示例Fig.2 Applications of MMKG in power operation and inspection

圖3 電力運檢領域MMKG構建流程Fig.3 Construction process of MMKG for power operation and inspection

3 MMKG在電力運檢中的應用場景分析

本節詳細分析了MMKG 在電力運檢綜合智能問答系統與故障處置兩大應用場景的應用前景，介紹了現有功能和技術，提出MMKG 的優勢與應用思路。

3.1 電力運檢綜合智能問答系統

目前，電力領域應用最為廣泛的智能問答系統為95598 平臺的智能助手，負責當地用戶的供電疑問、電力政策解釋等。文獻［36-37］基于95598記錄的真實問答數據研究針對電力領域的命名實體識別算法，建立了電力服務領域專用知識庫，為位置、故障和解決方案等因素的準確識別提供了數據基礎，但未構建DKG，僅做到實體識別，沒有對實體間關系做深入研究。楊志明等［38］構建了配電網運檢領域知識庫實現基于智能辨識的知識問答功能。盛慧等［39］基于KG 與語音識別技術研究了電網運檢智能AI 助手，實現信息匯集、智能研判、異常警告、輔助指揮等功能，可以支撐運檢人員對電力運檢專業知識的學習。綜上所述，智能問答系統在電力領域能夠取代部分人工工作，具有極高的應用前景，但上述文獻僅對文本數據進行了處理，未挖掘多種模態間的數據關系。

電力運檢領域由于需要專業知識的指導，發布了很多作業指導書、標準導則等技術文件，多為長文本數據，導致工作人員翻閱、查找資料時需要耗費大量的時間，雖然根據關鍵詞檢索能夠定位到相關片段，但會將所有存在這個詞的片段沒有優先級地輸出，需要工作人員主觀尋找相關性最高的片段，耗時較長，且難以將圖片、視頻、拓撲圖、運行數據等多模態數據與文字數據聯系起來，是初級運檢人員入門時的一大困難。因此基于初級運檢人員的專業知識結構化培訓與學習需求、實際運檢作業中的知識查詢、智能問答需求，將電力運檢專業知識構建成MMKG，以此為知識依托，搭建電力運檢智能問答綜合系統，實現基于語義解析的檢索與問答功能，根據用戶提問返回清晰、準確的答案能夠有效地解決問題，比起各類文件與手冊更加智能，提高電力運檢領域全范圍信息化、數字化程度。

該場景的技術難點在于如何將多種模態的數據融合起來，解決不同數據源帶來的歧義問題，高效組織電力數據。基于MMKG 的電力運檢綜合智能問答系統架構如圖4所示。

圖4 基于MMKG的電力運檢綜合智能問答系統架構Fig.4 Architecture of the intelligent query answering system for power operation and inspection based on MMKG

3.2 電力運檢故障處置

目前基于KG 在電力運檢故障處置方向的研究主要分為2個方向。

（1）對DKG 構建框架的研究。文獻［5］以電網故障處置預案文本為數據源，結合神經網絡模型對電力領域進行實體識別，重點解決了電力數據知識抽取問題，構建了電網故障處置KG。文獻［40］也在知識抽取任務上進行了研究，以電網調度領域文本為數據源，構建了雙向長短期記憶網絡-卷積神經網絡-條件隨機場（BiLSTM-CNN-CRF）電網調度領域實體識別模型。

（2）研究基于KG 的故障處置相關功能實現。文獻［41］設計了關于故障處理的DKG 構建框架，但其數據為單模態。文獻［42］以功能缺陷文本為數據源，基于雙向長短期記憶網絡-條件隨機場（BiLSTM-CRF）信息抽取模型與KG 技術實現電力系統二次設備功能缺陷處理智能平臺。這些研究都取得了較好的成果，為后續研究提供了參考和方向，但沒有充分利用多模態數據，只依據文本數據實現故障處置存在一定的局限性，具有極高的發展空間。

3.2.1 故障溯源

目前對電力運檢領域的研究多為故障診斷，通過對設備多個指標、參數的監控與分析，判定設備是否處于故障狀態，并確定故障類型［43-44］，缺少對故障等級的判定，對故障部位和原因的挖掘由于缺少對歷史案例間聯系的研究而不夠深入。

文獻［45-46］在電力調度領域用信息差異圖解決系統故障組件溯源的問題，但其研究重點在數據的時序層，挖掘告警信息在時間序列上的前后信息差異，未深入挖掘多種模態數據間的聯系。而電力運檢領域的故障溯源對多模態數據融合分析的需求很高，引入MMKG 技術能夠完善整個故障溯源任務的邏輯鏈，實現全周期、全流程的自動化。

由于電力設備種類、部件類型多樣，部件間邏輯結構復雜，發生故障時存在連鎖反應和并發故障，導致運檢人員在進行故障類型判斷時具有諸多困難，以往的運檢工作需要運檢人員具備大量的知識儲備和案例經驗，在運檢人員發現設備異常時，按工作規范要求需填寫故障報告，描述故障實際情況，并歸納故障類型，具有一定的滯后性、主觀性。同時，一些較少見到的設備缺陷或變化性較大的故障，會受到運檢人員知識和經驗程度的影響，難以準確判定故障的嚴重程度等級，無法全面地識別設備故障風險，并評估其運行狀態。并且由于故障現象通常由運檢人員手動錄入，不會完全按照運檢部門詳細的分類導則文件填寫，因此經常存在描述與故障不匹配、描述有偏差、針對同一個故障存在描述方式不同的情況，對后續專家檢修、存檔都有很大影響。

因此，將故障案例、運維規范等信息和規則構建成MMKG，實現對運檢工作人員主觀的故障描述與故障圖片的識別，自動定位故障設備、故障部位，自動輸出故障類型或給出故障類型置信度，并判斷故障等級，實現故障溯源功能，減少運檢人員翻閱資料或詢問專家的時間，并能夠降低運檢人員主觀描述對判定故障類型造成的影響，提高電力運檢的實時性、智能化，在實際運檢工作中具有重要作用。

該場景的技術難點在于數據規模的不均衡，電力領域發展至今，安全性逐步提高，重大故障頻率降低，其數據為典型的小樣本數據，如何對小樣本數據進行高精度分析與處理是一大難題。

3.2.2 推理決策

目前，故障處置中關于決策的部分工作仍由國家電網有限公司相關人員依靠人工知識或經驗進行判斷。王駿東等［47］在調度領域實現了輔助決策功能，將調度規則、故障預案和專家經驗構建成KG，具備智能問答、案例匹配等功能，但要深入掌握電力設備故障的內在規律和各個部件的實際維修策略仍存在一定難度。

隨著社會的發展，對供電可靠性要求較高，因此設備發生故障后應盡量縮短處置時間，且輔助決策的判定需要一定的可解釋性。引入MMKG 技術，通過故障溯源功能反饋的信息和實施決策場景的實際情況完成對決策最優解的推理，同時推理出該故障的風險等級和風險分析結果，例如發生該故障且不做及時處理后會引發哪些連鎖反應，KG 的邏輯表達為推理結果提供可解釋性［47］，實現基于智能問答的友好交互輔助決策功能，為運檢提供快速、準確、可解釋的決策支持。基于MMKG 的電力運檢故障處置流程如圖5所示。

圖5 基于MMKG的電力運檢故障處置流程Fig.5 Fault handling process in power operation and inspection based on MMKG

該場景的技術難點在于知識推理的精度，電力領域作為至關重要的專業領域，其對智能算法的精準度要求較高，決策的準確性直接影響電網的安全運行，因此必須保障推理算法的精確度達標。

4 MMKG在電力運檢中的挑戰

本節在第3節的基礎上提出在電力運檢領域發展MMKG的3個挑戰，并對未來發展提供思路。

4.1 數據融合

KG 的構建需要大量的數據支撐，電力運檢領域每年產生的數據量非常大，但在數據處理階段面臨多個難題。從電力系統中獲取的知識通常具有碎片性、異構性、多樣化［48］，且具有知識交互壁壘，需要大量精力和專業知識去整合電力數據。

（1）電力知識存在一定的歧義和冗余，歧義使得KG 的實體、概念在構建過程中出現屬性描述混亂或重復、實體間關系錯綜復雜，可能會導致圖譜描述沖突、邏輯混亂，進而導致知識推理準確度降低；冗余導致KG 內存在大量無用的實體和關系，增加了KG的存儲空間和無用的計算量。

（2）電力數據抽取時存在噪聲，會稀釋數據信息內容和數據質量。

（3）電力數據與通用數據間存在知識交互壁壘，數據處理時需要一定的專業知識，導致通用數據中與電力存在聯系的部分數據無法直接應用在KG 中。如何將混亂、復雜的數據處理成能夠支撐構建可更新、邏輯清晰、可解釋的電力DKG 數據，如何打破通用數據與電力數據間的知識交互壁壘，是在電力運檢領域發展多模態時序KG 的必由之路。因此，針對長文本的知識抽取、多模態知識表示、多模態實體消歧、將時序、空間、事件等多維度數據融入電力DKG將成為未來發展的研究熱點。

4.2 小樣本算法

目前，KG 技術雖然已經在電力運檢中實現初步應用，但現有的模型對訓練數據的質量要求很高［49］，電力數據往往數量多但質量不高，且存在數據分布不均衡現象，訓練模型的代價是巨大的數據處理工作量，導致現有模型廣泛推廣的可能性不高。另外，現有的功能實現方式中為滿足實際應用場景中的復雜功能需求，對計算和存儲設備的要求較高，導致現有算法速度不高，部署在實際應用現場的系統中時體現為響應時間較長，不能滿足一些對實時性要求較高的任務需求。因此提高對少量高質量數據的利用率，提高算法在大規模數據中的計算速度是電力運檢領域應用MMKG 實現推理、故障溯源等功能的必要研究方向，目前模型微調、數據增強、遷移學習等方法是小樣本學習的熱點，由于電力領域數據特殊性與多源異構性，模型微調與數據增強不適合全部場景，遷移學習將會成為在電力領域應用的重要研究方向。

4.3 知識推理

知識推理是根據KG 中大量已有的數據來推斷新的實體和關系或推理出錯誤的已有關系，實現KG 的補全或去噪，滿足任務需求。現有知識推理方法主要有基于規則的推理、基于分布式特征表示的推理和基于神經網絡和強化學習的推理［34］，針對DKG 的知識推理方法的準確度還有待提高。電力運檢領域無時無刻不在產生新數據，如何將新數據與舊數據動態［50］、實時地聯系起來，推理出它們之間的關系是未來知識推理發展的一大挑戰。因此KG 的動態更新、基于時序信息的實時演化、基于小樣本的精準推理等方向會是未來幾年電力領域發展MMKG技術的研究熱點。

5 結束語

本文從電力運檢領域的實際需求出發，分析MMKG 技術與電力運檢任務的適配度，介紹了構建MMKG 的基礎技術，從電力運檢綜合智能問答系統和電力運檢故障處置兩大應用場景詳細分析了應用MMKG 能夠解決的問題和具體應用思路，提出在電力運檢領域發展MMKG 要面對的三大難題與挑戰，為后續的研究工作提供思路。

MMKG 以其豐富的數據類型、完整的邏輯關系、可解釋性與可推理性在電力運檢領域有巨大的應用潛力，一旦發展成熟便能夠帶來巨大的社會效益和經濟效益。