基于知識圖譜的問答系統研究與應用

袁 博，施運梅，張 樂

(1.北京信息科技大學 網絡文化與數字傳播北京市重點實驗室，北京 100101； 2.北京信息科技大學 計算機學院，北京 100101)

0 引 言

伴隨著現代信息技術的飛速發展，互聯網從無到有，從相對匱乏的知識儲量到現如今的包羅萬象。互聯網的強大之處歸根結底在其知識庫的龐大，數以萬億計的知識呈指數爆炸式增長，同時利用網絡獲取知識的人數也呈飛速上升的態勢。據CNNIC《2020年第45次中國互聯網絡發展狀況統計報告》數據顯示，截至2020年3月，國內網民規模為9.04億，互聯網普及率達64.5%。但信息爆炸和網民人數的增多帶來的問題也愈發凸顯，人們該如何從海量的知識中獲取自己想要的部分成為急需解決的問題。

人們在互聯網獲取答案的方式大多依賴搜索引擎，但傳統的搜索引擎存在針對性低、搜索結果過多等不足，它返回給用戶的結果只是若干個網頁以及列表，而不是用戶想了解的具體的答案。如何有針對性地獲取自己想要的答案變得越來越重要。在這樣的背景下，問答系統依托現代科技以飛快的速度發展。

隨著問答系統的出現，獲取用戶想要的知識變得便捷，且相較于傳統的搜索引擎而言，其具有速度快、針對性較高的特點。而在傳統的問答系統發展的過程中，也出現了一些新的問題。傳統的問答系統因為知識庫結構化程度低，缺乏足夠的高質量知識，具有單一性與局限性的缺陷。KBQA的出現填補了這一缺陷，實現了問答結果的多樣化，提升了問答結果滿意度。

通過一系列的調研顯示，KBQA在現階段得到了學者的廣泛關注，并在業界取得了良好的應用效果。其在多個領域都發揮了巨大的作用。文中將梳理基于知識圖譜的智能問答系統的發展脈絡，對其中涉及的概念、方法與技術應用展開深入的探討和分析。

1 知識圖譜與問答系統

本節主要介紹知識圖譜與問答系統的歷史發展與其相關的知識庫以及其技術應用領域等。

1.1 知識圖譜

知識圖譜的前身是知識庫，知識庫是一種結構化的數據形式。Wordnet[1]是提出最早的知識庫，其在眾多結構化知識中添加了六種語義信息，為之后知識圖譜提出“實體-關系-實體”提供了理論基礎。之后相繼出現的freebase[2]、hownet(中文知網詞庫)等跨語言知識庫更加完善了數據量與數據結構。其中freebase知識庫是基于Wikipedia(現在公認最大的在線百科全書)創立的擁有超過5 800多萬實體的超大型知識庫，也是公開可以得到的最大的知識庫之一。

知識圖譜，是一種通過將數學、圖形學、信息技術和關系映射等結合在一起的現代化、高度結構化的知識理論。對于知識圖譜來說，其本質為語義網絡的知識庫。語義網[3]早在1968年被提出，起初是用來為自然語言處理數據建立一種新的組織方式。語義網標明了各數據之間的聯系，它是融合語義信息表達來創建的網絡。而知識圖譜則是經過漫長時間的發展與技術的不斷優化，衍生出來的語義網2.0。過去人們往往聚焦于對個體事物的分析與理解，而知識圖譜則破除了這一界限，將其引申向每件事物的聯系。在知識圖譜中，通常將事物定義為“實體”。知識圖譜將它們之間聯系起來，形成一個縱橫交錯的“網”。用一句話來講，知識圖譜是以若干“實體-關系-實體”構成的三元組組成的集合。

Google公司在2012年5月提出知識圖譜概念的同時發布了知識圖譜Google Knowledge Graph[4]。當用戶對問題進行搜索時，除得到搜索結果外，還可顯示與其相關的人、物或者事件。它一改往日對關鍵字匹配處理的方式進行問答反饋，而是將問題中的“實體”識別出來，聯合知識網絡尋找與其“實體”相關聯的“實體”，從而進行推薦與顯示。

除Google Knowledge Graph外，常用的大型知識圖譜還有DBpedia，YAGO3等。在中文領域，有開放式知識圖譜平臺OpenKG[5]，其中包含了15大類的開放型知識圖譜。

對于知識圖譜，從其出現至今已經在各領域取得了較為成熟的應用。例如將知識圖譜集成在推薦系統中，可以更有效地匹配用戶習慣進行推薦；將知識圖譜集成在犯罪檢測領域，可以分析嫌疑人之間關系來獲取更多的線索；將知識圖譜運用在問答系統中，可以將數據結構化以便更快地匹配各個實體及關系之間的映射關系。知識圖譜應用于生產生活的各個方面，具有很大的研究價值。

1.2 問答系統

公認最早的問答系統理論是二十世紀六十年代由艾倫·麥席森·圖靈提出的著名的圖靈測試[6]。在之后數十年的發展中，問答系統也隨著人工智能的興衰而更迭，涌現出一批具有代表性的問答系統。

二十世紀六、七十年代代表其技術應用的系統有Baseball[7]系統與Lunar[8]系統等。Baseball系統是最早應用在實際生活中的問答系統之一，旨在回答限定棒球領域的事實性問題；Lunar系統則是為了分析月球中礦石成分而開發出的問答系統。兩者都可以回答出一些簡單的問題，缺點是必須使用固定形式去提問，靈活性極低，且當時受限于匱乏的網絡知識資源，其處理數據量很小，并不能大規模應用。

二十世紀八十年代，因計算語言學的發展，計算機進入語言學時期，研究者將研究點轉向如何利用語言學的優勢去改進問答系統，在提升準確率的同時降低成本。其階段的代表系統為Unix Consultant系統[9]。

二十世紀九十年代末，因為互聯網絡的發展及數據量的爆炸式增長，出現了基于檢索匹配的問答系統。其思路是從用戶的自然語言問句中提取核心字，并在文本庫或網頁中搜索相關的文檔。這種方法在一段時間內取得了很好的效果，但仍未解決用戶問題多樣性以及自然語言復雜性的問題，在數據的質量方面，采用的都是從網頁或文檔中抽取的非結構化數據，質量參差不齊，導致數據處理效果不盡人意。

直到近年來知識庫與知識圖譜的出現，將數據和其中的關系整合為一個結構化的系統，優化了數據的質量；同時深度學習飛速發展，使得自然語言處理變得相當便捷，解決了先前兩種方法的不足。智能問答系統也由基于文檔形式的智能問答轉變為基于知識圖譜的智能問答，迎來了質的飛躍。

在實際生活應用中還有很多領域也融入集成了問答系統。在電商領域，出現的“自動問答機器人”。如阿里巴巴旗下的淘寶客服機器人，網易游戲旗下的游戲問題自動回復客服等。可以對用戶的問題化繁為簡，大大提升了效率。在教育領域，出現的可以提供給孩子各種各樣的百科知識等的“早教機器人”，可以替代老師的部分職能，節省家長的財力與精力。在醫療領域，出現的可以快速根據臨床表現回答病癥的問答系統等。問答系統涉及諸多應用領域，隨著社會發展，如何提升問答系統的效率與準確性也是今后研究的一大熱點問題。

2 基于知識圖譜的問答系統構建方法

KBQA的含義為基于知識庫的問答，知識庫有很多種，文中只討論基于知識圖譜知識庫的問答方法。現階段已經有大量針對不同領域的知識圖譜的問答系統的研究，在KBQA的各個領域也出現了對其應用方法的相關研究[10-13]，這些研究都針對生活中的實際應用，優化解決了生產生活中的諸多問題。

文中對KBQA的構建方法進行了梳理，總體上可以劃分為三種方法：(1)基于模板匹配的方法；(2)基于語義解析的方法；(3)基于向量建模的方法。

2.1 基于知識圖譜的模板匹配方法

基于模板匹配的方法是智能問答系統中最基本的方法，也是最早提出的方法。基于模板匹配的方法是在二十世紀六十年代提出的，在當時因所有可從網絡中獲取的數據量極少，且缺少結構化的數據，所以基于模板和規則的匹配問答所面對的數據大多是無規則的文檔以及文本。在數據的處理上無法做到統一標準與格式，只能依靠關鍵字匹配的方式來返回答案，準確率并不可觀。直到知識庫以及知識圖譜的出現，基于模板匹配方法的處理對象由散亂的文檔、文本轉變為結構化、邏輯嚴密的知識圖譜，解決了模板匹配數據量少，匹配難度大等缺點。

基于模板匹配的方法擁有相較于其他方法顯著的優點，其問答成功率高，響應速度快。缺點則是需要人工構筑大量的模板來保證和用戶問題的匹配，一旦用戶的問題中沒有相對應的模板，則會導致返回答案的不準確。這也是制約其發展的最大問題。

2.1.1 模板匹配方法的處理流程

模板匹配的方法是將用戶的自然語言轉化為三元組形式，根據三元組尋找與之相匹配的SPARQL查詢模板，再根據SPARQL查詢模板與知識庫中的RDF數據相匹配獲得最終的答案。具體流程如圖1所示。

圖1 基于模板匹配方法的具體流程

在問答系統發展的前期，使用這樣的流程可以輕松地處理用戶使用指定格式提出的簡單問題。然而在問答系統的發展中，人們已經不滿足于系統只能回答簡單的問題，用戶的問題趨向于復雜化，使用更為復雜的自然語言查詢成為一種急需解決的問題。

2012年Christina Unger等人[14]提出一種經典的基于模板匹配的改進方法，解決了以往用戶只能用規定格式的查詢語言查詢的弊端，使用戶可以用自然語言去查詢問題。2016年Cui W等人[15]利用機器學習方法對數以百萬計的問答對進行訓練，使系統自動生成模板，再通過后續的用戶意圖識別進行分類、匹配，最終形成答案。

2018年Google公司發布了Bert算法[16]，該算法也是截至目前在NLP領域里表現最好的算法之一，在NLP領域里刷新了諸多記錄。在問答領域也有學者融入了Bert模型來解決現有的問題。2019年Aiting Liu等人[17]融入Bert預訓練模型訓練系統生成模板，解決了人工創造模板以及算法需要大規模訓練數據量的缺點，且相較之前最好的方法正確率提高了一個百分點。

2.1.2 模板匹配中的意圖識別

對于問答系統來說，意圖識別階段是必不可少的環節。如果用戶意圖分辨不明確，會直接導致后續成功率下降。可以分三種方法來對用戶的意圖進行判定，分別為：(1)基于辭典及模板的規則方法；(2)基于特征統計的分類方法；(3)基于神經網絡的方法。每一種方法都有各自的優缺點。

基于辭典及模板的規則方法需要人為構筑領域詞典，對于限定領域的意圖識別任務來說，具有相當好的效果，正確率非常高，但相應地，因為其需要的人工成本太高，且需要相當準確的專業詞典，導致它的可移植性較差。一旦需要更換領域，就需要重新構筑模板及詞典。

基于特征統計的分類方法，其主要思路是將既定語料進行關鍵特征的提取，再將語料進行分類，因此該方法實質就是分類問題，利用訓練分類器的方法實現了意圖分類。常用的模型有樸素貝葉斯模型[18]、支持向量機模型[19]、邏輯回歸模型等。

基于神經網絡的方法是在深度學習方法成熟的情況下發展而來的，現有的深度學習框架，如百度框架paddlepaddle等也可以很好地解決意圖分類的問題，對意圖識別也相繼出現了其他融入深度學習的算法來提升性能[20-23]。這表明在意圖識別領域融入深度學習方法已經是大勢所趨。

2.2 基于知識圖譜的語義解析方法

基于知識圖譜的語義解析方法是一種不依賴于模板的方法，該方法的思路是對用戶提出的問句進行歸一化語義解析，目的是將其轉化為一種可以使知識圖譜理解的表示。再對知識圖譜的知識進行推理，轉化為一種邏輯形式，根據邏輯形式查詢知識庫得到結果。

2.2.1 語義解析方法的處理流程

基于知識圖譜的語義解析方法的步驟可以分為三步，即語句解析→形式匹配→答案生成。其中語句解析這一步是為了使計算機可以理解用戶輸入的自然語言。對于用戶輸入的自然語言，句子的結構是由語法及詞匯構成的，語句解析的目的是將語法成分以及各詞匯的屬性關系分離。在對語句解析的步驟中，根據層次的深度，將其分為較淺層次的解析和較深層次的解析。

2.2.2 淺層解析

淺層解析的第一步簡單理解就是對語句的分詞、清洗等操作。使用傳統的LSTM+CRF方法，或是調用現成的jieba分詞庫都可以實現分詞的目的。根據句子的語法將句子結構解析出來，最終形成的實際上是一棵語法解析樹，如圖2所示。

圖2 淺層解析示意圖

語法解析的方法主要是上下文無關法、考慮詞匯的上下文無關語法以及基于概率分布的上下文無關語法等。這些算法大多針對英文語料，對中文語料的適應性并不足。王鵬等人[24]根據中文的結構特點，發現想要在中文領域取得較好的效果，必須考慮中文特性輔助其他算法以提升準確率。國內很多學者都在其基礎上針對中文語料進行優化，林穎等人[25]提出句法結構共現，引入上下文信息的方法改進基于概率分布的上下文無關語法，突破了中文庫規模小的局限性。

2.2.3 深層解析

淺層次的解析是將句子分離、解析，而深層次的解析著重點轉移到了單詞的含義或是句子的含義上面。其中需要用到的技術有語義角色標注技術與語義依存解析技術，如圖3所示。

圖3 深層解析示意圖

語義角色標注的實質，是將問題中的實體等與知識圖譜中的實體，關系及屬性相匹配，將單純的語句轉化為一句帶有相應角色的標注。針對語義角色標注技術，國內學者做了大量研究。劉懷軍等人[26]針對中文的特點，提出了更有效的新的特征及特征組合。丁金濤等人[27]隨后發現特征及特征組合并不是越多效果越好，效果取決于特征的組合，從而進行了優化特征優化組合的方法研究，且取得了較好的效果。

當句子語法被解析出來之后，還需要分析句子各單詞之間的相互依存關系，傳統的方法為依存句法分析(dependency parsing)，其分析的是句子之間的句法結構，然而傳統的方法對復雜問句的分析能力不足。劉雄等人[28]為了解決復雜問句的語義解析，在依存句法分析的基礎上提出一種復合型問句的分解方法，提升了問句分類的準確性。

依存句法分析主要識別的語法成分的側重點在句子的“主謂賓”等部分。因為這個特點，這種方法對于介詞在句子中的權重作用體現尤為明顯。但是很多時候如果謂語、介詞等較少，句法依存的方法就會大打折扣。針對這一問題，杜澤宇等人[29]結合了哈工大LTP語義依存分析(semantic dependency analysis)替代了傳統的依存句法分析，輔助以word2vec算法進行相似度計算。在電商領域問答系統取得了較好的效果。

2.2.4 檢 索

對于語句解析處理完畢之后的自然語言，問答系統需要與知識圖譜里的實體關系以及屬性進行檢索匹配，輸出格式化的數據。這一階段就是檢索階段，其需要利用上一階段生成的語義解析樹根節點中邏輯形式，與知識庫中的信息進行檢索匹配。

當邏輯形式與知識圖譜中的數據匹配完成之后，在答案生成階段，利用查詢語句在知識庫中查詢答案并返回答案。常用的查詢語言為Cypher和SPARQL以及SQL等。

2.3 基于知識圖譜的向量建模方法

基于知識圖譜的向量建模方法是KBQA系統三大基本方法中的最后一種，該方法的核心思想是將問題與答案都轉化為向量形式。利用轉化的向量形式來使計算機自動學習、自動從知識庫中尋找與“問題向量”相似的“答案向量”。

2.3.1 向量建模方法的處理流程

這一階段首要任務是需要根據用戶輸入的問題，找到其中心詞匯，根據這個核心詞匯找到答案庫中一組候選的答案組。在得到用戶輸入問題與其候選答案組之后，需要將用戶輸入的問題由高維度降至低維度，將問題與答案都映射到低維空間中(即向量形式)，得到其分布式表達。分布式表達是深度學習概念中十分重要的一環，它的含義為利用向量代表實體數據。即詞向量或者詞嵌入(word embedding)，用向量形式來表示一個詞在計算機中的具體含義。

在得到問題與答案的分布式表達之后，需要將問題與答案進行匹配，這一階段需要利用數據集來對分布式表達進行訓練，使得其問題與答案之間的相似度盡可能高。最后根據候選答案組中向量表示與用戶輸入問題表達得到分數最高的返回最終答案。具體流程如圖4所示。

圖4 基于向量建模的流程

2.3.2 問題-答案對向量化

在基于向量建模的方法中，最關鍵的一步是如何將問題與答案轉化為向量的形式，在向量化研究的過程中有以下難點：(1)如何讓機器明白人類的語言；(2)如何聯系上下文進行語義表征；(3)如何解決一詞多義問題。

對于將文本向量化，有多種方法可以實現，早期的向量化實現過程中詞袋模型(bag-of-words)的應用為主要手段，其中one-hot、TF-IDF、textrank等算法是最簡單的文本向量化方法，然而這些方法在語義表達上存在語義鴻溝、語義無法關聯上下文等問題。之后相繼出現了Word2vec、FastText、GloVe等算法，結合了語境問題實現了文本向量化。然而這些算法仍然無法解決一詞多義的問題，為此又出現了基于語言模型的動態表示方法，如ELMo[30]、GPT[31]、BERT，解決了一詞多義的問題，即同樣的單詞在不同的語境下會有不同的向量表示。

在基于向量建模的方法中，Bordes Antoine等人[32]在2014年提出embedding模型，在不借助任何人工干預和提取特征的情況下，利用向量建模以及深度學習訓練問題答案對的方式完成問答任務。實驗效果超越了之前的方法。2015年，Dong L等人[33]考慮到了語言順序對詞向量向量化的影響，在傳統的向量建模方法中融入了卷積神經網絡，進行問答性能的提升。同年Bordes A等人[34]融入記憶網絡，解決了大樣本多數據問答系統效果差的缺陷。Zhang Y等人[35]在2016年聯合了知識表示學習和注意力機制來表達出合適的候選答案，解決了表示答案效果差的問題。并在WEBQUESTION數據集[36]上表現出很好的效果。2018年Qu Y等人[37]又在傳統的基于向量模型的基礎上，提出一種AR-SMCNN模型，利用了CNN與RNN神經網絡優化提取信息的精度，解決了之前忽視自然語言原始信息的問題，取得了SimpleQuestion測評上的最優效果。

3 基于知識圖譜的問答系統應用

通過對市場上已有的基于知識圖譜的問答系統調研可以發現，其在現實生活中的應用非常廣泛。有很多典型的產品，各個領域都出現了對其技術的應用。

在語音識別領域應用的問答系統有“Google now”、微軟小冰、蘋果公司的“Siri”語音問答系統、“Cortana”問答系統、百度公司的對話式人工智能秘書“度秘”等。這些產品方便用戶通過語音來獲得自己想要得到的答案，具有很強的交互性。

在醫療領域應用的問答系統有“左手醫生”、“白狐智能醫療問答”等產品，為患者自查病癥、醫生查詢藥方藥材等提供了便利。

在電商領域應用的問答系統有“淘寶客服”、“京東客服”、“Amazon”電商網站客服系統等。方便了購買者詢問產品詳細情況，同時節省了客服的人力，提升了服務質量與速度。

總體上，基于知識圖譜的問答系統是現在各行各業應用的焦點，其中需要的技術也是學者們研究的熱點問題之一。在基于知識圖譜的問答系統應用場景越來越廣泛的社會環境下，如何提升技術更好地服務于應用，是其發展的關鍵。

4 未來與展望

隨著人工智能、自然語言理解等技術的進步，未來技術應用的發展趨勢已趨向于智能化，問答系統智能化的程度越高，人們從問答系統中獲取到的答案就越準確。從問答系統技術應用的角度來看，問答系統及其衍生的設施，諸如聊天機器人、陪伴機器人等都是未來社會不可或缺的部分。問答系統在未來會取代互聯網搜索引擎的可能性也非常之大，問答系統或許會成為從互聯網獲取知識的新途徑。

對于一個優秀的問答系統來說，最關鍵的是它如何盡可能理解問題和如何獲取高質量的知識來源。對于高質量的知識來源這一問題來說，知識圖譜很好地解決了這一個問題，它提供了高度結構化的知識庫。而在問題理解方面，人類更傾向于使用多類型、無規則的自然語言去提出問題，而機器只能識別結構化的問題，如何更好地使機器理解用戶的問題，是今后人工智能大背景下基于知識圖譜的問答系統需要解決的問題。

雖然深度學習技術現在已經較為成熟，但是深度學習技術的應用也會帶來一些問題，比如如何提升深度學習方法的可解釋性，如何盡可能減少人工成本等，這些都是需要面臨的挑戰。基于知識圖譜的問答還有很大的優化提升空間。

5 結束語

總體上，從技術應用層面來看，基于知識圖譜的問答系統已經滲透于各行各業中，在很多與人們生活息息相關的領域，如金融、醫療、交通、刑偵、電商等，都已經運用得較為成熟。并且在今后的發展中其應用深度會越來越深，涉及領域也會越來越廣，具有極大的研究價值。從研究方法層面上來看，在工業實際應用中，使用最多的方法實際上是基于規則與模板匹配方法或基于這種方法的變種。因為其雖然受制于模板質量與人工成本等因素，但其對于問答極高的正確率仍然使它暫時成為各大公司開發項目的首選。融入深度學習的方法還處在研究改進階段，其方法需要較強的約束條件，不具有普適性，無法大規模投入工業開發使用。但在未來深度學習發展更為成熟以后，因為其對復雜問題，多實體問答等問題的處理具有的先天優勢，在三大基本方法中融入深度學習技術提升問答效果也只是時間問題。在現階段的應用中各個方法之間有其共同點，也有長短優劣，多種技術與算法之間取長補短才是發展KBQA的關鍵。