基于知識圖譜的搜索引擎技術研究與應用

劉昱甫

摘 要：現代信息技術的發展使得網絡中的信息數據呈爆炸式增長。海量的數據確實對社會發展產生了巨大貢獻，但同時龐大數據的提取與應用則成為一個難題，尤其在對成千上萬類別的信息數據進行搜索時，其為搜索引擎的功能、性能都帶來巨大考驗?，F有的搜索引擎主要是針對網絡中的數據全文進行索引，而缺少足夠的針對性，難以充分滿足用戶的信息篩選需求。因此，如何對現有搜索引擎技術進行改善和優化就成為互聯網領域的一個重要研究課題。文章主要圍繞特定領域內基于知識圖譜的搜索引擎技術及其實現展開研究，提出了一種更能夠理解用戶需求的搜索引擎解決方案。

關鍵詞：搜索引擎;知識圖譜;數據提取;用戶需求

1 基于知識圖譜的搜索引擎技術概述

知識圖譜是融合現代應用數學、圖形學、信息可視化技術、計量學引文分析等理論與方法而形成的一種現代理論[1-4]。在互聯網領域，知識圖譜則具體指基于實體或概念之間的語義關系構建而形成的一種知識網絡。一直以來，知識圖譜都是互聯網領域的重點研究對象，并且在一些領域的信息抽取系統中得到深入應用，如Never-Ending語言學習系統、Google搜索引擎等。而隨著互聯網的高速發展，針對某一領域或全網范圍進行知識圖譜的建構也是當前互聯網領域的重點工作之一[5]。目前，基于知識圖譜的搜索引擎技術主包含本體庫、網絡爬蟲、索引和查詢等[6]。而這些技術形成不同的模塊共同構成了基于知識圖譜的搜索引擎。此外，這種搜索引擎的體系結構一般包含3部分：網絡爬蟲模塊、索引與檢索模塊、知識圖譜模塊[7]。

2 基于知識圖譜的搜索引擎技術

2.1 爬蟲技術

在互聯網搜索引擎中，爬蟲技術是最重要的技術之一[8-9]。搜索過程中網絡爬蟲會自動的對所有可以訪問的內容進行采集同時按照搜索要求從中抓取相應數據。從互聯網搜索引擎誕生之初，該技術就一直在被應用。網絡爬蟲技術的實現涉及協議處理器、內容提取、URL提取以及URL處理器4部分。而網絡爬蟲在進行頁面信息抓取時通常采取廣度優先、深度優先以及最優選擇3種策略。

2.2 索引與檢索技術

索引與檢索技術的基礎是Lucene開源全文檢索框架[10]。該框架能夠有效融入程序，從而使各種應用借助這一框架實現搜索功能。該檢索框架由索引組件以及搜索組件兩部分組成。索引組件的主要作用在于將原始數據轉換成可以被檢索的數據，以提升數據檢索效率。搜索組件則主要用以進行目標關鍵詞與相關條目的匹配，進而完成數據搜索命中的任務。

2.3 知識圖譜技術

知識圖譜技術是互聯網搜索引擎技術領域中的一個巨大突破，它為網絡搜索引擎的發展帶來巨大變革。以知識圖譜技術為基礎，搜索引擎可以更深入地理解用戶需求，理解相關搜索問題并提供信息和知識解答?？梢哉f，知識圖譜技術使搜索引擎擺脫了傳統泛化搜索的局面。

知識圖譜技術主要涉及知識圖譜模型的構建方法，而其模型又主要由Web實體挖掘及數據處理模塊、知識表示模塊、知識圖譜引擎模塊和數據分析接口模塊構成。

3 基于知識圖譜的搜索引擎技術應用

作為一種先進的搜索引擎技術，基于知識圖譜的搜索引擎在具體應用中需要通過以下項目的構建來實現。

3.1 搜索引擎構建

搜索引擎的構建需要確定好相應的數據爬取框架和索引引擎。此處搜索引擎的構建采用Scrapy框架與Solr索引引擎。Scrapy爬蟲在相應的網站中進行實體數據的實現方法如圖1所示。

Solr數據檢索的構建和實現可以分為實體數據向索引數據的轉換和匹配關鍵詞完成數據檢索兩部分。

3.2 知識圖譜構建

知識圖譜的構建過程如下：首先需要將相關搜索領域的實體插入圖譜，隨后再將內容實體插入，最后將內容實體與其他實體之間的關聯建構起來，從而形成一個完整的知識圖譜。此外，在節點的插入過程中，還應該依據實體類型來進行屬性信息索引的建構，從而進一步提升檢索的準確性和效率。

3.3 檢索結果排序

基于知識圖譜的搜索引擎構建還涉及最終的檢索結果排序問題。本文采用的Lucene框架下的搜索結果排序方式一般有按照索引先后順序和按照匹配相似度計算的分值兩種，但這兩種排序方式都有一定的弊端。因此，本文提出了一個全新的檢索結構排序模型。該模型下的基本排序步驟為：（1）對每個實體及其屬性值與檢索詞的匹配值進行計算;（2）對屬性匹配值與屬性權重累加和進行相乘;（3）對命中實體和其他命中實體的關系值進行相加，若兩者有關系，記為1，若無關則記為0;（4）將上述計算值乘以權重再求和。

3.4 信息推薦

在搜索引擎中，檢索得到最終結果后還需要對檢索到的內容進行推薦，這也是搜索引擎構建中必須要完成的一環。由于傳統搜索引擎基于內容的推薦算法已經無法滿足人們的需求，本文在構建搜索引擎的過程中以知識圖譜為基礎提出了一種信息推薦方法，即以命中實體與其他實體間的距離來進行推薦，而這一距離則代表著實體間的匹配度。A，B兩個節點間的距離由路徑代表。在信息推薦過程中依據對每種關系的賦值就可以將不同節點間的距離準確計算出來，隨后再結合這一距離值進行信息的推薦。這一推薦方式可以在實踐中優先推薦與特定實體匹配度高的實體。

4 結語

通過上述基于知識圖譜的搜索引擎技術及其應用的研究，我們基本可以了解到這一技術的基本內容和搜索引擎構建的基本思路。然而在實際應用中，該技術還需要技術人員明確具體的應用領域后，有針對性地開展搜索引擎構建、知識圖譜構建以及排序方式和信息推薦方式的設計。該技術在實踐中仍有較大的研究空間。

[參考文獻]

[1]郭蘊穎.基于知識圖譜的電網信息搜索引擎的設計與實現[D].北京：中國科學院大學，2020.

[2]秦長江，侯漢清.知識圖譜—信息管理與知識管理的新領域[J].大學圖書館學報，2009（1）：30-37，96.

[3]陳悅，劉則淵，陳勁，等.科學知識圖譜的發展歷程[J].科學學研究，2008（3）：449-460.

[4]陳悅，劉則淵.悄然興起的科學知識圖譜[J].科學學研究，2005（2）：149-154.

[5]徐增林，盛泳潘，賀麗榮，等.知識圖譜技術綜述[J].電子科技大學學報，2016（4）：589-606.

[6]劉春圃.基于疾病知識圖譜的關聯搜索技術研究[D].哈爾濱：哈爾濱工業大學，2019.

[7]劉嶠，李楊，段宏，等.知識圖譜構建技術綜述[J].計算機研究與發展，2016（3）：582-600.

[8]孫立偉，何國輝，吳禮發.網絡爬蟲技術的研究[J].電腦知識與技術，2010（15）：4112-4115.

[9]周立柱，林玲.聚焦爬蟲技術研究綜述[J].計算機應用，2005（9）：1965-1969.

[10]高龍，張涵初，楊亮.基于知識圖譜與語義計算的智能信息搜索技術研究[J].情報理論與實踐，2018（7）：42-47.

（編輯 傅金睿）