基于網絡爬蟲和文本挖掘的實體關系研究與實現

謝文彬

（同濟大學電子與信息工程學院，上海　201804）

?

基于網絡爬蟲和文本挖掘的實體關系研究與實現

謝文彬

（同濟大學電子與信息工程學院，上海201804）

摘要：

關鍵詞：

0　引言

隨著科技不斷進步，越來越多的生物資源在網上發布，PubMed Central（PMC）［1］是一個免費的生物和生命科學文本全文數據庫。但是作為國外數據，數據下載速度慢，能夠下載的資料并不是完整的PMC數據，而且，僅僅只是下載原文，并不能給許多生物學者提供很多有價值的信息。現在PMC數據庫中總計大約擁有380萬篇全文數據，但是能夠通過FTP下載的文章只占到一半不到。其次，PMC自帶的搜索引擎并不能提供很好的實體關系搜索，例如要研究疾病和基因之間的關系。所以我們急需一種快捷有效的方法把生物學者所需的研究數據從網頁上下載下來，經過預處理，成為本地可以批量處理的數據，再通過本地的服務器對數據進行快速的搜索抽取工作。

1　系統體系結構

文本挖掘的主要用途是從原本未經處理的文本中提取出未知的知識，但是文本挖掘也是一項非常困難的工作，因為它必須處理那些本來就模糊而且非結構化的文本數據，所以它是一個多學科混雜的領域，涵蓋了信息技術、文本分析等技術，而且在網絡時代，原始數據的獲取主要通過網絡途徑，所以在實際挖掘過程中，系統分為4個大模塊：

1.1收集與實體相關的論文

在PMC中，有官方網頁提供的搜索引擎（http:// www.ncbi.nlm.nih.gov/pmc/），通過該搜索引擎，可以先做粗篩選。例如研究基因和疾病的關系，可以在搜索欄中輸入“Gene Disease”，結果搜索到大約74萬的論文，這樣可以去除數據庫中大部分與研究對象無關的論文，然后使用網站提供的下載功能抽出這些論文的編號，作為URL的部分地址。

1.2網絡爬蟲

將上一步收集的網頁編號，根據PMC論文自帶的論文URL地址，http://www.ncbi.nlm.nih.gov/pmc/articles/ PMC3578923/，其中“3578923”替換成任意待抓取的文章。批量抓取所需要研究的論文。

1.3數據處理與清洗

將從網頁上爬取的XML格式的文本數據進行去標記語言，識別論文所具有的編號、題目、摘要、論文主題、作者、引用等信息，存入本地用于文本挖掘。

1.4文本挖掘

在文本挖掘中，預先準備好兩種實體的詞庫，例如基因詞庫，包括基因的編號，正式名字和同義名的信息。然后將論文切分成句子，搜索兩類實體是否同時出現在一個句子里，若有則抽取出來，并認為兩個實體間很可能有關系，最后在進行所需研究。

圖1　系統基本結構和工作流程

2　關鍵技術和部分代碼

2.1網絡爬蟲

網絡爬蟲是捜索引擎抓取系統的重要組成部分。爬蟲的主要目的是將互聯網上的網頁下載到本地形成一個內容的鏡像備份。該網絡爬蟲模塊以python為基礎語言，調用thread、urllib2和socket三個程序包，編寫網絡爬蟲。

其中thread包的多線程爬取加速爬取速度，并且加入異常處理模塊，以下為部分代碼：

2.2去標記語言

使用正則表達式，去除無用標記語言，并識別XML網頁文件中所需信息，以下為部分代碼：

2.3倒排索引

在文本挖掘中，詞庫以字典作為存儲形式，每個疾病對應唯一編號和它的若干個疾病同義名。在查找句子中單詞所對應的疾病時，為了加速搜索，使用倒排索引記錄疾病詞庫信息。如表1，字典編號使用疾病的名字，對應的映射是疾病的編號。在檢索中，將字典按照名字排序，在使用二分查找對應疾病名字是否存在字典中，并找出對應編號。

表1　疾病倒排索引存儲形式

2.4停用詞表

停用詞表包含了文章中的常用詞。例如表示數量的詞語，語氣詞等。這些詞不僅可能和研究實體重名，導致嚴重的檢索錯誤，更會加重我們的檢索負擔。在實際檢索中，系統會先確定單詞是否屬于停用詞表，若屬于則不檢索該詞。

3　結果展示

疾病詞庫從DiseaseOntology［2］中下載整理，總共8944個不同疾病；基因詞庫從NCBI（http://www.ncbi. nlm.nih.gov/gene/）中下載整理，總共29521個不同的基因，從PMC中抓取總共74萬多篇文獻。使用文本挖掘系統檢索，結果共有140813條句子同時包含基因和疾病名字。

4　結語

隨著網絡資源的不斷膨脹，社會越來越需要各種自動化的技術來去除有用的信息，收集有價值的信息，并提取信息中的規律造福人類，例如某些基因導致某種疾病的產生。本文基于網絡爬蟲和文本挖掘的常用技術，為生物科學家對于實體間關系的研究，例如基因和疾病，疾病和藥物，藥物和蛋白質等各種關系，提供了便利的文本抽取方法。

參考文獻：

［1］Coordinators，N. R. "Database resources of the National Center for Biotechnology Information."［J］Nucleic Acids Res，2016 44（D1）: D7-D19.

［2］Schriml，LM；Arze，C；Nadendla，S；Chang，YW；Mazaitis，M；Felix，V；Feng，G；Kibbe，WA . Disease Ontology: a Backbone for Disease Semantic Integration.［J］. Nucleic Acids Research 40（Database issue）2012: D940-6.

Research on Entity Relationship Based on Web Crawler and Text Mining

XIE Wen-bin
（School of Electronics and Information Engineering，Tongji University，Shanghai 201803）

Abstract：

Keywords：

隨著網絡資源的不斷膨脹，有關生物文獻資源越來越多，生物學家急需各種自動化的技術從海量文獻中抽取有價值的信息。基于網絡爬蟲和文本挖掘的技術，設計研發一個用于挖掘網絡上電子版論文中實體關系的系統，并且使用該系統，成功挖掘有關疾病和基因的關系。

網絡爬蟲；實體；文本挖掘；疾病；基因

文章編號：1007-1423（2016）13-0019-03

DOI：10.3969/j.issn.1007-1423.2016.13.005

作者簡介：

謝文彬（1990-），男，江蘇蘇州人，碩士研究生，研究方向為文本挖掘與關系抽取

收稿日期：2016-03-15修稿日期：2016-04-16

With the continuous increase of web resource，more and more document resource emerges，biologists are urgent to get valuable information from huge document by using a variety of automatics technique. Based on the development of web crawler and text mining，designs a novel system to excavate the entity relationship among electronic papers on the internet and apply successfully such system to catch the relation between disease and gene.

Web Crawler；Entity；Text Mining；Disease；Gene