山西國際商務信息智能收集監測服務系統采用的幾種智能技術及其算法

張興旺 劉旭樓

（1.山西省萬通電子商務研究所，山西 太原 030000；2.山西太原鋼鐵公司醫院，山西 太原 030000）

山西國際商務信息智能收集監測服務系統是為了提高企業、政府有關部門等單位了解、研究掌握國內外貿易、招商等市場動態信息，提高獲取各種商務信息情報、商務決策和市場競爭能力，加快發展國內外經貿規模和水平，面向國內外商務領域而研發的互聯網商務信息智能整合服務系統，系統采用.Net框架和SOA架構，基于智能技術的互聯網商務信息整合平臺。保證獲取國內外商務信息的及時性和準確性，為商務主管部門、企業了解國內外市場動態、變化趨勢，進行招商、投資、進出口貿易等商務決策提供信息支持服務。

一、互聯網搜索技術

1 多智能Agent技術

Agent技術是目前計算機、控制和信息等技術領域的研究熱點，被一些專家、文獻稱為軟件領域意義深遠的突破。該技術在基于網絡分布計算這一當今計算機主流技術領域中，正越來越發揮著重要作用。它不但為解決新的分布式應用問題提供了有效途徑；而且為全面準確地研究分布計算系統特點提供了合理概念模型。Agent中文即 “代理”，故名思意，接受用戶指令、代替用戶完成某些復雜繁瑣工作。研究表明：從人機工程角度考慮，若賦予電腦或程序更多人性化色彩，如支持語音合成輸出信息、語音識別指令、智能提示等，就能充分提高人機交互的有效性和易用性。

本系統采用的Agent是指軟件機器人，它代表用戶或程序，以主動服務方式完成一組操作的機動計算機實體。實質就是研究如何使系統盡量不打攪用戶，自動完成用戶委托的復雜和繁瑣任務，與傳統技術的區別就是具有自制能力、智能和目標驅動屬性，通過各種社交、學習、推理等方法感知適應復雜的動態環境，自動追求目標、理解用戶信息需求和興趣愛好，在用戶發出請求后即定位搜索，并盡快完成用戶需求。Agent技術是傳統檢索技術的發展和飛躍，有強大的開放性、靈活性和協作性。是解決現有WWW信息查詢系統收集率低、處理能力差的有效方法。

由于系統采用了先進的Multi-Agent框架結構和智能技術，每個Agent均有很強的學習、分析和處理問題的能力，能基于獨立知識，采用機器學習方法自主完成用戶賦予的信息搜集和處理；針對不同任務擁有不同的知識庫、工作策略，以求最佳效果；另外它還有互相配合協作性：通過不同的機器學習機制，不斷提高其性能和效果；用協作方式完成對各種復雜的競爭情報搜索和分析任務。正是基于智能系統框架結構，使系統具有了高度擴展性，能根據不同信息結構和內容方便地為其量身定制，使系統功能不斷完善而不累贅。

2 網絡蜘蛛技術

中文搜索引擎的查全率需保證不遺漏任何重要的結果，而且能找到最新的網頁，這需要搜索引擎有一個強大的網頁收集器，俗稱 “網絡蜘蛛”。

（1）網絡蜘蛛基本原理

網絡蜘蛛，英文即：Web Spider，是對網絡信息智能搜索技術的比喻，把互聯網比作蜘蛛網，則Spider即網絡蜘蛛。搜索時，通過網頁鏈接地址來尋找目標，從網站某個頁面開始，讀取其內容，找到在該網頁中與其它網頁的鏈接全部地址，然后通過鏈接地址一一尋找其鏈接的下一個網頁，再從下一個網頁中所有鏈接中尋找下下層所有網頁，以此類推直到把該網站所有網頁中所鏈接的全部網頁都抓取完為止。通常網絡蜘蛛有兩種策略：廣度優先和深度優先。廣度優先是指網絡蜘蛛會先抓取起始網頁中鏈接的所有網頁，然后再選擇該網頁中一個鏈接網頁，繼續抓取在此網頁中鏈接的所有網頁。以此類推直至抓取完所有鏈接網頁中的所有鏈接；深度優先是指網絡蜘蛛會從起始頁開始，按照每個鏈接跟蹤下去，處理完該網頁中全部鏈接后再轉入下一層次鏈接的起始頁業直至所有網頁，然后繼續跟蹤鏈接。該方法優點是網絡蜘蛛設計簡單易行。當然網絡蜘蛛訪問網站時，經常會遇到網頁權限和加密數據，但大多數企業、政府網站以及商務、營銷網站，他們是希望搜索引擎能搜索到他們的信息，以提高它們的點擊率和業務量，這些網站信息欄目不會加密或會提供權限和密碼。網絡蜘蛛通過所給權限進行采集。

（2）內容提取

搜索引擎建立網頁索引時，處理對象是文本文件。對于網絡蜘蛛來說，抓取的網頁格式為html和動態網頁等。這些文件抓取后，需要把其中文本信息提取出來。因為準確提取這些信息對網絡蜘蛛搜索準確性至關重要；而且對網絡蜘蛛進一步正確跟蹤鏈接影響巨大。例如HTML文檔，HTML文檔和文本文檔不同，它有自己語法，通過不同的命令標識符來表示不同的字體、顏色、位置等，提取文本信息時需要把這些標識符都過濾掉。在識別這些信息時，需要同步記錄諸多版式信息，例如字體大小、是否是標題、是否加粗顯示、是否為頁面關鍵詞等，這些信息有助于計算詞匯在網頁中的頻度和重要度。對于自動分詞、提取關鍵詞、生成摘要等信息處理至關重要。

動態網頁：動態網頁是網絡蜘蛛自動追求目標、理解用戶信息需求和興趣愛好，會在用戶發出請求后就定位搜索信息，并盡早完成用戶需求。Agent技術是傳統檢索技術的發展和飛躍，有強大的開放性、靈活性和協作性。是解決現有WWW信息查詢系統收集率低、查詢處理能力差的有效方法。系統采用了先進的Multi-Agent框架結構和智能技術，在Multi-Agent協作區框架結構下，各個Agent均有自主性，能基于獨立的知識采用機器學習方法自主完成用戶信息搜集和處理任務；每個Agent具有個性化特點，擁有針對不同任務不同的知識庫、工作策略，以求得最佳效果；另外每個Agent都還有學習性和協作性：通過不同的機器學習機制，不斷提高其性能和效果；通過協作方式完成各種復雜競爭情報搜索和分析任務。正是基于智能系統框架結構上，使系統具有高度擴展性，能根據不同的信息結構和內容方便地為其量身定制，使系統功能完善而不臃腫。

（3）更新周期

本系統的網絡蜘蛛，采用深度優先策略搜索。由于網站內容經常變化，網絡蜘蛛也要不斷更新抓取網頁內容，需要網絡蜘蛛按照一定周期掃描網站，查看哪些頁面需要更新，哪些頁面是新增的，哪些網頁是過期的死鏈接。搜索引擎更新周期對查全率影響很大，若更新周期太長，會有新生成的網頁搜索不到；周期過短，技術實現有一定難度，還會對帶寬、服務器資源造成浪費。網絡蜘蛛不是對所有網站都采用相同周期更新，重要、更新量大的網站，更新周期短，反之，更新周期就長，一般是1～4周。通常網絡蜘蛛在更新網站內容時，無需把網站網頁重抓一遍，只把新網頁日期屬性與上次抓取的相比，若相同則不更新。

3 網頁監測技術

網站監測在國外早已習以為常，而國內卻是小荷才露尖尖角。Internet普及給人們生活和消費帶來了革命性變化：通過Internet進行商品買賣使電子商務大行其道；在線閱讀使人們懶于奔波書店而在方寸屏幕前獲得源源不斷信息和知識；網絡游戲使眾多游戲迷樂此不彼狂熱迷戀；網絡論壇和社區更是形成了虛擬社區，讓人們情感、遐想在這里得到滿足；隨著光纖高速、web3.0技術的快速發展，人們越來越離不開Internet，而Internet細胞-互聯網網站，更成了數以千萬計用戶關注焦點。網上營銷、購物、授課、會議成了企業、商家、學校等業務的主流渠道，網上搜索、獵奇、商務、商品信息成了越來越多的人賴以生活的手段，網絡孕育著網站監測、服務的產生和發展。

（1）監測對象（網站）的網絡模型

監測對象大多數是由用戶根據需求提供的，主要是國內外各有關政府、行業、駐外機構、企業的網站及各大商務網站。這些網站分兩類：

①傳統型C/S或B/S/D網絡架構。優點是監測點吞吐量大、性能優越；缺點是布點成本大，且監測源覆蓋面有限，監測數據不夠完整準確，不能客觀全面反映監測的網頁信息。

②基于P2P分布式網絡模式，監測的網絡節點可隨著用戶數增加無限擴張，監測源的覆蓋可以伸展到世界各個角落，會從監測不同站點來印證系統提供的信息和數據是否客觀、準確，對商務決策更具有參考價值。

（2）網頁監測技術

網頁監測是基于網絡蜘蛛技術，使用戶實時監測目標網站群內容的變化，針對具有相關主題最新發布的內容和信息數據的網頁進行監視，一有更新變化，即報告給用戶，以人機對話采取相應措施。網頁監測技術是本系統應用創新，它有以下特點：

①配置簡單。用戶可以通過簡單配置即可達到監測目標網頁目的。

②高效率。由于監測網頁深度有限制，所以不存在監測網頁數量的指數級增長。

③節約網絡服務器和帶寬資源，同時也能保證系統的實時性和高效性。

④監測網頁動態。網頁監測不僅監測網頁內容，還能監測網頁內容變化來識別哪些是新內容，以解決互聯網信息量大、更新快的問題。

二、信息整合處理

1 概述

本系統采用了目前幾種先進可靠的中英文信息智能處理技術，能從大量的互聯網信息中有效地篩選出有價值的內容，具有強大的信息處理和分析功能，并通過各種技術的綜合運用來實現對目標信息的準確抽取。系統中應用的技術包括：自然語言理解處理技術、中文自動分詞、自動提取關鍵詞、內容去重、Html網頁處理技術等。

2 自然語言理解理解與處理

自然語言理解、處理作為語言信息處理技術高層次的重要研究方向，一直是人工智能領域核心課題，也是困難問題之一。由于自然語言多義性、上下文關聯性、模糊性、非系統性及和環境密切相關性、涉及的知識面廣，使得很多系統采取了回避方法；另外，由于理解并非絕對的概念，它與所應用的目標相關，例如用于回答問題、執行命令，還是機器翻譯等。因此，對于自然語言理解，至今尚無一致的、各方可接受的定義，因此對它的處理也就帶來了很多困難。

從微觀上講，計算機對自然語言理解是指從自然語言到機器內部的一個映射；從宏觀上看，計算機對自然語言理解是指機器能夠執行人類所期望的回答問題（計算機能正確地回答用自然語言輸入的有關問題），文摘生成（機器能產生輸入文本的摘要），釋義（機器能用不同的詞語和句型來復述輸入的自然語言信息），翻譯語言功能。

自然語言有兩種基本形式：書面語和口語，書面語比口語規范性強，且噪聲小。口語信息包括很多語義上不完整的句子，如果聽眾對演講主題背景、相關知識不很了解，可能無法理解這些口語信息。書面語理解包括詞法、語法和語義分析，而口語理解還需要加上語音分析。我們只涉及書面語的理解問題，不考慮口語分析。如果計算機能夠理解、處理自然語言，人-機之間信息交流能夠以人們熟悉的母語來進行，將是計算機技術的重大突破。另外，由于創造和使用自然語言是人類高智能的表現，因此對自然語言理解、處理研究也有助于揭開人類高度智能的奧秘，深化對語言能力和思維本質認識。所以對自然語言理解研究方向在應用和理論方面都有重大意義。

在檢索語言發展過程中，自然語言是必然要取代人工語言的，自然語言理解技術是計算機人工智能與語言學結合的產物，是解決自然語言檢索的核心技術。回顧其發展，分析它與網絡檢索結合應用中的問題，不難看出自然語言理解是檢索技術發展方向。互聯網信息處理技術核心是自然語言理解與處理技術。而中文自然語言處理技術核心是中文分詞、詞性標注、加權詞頻統計、復合詞組生成算法、自動提取關鍵詞、句頻統計分析、相關度計算、內容去重、自動分類、用戶興趣模型等技術等。

3 中文自動分詞

3.1 技術指標

分詞正確率98.21% ；未登錄詞識別召回率95.48%。

3.2 技術思想

中文分詞是針對現代漢字序列文本自動分解為漢語詞組序列文本的技術。英文是以詞為單位，詞之間是靠空格隔開，而中文是以字為單位，句子中所有字連起來才能描述一個意思。把中文漢字序列切分成有意義的詞，即中文分詞。分詞技術是中文信息處理從字符處理邁向語義處理的關鍵，也是中文信息智能處理的基礎。我們采用的是N-最短路徑非統計粗分方法，目標是：快速（粗分結果集盡量少）、高召回率（即可能的涵蓋最終結果）。研究思路是：先快速的找出包含正確結果在內的N（N≥1）種粗分結果。然后綜合考慮速度和召回率，通過試驗，確定N的最佳值，最終得到涵蓋最終結果在內的盡量小的粗分結果集。

基本思想：根據詞典，找出字串中所有可能的詞，構造詞語切分有向無環圖。每個詞對應圖中的一條有向邊，并賦給相應的邊長（權值）。然后針對該切分圖，在起點到終點的所有路徑中，求出長度值按嚴格升序排列（任何兩個不同位置上的值一定不等，下同）依次為第1， 第2，…，第i，…，第N的路徑集合作為相應的粗分結果集。如果兩條或兩條以上路徑長度相等，那么他們的長度并列第i，都要列入粗分結果集，而且不影響其他路徑的排列序號，最后粗分結果集合大小將≥N。數學模型為：設待分字串 S=c1c2……cn，其中ci（i =1，2，…n）為單個的字，

n為串的長度，n≥1。建立一個節點數為n+1的切分有向無環圖G，各節點編號依次為V0、V1…Vn，通過以下兩種方法建立G所有可能的詞邊。

（1）相鄰節點Vk-1，Vk之間建立有向邊，邊的長度值為Lk，邊對應的詞默認為ck（k=1，2，…n）。

（2）若w=cici+1……cnj是一個詞，則節點Vi-1，Vj之間建立有向邊，邊的長度值為Lw，邊對應的詞為w（0

這樣待分字串S中的所有詞與切分有向無環圖G中的邊一一對應，如圖1所示。

在非統計粗分模型中，我們假定所有詞都是對等的，為了計算方便，不妨將詞的對應邊的邊長均設為1。設：Path（i，j）為所有從Vi到Vj的路徑集合；Length（path）為路徑path的長度，其值等于path中所有邊的長度之和；LS為G中所有從V0到Vn路徑的長度集合；NLS為V0到Vn的N-最短。

NLS的定義：NLS LS，|NLS|=min（|LS|，N）；a∈LS-NLS，b∈NLS→ a

RS={w1w2…wm|wi是path的第i條邊對應的詞，i=1，2，…，m，其中path∈NSP}。

RS是NSP對應的分詞結果，即我們所求的粗分結果集。因此，N-最短路徑方法詞語粗切問題轉化為：如何求解有向無環圖G的集合NSP。

目前分詞算法分為三大類：基于字符串匹配的分詞方法、基于理解的分詞方法和基于統計的分詞方法。本系統采用基于概率統計正向最大匹配分詞算法，利用分詞結果對網上信息進行更有效處理。

4 自動關鍵詞提取

4.1 技術指標

準確率≥90%，查全率≥90%

互聯網信息的特點之一是信息量非常龐大。在這海量文字信息中快速、準確地尋找需要的信息，無疑非常重要。因此人們提出了用幾個詞語來表述一篇文章主要內容的需求，這幾個詞語就是關鍵詞。關鍵詞是簡要描述一篇文章內容的重要數據，用戶可以通過關鍵詞迅速了解文章內容而判斷自己是否對文章感興趣。傳統的關鍵詞都是以人力手工標注得到，效率低，準確性不高。如何利用計算機快速準確地從文章中自動提取關鍵詞，成為一個新課題。本項目的自動關鍵詞提取技術就是有效解決這一課題的最佳方案。一般講，把Html文檔的關鍵詞提取技術分為兩部分來實現，一是Html文檔分析，一是關鍵詞提取。Html文檔分析主要是識別出Html文檔中主體內容，并對不同位置的內容確定不同的權重。關鍵詞提取技術分以下步驟進行：分詞→詞頻統計→加權計算→特征選擇。

4.2 技術思想

在對Html文檔分析基礎上，我們提取Html文檔的關鍵詞。Html文檔分析主要是識別出Html文檔中主體內容，對不同位置的內容確定不同的權重。相關算法數學模型如下：

（1）加權詞頻統計

其中，VTFik表示此條Tk在文檔di中的頻數，N表示全部訓練文本的文檔數，Nk表示含有二個詞連在一起出現的次數。此條Tk的文檔數目。

（2）復合詞組生成公式

其中：公式（4）中的P（*）代表詞出現的概率，我們用文章中出現的次數替代，其中P（W1）表示第一個詞出現的次數，P（W2）表示第二個詞出現的次數，P（W1W2）是第一、二個詞同時出現的次數。

（3）文本相似度計算的公式、算法

相似度是指兩對比物具有共性大小的程度，系統在自動對文本分類時，常常用相似度來比較分析兩個文本共性大小而決定其是否能劃為同一類中。在向量空間模型中，文本泛指各種機器可讀的記錄。用D（Document）表示，特征項（Term，用t表示）是指出現在文本D中且能代表該文本內容的基本語言單位，主要是由詞或短語構成，文本可以用特征項集表示為D（T1，T2，…，Tn），其中Tk是特征項，1≤k≤N。例如文檔中有a、b、c、d四個特征項，那么該文本就可以表示為D（a，b，c，d）。對含有n個特征項的文檔而言，通常會給每個特征項賦予一定的權重表示其重要程度。即D＝D（T1，W1；T2，W2；…，Tn，Wn），簡記為D＝D（W1，W2，…，Wn），我們把它叫做文本D的向量表示。其中Wk是Tk的權重，1≤k≤N。在上面那個例子中，假設a、b、c、d的權重分別為30，20，20，10，那么該文本的向量自然語言理解與處理技術余弦值表示，公式為：

其中，W1k、W2k分別表示文檔D1和D2第K個特征項的權值，1≤k≤N。

自動歸類中，我們利用類似的方法來計算待歸類文本和某類目的相似度。例如文本D1的特征項為a，b，c，d，權值分別為30，20，20，10，類目C1的特征項為a，c，d，e，權值分別為40，30，20，10，則D1的向量表示為D1（30，20，20，10，0），C1的向量表示為C1（40，0，30，20，10），則根據上式計算出的文本D1與類目C1相關度是0.86。

數學中，若n維向量為：V{v1，v2，v3，...，vn}，則它的模為：

兩個向量的點積：

物理意義就是兩個向量的空間夾角余弦值相關度＝（m×n）/（|m|×|n|），即余弦系數或相似度函數。余弦值為“1”，兩個向量的空間夾角為“0°”，即兩個文本完全相似；同樣道理，余弦值為0，兩個向量的空間夾角為“90°”兩個文本完全不同。

（4）余弦系數

假設Di、Dj是兩個不同的文本，經過特征向量選取后得到的向量為Di=（d1i，d2i，…dmi）T與Dj=（d1j，d2j，…dmj）T，其中dkj（dki）表示關鍵詞k發生在文本j（i）中的頻率權重。則文本Di、Dj的余弦系數為：

其中：

C—關鍵詞出現的次數；

Sum—特征向量中關鍵詞出現的次數總和。

我們用余弦系數方法求文本的相似度，而且參與運算特征向量的維數相等，所以對獲取的特征向量還要做些處理，參與運算的特征向量的關鍵詞要同時出現在兩個文本中，即對兩個特征向量幾何求交集。則得到最終向量Di與Dj，利用余弦系數進行相似度計算。

判斷兩個文本是否相似需要一個標準，即設定一個閾值檢驗計算后的結果。若結果≥閾值，判定其相似。反之判定不相似。對于閾值選擇是比較靈活，可根據需要的精度進行設置，精度要求越高，閾值越大，一般取值范圍是（0.5，1）。

（5）關鍵詞提取技術數學模型

關鍵詞提取技術核心算法是權重計算的算法，我們采用了改進的TF*IDF算法，公式如下：

自動關鍵詞提取是基于中文分詞基礎，根據Html結構特點，結合Html網頁處理技術實現的。

三、Html網頁處理技術

針對Html網頁處理，我們自己研發了Html文檔處理技術，先對Html文檔進行預處理，包括Html文檔清洗、去除無用內容等，分析文檔結構及內容處理。Html網頁處理技術包括網頁主體內容識別、去重，頁面信息抽取、網頁自動摘要、CSS（Cascading Style sheet）層疊樣式表單等。通過多種方式將Html網頁內容轉換為結構化信息內容，以便信息查詢和管理。

Html網頁處理就是對Web非結構化信息抽取，把網頁中非結構化數據按照一定規則抽取、轉換成結構化數據，是垂直搜索引擎和通用搜索引擎最大差別。例如：比較兩種購物搜索，抓取網頁后，對網中商品筆記本電腦的信息進行抽取：商品名稱、型號、CPU、內存、硬盤、型號、產地、保修事項、生產或經銷商、聯系人電話等。非結構化信息抽取有模板方式和網頁庫級結構化信息抽取方式兩種：

（1）模板方式

事先對特定的網頁進行配置模板，抽取模板中設置好的需要信息，針對有限個網站的信息進行精確的采集。優點：簡單、精確、技術難度低、方便快速部署。缺點：需要對每一個信息源網站模板進行單獨設定，在信息源多樣性情況下維護量巨大，難以完成。只適合少量信息處理，不適合搜索引擎級的應用，很難滿足用戶對查全率的需求。

（2）網頁庫結構化信息抽取

采用頁面結構與智能節點分析轉換方法，自動抽取結構化數據。可對任意正常網頁進行抽取，全自動對具體網站事先生成模板，對每個網頁自動生成抽取規則，抽取準確率高。能達到98%以上。原理是先去除垃圾塊，降低分析壓力，大大提高處理速度。通用性好，易于維護。只需設定、配置相應特征參數即能改進相應的抽取性能，非專業人員經過簡單培訓就能維護。缺點：技術難度大，前期研發成本高，周期長，適合網頁庫級別結構化數據采集。

本系統對Html網頁處理采用了基于網頁庫結構化信息抽取，將網頁中的非結構化數據按需求轉換為結構化數據，采用了頁面結構與智能節點分析轉換方法，自動對任意正常網頁進行結構化數據抽取。完全自動化，無需人工干預。適合高端垂直搜索應用或競爭情報分析系統。

[1]石純一，黃昌寧，王家廞.人工智能原理[M].北京：清華大學出版社，1993.

[2]吳蔚天.漢語計算語義學—關系、關系語義場和形式分析[M].北京：電子工業出版社，1999.

[3]林杏光.現代漢語述語動詞機器詞典[M].北京：北京語言學院出版社，1994.

[4]尤昉，李涓子，王作英.基于語義依存關系的漢語語料庫構建[J].中文信息學報，2003，17（01）：46-53.

[5]由麗萍，范開泰，劉開瑛.漢語語義分析模型研究述評[J].中文信息學報，2005，19（06）：57-62.

[6]郝曉燕，等.漢語框架語義知識庫及軟件描述體系[J].中文信息學報，2007，21（05）：96-101.

[7]趙穎澤.漢語功能塊的自動分析[D].北京：清華大學，2006.

[8]杜永萍.基于模式知識庫的問題回答關鍵技術研究[D].上海：復旦大學，2005.

[9] Baker, Collin F., & Fillmore, Charles J., & Lowe, John B. The Berkeley FrameNet Project. In Proceedings of COLING/ACL. Montreal, Canada, 1998: 86–90.

[10]Palmer, M., & Gildea, D., & Kingsbury, P. The proposition bank: An annotated corpus of semantic roles[J].Computational Linguistics. 2005, 31（01）: 71–106.