智能數(shù)據(jù)分析系統(tǒng)研究

摘 要：提出了一種Agent技術(shù)支持的網(wǎng)上電子數(shù)據(jù)交換系統(tǒng)的XML單證統(tǒng)計(jì)分析方法和實(shí)現(xiàn)技術(shù)，詳細(xì)介紹了單證數(shù)據(jù)分析系統(tǒng)的組成，數(shù)據(jù)抽取Agent、交互協(xié)調(diào)Agent和計(jì)算統(tǒng)計(jì)Agent的結(jié)構(gòu)，通信和交互協(xié)作流程，并介紹了本系統(tǒng)對(duì)網(wǎng)上手機(jī)訂貨單的監(jiān)控和預(yù)測(cè)領(lǐng)域應(yīng)用。

關(guān)鍵詞：智能；XML；數(shù)據(jù)分析

中圖分類(lèi)號(hào)：TP文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1672-3198（2008）11-0355-02

1 引言

近年來(lái)，基于互聯(lián)網(wǎng)的應(yīng)用已涉及各行各業(yè)，電子商務(wù)、網(wǎng)上銀行、網(wǎng)上圖書(shū)館等服務(wù)內(nèi)容層出不窮?；诨ヂ?lián)網(wǎng)的共享信息不僅為人們提供了快速、豐富、有效的各類(lèi)服務(wù)，而且為群體和個(gè)體的業(yè)務(wù)分析和決策提供了可能。因此，對(duì)網(wǎng)絡(luò)信息的采集、監(jiān)控、統(tǒng)計(jì)與分析是一項(xiàng)復(fù)雜和耗時(shí)的工作。同時(shí)，隨著技術(shù)和信息化程度的提高，人們除了有信息查詢(xún)和傳輸?shù)囊笸?，也提出了?duì)網(wǎng)絡(luò)中信息進(jìn)行監(jiān)控和統(tǒng)計(jì)與分析要求，以明確信息的合法與有效，保障信息為輔助決策服務(wù)。目前，有許多研究者進(jìn)行這方面的研究，如網(wǎng)絡(luò)數(shù)據(jù)挖掘，基于代理機(jī)制的網(wǎng)絡(luò)信息統(tǒng)計(jì)，網(wǎng)上信息抓取等。我們則根據(jù)電子商務(wù)中的EDI單證處理流程，在Internet的EDI應(yīng)用中，通過(guò)在客戶(hù)端設(shè)計(jì)和嵌入一個(gè)由智能Agent構(gòu)成的系統(tǒng)來(lái)實(shí)現(xiàn)單證的自動(dòng)數(shù)據(jù)監(jiān)控和分析。

本系統(tǒng)基于Web體系結(jié)構(gòu)，采用XML描述EDI單證，建立Agent技術(shù)支持的計(jì)算、統(tǒng)計(jì)和分析相統(tǒng)一模型，并嵌入在客戶(hù)端。嵌入在客戶(hù)端的系統(tǒng)包括了數(shù)據(jù)抽取、交互協(xié)調(diào)、計(jì)算預(yù)測(cè)、人機(jī)接口和與原EDI系統(tǒng)的數(shù)據(jù)接口。其中交互協(xié)調(diào)Agent是系統(tǒng)的核心，它確定單證統(tǒng)計(jì)分析的方法、分配各Agent任務(wù)、協(xié)調(diào)Agent間工作進(jìn)程，包括XML單證數(shù)據(jù)抽取和轉(zhuǎn)換、基于知識(shí)的模型調(diào)用、模型計(jì)算與分析、結(jié)果表達(dá)與傳遞等。此系統(tǒng)完全不影響原有的網(wǎng)上EDI交易活動(dòng)，在用戶(hù)不知不覺(jué)的情況下，按事先設(shè)置的要求，自動(dòng)地對(duì)網(wǎng)上交易單證數(shù)據(jù)監(jiān)控和報(bào)警，自動(dòng)地對(duì)大量單證數(shù)據(jù)進(jìn)行匯總、統(tǒng)計(jì)分析，自動(dòng)地在網(wǎng)上統(tǒng)計(jì)分析結(jié)果。

2 系統(tǒng)中的Agent結(jié)構(gòu)與關(guān)系表示

系統(tǒng)中的智能Agent是具有領(lǐng)域知識(shí)和模型嵌入，能自主工作和具有語(yǔ)義互操作及協(xié)作交互能力，問(wèn)題求解能力的智能實(shí)體，具有自治性、通信能力、推理和計(jì)算能力、協(xié)同、協(xié)調(diào)及協(xié)商能力等特性。

2.1 數(shù)據(jù)抽取Agent

數(shù)據(jù)抽取Agent（DA）主要實(shí)現(xiàn)對(duì)網(wǎng)上電子數(shù)據(jù)交換的單證進(jìn)行監(jiān)控性或合法性的格式檢查，并從不同的單證中自動(dòng)地抽取出所需的數(shù)據(jù)項(xiàng)，提交給交互協(xié)調(diào)Agent，以便進(jìn)行分析和統(tǒng)計(jì)。其對(duì)單證格式檢查的要求，以及數(shù)據(jù)抽取的要求統(tǒng)一由交互協(xié)調(diào)Agent管理。Agent實(shí)時(shí)監(jiān)測(cè)網(wǎng)上電子交換系統(tǒng)單證的收發(fā)，當(dāng)用戶(hù)收到或發(fā)送單證時(shí)，它就會(huì)自動(dòng)提取單證中的數(shù)據(jù)，根據(jù)單證的種類(lèi)、知識(shí)庫(kù)中處理要求，進(jìn)行數(shù)據(jù)處理和存儲(chǔ)，并發(fā)送給交互協(xié)調(diào)Agent分析統(tǒng)計(jì)或報(bào)警。

2.2 計(jì)算統(tǒng)計(jì)Agent

計(jì)算統(tǒng)計(jì)Agent（TA）主要對(duì)抽取出的單證數(shù)據(jù)按類(lèi)別、時(shí)間、對(duì)象等多角度，采用馬爾可夫、多元回歸、指數(shù)等多種方法進(jìn)行分析統(tǒng)計(jì)。因此，需要建立模型庫(kù)、知識(shí)庫(kù)對(duì)不同的單證進(jìn)行不同要求的處理。計(jì)算統(tǒng)計(jì)Agent的組織結(jié)構(gòu)圖如圖1所示。

TA會(huì)根據(jù)由交互協(xié)調(diào)Agent設(shè)定好的要求，當(dāng)收到的相應(yīng)單證數(shù)達(dá)到一定數(shù)目或者是積累了到預(yù)定的時(shí)間時(shí)，自動(dòng)會(huì)進(jìn)行分析和統(tǒng)計(jì)，如銷(xiāo)售單處理中的本月單證數(shù)目，本月銷(xiāo)售額、最大額銷(xiāo)售情況、下月的銷(xiāo)售量預(yù)測(cè)、最優(yōu)庫(kù)存量等。

2.3 交互協(xié)調(diào)Agent

交互協(xié)調(diào)Agent（CA）是系統(tǒng)的關(guān)鍵，它既是與用戶(hù)溝通的橋梁，又是與各Agent交互協(xié)調(diào)工作的核心，其主要任務(wù)是實(shí)現(xiàn)問(wèn)題求解的任務(wù)分配、調(diào)度和協(xié)作交互。為實(shí)現(xiàn)CA的交互協(xié)調(diào)和交互流程的一致，存放CA與其他Agent間的任務(wù)請(qǐng)求和分配信息；存放問(wèn)題求解過(guò)程中的協(xié)作要求和參數(shù)信息；存放其他Agent的處理描述性信息，供CA分配任務(wù)時(shí)使用。

2.4 Agent之間的通信與協(xié)作

在系統(tǒng)中，Agent之間的通訊是基于消息的通訊機(jī)制，利用消息完成傳遞服務(wù)請(qǐng)求及協(xié)調(diào)Agent之間的同步。DA和TA根據(jù)消息通訊來(lái)獲取環(huán)境信息、任務(wù)、結(jié)果反饋信息；DA的每一個(gè)監(jiān)控和執(zhí)行任務(wù)以及TA的每一個(gè)計(jì)算統(tǒng)計(jì)任務(wù)都可以表示為一個(gè)任務(wù)提交者CA向承擔(dān)者DA和TA發(fā)送任務(wù)消息；監(jiān)控和數(shù)據(jù)抽取任務(wù)的實(shí)施或暫停是由CA向DA發(fā)送任務(wù)消息，其監(jiān)控和數(shù)據(jù)抽取的結(jié)果則通過(guò)向CA回送消息予以體現(xiàn)；同樣，計(jì)算統(tǒng)計(jì)的實(shí)施過(guò)程是TA接收到消息后產(chǎn)生狀態(tài)變化的過(guò)程，其計(jì)算分析結(jié)果通過(guò)向CA回送消息予以體現(xiàn)，并由此來(lái)實(shí)現(xiàn)多Agent間的共享和合作運(yùn)行。

3 網(wǎng)絡(luò)單證數(shù)據(jù)數(shù)據(jù)分析系統(tǒng)

3.1 系統(tǒng)結(jié)構(gòu)

網(wǎng)絡(luò)單證數(shù)據(jù)數(shù)據(jù)分析系統(tǒng)是嵌入在原有的網(wǎng)上電子數(shù)據(jù)交換系統(tǒng)之上，主要由交互協(xié)作Agent、數(shù)據(jù)抽取Agent和計(jì)算統(tǒng)計(jì)Agent構(gòu)成，還包括了與原系統(tǒng)的接口。網(wǎng)絡(luò)單證數(shù)據(jù)數(shù)據(jù)分析系統(tǒng)結(jié)構(gòu)圖2所示。

從圖2可知，CA控制協(xié)調(diào)DA和TD，以及控制數(shù)據(jù)接口和人機(jī)接口，而DA與數(shù)據(jù)接口僅有數(shù)據(jù)傳遞的連接關(guān)系，數(shù)據(jù)傳遞與否受CA的控制；數(shù)據(jù)接口是原網(wǎng)上電子數(shù)據(jù)交換系統(tǒng)與本系統(tǒng)的數(shù)據(jù)交換通道，只面向數(shù)據(jù)共享的要求；人機(jī)接口是為用戶(hù)進(jìn)行任務(wù)設(shè)置而設(shè)計(jì)的，一旦任務(wù)設(shè)置后，系統(tǒng)可自動(dòng)按設(shè)置值運(yùn)行，無(wú)需外界干預(yù)。

3.2 EDIDA的工作流程

通過(guò)人機(jī)接口，由用戶(hù)向CA進(jìn)行任務(wù)設(shè)置；

CA對(duì)設(shè)置的任務(wù)進(jìn)行分解；

各Agent獨(dú)立地進(jìn)行工作，求解相應(yīng)的問(wèn)題；

由CA協(xié)調(diào)DA、TA的在求解中的問(wèn)題請(qǐng)求，按上述的交互協(xié)作流程來(lái)完成任務(wù)；

CA會(huì)按要求的格式傳遞給設(shè)置的服務(wù)器，進(jìn)行記錄和提示；

在CA獲得TA的統(tǒng)計(jì)分析結(jié)果后，按要求的傳遞給設(shè)置的服務(wù)器進(jìn)行記錄、輸出、保存、打印。

CA對(duì)整個(gè)執(zhí)行過(guò)程記錄存儲(chǔ)，以?xún)?yōu)化模型和知識(shí)的選擇和比較對(duì)比；

3.3 網(wǎng)上手機(jī)訂貨數(shù)據(jù)的分析

在原有的網(wǎng)上電子數(shù)據(jù)交換系統(tǒng)中，有關(guān)于商家和供應(yīng)商間網(wǎng)上手機(jī)訂單處理。為此，將EDIDA嵌入后進(jìn)行Motorola 手機(jī)訂單的數(shù)據(jù)處理，包括訂單中訂貨數(shù)量的監(jiān)控、2007年7月的訂貨數(shù)量的預(yù)測(cè)。

對(duì)訂單中訂貨數(shù)量的監(jiān)控，采用的方法是：訂貨量大于30部時(shí)，產(chǎn)生5秒的告警聲并記錄該單證號(hào)；對(duì)于2007年7月訂貨數(shù)量的預(yù)測(cè)，采用的方法是：選用最小二乘法模型ZXRC、指數(shù)加權(quán)移動(dòng)平均模型YDJQ、三項(xiàng)和比例模型SXBL這三個(gè)模型來(lái)預(yù)測(cè)2007年7月的訂貨數(shù)量，并由CA根據(jù)評(píng)選規(guī)則來(lái)確定最后預(yù)測(cè)值，預(yù)測(cè)結(jié)果如表1所示。

表中“*”號(hào)是指訂貨量大于30部的報(bào)警次數(shù)，具體的訂貨量大于30部各訂單號(hào)則保存在CA的數(shù)據(jù)庫(kù)中。預(yù)測(cè)結(jié)果的最終選定由CA根據(jù)知識(shí)庫(kù)中規(guī)則來(lái)確定，評(píng)選的規(guī)則有：平均法，即對(duì)每個(gè)結(jié)果進(jìn)行算術(shù)平均，把平均結(jié)果作為最后結(jié)果。去掉最大和最小法，再對(duì)剩下的結(jié)果進(jìn)行算術(shù)平均。取中間值法，即最靠近中間的值，若中間值有兩個(gè)，則取其平均值為最后結(jié)果。使用頻率最高法，即根據(jù)使用成功次數(shù)，選擇成功最多的模型結(jié)果為最終結(jié)果。最大原則，即選取最大預(yù)測(cè)值為最終結(jié)果。最小原則，即選取最小預(yù)測(cè)值為最終結(jié)果。

本次預(yù)測(cè)采用平均法，即預(yù)測(cè)值=（146+135+151）/3，最終的預(yù)測(cè)結(jié)果為2007年7月Motorola手機(jī)的訂貨量為144部，與當(dāng)年實(shí)際Motorola手機(jī)訂貨量147部非常相近，并給出了季度指數(shù)。

4 結(jié)語(yǔ)

本文采用Agent技術(shù)，提出了對(duì)網(wǎng)上電子數(shù)據(jù)交換系統(tǒng)中XML單證的監(jiān)控和統(tǒng)計(jì)分析方法和實(shí)現(xiàn)技術(shù)，初步探索了Agent在網(wǎng)絡(luò)監(jiān)控和預(yù)測(cè)領(lǐng)域中應(yīng)用，并結(jié)合實(shí)際進(jìn)行了驗(yàn)證。今后的研究將考慮用單個(gè)Agent來(lái)實(shí)現(xiàn)系統(tǒng)的功能，并加入黑匣子技術(shù)，面向網(wǎng)上的應(yīng)用深入開(kāi)展研究。

參考文獻(xiàn)

［1］A. Rao， M. Georgeff. BDI agents: From theory to practice.［J］. In Proceedings of the First

International Conference on Multi-Agent Systems，1995: 312-319. 

［2］M. J. Wooldridge， N. R. Jennings. Intelligent agents: Theory and practice［J］.The Knowledge Engineering Review，1995， 10(2):115-152.

［3］張寅生. 智能Agent與Agent系統(tǒng)［J］.計(jì)算機(jī)系統(tǒng)應(yīng)用. 1998，(7).

［4］趙龍文，侯義斌.Agent的概念模型及其應(yīng)用技術(shù)［J］.計(jì)算機(jī)工程與科學(xué)，2000，(6).