大數(shù)據(jù)環(huán)境下的數(shù)據(jù)分析及應用研究

姚瑤(中州大學信息工程學院，鄭州450044)

大數(shù)據(jù)環(huán)境下的數(shù)據(jù)分析及應用研究

姚瑤
(中州大學信息工程學院，鄭州450044)

大數(shù)據(jù)蘊含著巨大的商業(yè)價值和社會價值。針對大數(shù)據(jù)的分析與應用面臨的新挑戰(zhàn)，文章重點闡述了文本分析、Web分析、網(wǎng)絡分析及移動數(shù)據(jù)分析等數(shù)據(jù)分析技術，并從商務智能挖掘、公共安全預警等領域介紹了大數(shù)據(jù)分析與挖掘的熱點應用。

大數(shù)據(jù);文本分析;Web分析;網(wǎng)絡分析

隨著社會信息化和網(wǎng)絡化的快速發(fā)展，數(shù)據(jù)量急速增長。據(jù)統(tǒng)計，全球每秒發(fā)出的E－mail有290萬封，每分鐘上傳到YouTube上的視頻長20小時，每天Twitter上發(fā)布的微博有5000萬條。早在2008年，Google一天的數(shù)據(jù)處理量就有20PB，目前已經(jīng)達到每天處理24PB的數(shù)據(jù)量。同時，科學計算、醫(yī)療衛(wèi)生、金融、零售業(yè)等各行業(yè)也有大數(shù)據(jù)在不斷產(chǎn)生，預計到2015年全球信息總量會達到8ZB［1］，數(shù)據(jù)計量單位如表1所示。互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、社會化網(wǎng)絡的應用對數(shù)據(jù)的增長起主要作用，當前已進入了大數(shù)據(jù)(Big Data)時代。

1　大數(shù)據(jù)的新特征

相對于傳統(tǒng)數(shù)據(jù)，大數(shù)據(jù)不僅僅表現(xiàn)在巨大的數(shù)據(jù)量，還具有如下幾方面的新特征。

第一，數(shù)據(jù)來源更加廣泛。傳統(tǒng)的數(shù)據(jù)來源于科學研究產(chǎn)生的數(shù)據(jù)、企業(yè)數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)等。隨著移動網(wǎng)絡、物聯(lián)網(wǎng)及社會網(wǎng)絡的發(fā)展，移動設備數(shù)據(jù)、傳感器數(shù)據(jù)、RFID(射頻識別)數(shù)據(jù)及網(wǎng)絡自媒體數(shù)據(jù)增長迅速，且生成形式更加靈活、多樣。云計算、物聯(lián)網(wǎng)、社交化媒體、地理信息系統(tǒng)(GIS)為大數(shù)據(jù)提供了豐富的數(shù)據(jù)來源。因此大數(shù)據(jù)中包括的每個網(wǎng)絡用戶的身份、地點、時間、喜好、厭惡、社會關系等大量的信息。

第二，大數(shù)據(jù)的數(shù)據(jù)類型更加復雜。包括圖片、音頻、視頻等結構化、半結構化、非結構化數(shù)據(jù)等類型，其中采用傳統(tǒng)數(shù)據(jù)處理手段難以處理的非結構化數(shù)據(jù)已接近數(shù)據(jù)總量的75%［2］。

第三，數(shù)據(jù)處理平臺并行性更高。因大數(shù)據(jù)的移動和傳輸會消耗較大的計算資源，基于SQL的關系數(shù)據(jù)庫系統(tǒng)已滿足不了大數(shù)據(jù)的深度分析。以Google公司的MapReduce、Apache的Hadoop為代表性的非關系數(shù)據(jù)管理、存儲和分析技術具有良好的擴張性、容錯性和大規(guī)模并行處理的特點，成為大數(shù)據(jù)分析的主流架構和平臺。

表1　數(shù)據(jù)計量單位表

數(shù)據(jù)處理和分析技術主要有數(shù)據(jù)庫技術、數(shù)據(jù)挖掘技術、機器學習、經(jīng)濟計量學、商業(yè)智能技術、數(shù)據(jù)統(tǒng)計及數(shù)據(jù)可視化等。當前，數(shù)據(jù)分析的面向內(nèi)容有:基于DBMS(數(shù)據(jù)庫管理系統(tǒng))的結構化數(shù)據(jù)的內(nèi)容，基于Web的非結構化內(nèi)容，基于移動網(wǎng)絡和傳感器網(wǎng)絡的數(shù)據(jù)內(nèi)容。大數(shù)據(jù)分析的研究領域主要有文本分析、Web分析、網(wǎng)絡分析及移動數(shù)據(jù)分析等。

2　數(shù)據(jù)分析

2．1文本分析

文本分析技術主要包括文本信息抽取、文本分類、文本聚類、文本數(shù)據(jù)壓縮、文本數(shù)據(jù)處理等。文本分析技術起源于信息檢索和計算語言學。當前，存在于Web頁面、E－mail和社會媒體中的相應文檔，它們的內(nèi)容通常都是非結構化的。信息檢索、文獻表示法和查詢處理是提升向量空間模型的基礎。布爾檢索模型和概率檢索模型成為現(xiàn)代數(shù)字圖書館、搜索引擎、和企業(yè)搜索管理系統(tǒng)的支撐技術。在計算語言學中，自然語言處理(Natural Language Processing，NLP)統(tǒng)計技術用來進行詞語識別、詞義消歧、詞性標注、概率上下文文法等方面。另外，文檔和查詢表示、用戶模型和相關反饋技術在改進查詢性能方面都很重要。

20世紀90年代，在成熟的商業(yè)系統(tǒng)就引入了搜索引擎技術，包括快速、分布式的爬蟲系統(tǒng);高效的倒排索引;基于內(nèi)鏈接的網(wǎng)頁排序;搜索日志分析。它們廣泛應用在基于文本的企業(yè)搜索和文檔管理系統(tǒng)中。

由于大數(shù)據(jù)和自然語言統(tǒng)計處理工作的發(fā)展，文本分析技術又繼續(xù)應用于幾個新的領域。例如，信息抽取、主題建模、問答系統(tǒng)和意見挖掘。信息抽取主要研究如何自動地從文檔中抽取特定分類的結構化的信息。信息抽取的一個應用為實體識別，即從文本中識別原子數(shù)據(jù)項，并分成指定的類別(名字、地點、時間等);主題建模是設計一些算法，用來在大量非結構化的文檔中發(fā)現(xiàn)特定的主題。像LDA這種新主題建模算法和其他概率統(tǒng)計模型都在實際中有所應用。問答系統(tǒng)依據(jù)與NLP、信息檢索和人機交互技術。最初的問答系統(tǒng)僅限于實際的問題和回答(例如，何人、何事、何時、何地等)。問答系統(tǒng)需要用到問題分析、大案抽取、來源檢索、問題表示等技術。問答系統(tǒng)常用于教育、健康和攻防領域中。IBM公司的Watso和Apple公司的Siri問答系統(tǒng)做的很成功。

意見挖掘指利用計算技術從文本內(nèi)容中來抽取、分類、理解和評定相關的意見表達，文本內(nèi)容來自在線新聞、社會媒體評論、其他媒體產(chǎn)生的內(nèi)容等多個方面。情緒分析是意見挖掘技術的一個具體應用，常用于在線文本內(nèi)容的識別情緒、情感、主觀意愿及其他情緒狀態(tài)。Web2．0和社會媒體內(nèi)容已經(jīng)產(chǎn)生了大量且能引起刺激公眾情緒的機會，包括社會事件、政治運動、企業(yè)戰(zhàn)略、市場競爭的認知。文本分析技術體系如表2所示。

表2　文本分析技術體系

除了上述研究方向外，文本分析還在如下幾個方向具有重要的研究機遇和挑戰(zhàn):Web在線文檔作者歸屬分析、Web文檔的多語種檢索分析、大規(guī)模文本可視化工作。而多媒體信息檢索和移動信息檢索是除了核心的多媒體和移動技術外，也需要文本分析技術支持的另外兩個領域。同大數(shù)據(jù)分析一樣，文本分析也要用到MapReduce、Hadoop和云計算等服務，這些會促進文本分析研究方向的進一步發(fā)展。

2．2Web分析

在過去的10年，Web分析技術一直是個活躍的研究領域。Web分析面臨著特有的分析挑戰(zhàn)和機遇。基于HTTP/HTML的超鏈接Web站點、相關聯(lián)的Web搜索引擎、Web內(nèi)容定位系統(tǒng)，它們都促進了基于Internet特有的技術:Web站點爬蟲、Web頁面更新、Web站點排序、搜索日志分析。針對用戶的訪問記錄進行Web日志分析通常用在內(nèi)容推薦系統(tǒng)，然而，隨著Web服務和Web2．0系統(tǒng)的發(fā)展，Web分析技術會有更多的應用。

基于XML格式和Internet協(xié)議(HTTP、SMTP)，Web服務可以重用和集成第三方或者代理系統(tǒng)的功能。新的Web服務功能和相應的API(應用程序接口)部件能使開發(fā)者很容易地從不同的Web應用系統(tǒng)集成豐富的內(nèi)容。例如，在調(diào)用遠程服務時的狀態(tài)轉(zhuǎn)移表示、新聞推送的RSS、輕量級數(shù)據(jù)交換的JavaScript對象表示等。同樣，Google Web服務的應用程序接口支持搜索、地圖API、Google翻譯、Google應用程序引擎等。

Web信息的多樣性決定了Web挖掘的多樣性。Web挖掘研究可以分為三類，如圖1所示。

圖1　Web挖掘的分類

Web內(nèi)容挖掘:從Web內(nèi)容中發(fā)現(xiàn)有用的信息，Web內(nèi)容主要包括文本、圖形、圖像、音頻、視頻等。

Web結構挖掘:研究Web鏈接結構的建模分析，主要用于搜索引起結果排序、Web網(wǎng)站結構優(yōu)化及其他Web應用。

Web使用挖掘:Web使用挖掘旨在通過對網(wǎng)絡日志進行有效的數(shù)據(jù)挖掘，發(fā)掘隱藏在日志數(shù)據(jù)背后的Web用戶訪問模式［3］。利用數(shù)據(jù)挖掘技術分析Web搜索日志，來找出用戶興趣方式。

目前，在Web分析技術中一個主要的領域為云計算服務平臺的發(fā)展，該平臺包括通過Internet部署的應用系統(tǒng)、系統(tǒng)軟件、硬件設備等。基于面向結構的服務、服務器虛擬化和效用計算方式的實現(xiàn)，云計算可以看作一種軟件服務、一種基礎設施服務或者一種服務平臺。

當前的Web分析技術涵蓋了社會網(wǎng)絡搜索與挖掘、聲譽機制系統(tǒng)、社會媒體分析、Web可視化等研究領域。另外，基于Web的拍賣、Internet貨幣、Web隱私與安全等方面也和Web分析技術相關聯(lián)。

2．3網(wǎng)絡分析

現(xiàn)代社會典型的特征是“網(wǎng)絡”和“信息”。“網(wǎng)絡”是現(xiàn)代社會發(fā)展形成的社會結構的一種實例。例如人們的社會關系、不同階層的人群、商業(yè)活動、交通、通信、計算機網(wǎng)絡、犯罪組織、虛擬網(wǎng)絡社會等，都體現(xiàn)了一種“網(wǎng)絡”關系。網(wǎng)絡社會分析的主要內(nèi)容有:網(wǎng)絡社會構成、網(wǎng)上社會行為與互動、網(wǎng)上人與人之間的關系、網(wǎng)上群體、網(wǎng)上組織、網(wǎng)絡社區(qū)、Web2．0、博客、微博、網(wǎng)絡公共領域、互聯(lián)網(wǎng)上的社會網(wǎng)絡分析、網(wǎng)絡社會秩序、網(wǎng)絡犯罪及其它網(wǎng)絡社會問題等。網(wǎng)絡分析技術還處于初始的研究階段，主要包括文獻引用統(tǒng)計分析、在線社區(qū)計算模型、社會網(wǎng)絡分析等。不同的社會網(wǎng)絡理論、網(wǎng)絡性能指標、網(wǎng)絡拓撲結構、網(wǎng)絡模型用來衡量網(wǎng)絡屬性及其相互聯(lián)系。

最近的網(wǎng)絡分析研究集中在鏈接挖掘和社區(qū)發(fā)現(xiàn)上。通過鏈接挖掘，可以發(fā)現(xiàn)或預測一個網(wǎng)絡中節(jié)點間的鏈接關系。在網(wǎng)絡中，節(jié)點可以代表消費者、終端用戶、產(chǎn)品和(或者)服務;節(jié)點間的鏈接可以表示社會聯(lián)系、合作關系、E－mail收發(fā)或者產(chǎn)品的采用等。甚至僅利用拓撲信息就可以進行聯(lián)結挖掘。近鄰關系(Common Neighbors)、群落系數(shù)、Adamic Adar Measure、卡茨傳遞方式等理論常用來預測丟失或未來的鏈接。準確的鏈接挖掘還可以進一步推測節(jié)點及其鏈接屬性的關聯(lián)性。社區(qū)發(fā)現(xiàn)也是一個研究熱點。若用圖形表示網(wǎng)絡，可以利用圖分割算法來找出最優(yōu)割截圖，以便在用戶團體中得到密集子圖。

社會網(wǎng)絡分析理論適合于社會網(wǎng)絡和計算機網(wǎng)絡形成各種網(wǎng)絡關系的分析方法。網(wǎng)絡關系可以用圖2的方式表示。

圖2　常見的網(wǎng)絡關系圖

常見的社交軟件，網(wǎng)絡關系圖具有一定的規(guī)律性。例如QQ好友的網(wǎng)絡關系、微博的網(wǎng)絡關系圖如圖3所示。

圖3　微博關注的網(wǎng)絡關系圖

多種技術被應用在研究動態(tài)的社會網(wǎng)絡中。例如，采用智能主題仿真模型來研究疾病傳播網(wǎng)絡、罪犯或恐怖分子網(wǎng)絡。在線虛擬社區(qū)、罪犯或恐怖分子網(wǎng)絡、社會政治網(wǎng)絡、信任與聲譽網(wǎng)絡等將是網(wǎng)絡分析應用的新場所。

除了文本分析、Web分析、網(wǎng)絡分析領域外，當前發(fā)展迅速的還有移動數(shù)據(jù)分析技術。移動計算在IT行業(yè)中增長迅速。隨著智能手機的廣泛普及，Android(安卓)系統(tǒng)從2010年就占據(jù)移動平臺上的首位。這個基于Java和XML的開源平臺易于掌握，成為IT行業(yè)流行的應用環(huán)境。移動數(shù)據(jù)分析的研究領域包括:用于位置確定和活動識別的移動感知應用、移動社會網(wǎng)絡和群包、移動可視化、移動應用的個人和行為建模。

3　數(shù)據(jù)分析的應用

當前數(shù)據(jù)分析的熱點應用主要有智能商務(例如，電子商務和市場預測)、電子政務及管理、科學技術應用、智能健康和福利、公共安全等領域。

3．1商務智能挖掘

商務智能(Business Intelligence，BI)挖掘是企業(yè)利用現(xiàn)代信息技術收集、管理和分析結構化和非結構化的商務數(shù)據(jù)和信息，以獲取更大的利益的技術。上世紀美國零售業(yè)巨頭沃爾瑪對自己的商品銷售數(shù)據(jù)庫發(fā)現(xiàn)了“啤酒和尿不濕”的關聯(lián)是數(shù)據(jù)挖掘中最經(jīng)典的案例。

大數(shù)據(jù)時代下的商務智能稱為BI2．0，不僅僅只是對企業(yè)內(nèi)部數(shù)據(jù)進行收集、處理和分析，還需要對互聯(lián)網(wǎng)上網(wǎng)絡瀏覽、微博、微信等非結構數(shù)據(jù)進行處理，這樣才能建立一個具有全面、完整的數(shù)據(jù)價值發(fā)展平臺。不管是商務智能的應用還是大數(shù)據(jù)的處理，都是為企業(yè)的決策分析服務的，只有將兩者有機的結合起來，才能挖掘出真實有效的信息和知識［4］。國內(nèi)知名的電子商務企業(yè)京東商城從2012年推出的“數(shù)聚匯”功能，通過深度分析8000多萬用戶，頁面匯集了來自全國各地的網(wǎng)絡購物信息和數(shù)據(jù)，分析本年度用戶的購物行為，挖掘數(shù)據(jù)背后的信息。比如，根據(jù)網(wǎng)購電視機的尺寸來推斷同一客戶擁有的客廳面積大小、根據(jù)不同地區(qū)客戶網(wǎng)購加濕器的數(shù)量來推斷該地區(qū)的干濕程度、根據(jù)不同地區(qū)網(wǎng)購電飯煲的容量推斷相應家庭成員的數(shù)量及結構組成等。

傳統(tǒng)的數(shù)據(jù)挖掘是指在結構化的數(shù)據(jù)中發(fā)現(xiàn)潛在的關系和規(guī)律，但隨著商業(yè)競爭的白熱化，非結構化的數(shù)據(jù)如各種文本、圖像、音頻、視頻等達到空前規(guī)模，如何把散布在網(wǎng)絡上的資源整合起來，從中挖掘出有價值的信息，是當前數(shù)據(jù)挖掘面臨的最大挑戰(zhàn)之一，迫切需要更加高端的數(shù)據(jù)挖掘的方法和技術［5］。為了充分運用大數(shù)據(jù)資源，國外的互聯(lián)網(wǎng)企業(yè)Google、eBay、Facebook、Twitter及國內(nèi)的百度、騰訊、阿里巴巴等都投入巨大的力量來進行用戶行為分析、企業(yè)決策推薦、社交媒體分析等應用。

3．2公共安全預警

數(shù)據(jù)分析技術在公共安全預警的主要應用領域有:智能預警、邊界和運輸安全、國內(nèi)反恐、重要基礎設施(包括網(wǎng)絡)保護、突發(fā)事件應對。公共安全問題監(jiān)測與信息預警是現(xiàn)代社會公共管理的重要內(nèi)容［6］。利用大數(shù)據(jù)可以有效地預測相關領域的未來趨勢。早在2009年，Google根據(jù)人們網(wǎng)絡搜索的關鍵詞數(shù)據(jù)成功預報了流行病的出現(xiàn)，比疾病控制中心早一周左右。2010年惠普實驗室利用Twitter的數(shù)據(jù)精確預測了好萊塢電影的票房收入。

大數(shù)據(jù)能夠揭示人類行為的社會規(guī)律。從“9·11”事件以來，公共安全研究得到各國的重點關注，尤其是全球安全越來越依賴于數(shù)字化的技術和方法。計算科學、信息系統(tǒng)、社會科學等領域的專家學者都在和愈加頻繁的暴力、恐怖、網(wǎng)絡犯罪及其他危害網(wǎng)絡安全的行為作斗爭。可以利用網(wǎng)絡輿情分析進行公共安全預警、基于威脅情報分析的安全防范預警、多源數(shù)據(jù)的融合與輿情分析、大數(shù)據(jù)熱點情報跟蹤等。

4　結束語

在信息化社會中數(shù)據(jù)就是財富。針對于不同數(shù)據(jù)的文本分析、Web分析、網(wǎng)絡分析及移動數(shù)據(jù)分析技術在大數(shù)據(jù)時代必將得到更廣泛的應用。但在新媒體環(huán)境下，時刻記錄我們的位置數(shù)據(jù)、通話數(shù)據(jù)、網(wǎng)絡行為數(shù)據(jù)等可以輕易獲得，留下了數(shù)據(jù)安全的隱患。在進行大數(shù)據(jù)分析的同時，如何保護大數(shù)據(jù)的安全值得重點關注。

［1］馮登國，張敏．大數(shù)據(jù)安全與隱私保護［J］．計算機學報，2014(1):246－258．

［2］馬建光，姜巍．大數(shù)據(jù)的概念、特征及其應用［J］．國防科技，2013(2):10－17．

［3］郭巖，白碩．網(wǎng)絡日志規(guī)模分析和用戶興趣挖掘［J］．軟件學報，2005(9):1483－1496．

［4］范明武，瞿斌．大數(shù)據(jù)下商務智能課程體系產(chǎn)學結合教學研究［J］．才智，2014(24):172－172．

［5］李艷玲．大數(shù)據(jù)環(huán)境下的技術變革與管理創(chuàng)新［J］．控制工程，2014(21):142－145．

［6］歐三任．社會公共安全預警信息發(fā)布研究［J］．重慶郵電大學學報:社會科學版，2013(9):107－112．

(責任編輯趙冰)

Research on Data Analysis and Application in Big Data Environment

YAO Yao
(School of Information Engineering，Zhongzhou University，Zhengzhou 450044，China)

The big data contains enormous commercial and social value．Based on the new challenges brought by the analysis and application of big data，this paper aims at expounding different analysis technology:the analysis of text，web，network and mobile data．Meanwhile，the analysis of big data and mining are also introduced in different fields such as the intelligent mining of business data and the early warning public security．

big data;text analysis;Web analysis;network analysis

10．13783/j．cnki．cn41－1275/g4．2015．01．028

TP311

A

1008－3715(2015)01－0120－04

2014－10－23

2015年度河南省高等學校重點科研項目(15A120014)

姚瑤(1982—)，女，湖南保靖人，碩士，中州大學信息工程學院講師，研究方向為網(wǎng)絡信息技術。