網絡數字內容挖掘技術問題研究

摘 要：綜合考慮數據內容和承載數據內容的傳播鏈，闡述了網絡數字內容深度采集技術和深度挖掘技術。重點分析了多維特征下，對產生和傳播數據的用戶及其關系網的深度采集能力；社交網絡穿透采集。討論了網絡數字內容挖掘技術的實踐價值。

關鍵詞：網絡數字內容挖掘；深度采集技術；互聯網輿情

中圖分類號：F49 文獻標識碼：A 文章編號：1674-7712 （2014） 12-0000-01

社會化媒體給互聯網帶來的變化在于，由社交網絡參與用戶組成的用戶關系網，構成了信息的傳播鏈，傳播鏈上的不同節點（用戶），對于信息的傳播起著不同的作用。傳統的挖掘技術只關注數據內容而忽略用戶維度，具有一定的片面性。從數據挖掘的角度，針對社交網絡的特點，只有綜合考慮數據內容和承載數據內容的傳播鏈（用戶關系網）才有可能獲得更有價值的挖掘成果。

一、網絡數字內容深度采集技術

（一）異構多維網絡數據采集

異構數據采集將文字、圖片、音視頻、多媒體等多種數據類型定義為數據的異構性。除了對于普通網頁的采集能力，對于異構數據要求具備以下采集能力：支持論壇、博客、據微博等各類網站的數采集。支持文字、圖片、音頻、視頻等做媒體信息的采集。對于不同來源、不同類型的異構數據具有準確解析元數據的能力，包括智能化自動分析，或者基于模板或規則的方法實現元數據準確解析。

在社交網絡已經成為重要應用趨勢的背景下，參與網絡信息共享的主體不再單單是數據內容本身，而是包含了參與人這個重要因素。我們把數據本身作為第一維，而把數據產生和傳播的參與人作為第二維，定義網絡數據的多維性。在多維特征下，為了實現深度挖掘的目標，除了內容數據的采集能力，對產生和傳播數據的參與人（用戶）以及他們之間的關聯關系（用戶關系網）具備深度采集能力：

1.支持社交類網站用戶信息采集。根據社交網站所能提供的信息，用戶屬性信息可以包括用戶名、用戶ID、信息發布數、粉絲數、關注數、個人介紹、個性化標簽、教育信息、行業信息、地域信息、認證信息等。

2.支持內容數據中有關用戶維度的信息采集。對于社交網絡類型的數據源，在采集內容數據的同時，需同步采集到其發帖人名字或ID。對于多層傳播的內容數據，比如評論、轉發等，能夠采集到內容數據在各個傳播層次的驅動用戶以及信息傳播方向。

3.對于社交網絡類型網站，能夠根據需要采集用戶之間的關聯關系，比如關注關系，評論關系，轉發關系等。

（二）社交網絡穿透采集

以微博、社交網站為代表的社交網絡是一種封閉或本封閉網絡媒體，其內容數據并不是完全共享的狀態。每個使用社交網絡的用戶，首先需要注冊為一個用戶，登錄到微博或社交網站上才能瀏覽信息。提供社交網絡服務的網站，為了網絡信息安全，在用戶認證、信息安全等方面一般都進行較為嚴格的控制。在這樣的環境下，社交網絡的數據采集一般會受到諸多方面的限制。

互聯網海量數據以及時時刻刻產生新數據的背景，決定了任何數據挖掘工作，都不可能在將網絡數據全部采集到本地的前提下進行，特別是社交網絡所產生的巨大實時信息量。但是，如果采集模塊能夠根據數據挖掘工作的進展，不斷調整數據采集的目標并提供給挖掘模塊使用，則可以認為它已經為數據挖掘工作提供了最大限度的支持。依據目標驅動采集的要求，需要采集技術具備以下功能：

1.數據采集具有靈活的調用接口，可以嵌入數據挖掘模塊，由挖掘模塊按需方便調用。

2.支持多種采集手段，包括定點采集、元搜索，可根據指定的線索進行深度采集，比如可以根據搜索引擎的搜索結果進行進一步的深度采集。

二、網絡數字內容深度挖掘技術

（一）非結構化數據挖掘。主要包括關鍵詞抽取、自動聚類、自動分類、自動摘要、正負面情感分析等技術，實現對網絡數字內容的基本挖掘功能，為進一步深度挖掘提供基礎。

（二）多媒體挖掘。主要包括基于內容的圖像檢索技術，視頻摘要和字幕提取技術，語音識別技術等。

（三）熱點事件挖掘。熱點事件挖掘是指從海量內容數據中挖掘出網民關注的焦點事件。熱點事件挖掘需要綜合運用對網絡意見領袖、轉發和評論信息的統計，結合內容聚類技術完成。結合地域特征和行業特征，還可以挖掘出基于地域或行業的熱點事件。

（四）人物關系挖掘。通過社交網絡中人物之間的信息傳播特點進行統計分析，獲得人物之間的關聯關系。可以利用人物之間的關注關系、評論關系、轉發關系等關系展開統計分析工作，其中評論關系能夠比較客觀地反映人物之間的關系。

（五）多維挖掘技術。以社交網絡為特點的內容數據可以挖掘多維度信息，包括人與人的關聯關系、人與事件的關聯關系、事件與事件的關聯關系以及時間維度下的事件演變過程。這些信息從不同的維度反應出事件相關的內在關聯，其挖掘結果可以為網絡輿情分析提供詳實的數據支撐。

三、網絡數字內容挖掘技術的實踐意義及發展建議

網絡數字內容挖掘技術是互聯網內容管理和應用的重要支撐技術，是社會化媒體發展的新趨勢，為網絡數字內容挖掘帶來了挑戰，也帶來了機遇。在傳統挖掘技術的基礎上，迫切需要加大投入，形成自主的技術、產品和應用，服務于互聯網輿情分析以及其他互聯網挖掘應用，創造社會和經濟效益。

另外，海量數據的挖掘需要一個性能優越、功能豐富的數據存儲和檢索平臺，作為網絡挖掘系統的底層支撐平臺。平臺具有異構數據的統一搜索，支持結構化、半結構化、非結構化數據的統一搜索等功能；具有高性能、智能化信息處理、彈性擴展等特點和能力，可以支撐PB以上級別數據；無單點故障，具有故障感知、自動恢復、可在線擴展等功能；多檢索引擎機制，對于不同的數據類型和檢索需求，可以選擇不同的檢索引擎，比如全文檢索、圖像檢索等。

參考文獻：

[1]曹來成.利用容錯技術提高P2P網絡安全[J].哈爾濱工業大學學報，2009（03）.

[2]李軍，馬晨光，武平.一種P2P網絡中對等結點間的身份認證方法[J].科學技術與工程，2009（21）.

[3]翟國偉，任新華.網絡認證系統中監督機制的研究[J].微計算機信息，2010（03）.

[作者簡介]唐曉婷（1983-），女，安徽合肥人，安徽經濟管理學院，教研部秘書，研究方向：信息管理。