情報分析中大數據分析技術與框架研究

王子剛

摘 要：隨著大數據時代的到來，人工智能技術的發展，面對國家安全與發展戰略、智庫戰略的需要。情報工作在新時代、新環境、新技術、新需求下，必須重新審視和定位學科的未來發展，重新規劃和設計情報工作的未來路徑。鑒于此，文章結合筆者多年工作經驗，對情報分析中大數據分析技術與框架研究提出了一些建議，僅供參考。

關鍵詞：情報分析;大數據分析技術;框架研究

引言

情報對提升人們的生活品質、促進科技的創新與發展、保障人們的醫療和健康、促進工農業發展以及輔助政府決策等有積極作用且密切相關，可以說情報的應用領域無所不及。作為研究情報的采集、處理、分析和交流原理的，以及為各個領域提供情報的情報工作，其未來發展與科學發展的背景、國家安全與發展的背景、國際大環境背景有著緊密聯系。我們必須了解這些影響與情報工作發展的背景，把握機遇迎接挑戰。

1、大數據環境下情報分析對象特征

1.1來源多樣化

互聯網的各項應用成為大數據的主要來源。在互聯網的驅動下，電腦、智能手機、無線傳感器等終端設備無時無刻在產生著各種類型的數據，其來源類型從硬件、網絡媒體、數據類型三個維度進行劃分，硬件維度一般是由自然人部署或操作發布，網絡媒體維度則是直接面向用戶的互聯網應用。

1.2低價值密度

海量數據的多維度產生，尤其是社交網站和微信等相對主觀、自由的網絡媒體維度的存在，必然會稀釋數據本身的價值性。除了傳感器是采集的環境客觀數據，其他數據最初均由自然人主觀發布，其數據的可靠度和可信度殘次不齊。而目前還缺少對發布信息真實性的監督。除此之外，這些數據中還存在諸多技術需要但與業務沒有直接價值的數據。這兩個因素加到一起就造成了總體價值密度低的問題。針對低價值密度的數據，進行情報分析之前需要剔除無價值的部分，然而傳統的數據管理技術難以實現此功能，這為情報分析帶來了前所未有的挑戰。

1.3在大數據環境下，情報工作發生巨大變化

情報工作在范圍、特征、作用、形式、對象等各個方面發生了巨大變化，其主戰場不僅僅是科技與安全領域，已經拓展到社會經濟、人類健康、生態環境、歷史文化等方方面面。情報工作將會在社會經濟、科技創新、醫療衛生、國家安全和提升人類的生活品質中發揮“耳目尖兵參謀”的作用。因此，與情報工作可以此為契機，將情報理論、技術和方法影響各個學科領域和決策領域，并逐步把各級（類）情報所建設成政府、行業和各個領域的重要智庫。

2、情報分析被弱化為數據分析的現狀

情報分析技術是情報技術的重要組成部分，情報工作的重要一環是情報分析，但情報學領域的絕大多數學者或從業人員將其弱化為數據分析，與計算機領域的相關工作幾乎沒有區別。事實上，數據分析是情報分析的基礎，兩者之間區別顯著：從數據對象維度來看，數據分析方法以處理單源數據為主，情報分析方法以處理關聯的全源數據為主;從產出結果來看，數據分析產出的是新信息、新知識，情報分析產出的是新智能;從分析起點維度來看，數據分析主要是數據驅動，情報分析主要是目標驅動;從分析方法維度來看，數據分析以定量分析為主，定性分析、歸納推理、演繹推理為輔，情報分析在產出新信息、新知識階段以定量分析為主，在智能產出階段以歸納推理、演繹推理為主;數據分析是情報分析的基礎，情報分析是基于全局的分析，所依據的數據對象是全部來源的數據，數據分析是基于局部的分析，所依據的數據對象通常是全部來源數據的子集;作為數據分析方法體系重要組成的大數據分析無法取代情報分析。

3、情報信息的大數據分析框架

3.1情報檢索

軍事情報檢索不同于簡單的文獻查找或數據檢索，通過手工檢索、機械檢索等方式檢索到的信息，還需在原始情報信息的基礎上對數據進行檢索和挖掘，獲得有用的軍事情報。此外，在檢索過程中需要有明確的檢索目標，從而提取出原始數據中包含的有用情報。

3.2情報提取

情報提取是指將原始數據進行清洗、比對、整合等操作后，通過數據挖掘等方法對數據進行分析。根據指揮、作戰、決策等不同軍事目的，從數據中獲取有用的情報信息。情報信息的提取能力，往往會影響到各國之間軍事政治力量的差距。

3.3數據融合

單一數據源獲得的信息往往無法滿足情報分析和決策支持的需求，軍事情報信息獲取途徑迥異、數據類型各不相同、數據表現形式多種多樣、信息之間的關系錯綜復雜。因此，需要對多源異構信息進行分析、優化，即進行基于語義層面的數據融合。

3.4情報分析

傳統的數據挖掘算法不論在處理海量數據的速度上，還是在挖掘信息的能力上都已明顯無法滿足當前戰事分析的需要，當代軍事情報分析需要從已有海量數據中，通過多層變換，通過不可分的高階神經網絡推導出能夠支撐決策和作戰指揮的結論。

3.5關聯分析法

對軍事情報而言，關聯分析法綜合了關聯規則挖掘方法、鏈接方法，以及非相關文獻知識發現方法，可以將多源異構數據按照關聯規則進行跨域關聯。再通過聚類分析、路徑分析等方法，對情報進行發掘。實踐證明，關聯分析法綜合考慮多種關聯因素，可以挖掘出單一數據源無法發現的情報信息。

3.6數據源

數據源是整個體系的最底層，是情報分析的基石。在大數據環境下，互聯網和物聯網兩類應用是主要的數據源。前者一般使用Web構建技術，而后者一般是通過無線傳感器來構建，目前Zigbee是公認的物聯網協議。這兩類應用的一般均會結合數據和文件存儲技術來構建，這與一般的信息系統通常情況下不存在明顯的差別。但是在運行過程中，這兩類應用會源源不斷地產生大量的數據，為情報分析提供大量數據的來源。

3.7數據服務

數據服務直接面向用戶，為用戶提供各類數據分析的接口。目前Web和App的相關開發方法是構建數據服務的主要方法。Web對應的技術除了基本的構建技術外，云計算是大數據時代構建服務接口的主流技術，通過調用云端的服務，用戶可以通過電腦、手機等互聯網終端隨時調用數據分析服務。App近年來主要的開發技術則以iOS和Android為主。

3.8多管理主體的情報協同

當相互關聯的多個管理行動同時發生時，管理主體需要協調相互之間的目標、規則和分工。不同情報活動的行動者單元在協調一致或不一致的情況下協同或分別運作，其生產的情報對各自管理主體之管理目標下的管理決策進行支撐。在管理主體協調產生共同目標的情況下，各行動者單元的情報活動及其產出結果具有協調一致的可能，如圖3中的模型。在管理主體不發生協調或者無法協調產生一致目標的情況下，根據某個行動者單元所產出的情報，其支撐引導的管理決策和行動將對其他行動者單元造成直接作用，這些作用反映為信息資源改變的一個部分，被納入進受到影響的其他行動者單元之中。

結束語

大數據時代的來臨，人工智能等先進技術將逐步進入情報領域。新時代、新技術、新環境、新思維為情報工作帶來新的活力，情報工作迎來了極好的發展機遇，我們必須砥礪奮進。我們相信，在廣大情報人的共同努力下，未來的與情報工作一定會得到更加快速繁榮的發展。

參考文獻：

[1]馬海群，孫瑞英.大數據時代國家情報工作生態演替趨勢研究[J].圖書與情報，2018（06）：1-7.

[2]王夢瑤.大數據背景下偵查創新研究[D].中國人民公安大學，2018.

[3]王煥新.大數據時代競爭情報對企業技術創新的影響[J].經濟研究導刊，2018（34）：17+100.

[4]儲節旺，吳川徽，陳善姍，是沁，李章超.支撐創新的情報保障研究進展[J].進展，2018，12（00）：217-247.

[5]唐曉波，鄭杜，翟夏普.基于大數據智能的競爭情報系統模型研究[J].情報理論與實踐，2018，41（11）：133-137+160.