基于大數據的部隊裝備信息管理應用

王家其,賈紅麗，尹承督，樊澤凱

(軍械工程學院 裝備指揮與管理系裝備管理教研室， 石家莊 050003)

基于大數據的部隊裝備信息管理應用

王家其,賈紅麗，尹承督，樊澤凱

(軍械工程學院 裝備指揮與管理系裝備管理教研室， 石家莊 050003)

針對部隊裝備信息管理建設中存在的問題，從大數據的特點入手，介紹了大數據在社會和軍事方面的不同應用，分析了未來基于大數據的部隊裝備信息管理的發展趨勢，提出了基于大數據的部隊裝備信息管理模式。

大數據；裝備信息管理；數據采集；數據存儲；數據分析

部隊裝備信息管理是部隊一項全局性、基礎性、經常性工作，是生成、鞏固和提高部隊信息戰斗力的重要保障和基礎性工作[1-2]。隨著當今世界科學技術的不斷發展，我軍部隊的信息化程度也在不斷提高，對以數據為中心的部隊信息管理手段提出了更高的要求。然而，伴隨著實戰化訓練要求的逐步加強，各類信息化裝備在頻繁訓練、演習過程中必然產生了大量的數據，面對這些海量數據，我軍部隊傳統的數據存儲與分析模式的弊端日益凸顯。當前我軍正處于信息化建設的關鍵時期，裝備在訓練與執行任務時產生了大量與其相關的數據，這些數據在數量上與結構上都完全符合對于大數據的定義，受制于數據倉庫容量與傳統數據處理模式的制約，對于這類數據的存儲與分析處理是傳統數據倉庫難以應對的，會造成大量數據隱含信息被忽略，因此，需要一種快速高效的信息管理模式對這些數據進行存儲分析[3,4]。本文從大數據的特點入手，結合目前部隊裝備信息管理，介紹了大數據在社會和軍事方面的不同應用，分析了未來基于大數據的部隊裝備信息管理的發展趨勢。

1 大數據的特點及應用分析

大數據(Big Data)又稱為巨量資料，指需要新處理模式才能具有更強的決策力、洞察力和流程優化能力的海量、高增長率和多樣化的信息資產[5]。“大數據”概念最早由維克托·邁爾·舍恩伯格和肯尼斯·庫克耶在編寫《大數據時代》中提出。

1.1 大數據的特點

大數據是繼云計算、物聯網后信息時代的重大技術革新，其特點主要有：

1) 容量大(Volume)，一般數據量以TB、PB來計算，數據規模大，其大小決定所考慮數據的價值和潛在信息，例如情報偵察部門數據存儲量多達PB級別。

2) 種類多(Variety)，數據類型復雜、多樣，主要包括結構化數據、非結構化數據(半結構化數據、準結構化數據)等。

3) 速度快(Velocity)，速度快有兩層含義，一是數據量增長快，據國際數據公司(International Data Corporation，IDC)預測，在全球范圍內，每年數據將以50%的速度增長；二是數據處理速度快，采用相應的大數據處理技術，可以快速從大量多類型的數據中獲得高價值信息。

4) 價值性(Value)，有兩層含義，一是價值密度低，以追捕罪犯為例,在長時間的監控視頻中,只有嫌疑人出現的幾秒為有用的視頻信息；二是潛在價值高，從大量的數據中可以挖掘出用于管理、指導人們生活的決策。

5) 真實性(Veracity)，數據的質量及真實程度越來越高。

6) 可變性(Variability),數據內容及類型改變較快，妨礙了處理和有效的管理數據的過程。

1.2 大數據的應用分析

伴隨現代社會信息化的建設發展，數據成為社會各界的核心，影響著各界在各方面的決策，世界各國政府均十分重視大數據的應用，大數據在社會和軍事方面有著廣泛應用[6-8]。

早在2009年，聯合國就啟動了“全球脈動計劃”，擬通過大數據推動落后地區發展。2012年1月世界經濟論壇年會把“大數據、大影響”作為重要議題。美國奧巴馬政府在2012年發布《大數據研究和發展倡議》提出，投資約2億多美元用來支持對數據接入、組織、挖掘工具和技術的發展,并且進一步發展形成了包括12個部門和多機構的多項研究計劃[9]。當今國內大數據的地位也正在不斷提升。在政府層面，經李克強總理簽批，2015年9月，國務院印發《促進大數據發展行動綱要》，系統部署大數據發展工作。在學術層面，國內許多高等院校及研究所開始成立大數據的科研機構，在產業層面，國內不少知名企業或組織也成立了大數據團隊，力爭在大數據產業競爭中占據領先地位。

1) 大數據在社會方面的應用

大數據常用于公共設施建立、醫療衛生、交通管理、人文教育等領域的事務管理。例如在醫療衛生管理方面，大數據可以有效預防季節性疾病或是突發病癥的發生；在交通管理方面，可以構建合理的交通系統，并且進行道路的規劃與治理；在圖書館管理方面，大數據通過讀者借閱情況規劃圖書的購入；在物流管理方面，依托大數據制定科學的物流解決方案，提高了其管理水平及效益。大數據同時在電力部門、企業商品開發、地理測繪等方面也產生了重大作用。

2) 大數據在軍事方面的應用

大數據在眾多領域都有著廣泛應用的同時，在軍事領域也得到了深入發展。在指揮控制領域，大數據可以實現對戰局的“全維感知”以及通過高速的數據處理分析能力為指揮決策提供支撐；在綜合后勤保障領域，依托大數據技術構建的后裝保障系統，優化后裝保障的精細化程度，通過快速的數據分析達到合理、高效的綜合保障效果；在軍事訓練數據管理方面，大數據通過對大量訓練數據的采集、存儲和分析，為制定部隊軍事訓練計劃提供意見和建議。

2 基于大數據部隊裝備信息管理應用分析

習近平主席指出，裝備管理是戰斗力生成的重要基礎，要把裝備信息管理放在國防和軍隊現代化建設優先發展的戰略位置來抓[10]。在現代戰爭中，信息權成為奪取戰場控制權的核心，一體化聯合作戰成為基本作戰形式，部隊裝備信息管理數據研究(采集、存儲和分析)在軍事領域也就變得尤為重要。

2.1基于大數據的部隊裝備信息管理數據的采集

部隊裝備信息管理數據的采集，即指使用某種技術或者手段，從部隊裝備管理中獲得原始數據的過程。數據采集不僅要考慮數據源的物理性質，還要考慮數據分析的目標。下面介紹三種常用的部隊裝備信息管理數據采集方法：傳感器采集、系統日志采集和網絡數據采集。

1) 傳感器采集

傳感器常用于測量物理環境變量并將其轉化為可讀的數字信號以待處理，通過有線或無線網絡,信息被傳送到數據采集點。部隊裝備信息管理過程中產生的數據，主要來自基站中的維修、檢測、保障數據記錄，這些數據大部分由傳感器根據裝備所處物理環境的改變提供。除此之外還可以從傳感器測控鏈路中得到數據。這主要是傳感器通過電磁波向裝備操控站傳送大量數據，操控站進一步將數據統一進行采集處理。

2) 系統日志采集

日志是廣泛使用的數據采集方法之一,由裝備信息管理數據源系統產生,以特殊的文件格式記錄系統的活動。幾乎所有在數字設備上運行的裝備管理系統都會通過系統日志的方式向總平臺傳輸實時數據。向裝備管理系統反饋裝備管理最新數據的web服務器日志文件格式有三種類型:通用日志文件格式、擴展日志文件格式和互聯網信息服務(Internet Information Services，IIS)日志文件格式。所有日志文件格式都是ASCII(American Standard Code for Information Interchange,美國信息交換標準代碼)文本格式。裝備管理數據庫也可以用來替代文本文件存儲日志信息,以提高海量日志倉庫的查詢效率。與物理傳感器相比,日志文件可以看作是“軟件傳感器”,許多部隊裝備信息管理系統實現的數據采集軟件均屬于此類。

3) 網絡數據采集

網絡數據采集是指利用網絡爬蟲技術(按照一定規則自動抓取網絡信息的程序或腳本)實現有針對性、行業性、精確性的裝備信息管理數據抓取。在部隊裝備信息管理中，通過網絡爬蟲從部隊內部網頁上抓取內容，并抽取出需要的裝備信息管理數據，再為爬蟲提供需要抓取裝備信息管理數據網絡的統一資源定位符(Uniform Resource Locator，URL)，最后根據爬蟲抓取的數據進行處理。

2.2基于大數據的部隊裝備信息管理數據的存儲

數據存儲是指數據源及數據流在加工過程中產生的臨時文件或需要查找信息的存儲。部隊在以大數據為平臺的裝備信息管理過程中時刻都在產生大量的復雜數據，部隊裝備數據倉庫時刻在記錄各種多源異構數據，裝備維修保障部門也在不停存儲大量的保障維修數據。針對裝備信息管理過程中數據的多樣性、數量大、增長快等特點，基于大數據Hadoop平臺建立裝備信息管理的存儲系統成為一項新的研究內容。

Hadoop平臺是Apache基金會推進的開源式項目[11]。Hadoop可以部署在大規模的廉價硬件集群上，特別適合于大規模數據的存儲與分析處理，其三大核心部件是分布式文件系統(Hadoop Distributed File System,HDFS)、Map/Reduce編程模式[12]、分布式數據庫系統HBase。Hadoop平臺的HDFS，可以實現計算節點上的數據存儲，從而實現對數據的高吞吐率。在此主要對部隊裝備信息管理過程中產生的結構化數據與非結構化數據在Hadoop上的存儲過程進行分析。

1) 結構化數據的存儲

結構化數據又稱行數據，是由二維表結構來邏輯表達和實現的數據。在部隊裝備信息管理過程中結構化數據主要是指地理環境、電磁環境、氣象條件等數據。

裝備信息管理過程中的結構化數據存儲采用基于SQL-Server2014的Microsoft存儲軟件，與Hadoop系統協作構建存儲系統，共同搭建數據倉庫，將數據存放至指定名稱的新建數據庫中，連接原有數據與新建數據庫完成數據存儲。

2) 非結構化數據的存儲

非結構化數據是指數據結構不規則或不完整，沒有預定義的數據模型，不方便用數據庫二維邏輯表來表現的數據。在部隊裝備信息管理過程中非結構化數據主要指傳感器收集到的視頻、圖像等數據。裝備信息管理過程中的非結構化數據是以文件的方式存儲在HDFS中，同時將指向文件的鏈路或路徑存儲到建立在HDFS分布式文件系統之上的HBase數據庫中。

通過以上的一系列處理，將部隊裝備信息管理數據按種類進行存儲，方便進行下一步的數據分析。

2.3基于大數據的部隊裝備信息管理數據分析

在裝備更新換代和性能提升的同時，隨之而來的就是對裝備信息管理方式的更高要求。準確地對裝備信息管理中產生的數據進行大數據分析，能夠為指揮者提供一種更合適的決策輔助。大數據分析(Big Data Analytics，BDA)是大數據理念與方法的核心，是指對海量類型多樣、增長快速、內容真實的數據(即大數據)進行分析，從中找出可以幫助決策的隱藏模式、未知的相關關系以及其他有用信息的過程[13]。大數據分析包括可視化分析、數據挖掘算法、預測性分析能力、數據質量和數據管理、語義引擎等五個方面。

可視化分析是對數據進行關聯分析并做出分析圖表，使數據直接的展現在用戶面前；數據挖掘、是從數據中提取隱含在其中的、人們事先不知道的、但又潛藏有用的信息和知識的過程；預測性分析能力是指應用統計學方法，如建立預測模型、機器學習等手段，根據可視化分析和數據挖掘的結果來對未來發展進行預測的手段；數據質量和數據管理是在管理方面的實踐，通過標準化的流程和工具對數據進行管理，能夠提升數據質量，保證后續高效的數據挖掘；語義引擎指的是對用戶的查詢關鍵字進行處理，引申語義含義從而更加準確、全面的實現用戶的檢索。

數據挖掘技術應用于部隊裝備信息管理中是比較符合我軍當前發展現狀的，其中最主要的應用之一就是關聯規則分析。關聯規則是用來展現事物或數據之間所存在關系的規則[14]。

關聯規則分析經常使用的是Apriori算法，但Apriori算法在面對當今部隊裝備信息管理數據結構多元化、數據量劇增的情況下卻很難實現快速高效的數據挖掘。于是提出對Apriori算法進行改進，包括MRApriori算法、MRApriori-x算法和MCMApriori算法。大量實驗數據顯示：在數據規模或支持度相同情況下，三個算法中MCMApriori算法的表現最為突出。

MCMApriori算法關鍵技術在于在進行數據挖掘過程中，只進行兩次Map/reduce運算，不同于MRApriori算法需要進行多次Map/reduce運算，真正實現了快速、高效的數據挖掘。

利用MCMApriori算法對數據進行挖掘可以分為以下步驟：

1) 將采集到與裝備管理相關的數據導入至Hadoop的Hive中，對數據進行清洗，將格式錯誤、不一致、不完整的數據刪除。

2) 將清洗好的數據存放在Hadoop中的HDFS分布式文件系統，設置文件讀取的目標路徑，對數據進行分割切片，傳遞給每個Map節點。

3) 設置最小支持度(支持度：A工作、B工作同時存在于T任務的概率)和置信度閾值(置信度：B工作在所有任務中出現的概率)，然后參照MCMApriori算法進行數據挖掘。

裝備信息管理中利用MCMApriori算法進行數據挖掘，首先將采集的數據進行清洗，將不需要的數據刪除，再存放進HDFS中。數據挖掘時，根據需要設置好參數，再采用MCMApriori算法進行數據挖掘。

3 基于大數據的部隊裝備信息管理發展趨勢

部隊裝備信息管理的發展是在提升數據處理速度、新技術的應用、優化系統體驗上全方位的發展。

1) 云計算將滲入到裝備信息處理的每一個階段。云計算是指通過網絡按需獲得資源或服務的數據處理和共享技術。受大數據時代發展影響，數據的發展規模日漸增大，給數據挖掘工作帶來了巨大挑戰，為了更好地發揮數據挖掘優勢，必須提高大規模數據計算能力[15]。從現實上看，因為缺少統一的標準，各部門自身需要而建立了大量裝備信息管理系統很難滿足一體化聯合作戰信息互聯互通的需要。目前，云計算技術在商業領域已經取得了巨大成就，但在我軍裝備信息管理中的應用尚處于探索階段，云計算的深入應用將在未來部隊裝備信息管理中得到快速發展。

2) 可視化技術將帶動裝備信息管理發展。可視化技術是指將數據中的各個屬性值以多維數據的形式表示，使數據能從不同的維度觀察。裝備信息管理依托于“全資可視化”平臺，用數據引導物資、技術，保證二者適時、適地、高質發揮作用，實現對裝備快捷、準確的決策支持系統。

3) 智能輔助決策系統將提高部隊裝備信息管理效益。智能輔助決策系統面向部隊裝備信息管理高層決策者，屏蔽了技術細節和頻繁操作。在未來的部隊裝備信息管理過程中，決策者可以按自己需要設置頁面的顯示內容和展現布局，將自己關心的部隊裝備信息管理數據篩選提煉出來，形成更精確的決策依據，從而提高部隊裝備信息管理效益。

總之，伴隨我軍信息化裝備的逐漸列裝，聯合作戰演習的大規模進行，武器裝備的頻繁動用，裝備信息必然成為部隊重要戰略資源，未來誰能掌握大數據技術，做到充分利用數據，誰就將奪得戰場的主動權。

[1] 胡利民.裝備訓練學[M].北京：國防工業出版社，2004.

[2] 于洪敏.部隊裝備管理教程[M].北京:國防工業出版社,2014.

[3] 王少波,王偉.軍事物聯網戰地裝備安全監管體系及其應用構建[J].物聯網技術,2016(10):47-51.

[4] 劉凱,孫俊峰.信息化條件下部隊裝備管理教學訓練系統功能設計分析[J].電子技術與軟件工程,2014,(16):103.

[5] 胡茹.淺談大數據應用現狀及發展趨勢[J].科技論壇,2014(32):19.

[6] 趙躍.無人機飛行數據綜合管理與分析系統研究[D].南京:南京航空航天大學,2012,03.

[7] 海建和,譯薛,菲校.大數據管理與智能分析[J].通信與計算技術,2015,(35)1:33-37.

[8] 王曉慧,王康.大數據背景下智慧城市建設研究現狀與趨勢的可視化分析[J].電子商務,2017(6):26-27+33.

[9] EXECUTIVE O O T P.Big Data Across the Federal Government[EB/OL].[2014-03-21].http://www.whitehouse.gov/sites/default/files/microsites/ostp/big-data-fact-sheet-final-1.

[10] 習近平.國防和軍隊建設重要論述讀本：第6卷[M].北京：解放軍出版社，2016.

[11] Dhruba Borthakur.HDFS architecture guide[EB/OL].[2013-11-23].http://hadoop.apache.org/docs/r1.0.4/hdfs_design.

[12] 謝光.基于MapReduce的云數據挖掘模型的設計與實現[J].網絡安全技術與應用,2017(6):62-63+71.

[13] 張春磊，楊小牛.大數據分析(BDA)及其在情報領域的應用[J].中國電子科學研究院學報，2013，8(1)：18-22.

[14] 王梟翔.基于相關興趣度的關聯規則挖掘[D].蘭州：蘭州交通大學,2013.

[15] 鄧仲華,劉偉偉,陸穎雋.基于云計算的大數據挖掘內涵及解決方案研究[J].情報理論與實踐,2015(7):103-108.

[16] 楊飛，于洪敏，呂耀平.基于物聯網的部隊裝備信息共享需求分析[J].兵工自動化，2016(7)：89-92.

(責任編輯唐定國)

InformationManagementofArmy’sEquipmentBasedonBigData

WANG Jiaqi， JIA Hongli， YIN Chendu， FAN Zekai

(Teaching and Research Section of Equipment Command and Management Equipment, Ordnance Engineering College，Shijiazhuang 050003，China)

In the construction of army’s information management in equipment, the data of equipment information turns bigger and bigger with more and more types, which leads to the dilemma that the existing management model is incapable of meeting army’s requirement. To solve this problem, a hot research topic:big data is used and the newly information management model based on that it is posed. Proceeding from data gathering, data storing and data analysis, along with the information of army’s equipment, a survey on the characteristic and application of big data is made in this essay in order to find out the application of army’s information management in equipment and the future development.

big data; information management in equipment; data collection; storage; data analysis

2017-07-13；

2017-07-30

王家其(1989—)，男，碩士研究生，主要從事裝備建設與發展研究。

賈紅麗(1972—)，女，副教授，碩士生導師，主要從事裝備建設與發展研究。

后勤保障與裝備管理

10.11809/scbgxb2017.11.022

本文引用格式：王家其,賈紅麗，尹承督，等：基于大數據的部隊裝備信息管理應用[J].兵器裝備工程學報，2017(11):99-102.

formatWANG Jiaqi，JIA Hongli，YIN Chendu，et al.Information Management of Army’s Equipment Based on Big Data[J].Journal of Ordnance Equipment Engineering,2017(11):99-102.

E917

A

2096-2304(2017)11-0099-04