基于大數(shù)據(jù)的航天裝備試驗鑒定數(shù)據(jù)管理及分析應(yīng)用研究

/中國航天科技集團(tuán)有限公司

田雪穎、王志梅 /中國航天標(biāo)準(zhǔn)化研究所

航天裝備試驗鑒定工作從2017年3月開始全面展開，將全生命周期航天裝備試驗統(tǒng)一規(guī)范為性能試驗、作戰(zhàn)試驗和在役考核3個階段。試驗鑒定工作的開展，將產(chǎn)生大量的試驗數(shù)據(jù)、試驗文件等信息，如何全面掌握這些試驗信息，并充分利用這些信息挖掘隱藏在數(shù)據(jù)間的巨大價值以及分析預(yù)測裝備性能指標(biāo)是亟待解決的問題。大數(shù)據(jù)技術(shù)作為新一代信息技術(shù)的代表，具有復(fù)雜的數(shù)據(jù)處理和數(shù)據(jù)分析能力，是實現(xiàn)數(shù)據(jù)融合管理、數(shù)據(jù)分析、知識決策支持和成果共享的有效途徑。因此，筆者將介紹基于大數(shù)據(jù)技術(shù)進(jìn)行航天裝備試驗鑒定數(shù)據(jù)管理及數(shù)據(jù)分析應(yīng)用研究的部分內(nèi)容。

一、航天裝備試驗鑒定數(shù)據(jù)內(nèi)容及特點

1.試驗鑒定數(shù)據(jù)內(nèi)容分類

試驗鑒定數(shù)據(jù)包括各級各類產(chǎn)品按照試驗鑒定工作要求開展的各種試驗相關(guān)內(nèi)容，按照數(shù)據(jù)的結(jié)構(gòu)化形式可以將試驗鑒定數(shù)據(jù)分為非結(jié)構(gòu)化數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)3類。

非結(jié)構(gòu)化數(shù)據(jù)指試驗鑒定過程中產(chǎn)生的文檔資料，主要包括：一案三綱、研制總要求、試驗任務(wù)書、試驗條件與試驗要求、質(zhì)量保證大綱、計劃進(jìn)度、安全技術(shù)要求和安全技術(shù)措施、試驗報告、故障分析報告、試驗鑒定總結(jié)報告、成熟度評價報告、可靠性評估報告、試驗鑒定申請報告、狀態(tài)鑒定結(jié)論、試驗鑒定批復(fù)等。

結(jié)構(gòu)化數(shù)據(jù)指以二維表結(jié)構(gòu)形式按照規(guī)定數(shù)據(jù)格式和長度規(guī)范要求保存的數(shù)據(jù)，主要包括：被試產(chǎn)品的描述、試驗項目、試驗時間、試驗單位、試驗條件和要求、試驗設(shè)備狀況、試驗產(chǎn)品測量參數(shù)、試驗結(jié)果、異常情況等。

半結(jié)構(gòu)化數(shù)據(jù)指原始聲像影像資料和人工記錄的數(shù)據(jù)及文字資料，如試驗時間、試驗工況、試驗狀態(tài)、參試人員、異常現(xiàn)象等。

2.試驗鑒定數(shù)據(jù)特點

試驗鑒定數(shù)據(jù)具有一般意義上大數(shù)據(jù)的相同特點，即數(shù)據(jù)量足夠大（Volume）、數(shù)據(jù)的種類多樣（Variety）、數(shù)據(jù)的增長及處理速度快（Velocity）、數(shù)據(jù)蘊藏價值大（Value）等。

Volume：試驗鑒定數(shù)據(jù)范圍廣，包括各級各類航天裝備在性能試驗、作戰(zhàn)試驗和在役考核3個階段各項試驗數(shù)據(jù)，數(shù)據(jù)采集、存儲和計算量巨大，已經(jīng)從TB（太字節(jié)）級別躍升至PB（拍字節(jié)）級別，傳統(tǒng)技術(shù)很難滿足其存儲和處理要求。

Variety：試驗鑒定數(shù)據(jù)的種類紛繁，包括文本、文檔、表格、數(shù)據(jù)、圖像、音視頻等結(jié)構(gòu)化、半結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)，并且試驗鑒定數(shù)據(jù)來源較多，性能試驗階段的數(shù)據(jù)主要來源于工業(yè)部門，作戰(zhàn)試驗和在役考核數(shù)據(jù)主要來源于作戰(zhàn)部隊、試驗基地、測控站等。

Velocity：試驗鑒定數(shù)據(jù)每分每秒都在爆炸性的增長，如某型號一次綜合試驗就要產(chǎn)生2GB的數(shù)據(jù)，一次熱待機(jī)試驗產(chǎn)生20GB數(shù)據(jù)，傳統(tǒng)技術(shù)處理這些數(shù)據(jù)的時間較長，嚴(yán)重影響數(shù)據(jù)判讀的實時性。

Value：試驗鑒定數(shù)據(jù)存在著巨大的待挖掘價值，利用試驗鑒定數(shù)據(jù)可以摸清裝備性能底數(shù)、分析裝備的作戰(zhàn)效能、確定保障效能、計算任務(wù)滿足度、評估裝備質(zhì)量穩(wěn)定性，從而可改進(jìn)提升裝備性能、反推裝備研制需求，但由于龐大的數(shù)據(jù)量基數(shù)及數(shù)據(jù)量的不斷增加，數(shù)據(jù)的單位價值密度相對較低。

試驗鑒定數(shù)據(jù)存在著巨大的待挖掘價值，利用試驗鑒定數(shù)據(jù)可以摸清裝備性能底數(shù)、分析裝備的作戰(zhàn)效能、確定保障效能、計算任務(wù)滿足度、評估裝備質(zhì)量穩(wěn)定性，從而可改進(jìn)提升裝備性能、反推裝備研制需求，但由于龐大的數(shù)據(jù)量基數(shù)及數(shù)據(jù)量的不斷增加，數(shù)據(jù)的單位價值密度相對較低。

二、試驗鑒定數(shù)據(jù)管理現(xiàn)狀

當(dāng)前，航天產(chǎn)業(yè)的發(fā)展正經(jīng)歷著數(shù)據(jù)大爆炸時代，數(shù)據(jù)不僅是海量的，更是復(fù)雜的。在此背景下，航天裝備試驗鑒定數(shù)據(jù)管理存在以下幾個問題：

一是試驗鑒定數(shù)據(jù)管理要求尚不明確。按照試驗鑒定管理工作新要求，目前一些航天裝備已有的原始觀測數(shù)據(jù)、業(yè)務(wù)處理數(shù)據(jù)、試驗評估數(shù)據(jù)等大多應(yīng)該屬于性能試驗階段的數(shù)據(jù)，而在役考核和作戰(zhàn)試驗屬于新界定的工作要求，具體試驗項目尚待進(jìn)一步明確，在役考核環(huán)節(jié)雖已采集相關(guān)試驗數(shù)據(jù)，但該方面的數(shù)據(jù)尚未能系統(tǒng)管理。

二是試驗鑒定數(shù)據(jù)分散在各單位，缺乏統(tǒng)一管理平臺。航天裝備試驗鑒定數(shù)據(jù)分散在各單位、各部門，未進(jìn)行集中管理，型號抓總單位對型號試驗鑒定數(shù)據(jù)的全局情況掌握不全面，在對已有的試驗數(shù)據(jù)進(jìn)行查詢時，需要通過多種渠道才可以收集完備，信息綜合查詢工作效率較低，難以實現(xiàn)試驗鑒定數(shù)據(jù)的全面對比。

三是試驗鑒定數(shù)據(jù)缺少規(guī)范化管理，不利于數(shù)據(jù)的共享傳遞。各部門間數(shù)據(jù)采集、數(shù)據(jù)分析等工作缺少統(tǒng)一的標(biāo)準(zhǔn)、規(guī)范，數(shù)據(jù)項內(nèi)容和格式不一致，試驗數(shù)據(jù)在各部門間傳遞時不能直接使用，數(shù)據(jù)傳遞難以形成便捷暢通的渠道，數(shù)據(jù)共享困難造成各單位各部門信息不透明、不對等的情況嚴(yán)重，型號抓總單位難以進(jìn)行信息匯總，給數(shù)據(jù)的宏觀分析和深度挖掘工作帶來了不便。

四是試驗鑒定數(shù)據(jù)缺乏綜合處理分析工具，自動化程度和信息利用效率低。當(dāng)前，各單位設(shè)計開發(fā)的數(shù)據(jù)庫、信息系統(tǒng)一般僅是基于數(shù)據(jù)管理的需求，而非數(shù)據(jù)分析的需求，所以在此基礎(chǔ)上缺乏綜合統(tǒng)計分析和數(shù)據(jù)挖掘的工具、手段，信息分析工作往往需要采用人工統(tǒng)計的方式進(jìn)行，自動化程度低，對型號性能試驗數(shù)據(jù)、作戰(zhàn)試驗數(shù)據(jù)和在役考核數(shù)據(jù)等分析不足，不利于型號和主管部門的決策管理。

航天裝備試驗鑒定應(yīng)建設(shè)大數(shù)據(jù)管理與分析平臺，將各單位的試驗鑒定數(shù)據(jù)進(jìn)行集中、規(guī)范與融合，在此基礎(chǔ)上設(shè)計開發(fā)大數(shù)據(jù)統(tǒng)計分析和數(shù)據(jù)挖掘工具，消除數(shù)據(jù)割裂的局面，充分發(fā)揮大數(shù)據(jù)分析挖掘數(shù)據(jù)的優(yōu)勢，實現(xiàn)基于全方位、全階段、海量數(shù)據(jù)的挖掘分析，最大化提高信息處理和分析效率。

三、大數(shù)據(jù)管理與分析平臺技術(shù)實現(xiàn)

1.技術(shù)架構(gòu)

基于當(dāng)前主流的大數(shù)據(jù)平臺體系架構(gòu)，結(jié)合試驗鑒定數(shù)據(jù)的特點，從數(shù)據(jù)的采集與預(yù)處理、數(shù)據(jù)存儲、數(shù)據(jù)分析、數(shù)據(jù)可視化展示4個方面設(shè)計開發(fā)大數(shù)據(jù)管理與分析平臺，如圖 1所示。

2.技術(shù)實現(xiàn)

一是數(shù)據(jù)采集與預(yù)處理。

數(shù)據(jù)采集與預(yù)處理是大數(shù)據(jù)價值挖掘中的重要一環(huán)，其后的分析挖掘都建立在數(shù)據(jù)采集與預(yù)處理的基礎(chǔ)上。試驗鑒定數(shù)據(jù)來源渠道廣、數(shù)據(jù)類型多，數(shù)據(jù)量大導(dǎo)致存在大量無用、不規(guī)范的雜質(zhì)數(shù)據(jù)，需要對這部分?jǐn)?shù)據(jù)進(jìn)行預(yù)處理，其采集與預(yù)處理過程如圖2所示。根據(jù)數(shù)據(jù)存在形式不同，采用不同的方式進(jìn)行數(shù)據(jù)采集與預(yù)處理，一部分是已經(jīng)按照標(biāo)準(zhǔn)規(guī)范要求填報、無需清洗的數(shù)據(jù)，這部分?jǐn)?shù)據(jù)如果沒有存在于任何信息系統(tǒng)或數(shù)據(jù)庫中，則需要建立新的數(shù)據(jù)庫，通過傳統(tǒng)的方式進(jìn)行數(shù)據(jù)的增、刪、改、查及入庫，或可以從已有的數(shù)據(jù)庫中批量導(dǎo)入入庫；另一部分是存在于分布的、異構(gòu)數(shù)據(jù)源中的不同種類和結(jié)構(gòu)的數(shù)據(jù)，這部分?jǐn)?shù)據(jù)根據(jù)離線和實時處理的需要，分別將數(shù)據(jù)送至批處理平臺Hadoop和流處理平臺Storm，通過ETL工具進(jìn)行數(shù)據(jù)抽取和集成，從中提取關(guān)聯(lián)規(guī)則和實體，并對數(shù)據(jù)進(jìn)行預(yù)處理，包括數(shù)據(jù)的解析、去重、篩選、清洗、合并、分類、轉(zhuǎn)換、增強(qiáng)等，以保證數(shù)據(jù)的質(zhì)量及可信性，提高數(shù)據(jù)分析的準(zhǔn)確性。這2個部分?jǐn)?shù)據(jù)入庫后需要進(jìn)行關(guān)聯(lián)適配、分類聚類融合，并采用統(tǒng)一定義的結(jié)構(gòu)進(jìn)行數(shù)據(jù)存儲。

二是數(shù)據(jù)存儲。

大數(shù)據(jù)管理與分析平臺的另一個重要環(huán)節(jié)是數(shù)據(jù)存儲，存儲系統(tǒng)的優(yōu)劣直接決定了大數(shù)據(jù)平臺的分析效率和可擴(kuò)展性。傳統(tǒng)的直接采用關(guān)系型的分布式數(shù)據(jù)庫已不能適應(yīng)大數(shù)據(jù)時代數(shù)據(jù)存儲的需要，從軟件和硬件2個方面考慮試驗鑒定數(shù)據(jù)存儲，其過程如圖3所示。硬件上，需要考慮大數(shù)據(jù)量的存儲空間，為了保證大數(shù)據(jù)平臺的可擴(kuò)展性，考慮NAS+SAN的集群方式。軟件上，根據(jù)實時數(shù)據(jù)和離線數(shù)據(jù)的不同對存儲方式區(qū)別對待。實時數(shù)據(jù)需要流處理平臺實時處理，數(shù)據(jù)環(huán)境不斷變化，很難掌握整個數(shù)據(jù)的全貌，且對數(shù)據(jù)處理速度和響應(yīng)時間要求極高，因此實時數(shù)據(jù)直接存入內(nèi)存數(shù)據(jù)庫中。標(biāo)準(zhǔn)數(shù)據(jù)和離線數(shù)據(jù)需要針對不同類型的數(shù)據(jù)格式選擇相應(yīng)的數(shù)據(jù)庫存儲，針對結(jié)構(gòu)化的、有邏輯關(guān)系的試驗數(shù)據(jù)采用關(guān)系型數(shù)據(jù)庫ORACLE儲存；針對試驗文件采用分布式文件存儲數(shù)據(jù)庫MongoDB存儲；針對圖形數(shù)據(jù)采用分布式圖數(shù)據(jù)庫Neo4j存儲；對于其他半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，采用HBase數(shù)據(jù)庫存儲。在數(shù)據(jù)庫的基礎(chǔ)上，將各類數(shù)據(jù)通過ETL工具進(jìn)行加工與集成后，按照主題進(jìn)行數(shù)據(jù)存儲，形成性能和狀態(tài)評估、壽命預(yù)測、效能分析等相關(guān)主題數(shù)據(jù)倉庫，為前端數(shù)據(jù)查詢、在線聯(lián)機(jī)分析（OLAP）和深度挖掘等數(shù)據(jù)分析提供條件。在數(shù)據(jù)倉庫的基礎(chǔ)上，還可以根據(jù)試驗鑒定不同部門的特殊需求，按照多維方式從數(shù)據(jù)倉庫某個特定主題中抽取試驗數(shù)據(jù)形成數(shù)據(jù)集市進(jìn)行存儲，采用數(shù)據(jù)集市方式可以在一定程度上緩解訪問數(shù)據(jù)倉庫的瓶頸。

圖2 數(shù)據(jù)采集與預(yù)處理過程

圖3 數(shù)據(jù)存儲過程

三是數(shù)據(jù)分析。

數(shù)據(jù)分析是大數(shù)據(jù)管理與分析平臺建設(shè)的核心，因為大數(shù)據(jù)的價值產(chǎn)生于分析過程。從異構(gòu)數(shù)據(jù)源抽取和集成的數(shù)據(jù)構(gòu)成了數(shù)據(jù)分析的原始數(shù)據(jù)，建立的大數(shù)據(jù)平臺數(shù)據(jù)分析技術(shù)包括數(shù)理統(tǒng)計分析、利用分析工具分析、OLAP在線聯(lián)機(jī)分析和數(shù)據(jù)挖掘4個部分，如圖4所示。

數(shù)理統(tǒng)計分析。數(shù)理統(tǒng)計分析即傳統(tǒng)的數(shù)據(jù)綜合統(tǒng)計分析功能，根據(jù)大數(shù)據(jù)平臺收集的試驗鑒定性能試驗、作戰(zhàn)試驗和在役考核3個階段的數(shù)據(jù)，通過柱狀圖、餅圖、折線圖等形式進(jìn)行航天裝備相關(guān)數(shù)據(jù)的綜合統(tǒng)計。例如，產(chǎn)品可靠性達(dá)標(biāo)率統(tǒng)計、衛(wèi)星生命期內(nèi)失效統(tǒng)計、衛(wèi)星/運載火箭發(fā)生故障次數(shù)統(tǒng)計等，可以為用戶對3個階段的試驗情況提供一個初步的綜合了解。

分析工具。大數(shù)據(jù)管理與分析平臺的建設(shè)將集成多種數(shù)據(jù)分析工具軟件，包括產(chǎn)品可靠性與壽命評估軟件、信號連續(xù)性與可用性評估軟件、成熟度評價軟件、成功數(shù)據(jù)包絡(luò)分析軟件、質(zhì)量問題分析軟件等。產(chǎn)品可靠性與壽命評估軟件可以評估計算單機(jī)產(chǎn)品的可靠性與壽命，在此基礎(chǔ)上預(yù)測系統(tǒng)可靠性與壽命；信號連續(xù)性與可用性評估軟件可以利用單星在軌中斷數(shù)據(jù)及星座構(gòu)型計算空間信號連續(xù)性與可用性；成熟度評價軟件可以依據(jù)航天產(chǎn)品成熟度評價模型，定量計算航天產(chǎn)品的成熟度等級值；成功數(shù)據(jù)包絡(luò)分析軟件可以判定待分析產(chǎn)品數(shù)據(jù)是否落在包絡(luò)范圍內(nèi)，評估產(chǎn)品是否達(dá)到設(shè)計要求；質(zhì)量問題分析軟件可以對試驗鑒定3個階段發(fā)生的質(zhì)量問題進(jìn)行分析，不斷積累各級各類產(chǎn)品的故障模式庫。

圖4 數(shù)據(jù)分析過程

OLAP在線聯(lián)機(jī)分析。OLAP以數(shù)據(jù)倉庫為基礎(chǔ)，從數(shù)據(jù)倉庫中抽取數(shù)據(jù)的一個子集，并經(jīng)過必要的聚集存儲到OLAP存儲器中供前端分析工具讀取，基本多維分析操作有鉆取、切片、切塊和旋轉(zhuǎn)等。OLAP在線聯(lián)機(jī)分析可以從不同維度呈現(xiàn)航天裝備的質(zhì)量和性能指標(biāo)滿足度，分析鑒定試驗指標(biāo)結(jié)果與大綱要求之間的差距，實時跟蹤掌握裝備使用、保障、維修的情況，以及驗證裝備作戰(zhàn)與保障效能等。例如，可以利用切片分析對同一裝備同一指標(biāo)在性能試驗、作戰(zhàn)試驗、在役考核3個階段的試驗值進(jìn)行對比分析，利用切塊分析多型號、多類別產(chǎn)品質(zhì)量問題產(chǎn)生的原因等。

數(shù)據(jù)挖掘。數(shù)據(jù)挖掘通過關(guān)聯(lián)分析、聚類分析從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的實際應(yīng)用數(shù)據(jù)中高度自動化地提取隱含在其中卻非常有價值的信息、模式（規(guī)則）和趨勢，挖掘數(shù)據(jù)之間的潛在關(guān)聯(lián)關(guān)系。利用試驗鑒定過程中海量基礎(chǔ)數(shù)據(jù)，可以從不同維度挖掘大綱要求的設(shè)計值與實際試驗值之間的差距和問題、各項指標(biāo)參數(shù)變化與質(zhì)量態(tài)勢之間的潛在關(guān)聯(lián)關(guān)系、產(chǎn)品壽命與性能退化之間的關(guān)系等，實現(xiàn)裝備整體作戰(zhàn)效能、保障效能的影響指數(shù)預(yù)測、任務(wù)滿足度預(yù)測、質(zhì)量穩(wěn)定性趨勢預(yù)測等。

四是數(shù)據(jù)可視化展示。

雖然數(shù)據(jù)分析是大數(shù)據(jù)管理與平臺建設(shè)的核心部分，但是用戶往往更關(guān)注的是結(jié)果展示。如果分析結(jié)果正確，但是沒有采用適當(dāng)?shù)慕忉尫椒ǎ瑒t所產(chǎn)生的結(jié)果很可能讓用戶難以理解。基于試驗鑒定大數(shù)據(jù)的海量特點，數(shù)據(jù)分析的結(jié)果也是海量的，傳統(tǒng)的以文本形式輸出結(jié)果或直接在電腦終端上顯示結(jié)果的方式基本不可行，需要采用可視化技術(shù)解釋試驗鑒定數(shù)據(jù)分析結(jié)果。大數(shù)據(jù)可視化技術(shù)主要利用大數(shù)據(jù)驅(qū)動可視化技術(shù)、多目標(biāo)決策優(yōu)化技術(shù)，將星地一體化大系統(tǒng)、地面站、一至四級航天裝備產(chǎn)品的試驗鑒定狀況進(jìn)行集中形象化展示，分為結(jié)構(gòu)可視化、功能可視化、關(guān)聯(lián)關(guān)系可視化和發(fā)展趨勢可視化。例如，可以對航天裝備產(chǎn)品的結(jié)構(gòu)圖實現(xiàn)3D多維效果可視化展示；對運載火箭發(fā)動機(jī)進(jìn)行3D建模，清晰展示發(fā)動機(jī)運轉(zhuǎn)狀態(tài)，實現(xiàn)試驗數(shù)據(jù)所對應(yīng)功能的可視化；將數(shù)據(jù)挖掘得到的數(shù)據(jù)間關(guān)聯(lián)關(guān)系通過網(wǎng)絡(luò)圖等形式可視化展示。通過將數(shù)據(jù)可視化展示，可以深入展現(xiàn)數(shù)據(jù)中潛在的或復(fù)雜的模式和關(guān)系，幫助上級機(jī)關(guān)和型號管理部門更好地理解數(shù)據(jù)的內(nèi)涵和關(guān)聯(lián)關(guān)系，實現(xiàn)數(shù)據(jù)價值利用的最大化，同時可以為上級機(jī)關(guān)和型號管理部門等提供決策支持服務(wù)。

試驗數(shù)據(jù)是結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)的融合，數(shù)據(jù)類型的多樣性促使了數(shù)據(jù)存儲方式的變化，采用新的存儲方式要求數(shù)據(jù)在集成過程中進(jìn)行數(shù)據(jù)轉(zhuǎn)換，而這種轉(zhuǎn)換操作是非常復(fù)雜和難以管理的。

四、大數(shù)據(jù)管理與分析平臺建設(shè)面臨的挑戰(zhàn)

試驗鑒定數(shù)據(jù)具有多源異構(gòu)、分布廣泛、動態(tài)增長等特點，正是這些與傳統(tǒng)數(shù)據(jù)管理迥然不同的特點，使得大數(shù)據(jù)管理與分析平臺的建設(shè)面臨著如下挑戰(zhàn)：

1.數(shù)據(jù)集成

試驗數(shù)據(jù)是結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)的融合，數(shù)據(jù)類型的多樣性促使了數(shù)據(jù)存儲方式的變化，采用新的存儲方式要求數(shù)據(jù)在集成過程中進(jìn)行數(shù)據(jù)轉(zhuǎn)換，而這種轉(zhuǎn)換操作是非常復(fù)雜和難以管理的。此外，試驗數(shù)據(jù)量大導(dǎo)致數(shù)據(jù)價值密度低，垃圾、錯誤信息泛濫，數(shù)據(jù)集成過程中需要進(jìn)行數(shù)據(jù)清洗以避免無用數(shù)據(jù)干擾后續(xù)數(shù)據(jù)分析過程。數(shù)據(jù)清洗過程必須謹(jǐn)慎，因為細(xì)微有用的信息混雜在龐大的數(shù)據(jù)量中，若信息清洗的粒度過細(xì)，很容易將有用信息過濾掉，但清洗粒度過粗，又無法達(dá)到真正的清洗效果。

2.實時數(shù)據(jù)處理與分析

目前，實時數(shù)據(jù)處理的模式主要有流處理模式、批處理模式以及兩者的融合，大數(shù)據(jù)管理與分析平臺采用Storm流處理平臺進(jìn)行實時數(shù)據(jù)處理。雖然流處理模式天然適合實時處理系統(tǒng)，但是仍未有一個通用的大數(shù)據(jù)實時處理框架，各種工具實現(xiàn)實時處理的方法不一致，支持的應(yīng)用類型也相對有限，在對試驗數(shù)據(jù)進(jìn)行實時處理分析時往往需要根據(jù)試驗鑒定業(yè)務(wù)的需求，并結(jié)合實際應(yīng)用場景對現(xiàn)有的處理技術(shù)和工具進(jìn)行改造才能滿足需要。

3.數(shù)據(jù)安全

試驗數(shù)據(jù)涉及型號組成、尺寸、重量、功能、性能等具體指標(biāo)信息，關(guān)系到國家軍事安全戰(zhàn)略層面，數(shù)據(jù)安全隱私保護(hù)極為重要。然而，試驗鑒定數(shù)據(jù)增長速度快，數(shù)據(jù)處于不斷動態(tài)更新的狀態(tài)，而一般的數(shù)據(jù)隱私保護(hù)技術(shù)都是基于對靜態(tài)數(shù)據(jù)保護(hù)，這就給隱私保護(hù)帶來了新的挑戰(zhàn)。在復(fù)雜變化的條件下如何實現(xiàn)試驗鑒定數(shù)據(jù)隱私安全的保護(hù)，是大數(shù)據(jù)管理與分析平臺建設(shè)的重點研究方向之一。

試驗鑒定數(shù)據(jù)作為一個新興領(lǐng)域，具有典型的大數(shù)據(jù)特點，在大數(shù)據(jù)技術(shù)飛速發(fā)展的今天，試驗鑒定數(shù)據(jù)管理在面臨機(jī)遇的同時，也同樣需要應(yīng)對數(shù)據(jù)集成、數(shù)據(jù)安全、數(shù)據(jù)實時分析與處理技術(shù)實現(xiàn)等方面的挑戰(zhàn)。我們?nèi)孕枰钊胙芯亢教煅b備試驗鑒定過程及數(shù)據(jù)特征，借鑒大數(shù)據(jù)技術(shù)手段實現(xiàn)航天裝備性能試驗、作戰(zhàn)試驗、在役考核全生命周期海量數(shù)據(jù)采集、存儲、分析、預(yù)測和評估，使航天裝備試驗鑒定工作更加科學(xué)、規(guī)范、高效，不斷提升航天裝備的實戰(zhàn)適用性和高可靠性。