面向裝備綜合保障設計的大數據系統研究

， ，

(江南機電設計研究所， 貴州 貴陽 550009)

0 引 言

根據國內裝備綜合保障設計現狀，以“大數據”為主要技術手段，系統開展面向“精確保障力”的裝備綜合保障設計研究。通過大數據存儲、分析與挖掘等一系列大數據技術，有效利用裝備全壽命周期內產生的大量綜合保障數據，對裝備使用、維修的規律和特性進行數據挖掘，為綜合保障設計過程提供決策支持，提高設計效率，創新裝備“精確保障力”生成手段，全面提升裝備智能化、快響應、主動式綜合保障設計能力。

在整合裝備全壽命周期產生的大量綜合保障數據資源基礎上，面向裝備精確保障能力構建需求，突破大數據存儲、分析與挖掘等技術瓶頸，解決傳統綜合保障設計過程中設計能力不足、設計手段粗放、資源配備與裝備實戰化需求差距巨大等一系列問題。在保障模式上實現從粗放型、經驗型向集約型、精準型的跨越式轉變。在設計手段上，進行設計能力的全面提升，使得裝備在交付部隊后具備狀態感知和自主維修決策能力，能夠根據戰斗任務需求提前實施精確的維修保障工作。動態優化配置保障資源，減少裝備停機和脫離戰斗時間，確保裝備滿足信息化、體系化實戰保障需求，對有效打贏未來攻防對抗戰爭具有重大價值和現實意義。

1 裝備綜合保障設計現狀

裝備的傳統綜合保障設計以任務成功和故障修復作為出發點，不考慮裝備在具體使用環境中的個體差異，提供的是一種以“事前計劃性維護”和“事后被動維修”為特點的粗放式靜態保障能力，缺乏保障資源的靈活重組能力以及保障任務的協調優化能力。

從綜合保障設計總體來看，裝備在需求論證、保障性分析、保障資源規劃、保障方案生成等綜合保障關鍵設計環節中仍嚴重依賴設計師個人經驗，主觀性和隨意性較大；裝備在全壽命周期內形成的大量保障數據、已有型號經驗和教訓等在設計過程中沒有得到有效利用，“老問題”重復出現的情況時有發生，許多問題只能遺留到裝備定型甚至使用階段，逐步發現逐步解決，對裝備戰斗力的形成造成了十分不利的影響，設計改進的代價巨大；保障方案決策及設計優化能力嚴重不足，保障資源規模龐大且無法實現精確配置，“用而不備、備而不用”的問題突出。

從綜合保障設計方法來看，采用的是面向數據統計和邏輯決策分析的設計方法。由于裝備實際問題的復雜性、不確定性，導致裝備保障模型難以準確構建，基于模型的設計(MBD)手段一直沒有建立。主要模型參數如故障模式、元器件失效率、故障模式危害度、平均故障間隔時間、維修率等數據主要來源于相關標準及手冊的典型產品在典型環境的標稱值，由于具體裝備的實際狀態以及多樣任務、動態變化(如全天候、多地域)的外界環境數據未充分利用，導致模型參數難以準確確定，綜合保障設計結果難以適應復雜動態環境條件下的裝備精確保障需求。

從綜合保障設計效果來看，相關部隊只能按照規定的計劃性保障任務機械地開展保障工作，或者在裝備故障后進行被動式“救火”，難以利用戰場態勢、作戰任務、裝備狀態數據等進行動態決策和調整，使得整體保障效能不高，裝備任務成功性和戰備完好性水平與預期保障設計目的存在較大差異；往往以保障時間和保障資源的消耗為代價來換取裝備整體戰備完好率和任務成功率，使得已列裝裝備中出現“保障不足”和“保障過度”并存、保障效果達不到預期設計的情況，無法滿足體系化、信息化新形勢下帶來的精確保障需求。

2 裝備綜合保障大數據系統總體構建方案

裝備精確保障設計需要新的技術方法和創新手段。從精確保障技術內涵來看，數據利用、決策支持是實現精確保障設計與傳統保障設計最大的區別。引入“大數據”技術，以大數據分析作為設計決策支持手段，實現保障任務和資源精細化設計，成為解決裝備精確保障設計能力的可行手段。

從數據產生及形式來看，裝備從論證、設計、研制、生產、交付、使用、維護維修直至報廢的整個過程中，會產生大量的指標、設計、仿真、測試、試驗以及使用、維修等數據，包括文本、數據、文檔記錄、模型、程序、圖表、圖片、視頻等多種類型的結構化或非結構化數據。因此，裝備的綜合保障數據具有裝備復雜、交付量大、服役周期長、監測數據多、繼承關聯性強、多源異構等鮮明的大數據特點。一般而言，這些裝備數據量大且價值密度較低，但是，在大批裝備經過長期監測的情況下，這些數據中隱含了設計缺陷、使用規律、故障規律、消耗規律、優化規律等一系列對于精確保障設計至關重要的信息，然而用常規數據分析方法去捕捉、管理和處理這些數據卻難以獲取有價值的信息。因此，將“大數據”引入傳統綜合保障設計，利用大數據挖掘方法挖掘單因素的趨勢信息、多因素潛在的關聯關系，通過規律分析獲取綜合保障設計所需的各種參數，為綜合保障設計提供決策支持，以解決傳統綜合保障設計模型參數設計不準確的問題。

基于“大數據”的綜合保障設計能力主要體現在：面向裝備全壽命周期，通過綜合保障統一數據建模和大數據系統的構建，實現綜合保障數據統一收集、處理、分析和挖掘利用，并逐步向知識挖掘發展，為綜合保障設計過程提供基于大數據的設計決策支持，提高設計效率。

綜上所述，以“大數據技術”作為設計支撐手段，有效利用裝備全壽命周期內產生的大量綜合保障數據，對使用規律、維修規律、故障規律、消耗規律等進行挖掘，可以大力提升防空裝備綜合保障設計水平。基于大數據的綜合保障設計過程如圖1所示。

根據裝備在論證、方案、研制各階段綜合保障設計中需要開展的大數據分析挖掘需求，構建集綜合保障大數據存儲、處理、挖掘為一體的大數據系統；對綜合保障異構大數據進行變換及歸約處理，完成綜合保障數據入庫前的清洗；應用綜合保障集中-分布式數據存儲方法，實現綜合保障多源異構大數據的存儲；利用面向裝備綜合保障設計的大數據挖掘分析算法，支撐維修保障任務設計及保障資源設計。大數據系統總體構建方案[1-2]見圖2。

圖1 基于大數據的綜合保障設計過程Fig.1 Integrated support design based on big data

圖2 綜合保障大數據系統總體構建方案Fig.2 Overall construction scheme for integrated support big data system

3 裝備綜合保障大數據系統關鍵技術

3.1 裝備綜合保障大數據系統構建技術

綜合保障大數據系統總體架構包括基礎設施層硬件架構和軟件系統架構兩部分。

基礎設施層包括承載數據存儲、數據分析和交換的高可靠服務器及網絡設備[3]。針對裝備綜合保障設計的全壽命周期綜合保障大數據應用需求，充分調研其他行業和綜合保障已有大數據系統基礎設施架構的現狀，設計一套完整的基礎設施的設計方案，包括網絡拓撲、存儲選型、服務器選型等，用于支持綜合保障大數據系統基礎設施的采購與實施。

對于軟件系統架構層，Hadoop平臺目前是大數據平臺系統軟件的事實標準，可以滿足綜合保障大數據系統研發與驗證，因此，綜合保障大數據系統軟件架構采用開源Apache Hadoop架構為基礎來構建，如圖3所示。由圖3可見，在大數據集成層進行外部數據的映射轉換加載，在大數據統一存儲管理層中對各種綜合保障類型數據存儲系統進行統一管理，并提供統一訪問服務；大數據挖掘分析層負責綜合保障數據挖掘模型的設計及執行，包括算法庫的開發。

圖3 綜合保障大數據系統架構Fig.3 Integrated support big data system configuration

3.2 全壽命周期綜合保障大數據集成與存儲技術

在數據集成之前，首先明確全壽命周期裝備數據的來源、類型，再針對不同來源、類型的數據開展不同數據的集成方法研究。從來源看，全壽命周期綜合保障數據主要包括：來自總體、分系統、設備等設計單位的綜合保障指標論證數據，保障性分析數據，裝備測試數據，可靠性實驗室試驗數據，外場試驗數據等；裝備在使用維修、保障過程中產生的在線和離線數據。這些數據可分為：①可靠性相關數據,失效率、故障模式、故障癥狀；②工況數據,溫度、濕度、應力、載荷；③履歷數據,所有正常工作、故障、測試、維修、大修、升級、延壽等數據；④狀態數據,裝備自身傳感器、BIT檢測電路的所有測試、狀態感知以及工作過程中產生的其他性能相關的數據。從類型看，有結構化的數據、非結構化的數據、半結構化的數據等。

1) 基于適配器的綜合保障大數據映射及處理技術

根據綜合保障大數據特點，規定統一的數據格式，形成統一的數據模型。采用適配器技術來實現綜合保障異構數據與統一數據模型的映射，即針對不同類型數據格式，開發一個專門的適配器，來實現源數據和統一數據模型的模式映射和實例轉換工作。

因為異構數據源眾多，人工來進行模式映射要花費大量時間，因此,采用基于語義和機器學習相結合的方法，實現模式的預先自動化匹配，然后由人工快速確認，最后自動化形成映射規則，并生成對應的適配器。適配器工具可滿足大量異構數據源向統一數據模型轉換的任務需求。通過采用適配器的方式實現對大量不同類型的數據資源訪問。適配器把一個類的接口轉換成期望的另一類接口，使得不同類型數據之間不因為接口不兼容而不能協同工作，使用適配器技術可大大節省用于開發接口與修改接口的時間。在數據交換中，通過為不同類型數據源編寫適配器，就可以在交換過程中使用統一接口來訪問各種數據源。

為進行保障數據的分析與挖掘，需要在數據映射轉換過程中進行數據清理，因此,在每個適配器后，都將進行變換、歸約的處理。以綜合保障統一數據建模為基礎，首先對裝備全壽命周期的多源異構綜合保障數據進行變換、歸約處理，清洗裝備全壽命周期過程中產生的“臟數據”，將“臟數據”轉化為滿足數據分析要求的數據。采用分箱、聚類和回歸方式，處理數據中的噪聲數據；采用填充空缺值的方法，處理不完全數據；采用WFD技術(完全文件檢測技術)方法，處理重復數據。

2) 綜合保障大數據集中-分布式存儲管理技術

對裝備全壽命周期的多源異構數據，采用集中-分布式存儲的方式進行存儲，將海量的數據分散存儲在多臺獨立的設備中，并采用可擴展的系統結構。

在存儲中心建立一個總的存儲節點，建立多個機器集群。大數據存儲系統基于開源Hadoop平臺構建，針對文件、結構化數據、鍵值對數據的存儲需求，對HDFS、Hive、HBase等系統進行優化，并設計統一訪問接口，支持上層系統通過RESTful API接口方便地進行數據的管理和獲取。在分存儲節點，主要是在各分系統針對一些不適合匯聚的數據提供本地存儲管理，針對部分大數據分析需求，可以及時按需提供數據，進行數據統一挖掘分析。多源異構綜合保障數據集中-分布式存儲管理框架見圖4。

圖4 綜合保障大數據集中-分布式存儲管理框架Fig.4 Integrated support big data concentration-distribution storage management framework

3.3 面向裝備綜合保障設計的大數據挖掘技術

針對裝備綜合保障大數據系統應用需求，對大數據挖掘方法進行分析，總結每種挖掘方法的適用性和特點；根據論證階段、方案階段、工程研制階段綜合保障大數據系統的各類應用需求，研究綜合保障大數據挖掘分析方法。

選擇挖掘方法時應根據數據的來源和類型進行選擇，針對綜合保障領域常見算法，開發高效的算法庫，支持分析應用開發。

常用的數據挖掘方法可分為分類、回歸分析、聚類、關聯分析、異常檢測5種。分類[4-5]、回歸分析通常適用于預測建模任務；聚類、關聯分析、異常檢測的目的是導出概括數據中潛在聯系的模式。

分類用于預測離散的目標變量，回歸分析用于預測連續的目標變量，因此，在裝備綜合保障設計過程中，對于備件、人力人員的規劃，可使用分類、回歸分析的挖掘方法。典型的分類挖掘模型有分類回歸樹、樸素貝葉斯、決策樹、神經網絡、支持向量機等；典型的回歸挖掘模型有神經網絡回歸、廣義線性回歸、支持向量機回歸等[6-7]。

聚類旨在發現緊密相關的觀測值簇，使得屬于不同簇的觀測值可比，屬于同一簇的觀測值相互之間盡可能類似[8]。在裝備綜合保障設計過程中，對于裝備、分系統、設備等綜合保障指標的確定，使用聚類的方法把以往型號的數據進行聚類，供設計人員查詢參考。典型的聚類模型有K均值聚類、層次聚類、期望最大化EM等。

關聯分析用以發現描述數據中強關聯特征的模式。在裝備綜合保障設計過程中，在確定指標時，除了通過聚類分析把指標展現給設計人員，同時還可以應用相關分析的方法，把與確定指標需要考慮的相關因素呈現給設計人員，為指標的確定提供決策支持。典型的關聯分析模型有Apriori算法、FP增長算法等。

異常檢測的目的是發現真正的異常點，從而避免錯誤地將正常的對象標注為異常點。在裝備綜合保障設計過程中進行故障預測時，先使用異常檢測方法發現真正的異常點，進而進行準確的故障預測。典型的異常檢測模型有基于臨近度的模型和基于密度的模型等。經歸納總結可得常用數據挖掘方法分類如圖5所示。

圖5 綜合保障大數據挖掘方法Fig.5 Integrated support big data mining

以綜合保障設計中備件的確定為例，根據裝備綜合保障大數據系統應用需求分類，選擇分類預測方法，采用神經網絡模型算法進行預測。從綜合保障數據中進行特征值提取，即與類似備件有關的故障模式、維修策略、滿足率、通用性、重要性、備件在存儲的過程中有無損耗及備件的供貨來源情況等特征，采用五折交叉檢驗的方法進行模型評估，給出合理的預測結果，為備件的規劃提供合理的、完備的決策信息。

在現有數據挖掘方法無法滿足綜合保障設計需求時，針對具體的裝備綜合保障設計需求，需要研究專門的挖掘算法。進行綜合保障大數據挖掘，需進行綜合保障關鍵設計因素及數據關聯分析，找出影響綜合保障設計的關鍵因素及與這些因素相關的數據，進行設計與使用過程中離線批量數據的處理等。針對綜合保障常用模型和算法，開發高效算法庫，為裝備的綜合保障設計提供決策支持。

4 結束語

本文首先針對裝備精確保障需求，突破大數據存儲、分析與挖掘等技術瓶頸，規范數據格式與模型，充分利用數據挖掘知識并逐步沉淀，找出裝備使用與維修相關規律，為綜合保障設計過程提供決策支持。然后，對綜合保障大數據系統架構、全壽命周期綜合保障大數據集成與存儲技術、綜合保障大數據挖掘技術進行分析，提出一套覆蓋裝備綜合保障大數據集成與存儲、大數據挖掘以及網絡基礎支撐環境的總體框架方案，以期指導綜合保障大數據系統的構建。