航天器質量信息大數據技術的研究與實現

王建軍,向永清,趙 寧

(北京空間飛行器總體設計部，北京 100094)

航天器質量信息大數據技術的研究與實現

王建軍,向永清,趙 寧

(北京空間飛行器總體設計部，北京 100094)

為實現航天器質量信息的有效管理和深度應用，分析了航天器質量信息的重要意義和數據特征，充分借鑒當前流程的大數據技術成果，基于ORACLE、MongoDB和HBase技術實現數據源層，基于Hadoop、Storm、MySQL、BerkeleyDB和HANA技術實現數據處理層，基于SOA和WebService技術實現數據服務層，基于多種技術方式實現具有多種應用功能的數據應用層，基于WindowsServer2012、CentOS6.5、Unix、PHP和HTML5等技術實現系統軟件開發部署，建立了覆蓋全生命周期全方面的航天器質量信息系統，分析了系統所涉及的多源異構數據的采集、傳輸與存儲，質量信息數據實時處理與分析，實時質量監控、預警和評估等關鍵技術實現途徑，并對應用前景進行了展望，實現航天器研制全周期全過程全方位海量數據采集、處理、分析、預測和評估，使航天器質量管理更加科學、精準、高效。

航天器;質量信息;大數據

0 引言

在當前我國航天器研制實施產品保證工作的形勢下，優化航天器質量信息的管理和應用對產品保證工作具有重要的意義和作用。航天器質量信息是在航天器研制和產品保證工作中形成的反應航天器質量情況的各類文件、記錄等信息的集合，記錄了航天器全部研制過程，反映航天器自身質量和研制全過程管理活動的有效性，是深入開展產品保證工作的重要見證，貫穿于航天器設計、生產、試驗、發射、交付等全生命周期的各個階段，對監測、評價航天器各級產品過程控制和質量與可靠性水平的高低起著不可忽視的作用，是改進產品質量與可靠性、改善產品研制各環節工作質量最直接的原始資料和依據，也是正確認識影響產品質量特性因素變化、產品質量波動的內在聯系和掌握提高產品質量規律的基本依據，可以為各級決策層和研制有關部門的科學決策、有效開展各項產品保證活動提供及時充分必要的參考信息，是增強企業管理素質和競爭能力的重要途徑，為用戶提供使用指導，為后續故障分析和應對提供第一手資料，深度挖掘使用還可以用于壽命預測、提升設計水平和研制經驗[1-2]。在GJB9001B-2009《質量管理體系要求》中要求“組織應確定、收集和分析適當的數據，以證實質量管理體系的適宜性和有效性，并評價在何處可以持續改進質量管理體系的有效性”[3]。

1 航天器質量信息大數據特征

隨著我國航天事業的蓬勃發展，航天器功能越來越強大，研制管理精細化程度日益提高，產品要經歷設計、加工、裝配、調試、測試和試驗等復雜環節，使得航天器質量信息來源多、數據量激增；數據種類多樣，除傳統結構化數據外，有關產品質量的文檔、圖像、視頻等半結構化和非結構化數據不斷涌現；產品數據實時處理、分析、預警、評估等應用要求不斷提高；海量的質量信息中不僅包含著產品性能和可靠性等數據信息，還可以通過數據挖掘為設計改進和領導決策等提供支持，具有極高的應用價值。

傳統的信息管理系統支持的數據類型較少、數據分析處理效率偏低、質量信息的深度挖掘和相關的應用也不豐富。隨著云計算、大數據等信息技術的發展，為航天器質量信息管理注入了新的思想，帶來了新的解決方案。

大數據技術成為近年來的熱點，大數據具有4V特征，即variety(數據類型多樣)、volume(數據量巨大)、velocity(速度要快)、value(價值巨大)[4]。航天器質量信息具有大數據特征，是典型的大數據。可以利用大數據技術研究成果，在企業質量體系指導下，建立覆蓋研制全生命周期的航天器質量信息系統，以航天器產品為核心，將產品研制過程中的相關信息、活動和過程實現集成，對航天器質量信息進行標識、獲取、收集、整理、處理、匯總、統計、分析、反饋、利用、傳遞和保存，并且向各級管理層和有關人員提供有效信息，實現研制階段所有與保證產品質量有關信息的電子化、網絡化、智能化和統一管理[5]。

2 航天器質量信息系統實現

2.1 系統總體架構

基于當前主流大數據平臺的體系架構，結合航天器質量信息來源多、數據量大、結構多樣、數據處理和深度應用要求高等特點，構建的航天器質量信息系統總體架構如圖1所示，系統由數據源層、數據處理層、數據服務層、數據應用層四層組成，每一層的主要功能如下：

1)數據源層。數據源層的主要功能是對航天器質量信息數據的收集和存儲，將研制全周期全過程全方面分散的質量信息數據收集到質量信息數據管理中心，統一存儲，避免數據孤島和數據遺漏。數據源層是質量信息系統的數據存儲中心；

2)數據處理層。存儲在數據源層的質量信息數據庫中的數據是原始的航天器質量數據，這些數據中有些是“臟”數據，并且數據之間的關聯性也沒有完全建立起來，因此這些數據是不能直接被使用的，需要對數據源層的數據進行處理。通過數據處理層對其進行抽取、清洗、轉換、集成、規約等處理，然后統一進入數據倉庫中存儲，以便對外提供完整的、有效的、格式統一的數據服務。數據處理層是質量信息系統的數據處理中心；

3)數據服務層。從數據倉庫中提取航天器質量信息數據，實現各類數據服務，如數據的查詢服務，數據追溯服務，數據分析服務，數據報表服務、表單管理服務、故障診斷服務等；數據服務層是質量信息系統的數據服務中心；

4)數據應用層。數據應用層直接面向航天器研制人員，包括設計師、工藝師、產品保證人員以及各類管理人員，提供各類質量信息應用，滿足對航天器研制全周期全過程全方位質量信息數據的應用需求。數據應用層是質量信息系統的數據應用中心。

圖1 系統總體架構

2.2 系統實現

2.2.1 數據源層

航天器質量信息數據可以分成結構化數據和非結構化數據兩大類，非結構化數據又可以分成文檔數據和圖像視頻等非文檔數據，為了提高存儲和處理效率，分別將結構化數據存儲到ORACLE數據庫中，將文檔存儲到MongoDB數據庫中，將其他非結構化數據存儲到HBase數據庫中。ORACLE是一款非常優秀的關系型數據庫；MongoDB是一款開源的應用廣泛的面向文檔的非結構化數據庫；HBase是一款高可靠、高性能、強伸縮、面向列的分布式數據庫系統，很適合用來存儲半結構化或非結構化的疏散數據[6]。通過時間戳、數據標志等對不同數據庫中的數據進行有效關聯。數據源層如圖2所示。

圖2 數據源層示意圖

為降低多數據庫混合架構中數據訪問的復雜性、提高數據查詢效率，采用了分解集成的方法通過統一接口實現對不同數據庫的訪問，如圖3所示。區分器將上級用戶提交的請求進行區分處理，確定請求所涉及的數據字段等相關內容并提交給分解器；分解器確定請求涉及到的數據庫，將請求分解為面向各數據庫的子請求并提交給相應的抽取器；抽取器將子請求翻譯成符合相應數據庫的數據請求，并把請求結果返回給分解器；分解器將各子請求結果合并為一個結果返回給區分器；最后由區分器對返回結果進行條件篩選，生成符合上級用戶請求的結果并提交。

圖3 數據庫分解集成訪問方法示意圖

2.2.2 數據處理層

數據處理層數據處理流程如圖4所示。使用數據抽取程序從數據源中抽取有利用價值的數據，根據實時和離線處理的需要，分別將數據送至離線處理平臺和實時處理平臺。經過Hadoop離線處理平臺處理后的數據存入數據倉庫集群，為服務層提供數據支持；經過Storm實時處理平臺處理后的數據存入內存數據庫中，為服務層提供實時數據支持。Hadoop是一個開源的離線大數據分析處理平臺,Storm是一個開源的實時流式大數據處理平臺,MySQL是一款優秀的開源關系型數據庫,Berkeley DB和HANA都是內存數據庫平臺，可以顯著提高數據處理速度[7-8]。

圖4 數據處理流程示意

2.2.3 數據服務層

數據服務層采用面向服務的架構(簡寫SOA: Service Oriented Architecture)對外提供服務。SOA是一種成熟的企業級軟件系統架構，它能夠降低系統間的耦合，實現企業內部異構系統之間數據流的無縫集成，一個SOA架構是由一系列的網絡服務(Web Service)構成，網絡服務是由URI(Uniform Resource Identifier)來識別確定的一個軟件應用，其接口的定義、描述和發現都是由開發的XML 標準來實現，并且支持使用XML 消息、通過網絡協議與其他軟件應用進行直接交互。使用Web Service 實現SOA 架構使用的主要核心技術包括XML、SOAP、WSDL以及UDDI，其技術結構圖如圖5所示[9]。

圖5 SOA架構示意圖

第一層是Web Service 的管理部分：主要實現Web Service 的發現、發布與管理功能。服務提供者通過其來發布Web Service，服務使用者通過其來發現Web Service。UDDI為目前較為普遍的Web 服務管理實現手段。

第二層是Web Service 的描述部分：主要實現了對Web Service 的描述，包括服務所在的位置、功能、參數與返回值等，WSDL為目前使用較為廣泛的Web 服務描述方法。

第三層是Web Service 通信消息描述部分：在這里會定義服務之間交換信息所使用的語言和語法?，F在，最流行的是基于XML 語法的簡單對象訪問協議(SOAP)。

最底層是承載交換消息的網絡協議，最常見的如HTTP/HTTPS、SMTP 等。

整個體系結構的安全、管理和服務品質則貫穿了各個層次。

數據服務層示意圖如下圖6所示。數據服務層采用多層思想進行程序設計，利用Web Service技術實現對系統的跨平臺、分布式管理以及信息資源共享，充分考慮各服務組件的重用性降低開發維護代價，將提供公共服務和業務規則的應用以Web Service的方式發布，對外界提供公共接口。各個Web Service在UDDI中心進行注冊，并可以在Web服務器中通過整合形成不同應用服務提交給用戶。Web服務器收到用戶請求后到UDDI中心查找用戶請求所需的Web Service，找到后通過WSDL綁定定位并調用，整個過程基于SOAP交互。

圖6 數據服務層示意圖

2.2.4 數據應用層

數據應用層直接面向各類人員，根據不同的應用需求，實現不同的質量信息應用，主要應用如圖7所示。數據應用層可以根據用戶需要采用不同技術實現：數據展示類應用可以采用Web技術來實現，用戶通過瀏覽器來訪問各種Web應用，簡單易用且便于維護；對數據顯示和處理要求較高的應用(如三維可視化應用等)則可以采用桌面軟件來實現，充分發揮硬件性能；對移動便攜要求較高的應用(如質量信息報警應用等)，則可以通過手機APP或者HTML5來實現，通過移動便攜終端方便快捷接收關鍵質量信息。

圖7 系統應用示意圖

各主要應用功能如下：

1)產品保證規劃。本應用實現產品保證規劃及有關信息管理；

2)設計質量管理。本應用實現設計及有關信息管理，包括各類文檔、圖紙、模型、表格的編制、上傳、審批、發放和回收；

3)過程質量管理。本應用實現生產、制造、裝配、測試和試驗全過程及有關信息管理；

4)質量數據分析。本應用實現研制全周期全過程全方位數據信息管理，從而對產品質量進行分析，具有實時數據分析和歷史數據分析功能，具備圖形、報表等顯示方式；

5)健康評價與故障維護。本應用實現健康評價與故障維護及有關信息管理，并提供異常案例庫、質量預警和質量決策支持；

6)用戶評價。本應用實現用戶評價及有關信息管理，為產品質量及產品保證工作的持續改進提供依據；

7)產品保證綜合管理。本應用實現研制全周期全過程全方位產品保證綜合管理及有關信息管理；

8)基礎信息管理與維護。本應用實現系統運行基礎信息管理與維護；

9)研制知識支持。本應用實現產品研制知識信息管理。

2.2.5 系統軟件部署

為便于軟件的使用、維護和升級，系統采用了經典的B/S架構，系統軟件部署如圖8所示。數據源、數據處理、數據服務等核心業務邏輯運行在后臺的操作系統上，操作系統可以為Windows Server 2012、CentOS 6.5或Unix等。使用PHP語言來實現Web Service接口供應用層調用，Web Service運行在Apache Web服務器上。

圖8 系統軟件部署圖

數據應用層中網站類應用可采用HTML5、CSS、JavaScript、PHP等技術實現，桌面類應用可采用C#、C++、Java等技術實現，移動類應用可采用原生和HTML5混合開發技術。

3 系統實現關鍵技術與展望

3.1 多源異構數據的采集、傳輸與存儲

航天器質量信息數據來源多，來源于研制的各個環節和場地，檢測設備多樣，數據接口包括LXI、VXI、USB、LVDS等多種形式；設計、生產、測試、試驗等過程產生的常規結構數據以及文檔、圖像和視頻數據種類多，結構各不相同。為了方便多源、異構數據的采集、傳輸和解析，針對不同類型的接口和數據結構，制定不同的數據采集和傳輸協議。為了提高存儲效率，采用混合式數據存儲架構，并建立統一的數據訪問接口，以降低數據訪問的復雜性。進一步將質量信息系統、設計開發系統、計劃管理系統、物料管理系統等航天器研制有關的各類信息系統無縫對接，將單機研制階段的信息與AIT階段信息、在軌運行階段信息無縫對接，支持多功能業務管理和跨部門的多點協作。

3.2 質量信息數據實時處理與分析

研制數據清洗工具，制定數據清洗算法和規則，從多個不同業務數據庫抽取采集到的原始航天器質量信息數據，進行數據項名稱的統一、位數的統一、編碼的統一、形式的統一、消除重復數據和錯誤數據等數據清洗凈化提煉，并具備數據質量評估和元數據管理能力。運用統計學、可視化、預測性、神經網絡、機器學習等技術完成數據的特征、區分、關聯、分類、聚類、趨勢、偏離和孤立點分析等數據分析工作[10]。充分利用各類仿真模擬技術，實現各階段各方面研制數據互相迭代機制，優化并行工程，提前發現問題，不斷完善和改進，實現更深入的全周期、全過程、全方位信息一體化管理。

3.3 實時質量監控、預警、評估和改進

建立包含航天器健康狀態模型、判讀規則和異常案例庫的專家知識系統和輔助決策系統，對經過清洗加工的質量信息海量數據進行實時分析、與判讀規則進行實時匹配、計算及評價，實時監視生產過程的動態變化和產品的特性及趨勢，自動對產品質量狀況進行監控，可以適當地采取預防措施并進行質量預防和改進；通過對數據的相關特性和共性進行深度挖掘與分析，自動對產品質量狀況進行評估，及時發現質量預警信息，提出決策性建議，對質量控制能夠更有效的進行指導，便于研制人員及時了解和迅速采取措施，將質量控制關口前移，為建立更精確化和智能化的質量管理過程服務，提高決策的科學性和有效性[11]。對航天器各類數據系統進行集成，將多方知識全面集成為統一的信息管理系統，形成知識管理機制，加強知識系統的構建，可有效實現知識的積累和利用，對后續產品提供設計參考和依據。利用專家推理機等方法實現專家系統并應用于航天器管理，能夠更加及時地監測和診斷航天器故障，完成航天器高效可靠管理，提高航天器管理的自動化程度。

3.4 標準規范和流程的建立

航天器質量信息系統的建設和應用，需要改變觀念，加強信息化理念，在原有產品研制和管理標準規范體系基礎上，建立適用于采用大數據和云計算的質量信息系統的研制生產管理標準、規范和流程，搞好頂層設計，統一外部接口，實現全過程全方位網絡互通、信息融合、資源共享，形成規范有序的運行機制，不但可以提高航天器質量和可靠性、產品保證工作可信度、減輕研制人員負擔，還能夠為航天器質量預警、科學決策、設計改進、故障診斷等提供支持。

4 結論

在當前大數據時代，航天器質量信息作為典型的大數據，遇到了新的挑戰和機遇，同時也具有廣泛的應用前景。我們應當積極研究航天器質量信息特征，借鑒大數據和云計算等當前先進的信息化手段，進一步轉變觀念，完善航天器研制模式，改進航天器質量信息管理和使用機制，實現航天器研制全周期全過程全方位海量數據采集、處理、分析、預測和評估，使航天器質量管理更加科學、精準、高效，并推動我國航天器研制朝信息化、網絡化、智能化和統一化方向深入發展。

[1] 丁 杰．質量與可靠性信息管理系統的設計與實現[J]．電子產品可靠性與環境試驗，2003(6)：48-50．

[2] 譚松林, 施 瓊, 馬 良．質量與可靠性信息管理探析[J]．軍民兩用技術與產品，2002(11)：28-29．

[3] 中國人民解放軍總裝備部．GJB9001B-2009．質量管理體系要求[S]．北京：總裝備部軍標出版發行部，2009．

[4] 馬建光, 姜 ?。髷祿母拍?、特征及其應用[J]．國防科技，2013，34(2)：10-17．

[5] 冷俊杰, 劉 魯, 張 旭．面向航空制造企業的質量信息管理系統及其實施[J]．航空制造技術，2012(17)：26-29．

[6] 陸嘉恒．大數據挑戰與NoSQL數據庫技術[M]，北京：電子工業出版社，2013．

[7] 張 紅, 王曉明, 曹 潔, 等. 基于大數據的智能交通體系架構[J]．蘭州理工大學學報，2015，41(2)：112-115．

[8] 程學旗, 靳小龍, 王元卓，等．大數據系統和分析綜述[J]．軟件學報，2014，25(9):1889-1908．

[9] 李孟潔. 基于SOA和WebService的第四方物流信息平臺構建與實現[D]．蘭州：蘭州交通大學，2014．

[10] 哈邁德. 數據倉庫中的數據清洗技術研究[D]．長沙：中南大學，2013．

[11] 陳光希, 馮 峰．大數據技術在質量信息管理中應用思路初探[J]．信息技術與信息化，2016(7)：97-98．

StudyandImplementationofBigDataTechnologyinSpacecraftQualityInformation

WangJianjun,XiangYongqing,ZhaoNing

(BeijingInstituteofSpacecraftSystemEngineering,Beijing100094,China)

In order to effectively manage and deep use spacecraft quality information, this paper analyses spacecraft quality information significance and characteristics, gives a way to build a system for spacecraft quality information full-life-cycle and omni-directional management based on big data technology. The data source layer is based on ORACLE, MongoDB and HBase. The data processing layer is based on Hadoop, Storm, MySQL, Berkeley DB and HANA. The data service layer is based on SOA and Web Service. The application layer with multiple applications is based on various technologies. The system software is based on Windows Server 2012, CentOS 6.5, Unix, PHP, HTML5, etc. The key technologies such as multi-source heterogeneous data sample, transmission, storage, processing, analysis, real-time quality monitoring, alarming, and estimation is introduced. At last the application futurity of spacecraft quality information system is prospected，the spacecraft quality management will more scientific, precise and effective.

spacecraft; quality information; big data

2016-11-14；

2016-12-01。

王建軍(1982-)，男，河北張家口人，碩士研究生，高級工程師，主要從事航天器研制、項目產品保證管理方向的研究。

1671-4598(2017)04-0200-05DOI：10.16526/j.cnki.11-4762/tp

V57,TP

A