大數據技術綜述與發展展望

趙 鵬，朱祎蘭

(中國運載火箭技術研究院，北京 100076)

0 引言

縱觀整個數字技術的發展歷史，自1980年前后，隨個人計算機開始普及，人類社會經歷了3次信息化浪潮，數字技術從軍事領域走向經濟社會各個方面。存儲設備容量、CPU處理能力、網絡帶寬等基礎設施水平快速迭代升級，引發數據的產生、傳輸、存儲、處理方式不斷躍遷，在數據、算力和算法的共同繁榮之下，以大數據技術為典型代表的新興數字技術體系推動第3次信息化浪潮席卷全球。大數據技術已然成為人類社會發展的底層驅動力量，推動著生產力、生產關系的深刻變革。

作為技術產品高度復雜、生產組織高度復雜、經營管理高度復雜的研發、生產一體化科研單位，中國運載火箭技術研究院擁抱大數據，加快邁向以數據賦能生產、以數據驅動經營的新階段，已成為順應歷史潮流，提升生產經營能力的必然選擇。只有充分掌握大數據的基本特征，理清大數據生態體系各類技術及其適用場景，才能在保障數據安全前提下，打通型號產品研制及經營管控各環節數據壁壘，充分激發數據資產價值。

1 大數據的主要特征

數據量大、速度快、類型多、復雜性高是大數據的主要自然特征。隨著大數據逐步成為驅動數字經濟發展的核心要素，使其與勞動、資本、技術、土地一起構成經濟新范式，重視和利用數據要素價值已成為社會各界的廣泛共識。

1.1 體量巨大

對于當前各領域的數據集合，TB、PB的數據量級單位已不能滿足需求，目前已開始使用EB和ZB進行衡量。

1.2 速度快

一般指處理速度與產生速度。大數據往往和人工智能、物聯網等技術結合應用，對數據的實時響應要求高。大數據的處理效率又稱為“1秒定律”，即可以在秒級時間內獲取分析結果。

1.3 維度多

大數據具有多個維度。以人為例，具有性別、年齡、身高、體重、身份證號碼、學歷、家庭住址等多個屬性。數據的多維度、多層次屬性應用到社會生產的各個領域，可以加速流程再造,提高生產效率,加速供需信息匹配,提高協同效率，從而創造更大的價值。

1.4 復雜性高

大數據復雜性高。由于記錄工具不同和應用場景不同，一方面，數據結構不盡相同，呈現出文字、圖像、音頻、視頻等不同的形式；另一方面，在內容邏輯層面也出現看似雜亂無章，實際有章可循的現象。

1.5 依附屬性強

與傳統有形資源不同，大數據具有虛擬性、無形性，無法單獨存在，往往需要依賴硬件設備存儲，依賴軟件平臺讀取、操作。只有將數據存儲在相應介質并通過設備顯示，數據才能以更直觀的方式被感知、度量、傳輸、分析與應用，數據質量的好壞、價值的高低才可能被評估。數據的虛擬性、無形性決定了其管理與數據平臺管理不可分割，數據的價值與平臺算力、算法模型密切相關，倒逼現行資產管理辦法升級完善。

1.6 關鍵生產要素

在農業時代，土地是關鍵生產要素；工業時代以勞動、資本、技術作為關鍵生產要素；數字時代，隨著國家將數據列為第5大生產要素，大數據將參與到市場的投入、管理、產出和分配的各個階段。

2 大數據技術體系全景

隨著大數據技術體系的不斷成熟，內部技術構成不斷分化，從面向海量數據的存儲、處理、分析等需求的核心技術，延展到數據管理、流通、安全等配套技術，逐漸形成了層次清晰、分工完備的大數據技術體系，如圖 1所示。

1)數據基礎技術應對多種數據特征產生。針對大數據數據量大、數據源異構多樣、數據時效性高等特征催生了高效完成海量異構數據存儲與計算的技術需求。在這種需求下，傳統集中式計算架構出現難以逾越的瓶頸，傳統關系型數據庫單機的存儲及計算性能有限，出現了分布式存儲及分布式計算框架。面向海量結構化及非結構化數據批處理，出現了基于Hadoop、Hive和Spark生態體系的分布式批處理計算框架；面向時效性數據進行實時計算反饋的需求，出現了Storm、Flink及Spark Streaming等分布式流處理計算框架。

2)數據管理技術提升數據質量與可用性。隨相對基本與急迫的數據存儲、計算需求已經在一定程度上得到滿足后，如何進行數據管理與沉淀成為了一個主要的需求。由于企業內部大量數據產生鏈條長、復雜度高，但普遍缺乏有效管理，常常存在數據獲取難、準確性低、實時性差、標準混亂等問題，導致數據后續的使用存在眾多障礙。在這種情況下，用于數據整合的數據集成技術以及用于實現一系列數據資產管理功能的數據管理技術隨之出現。

圖1 大數據技術體系及典型開源軟件[6]Fig.1 Big data technology system and typical open source software[6]

3)數據分析應用技術挖掘數據價值。為開展數據分析、挖掘數據價值，包括以BI工具為代表的統計分析與可視化展現技術，以及以傳統機器學習、基于深度神經網絡的深度學習為基礎的挖掘分析建模技術紛紛涌現，支撐數據價值的挖掘并進一步將分析結果與模型應用于實際業務場景中。

4)數據安全流通技術助力安全合規的數據使用及共享。隨著數據價值得到挖掘，數據安全問題也愈發凸顯，數據泄露、數據丟失、數據濫用等安全事件層出不窮，如何應對大數據時代下的數據安全威脅，在安全合規的前提下使用及共享數據成為了備受矚目的問題。訪問控制、身份識別、數據加密、數據脫敏、隱私計算等數據保護技術正積極向更加適應大數據場景的方向不斷發展。

3 面向兩類典型數據處理場景的技術架構

大數據處理技術可以分為批處理和流處理兩大類。

數據批處理通常處理+1數據，用來支撐以“看”為主的數據應用。批處理非常適合對分布式數據倉庫中的歷史數據進行分析和計算，例如在計算總數和平均數時，必須將數據集作為一個整體加以處理，而不能將其視作多條記錄的集合。這些操作要求在計算進行過程中數據維持自己的狀態。數據處理耗時與數據量呈正相關，因此批處理不適合對處理時間要求較高的場合。數據批處理平臺通常和Hadoop、Hive、數據倉庫、ETL、維度建模、數據公共層等聯系在一起，其典型技術架構如圖 2所示。

數據流式處理平臺的數據即時處理能力可以達到秒級甚至毫秒級延遲，可以支撐實時化、在線化的數據分析與展現類應用。流處理系統可以處理幾乎無限量的數據，但同一時間只能處理一條(真正的流處理)或很少量(微批處理)數據，不同記錄間只維持最少量的狀態。流式處理非常適合某些類型的工作負載，有近實時處理需求的任務。如分析服務器或應用程序錯誤日志，以及其他基于時間的衡量指標等。數據流式處理平臺的支撐技術主要包含4個方面：實時數據采集(如Flume)、消息中間件(如Kafka)、流計算框架(如Storm、Spark、Flink和Beam等)以及實時數據存儲(如列族存儲的HBase)。目前主流的實時數據平臺也都基于這4個方面相關的技術搭建，其典型技術架構如圖 3所示。

4 大數據技術在中國航天的應用展望

通過在中國航天應用大數據技術與大數據治理理念，形成“全局數據互聯，全程業務感知，全域決策智能”的大數據匯聚與分析能力?；诮y一數據管理綱領及數據治理工作體系，制定航天型號研制及經營管控各環節的數據標準，保證全局數據模型清晰可控；建成航天特色數據資產全景圖，形成數據資產交換、共享、流通模式，構建大數據協同創新體系；打造航天特色全域數據湖，實現全域數據入湖且入湖數據清潔、透明、安全，有效突破航天型號研制及經營管控各環節數據壁壘；依托航天特色全域數據湖，實時感知、全局分析航天型號研制過程及企業經營狀況，實現數據支撐決策、數據優化流程;實現全域數據均能按標準實現標準化、規范化采存管理，完成全域數據治理，數據能為科研生產、經營管控工作提供支撐。

為深入剖析大數據技術在中國航天數據治理中的潛在應用場景和價值，本文選取建模仿真這一高度依賴模型，同時又產生大量數據的領域作為典型代表進行分析。某航天研究所積累了同類型相似型號的大量物理真實實測試驗條件與實測性能數據，通過應用大數據分析技術，一方面對運載器飛行中的遙測參數值、變化趨勢以及關聯參數間表征的狀態是否一致等展開分析，另一方面建立基于真實實測數據的產品測試性能預測模型，在理論仿真與物理試驗測試之間，擴展一條新的性能預測方法，既提高性能測試試驗效率，又能提高仿真模擬計算的預測精度?；谛吞柈a品試驗時序大數據，計算各項試驗參數和飛行器狀態參數之間的關系，完成對不同機器學習算法模型預測效果的分析，針對每類試驗參數優選出預測精確最高的擬合訓練模型，以支撐在不同試驗場景中對飛行器多狀態參數綜合預測評估。

圖2 面向數據批處理的技術架構設計[10]Fig.2 Technical architecture design for data batch processing[10]

圖3 面向數據流式處理的技術架構設計Fig.3 Technical architecture design for data stream processing

在這一案例中，通過應用大數據分析技術，基于試驗時序大數據，實現部件技術狀態與遙測參數之間的聯系以及遙測參數之間相關性構建，實現基于虛擬試驗的產品狀態預測評估，完善了試驗評估的技術手段，提升仿真準確率，協助縮減重復性的高耗資物理試驗，節約成本。

5 結論

在中國航天多年的復雜型號產品研制過程中，沉淀了大量數據資產，同時，隨著產品數字化水平、數字化生產水平的大幅攀升，大量鮮活研制數據源源不斷產生，應用大數據技術激活數據資產、發掘數據價值的條件已然成熟。本文全面梳理了大數據的基本特征、大數據技術體系，并面向批、流兩類數據處理場景歸納了典型技術架構，結合建模仿真場景，展望了大數據技術在計算及建模仿真領域的應用前景，為數據治理工作打下堅實基礎。