數字化物流管控平臺的設計及其在航空制造中的應用

方 旭，顧 毅，楊志軍

(無錫雪浪數制科技有限公司，浙江 無錫 214121)

1 概述

航空工業是體現國家綜合國力和國防水平的戰略性高科技產業，具有技術密集、高度綜合的特點，航空工業的發展對國家的基礎工業體系和科學技術發展具有巨大的產業輻射效應[1]。航空企業生產類型為典型的離散制造過程，需要對生產線按照工藝對象進行專業化布置，使物流管理成為連接產品研制供應鏈和生產制造各部門的關鍵環節。據統計，產品制造過程中，90%左右的時間用在存儲、等待加工和運輸等待等物流時間，物流費用占總本的50%[2]。因此，建立科學的物流管理體系成為降低生產成本、縮短研制周期、實現航空工業快速發展的關鍵問題。

國內航空制造企業物流信息化還處于初級階段，企業內部不同設備、不同工位、不同車間存在數據孤島的現象。信息化水平低會導致信息無法及時傳遞，信息與物流不對等，造成物料等待、倉庫積壓等問題，嚴重制約物流效率的提升。由于業務流程未完全實現信息化貫通，不利于各系統各部門之間的數據傳遞和交換，從而無法保證數據傳輸的完整性、準確性和及時性[3]。通過 SAP、ERP、PDM、OA、CAPP 等眾多系統的集成，飛機的研發、制造、工藝、物流、質量等方面信息化技術得到了長足發展，但各種信息化軟件的輸入輸出數據格式屬性不一致，軟件之間的鏈路尚未打通，信息孤島尚未被消除，對質量信息化建設極為不利[4]。

目前對智能化的物流系統研究更多關注體系的建立[5]及系統性問題[6]；在具體的軟件實施層面，較多是基于現有國外商業軟件的應用性研究[7-8]。然而在航空發動機的研發設計、加工制造工藝等領域已進行了大量的數據系統開發[9]、數據可視化[10]、數據管理[11]等相關研究，為飛機制造的國產化提供了極大的支持。為了實現全流程的信息化與智能化，飛機本體復雜系統的數字化制造變得越來越緊迫。

面對民用航空制造的復雜物流系統，應考慮大飛機制造系統多智能體、多物料、多物流設備等場景需求，提出結合多源和多類型數據接入、數據開發、數據治理和數據應用的航空制造物流系統數據資產管理平臺(以下簡稱管控平臺)。通過對民用航空制造物流系統人、機、料數據的全面采集、清洗、處理、存儲、打通，為民用航空制造物流場景提供大數據與人工智能技術支持，為民用飛機制造系統的復雜物流智能綜合協同管控提供技術支撐，為軟件的國產化及自主可控提供借鑒。

2 管控平臺的組成及關鍵子系統

2.1 多源異構數據的采集與集成接口子系統

民機制造系統的數據主要分為實時數據和離線數據。管控平臺的一大特色在于可實現多源異構數據的接入。在實際的飛機制造過程中，存在實時加工過程數據、非實時結構化數據、過程歷史數據等[12]。為滿足高實時性的需求，實時加工數據一般須通過實時內存數據庫進行管理，結構化數據可采用關系型數據庫進行存儲管理。過程歷史數據具有數據量大、數據項不確定的特點，不適合用關系數據庫處理。因此，多源異構數據在實時性、數據量、存取速度和數據利用時效性等方面都存在差異。對多源異構數據的處理需結合多種數據存儲與管理方法，滿足多元化數據管理需求。

2.1.1 離線非實時數據的采集

為了實現離線數據的接入，管控平臺集成的離線同步方案使用開源框架DataX，并采用定時同步機制獲取數據。DataX框架支持包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS、SAPHANA等各種異構數據源之間高效數據同步。如圖1所示，DataX將復雜的網狀結構同步鏈路轉化為星型數據鏈路，DataX作為中間傳輸載體負責各種數據源的連接。當需要接入新的數據源時，只需要將此數據源對接到DataX，便能實現與已有的數據源的無縫同步。

圖1 數據同步鏈路方法的對比

具體而言，DataX采用Framework+plugin架構構建。如圖2所示，DataX在實現數據同步的過程中，將數據源的讀取和寫入接口抽象為Reader/Writer模塊。其中Reader為數據采集模塊，負責采集來自于數據源的數據，并將數據發送給Framework。Writer為數據寫入模塊，負責不斷向Framework提取數據，并將數據寫入到目的端。Framework連接Reader和Writer模塊，形成兩者之間的數據傳輸通道，用于處理數據的緩沖、流控、并發及轉換等核心技術問題。

通過基于DataX框架的離線數據采集方案包括并發、記錄流、字節流三種流控模式，可任意控制作業的速度，通過一定的控制算法可達到最佳的同步速度。該方案還具有較強的同步性能。具體而言，每一種讀插件都有一種或多種切分策略，從而將作業合理切分成多個Task并行執行，單機多線程執行模型可以讓DataX框架的執行速度隨并發成線性增長。除此之外，基于DataX框架還具有如下優點：①可靠的數據質量監控，能夠實現讓數據完整無損的由輸入端傳輸到目的端。②豐富的數據轉換功能。③精準的速度控制。④健壯的容錯機制，可以很方便地實現多層次、局部或者全局的測試及重試。

2.1.2 實時數據的采集

實時數據可以通過特殊設計的API實時獲取。如圖2所示，少量實時數據可直接通過Websocket同步獲取。對于現場已部署的第三方支持實時數據交換的應用程序，如果數據量適當且對響應性要求較高，推薦采用Websocket方案。Websocket方案尤其適用于噴碼系統、AGV實時定位、圖片或視頻傳輸等應用場合。

圖2 基于消息隊列的數據湖同步

Websocket連接建立后，后續數據會以幀序列的形式雙向傳輸。在客戶端斷開Webscket連接或Server端中斷連接前，不需要客戶端和服務端重新發起連接請求。在較多設備進行并發交互、負載流量大的情況下，采用WebSocket連接可極大地節省網絡帶寬資源消耗。客戶端發送和接受消息是在同一個持久連接上發起，實時性優勢明顯。各種語言都有成熟且配套的針對WebSocket連接的解決方案，利于低代碼化的實現。

對于大批量的實時數據，可通過消息隊列同步實現。數據湖中的實時數據和智能物流管控通過一個消息服務器進行數據交換。數據湖發送消息到消息服務器，如果智能物流管控訂閱數據湖中發送過來的消息，消息服務器會將消息推送給智能物流管控，雙方約定消息格式即可。

基于消息隊列的實時數據對接方法，不論用什么語言系統開發，均采用統一的消息格式，可更方便地進行解耦。消息隊列也會根據不同的需要將數據進行持久化，保證數據在投遞的過程中不會丟失，具有更高的可靠性。來自一個子模塊的數據可以準確地送達到另一個模塊，等確定被使用或消費時，另一子模塊會進行回復，通過這樣的“握手”及應答操作，極大提高了系統的可靠性。在數據的傳輸中，由于JMS定義了規范，有很多成熟的開源消息控件可供選擇。基于消息隊列的實時數據對接的交互方案，標準及接口均較為通用，來自其他軟件的相應接口也可以非常方便的接入。本論文的研究中運用廣泛使用的Kafka協議及接口，除此之外還可使用RabbitMQ、RocketMQ等接口組件。消息隊列的部署方式比較靈活，可以采取同步、異步等方式進行處理，極大地提高了平臺的適用范圍和應用場景。

多源異構數據的采集與集成接口模塊通過建立實時和非實時的數據接入，實現信息化貫通，利于各系統、各部門之間的數據傳遞和交換，保證了數據傳輸的完整性、準確性和及時性。

2.2 數據開發子系統

民機制造系統物流場景數據的數據開發子系統運用ETL算法，可實現全刪全插、追加、更新、歷史拉鏈等數據操作。

全刪全插算法的數據處理只保存當前最新的全量數據，不保留過往歷史信息，要求源表為全量數據表，具體通過清空目標表和源表全量插入2個步驟實現。

追加算法將事件類流水數據寫入目標表，如員工打卡記錄，要求源表為增量數據表，具體可通過源表直接插入目標表實現。

更新算法適用于對歷史信息變化無需進行跟蹤保留的情況，只保留其最新狀態且數據量有一定規模。具體通過3個步驟實現：①PK主鍵對比。②目標表和源表PK一致時更新PK屬性。③源表存在但目標表不存在的PK，記錄直接插入。

歷史拉鏈算法用于記錄數據的歷史變化信息。在目標表設計輔助字段來標識數據信息生效的起止時間，該算法相比其余算法對數據的處理最精細，代價也最大。具體通過3個步驟實現：①PK主鍵對比。②目標表中當前有效記錄與源數據全字段比對，有差異的數據集做閉鏈操作。③取源數據與目標表當前有效記錄有差異的數據集以及源數據在目標表不存在的記錄作為當前有效記錄插入目標表。

數據開發子系統對原始數據進行進一步處理，為智能運維及管理系統提供準確的源數據。同時，數據開發子系統對數據格式及屬性進行統一，打通不同專業應用軟件之間的數據孤島。

2.3 數據的智能運維與管理子系統

民機制造系統物流場景數據的智能運維與管理子系統主要分為數據質量監控模塊、結果查看瀏覽器兩個組成部分。

2.3.1 數據質量監控模塊

數據質量監控模塊支持多種異構數據源的質量校驗、通知及管理服務。數據質量監控可全程監控加工流水線的數據，如表1所示的質量規則，及時發現問題，通過強弱報警通知數據開發人員及時處理問題。數據質量以數據集為監控對象，當離線數據發生變化時，數據質量監控模塊會對數據進行校驗，并阻塞生產鏈路，以避免問題數據污染擴散。數據質量監控提供了歷史校驗結果的管理，以便對數據質量進行分析和定級。

表1 規則管理表

2.3.2 結果查看瀏覽器

結果查看瀏覽器支持查看數據質量監控任務的運行記錄及結果詳情。結果表中的每行記錄對應一個數據質量監控任務，由表名稱、表描述、任務頻率、任務狀態、任務修改時間、規則數、間隔數及操作等幾個屬性描述。其中操作屬性可對任務規則進行配置，并對任務詳情及任務結果進行進一步查看。通過結果查看瀏覽器對數據質量監控設置規則，并實現了結果的可視化。

數據的智能運維與管理子系統作為管控平臺的功能輸出模塊，提供了便捷、可操作性強的人機接口。通過人機交互和實時數據采集，從海量的生產數據中，在數據開發子系統的支持下獲取并確定唯一性強、血緣關系清晰、數據模型規范的數據；基于此，對飛機制造物流過程的業務流數據、物料流數據和決策信息實現統一的管控和調度，從而促進企業的精細化管理，最大限度降低管理成本、提高產品質量、提高生產效率。

3 結語

本文針對民用航空制造物流系統信息化程度低的問題，提出了初步的數字化管理與協同平臺。通過多源異構數據的采集與集成子系統實現生產過程的實時數據及非實時數據(包括加工制造數據及流程管理數據)的準確采集；原始數據通過數據開發子系統的處理實現數據清洗、處理及存儲，數據格式得到統一，從而進一步打通不同流程及系統間的數據孤島。經過處理的高質量數據一部分進入到數據的智能運維與管理子系統，實現了基于數據的質量管理及結果展示。本文的研究成果可對航空制造企業的數字化及信息化提供技術支持，為制造流程物流管理的自動化及智能化提供支撐。