基于數字孿生的物資裝卸智能管理系統

廉佳 方政澎

（1.海軍裝備部 四川成都 610073；2.航空工業一飛院 陜西西安 710089）

軍事航空貨運是實施航空戰略投送的核心力量，對裝卸高效性和飛行安全性都有著極高的要求。不同于普通航空貨運，軍事航空運載具有強異類型物資多、物資屬性復雜、物資歸屬復雜、物資安全保證困難的特點，對安全性穩定性具有更高要求，對于物資擺放方法與特殊隔離都有更多限制，因此更加難以規劃與管理［1］。此外，由于軍事貨運執行的作戰任務的特殊性，使得物資類型、飛機型號與飛行路徑無法固定，因此還需要考慮是否能夠使用集裝器與轉場物資的問題［2］。上述問題對于保障人員的規劃裝卸方案、實施裝卸過程在精力與體力上都是一種挑戰，極大地制約了執行作戰任務的效率。

對于航空貨運規劃問題，現在有很多研究通過將其抽象為一維、二維、三維裝箱問題［3］，利用啟發式算法，如模擬退火［4］、蟻群算法［5］、遺傳算法［6］、粒子群算法［7］、禁忌搜索算法［8］，及其組合［3，9］來解決航空裝載優化問題，取得了較好的效果。然而這些研究生成的裝載方案，主要考慮優化裝載方案，生成以紙質、電子的裝載艙單為主［3，10-11］。由于軍事貨運的特殊性，執行組板、裝載與拆卸時，主要仍然依靠保障人員執行裝卸任務，保障人員在裝卸空運轉場對照裝載艙單進行裝載作業時易發生錯漏與混淆，裝載效率較低，裝卸過程難以管理。

針對這一問題，有些研究聚焦于裝載過程的可視化與管理。張長勇［12］等人通過可視化裝載來直觀顯示物資碼放位置與方式，然而此結果只作為方案評審使用，沒有考慮對現場保障人員拆卸過程的引導。史永勝［13］等人針對物資可裝載性問題，通過對DELMIA軟件二次開發，實現裝載可視化仿真，然而對于保障人員可視化方式不夠直觀。王策［14-15］建立了貨機物資裝載進程可視化系統，實現了保障人員模擬裝載培訓與遠程裝載進程可視化顯示，提高了貨機裝載管理效率，但是此系統主要用于管理半自動裝卸過程，不適用于人工裝配的情況，且忽略了對物資信息的采集與智能規劃。

數字孿生技術［16］與物聯網［17］可以實現物理世界和信息世界的交互、融合、智能化，已被廣泛應用于智能制造［18］及物流管理［19］等?；旌犀F實（Mixed Reality，MR）技術［20］則可以將真實世界與虛擬世界無縫交融，實現過程信息與真實物理環境的匹配，已廣泛應用于工業［21］、醫療［22］的過程引導。目前，還沒有基于數字孿生與物聯網技術構建的航空貨運裝載管理系統，以及基于MR的可視化裝卸引導的相關研究。本文設計了一套基于MR 的軍事航空物資裝載智能管理系統，通過引入物聯網與數字孿生技術，根據軍事航空物資裝載特點，建立基于MR 的軍事航空物資裝載智能管理系統框架，在此基礎上設計了物資實體數據的實時獲取、裝載方案智能規劃、軍事航空物資裝載作業中組板、裝載與拆卸等進程的MR引導方案，實現對軍事航空物資裝卸過程的管理，提高軍事航空裝載過程的效率與安全性。

1 基于數字孿生的軍事航空物資裝卸智能管理系統框架

本文提出的基于MR的軍事航空物資裝卸智能管理系統框架如圖1所示，參考陶飛［18，23］等數字管理系統的理論構架，系統由四大層級構成，分為物理世界層、孿生模型層、數據管理層、功能應用層組成。

圖1 基于數字孿生的軍事航空物資裝卸智能管理系統框架

1.1 物理世界層

物理世界是裝卸過程發生的物理主體，是裝卸現場需要管理的各種客觀實體的集合，具體包括，航空貨倉、待運物資、各種航空集裝器（Unit Loading，ULD）、動力驅動單元PDU（Power Control Unit）、裝卸設備如物資裝載車或升降平臺車等。除此之外，還有構建物聯網的相關感知設備如射頻識別（Radio Frequency Identification，RFID）讀寫器、RGBD 深度相機、ULD 位置檢測傳感器、PDU 熱傳感器、接近傳感器等，這些實體有機結合，承擔了它們本身的功能及數據收集的管理活動。

1.2 孿生模型層

孿生模型層是物理世界層的虛擬映射，具有所有需要管理的各種客觀實體的數字對應，管理對象的物理實體正在進行的各種行為，及其位置、狀態、屬性都可以通過整個孿生模型層中的數字模型相互關聯、協作來實時反映。而裝載過程主要關注物資、ULD、航空貨倉的實時狀態，因此這部分實體的數字映射是系統主要聚焦的部分。

1.3 數據管理層

數據管理層是航空裝載管理數據存儲、交互、傳輸的中心。一方面，面向實時采集數據，針對物資、ULD、航空貨倉建立實時數據庫，對采集物資屬性與實時的位置與狀態進行存儲。另一方面，包含物資裝卸管理所需的非實時數據，如數字模型庫、機艙型號庫、ULD型號庫等，裝載優化算法庫、物資單等。信息管理層管理的裝載過程實時數據具有多源異構、多樣、大量的特點，依靠數據管理層的分析與處理，數據會轉化為有意義的數據，完成孿生模擬層的數字模型狀態實時更新，并提供管理裝載過程的決策依據。

1.4 功能應用層

功能應用層主要實現航空裝載所需要的管理功能。保障人員通過觀察孿生模型的實時狀態，即可實現對軍事航空物資裝卸過程的監控。通過數據管理層可對實時數據的采集與分析，實現ULD、貨倉實時狀態信息集中可視化展示。結合待裝載物資數據，通過人機交互方式設置保證人員與貨運載物特殊需求［1］（物資安全需求、優先卸載需求、建制完整性需求）、通常約束［12］（體積約束、質量約束、穩定性約束、方向約束、重心約束、不重疊約束、承重約束）與優化目標［24］（如載重利用率、容積利用率、利潤最大化、裝卸效率等）、航空裝載優化算法（遺傳算法［6，12］、蟻群算法［5］、模擬退火［4］、粒子群算法［7］、禁忌搜索算法［8］，及混合算法［3，9］）的完成組板、ULD裝載方案智能生成與優化等，提高軍事航空物資裝載過程的智能化決策與管理水平。

上述基于數字孿生的軍事航空物資裝卸智能管理系統框架，可以實現對軍事航空物資裝卸過程中物資、ULD、貨倉環境實現虛擬化與互聯化的數字孿生集成，這種新的軍事航空物資裝卸過程管理模式為保障人員提供了高效的監督、決策、交互途徑。

2 裝卸現場物理實體實時數據獲取

2.1 多源異構數據采集網絡

裝卸現場數據采集傳感器種類繁多，數據類型各不相同，接口協議也不盡相同。為解決多源異構的數據采集帶來的數據融合困難，系統采用OPCUA Server作為基于數字孿生的軍事航空物資裝卸智能管理系統的數據通信網絡的框架。OPCUA Server是一種支持跨平臺的，具有的統一地址空間和服務的數據采集結構，被廣泛應用于數字孿生相關的系統設計中［25-26］。對于裝卸現場接入的各類傳感器，如ULD位置檢測傳感器、PDU 熱傳感器、接近傳感器，通過飛機貨倉總線匯總，再通過TCP/IP 協議以無線網絡傳遞至服務器。對于射頻識別（Radio Frequency Identification，RFID）讀寫器、RGBD 深度相機等，則直接通過TCP/IP 協議，以無線網絡傳遞至服務器。

2.2 實體實時數據采集

管理航空物資裝卸的目標對象主要是物資、ULD、航空貨倉，因此系統主要針對這些實體進行采集。

2.2.1 物資信息采集

軍用物資具有種類繁多、數量大、屬性復雜、專用性強等特點，滲透進軍事戰斗、工作生活的方方面面。由于大部分物資是不規則形態，因此確定其屬性信息，如尺寸、重量、重心等數據，對于實現拆卸過程管理與裝卸方案規劃都有重要意義。

物資屬性信息來源主要分為兩部分，一部分物資具有標準的參數信息，如標準的零部件、彈藥箱、軍用車輛等，這些物資的屬性信息可以通過電子物資屬性清單（包含物資尺寸、重量、重心等）上傳至系統；另一部分物資不具有標準的參數信息，如緊急需要運送的特殊物品，則這些貨物的參數則需要通過測量獲取其幾何尺寸與質量，并估算其重心。多視角3D 重建技術［27-28］是解決物資幾何尺寸檢測與估計的一個解決方案，通過多RGBD 相機同時在多個觀察視角采集待測物資點云，重建物資3D模型，并求取其包圍盒，完成對其幾何尺寸的估算，具有重建精度高、速度快、操作簡單的特點。

對于物資實時狀態信息，主要包括其所在的ULD及其在ULD 內的位置。對于普通物資，張貼二維碼標簽，在每件物資組板前通過掃描標簽，確定物資所在ULD 即可。對于具有特殊要求的物資，如危險物資與重要物資，為保證安全與裝卸效率的需要，不但物資需要確認所在的ULD，還需要確認其在ULD 中的位置。目前物聯網領域常用的定位方法有兩種，基于射頻識別RFID（Radio Frequency Identification，RFID）的方法與基于超寬帶（Ultra Wide Band，UWB）的方法。基于UWB 的定位方法通過精確測量無線脈沖在空間中的傳播時間，測量UWB 標簽與UWB 基站之間的絕對距離來實現定位，精度較高，可達0.1m 級，但是UWB 標簽目前造價較高。而RFID 定位技術［29］通過計算信號源到監測器的時間差或信號強度來完成定位，精度雖然只能達到1m級，但是能夠基本滿足飛機貨運裝載過程中的定位需求，并且具有定位范圍廣，造價低廉的特點，因此被廣泛地應用在物聯網與數字孿生應用中。本文系統同樣選用RFID 定位器實現對物資相對于ULD 位姿估計。對于重要物資，需在張貼二維碼標簽的同時，同時張貼RFID 標簽，通過在航空貨倉上安裝的多個RFID 檢測器，完成對RFID 標簽的定位，結合ULD定位位置，即可確定重要物資在ULD中的位置。

2.2.2 ULD信息采集

ULD 屬性信息由所在軍用機場數據庫中獲取，主要包括其型號、形狀、尺寸等信息。ULD實時定位信息則根據精度需求不同，選用RFID定位技術（低精度，低成本）或者UWB［30］定位技術（高精度，高成本）實現。其他狀態如是否到位、溫度、相對距離，則由ULD位置檢測傳感器、PDU熱傳感器、接近傳感器獲取。

2.2.3 航空貨倉信息采集

航空貨艙屬性信息由軍用貨機數據庫中獲取，主要包括飛機型號、貨艙門尺寸、貨艙橫截面尺寸與長度、飛機最大載重能力等。

綜上所述，本文通過OPCUA Server 創建多源異構數據采集網絡，并從物資信息采集采集、ULD信息采集采集、航空貨艙信息采集3 個部分實現了基于數字孿生的軍事航空物資裝卸智能管理系統框架的相關數據的實時獲取。

3 裝載方案智能規劃

軍事航空運載由于其面向的作戰任務的特殊性，使得運載任務具有較大的不確定性。如完成運載任務的貨運飛機型號不定，物資種類繁多且具有特殊需求，ULD 形式不確定。并且針對作戰任務的不同目標，裝卸任務也具有不同的優化目標與相應的優先級。然而現有的優化算法往往建立在規則長方體、無特殊要求、任意放置的條件下，約束條件只有往往只有體積、尺寸、質量、重心因素，優化目標常見為載重利用率、空間利用率，沒有考慮根據不同作戰任務而改變，因此無法適用于軍事航空運載的所有情況［3-4，6-7，9-10，12，24］。

軍事航空運載任務裝載優化相關因素的總結如表1所示，在不同的物資、貨運飛機、ULD的運載條件下，針對不同的優化目標與約束，使用不同的優化算法可以得到不同需求的運載、裝卸方案。因此，本文系統支持保障人員針對當前的軍事作戰任務、運載條件、優化目標與約束限制，通過人機交互選擇合適的優化算法生成裝卸方案。

表1 軍事航空運載任務裝載優化相關因素

4 基于MR的軍事航空貨物裝卸引導

在生成了航空運載裝卸方案之后，需要保障人員按照裝卸方案執行物資的裝卸過程，由于軍事貨運的特殊性，執行組板、裝載與拆卸過程仍然離不開保障人員?，F有研究生成的裝載方案，以紙質或電子的裝載艙單與可視化的配載圖表為主，保障人員在裝卸空運轉場對照裝載艙單與配載圖表進行裝載時，一方面，形式不夠直觀自然直觀，給保障人員帶來較大的體力與精力負荷；另一方面，保障人員需要頻繁在裝載艙單與配載圖表與物資實物上轉移注意力，因此易發生錯漏與混淆，裝卸效率較低。

為解決這一問題，本文系統引入MR技術，通過將物資虛擬、ULD虛擬模型疊加于真實世界上，實現對裝卸過程的MR 引導。保障人員通過佩戴MR 頭戴式顯示裝置（Helmet Mounted Display，HMD），實現虛實融合。而實現將虛擬資產準確地疊加于真實場景之上，最重要的是完成虛擬場景與真實場景的坐標系統一。二維碼作為一種人工標記，具有大量穩定的視覺特征，是一種良好的定位基準，并且二維碼標記物可以在不破壞貨倉機構的基礎上，隨意安裝或取下，具有使用靈活的特點，因此本文選用二維碼標記作為虛實融合的定位基準。通過使用MR HMD 上的相機掃描二維碼，可以獲得MR HMD 與人工標記的相對位姿，即實現初始定位，然后再通過其他MR HMD 的連續空間定位功能，即可實現虛擬場景與現實場景的連續注冊。在組板過程中，保障人員首先使用MR HMD 上的攝像機掃描ULD 上的二維碼標記完成初始定位，統一虛實坐標系，使虛擬貨物模型按照裝載方案疊加于真實ULD上實現虛實注冊，并顯示貨物ID 與屬性信息，然后保障人員按照疊加的虛擬模型，一步一步完成組板；在ULD裝載過程中，保障人員通過MR HMD 上的攝像機掃描機艙上的二維碼標記完成初始定位，統一虛實坐標系，實現虛擬ULD與航空貨倉的虛擬注冊，并顯示ULD ID與屬性信息，引導保證人員完成對ULD 的裝載；在物資拆卸過程中，在完成初始定位之后，對于需要優先拆卸或者查找的物資，保證人員通過交互的方式輸入查找的對象的ID，對象虛擬模型即顯示在航空貨艙與ULD 的相應空間位置中，引導保障人員完成物資的拆卸。如圖2所示為基于MR 的軍事航空貨物裝卸引導示意圖。

圖2 基于MR 的軍事航空貨物裝卸引導示意圖

5 結語

本文設計了基于數字孿生的軍事航空物資裝卸智能管理系統框架，并制定了裝卸現場物理實體實時數據獲取、裝載方案優化與制定、基于MR的軍事航空貨物裝卸引導等三部分具體方案，實現了軍事航空物資裝卸過程的數據獲取、裝載方案智能規劃、MR 可視化裝卸引導等目標，為數字孿生技術、物聯網及MR技術在軍事航空物資裝卸領域的應用提供了思路，對提高軍事航空物資裝卸過程的高效性和安全性具有一定的參考意義與工程應用價值。