實時云測控基帶池系統(tǒng)設(shè)計

王鈞慧，曾富華

(中國西南電子技術(shù)研究所，成都 610036)

0 引 言

隨著我國航天事業(yè)的發(fā)展，日益增多的航天發(fā)射任務(wù)和大量在軌運行的衛(wèi)星對飛行器測控系統(tǒng)提出了越來越高的要求，特別是隨著載人航天技術(shù)的發(fā)展，空間站、空間運行系統(tǒng)等的探測任務(wù)也將逐漸在軌運行，預(yù)計未來數(shù)年將加速發(fā)展，這對測控和數(shù)據(jù)傳輸設(shè)備提出了更高更新的要求。

中頻信號數(shù)字化、IP 網(wǎng)絡(luò)傳輸和遠端波形重構(gòu)技術(shù)能夠給衛(wèi)星地面系統(tǒng)帶來顯著效益。對遠端地面站而言，這些效益包括降低成本和更靈活的軟件處理。美國 RT Logic 公司 2015 年推出了一項名為 SpectralNet的新系統(tǒng)，能夠?qū)πl(wèi)星下發(fā)的中頻信號進行數(shù)字化，并將數(shù)字化后的信號經(jīng)過 IP 網(wǎng)絡(luò)傳輸，并保持信號波形特征不失真，可在遠端利用云計算平臺進行信號軟件化解調(diào)、記錄以及分發(fā)等操作。

雷達和通信領(lǐng)域也在積極推進“軟件化雷達”“軟件定義通信”等新技術(shù)。采用通用化和數(shù)字化特點的新型系統(tǒng)具有開放式體系架構(gòu)，可以適應(yīng)“面向?qū)嶋H需求，以軟件技術(shù)為核心”的開發(fā)理念，以軟件化開發(fā)模式靈活地實現(xiàn)系統(tǒng)擴展、更新和升級[1-3]。

針對第三代跟蹤與數(shù)據(jù)中繼衛(wèi)星系統(tǒng)(Tracking and Data Relay Satellite System，TDRSS) ，NASA 提出了“天基網(wǎng)地面部分維護計劃”(Space Network Ground Segment Sustainment,SGSS)。SGSS 引入了數(shù)字光纖、硬基帶池、虛擬機等新概念和新技術(shù)，將提供一個靈活的可擴展、可升級的開放式地面測控系統(tǒng)。這種“池”式結(jié)構(gòu)減少了設(shè)備量，提高了結(jié)構(gòu)靈活性和硬件利用效率。目前我國在二代中繼地面終端站以及航天測控數(shù)傳一體化地面站也在積極推進射頻數(shù)字化以及硬基帶池技術(shù)[4-5]。

現(xiàn)有電信網(wǎng)絡(luò)設(shè)備在數(shù)量和性能上都無法滿足呈指數(shù)級增長的數(shù)據(jù)傳輸帶寬的需求，由此導(dǎo)致網(wǎng)絡(luò)設(shè)備的采購和運營成本有增無減。利用虛擬化技術(shù)，把原本分散的通用服務(wù)器集中起來統(tǒng)一進行管理分配，在通用計算平臺上采用高級編程語言開發(fā)方式實現(xiàn)網(wǎng)絡(luò)功能虛擬化(Network Functions Virtualization，NFV)，提高了計算和存儲的利用率，實現(xiàn)了應(yīng)用軟件靈活部署并且不依賴于特定硬件，進而降低了管理、維護和運行成本[6-9]。微軟公司在2020年10月20日宣布，它將使用OpenSpace作為其Azure Orbital地面站即服務(wù)的一部分。OpenSpace由美國Kratos公司研制，該產(chǎn)品將軟件定義方法應(yīng)用于地面站的虛擬產(chǎn)品系列。OpenSpace使用開放標(biāo)準(zhǔn)、基于云的系統(tǒng)，可以根據(jù)任務(wù)需求不斷調(diào)整而無需安裝新硬件，使之可有效通過數(shù)字轉(zhuǎn)換器連接到任何天線。

本文借鑒NFV理念，基于航天地面測控系統(tǒng)的特點，提出了測控功能虛擬化(TT&C Function Virtualization，TFV)的全新概念，同時闡述了一種基于實時云測控基帶池的實現(xiàn)方案，包括總體架構(gòu)、關(guān)鍵技術(shù)解決方法以及原理樣機的測試驗證。

1 系統(tǒng)方案設(shè)計

1.1 總體架構(gòu)設(shè)計

圖1所示為實時云測控基帶池總體架構(gòu)。

圖1 實時云測控基帶池總體架構(gòu)

實時云基帶主要包括計算資源池、射頻IP化前端資源池和管理與編排三部分。計算資源池分為基礎(chǔ)設(shè)施層和測控功能層。

(1)基礎(chǔ)設(shè)施層

主要提供系統(tǒng)運行的軟件、硬件環(huán)境，其中，軟件環(huán)境包括云平臺管理系統(tǒng)、操作系統(tǒng)、數(shù)據(jù)庫管理系統(tǒng)、虛擬化管理系統(tǒng)等；硬件環(huán)境包括物理服務(wù)器、分布式存儲設(shè)備、網(wǎng)絡(luò)設(shè)備和加速卡設(shè)備等，各類物理資源通過虛擬化形成通用的虛擬計算資源、存儲資源、網(wǎng)絡(luò)資源和加速資源，承載各類業(yè)務(wù)應(yīng)用和服務(wù)。

(2)測控功能層

測控功能主要完成測控功能的軟件化實現(xiàn)，主要分為信號處理和信息處理兩大部分。信號處理主要完成測控信號捕獲跟蹤、位環(huán)、碼環(huán)、幀同步以及編譯碼等功能。信息處理主要完成測控信息處理及分發(fā)，包括遙測處理、遙控處理、測距測速處理、遙控處理等功能。

(3)射頻IP化前端資源池

將接收機接收到的射頻信號進行調(diào)理，分別經(jīng)射頻數(shù)字化處理卡的AD采集、信號處理等操作后轉(zhuǎn)換為數(shù)字基帶信號，封轉(zhuǎn)成網(wǎng)絡(luò)數(shù)據(jù)包并發(fā)送給計算資源池。同理，計算資源池可將基帶信號傳輸?shù)缴漕l數(shù)字化處理板上，通過DAC進行數(shù)字上變頻，和波形整形后傳輸?shù)较鄳?yīng)射頻通道。

(4)管理與編排

實現(xiàn)對基礎(chǔ)硬件、虛擬化資源和測控功能的全生命周期管理以及對網(wǎng)絡(luò)業(yè)務(wù)編排功能。同時，實現(xiàn)射頻IP化前端資源池的分配以及動態(tài)建立IP化設(shè)備與測控功能的數(shù)據(jù)鏈路。

1.2 測控信號 IP 化網(wǎng)絡(luò)傳輸

由于網(wǎng)絡(luò)特性以及網(wǎng)絡(luò)傳輸協(xié)議的影響，導(dǎo)致接收的信號時域波形中會出現(xiàn)隨機或連續(xù)的數(shù)據(jù)中斷、亂序、錯誤，更進一步地會影響到測距、測速與測角的零值及隨機差。

基于測控信號在頻域上的稀疏特性，可采用快速傅里葉變換得到信號的頻譜信息，根據(jù)實際信號的頻點信息對該頻域數(shù)據(jù)進行提取，得到實際傳輸?shù)挠行畔?，從而達到減小傳輸數(shù)據(jù)量、充分利用網(wǎng)絡(luò)帶寬的目的。

針對利用現(xiàn)有網(wǎng)絡(luò)傳輸基帶信號波形失真的問題，應(yīng)該從網(wǎng)絡(luò)協(xié)議入手，提高利用網(wǎng)絡(luò)傳輸基帶信號的可靠性。傳輸層協(xié)議建議選用TCP的方式來保證數(shù)據(jù)的可靠傳輸。應(yīng)用層協(xié)議可選用自定義幀協(xié)議格式或者VRT(Vita Radio Transport)格式。VRT定義了一個在射頻收發(fā)機和信號處理設(shè)備之間的傳輸協(xié)議，用于提升射頻和信號處理單元之間的協(xié)同性，廣泛應(yīng)用于頻譜監(jiān)測、通信和雷達等領(lǐng)域[10]。VRT幀格式如圖2所示。

31 30 29 282726252423 2221 2019 18 17 1615 14 13 12 11 10 9 8 7 6 5 4 3 2 1 0包類型CT×MTSITSF序號含包頭在內(nèi)的總長度流標(biāo)識符時間戳負(fù)載數(shù)據(jù)尾部(僅限于數(shù)據(jù)包)

1.3 云實時性優(yōu)化

1.3.1 操作系統(tǒng)優(yōu)化

國產(chǎn)麒麟等Linux系統(tǒng)本身不是實時操作系統(tǒng)，需要進行內(nèi)核實時性增強來進行優(yōu)化，具體優(yōu)化內(nèi)容如下：用互斥鎖替代自旋鎖；采用“優(yōu)先級繼承”策略避免優(yōu)先級反轉(zhuǎn)；通過中斷線程化方式來保證測控算法可以作為最高優(yōu)先級的執(zhí)行單元來運行，即使在系統(tǒng)高負(fù)載下仍能保證實時性。

1.3.2 網(wǎng)絡(luò)I/O優(yōu)化

采用SR-IOV(Singe Root I/O Virtualization)+DPDK(Data Plane Development Kit)來提高數(shù)據(jù)交換的性能。SR-IOV技術(shù)可以直接屏蔽虛擬層，采用多個虛擬機與物理網(wǎng)卡硬直通方式實現(xiàn)線速數(shù)據(jù)收發(fā)，比其他全虛擬化與半虛擬化的網(wǎng)卡虛擬化方案更加高效[11]。DPDK不僅實現(xiàn)了網(wǎng)卡緩沖區(qū)到用戶空間的零復(fù)制，還提供虛擬環(huán)境下的虛擬接口，兼容OpenvSwitch虛擬交換機,可以達到單核20 Mpacket/s(百萬分組/秒)的處理能力。

1.3.3 程序優(yōu)化

主要通過如下手段來進行測控功能算法優(yōu)化，以提高處理效率及實時性:減少線程調(diào)度開銷；提前分配需要的內(nèi)存，避免在使用過程中臨時分配和釋放；將已分配和可能分配的內(nèi)存鎖定在進程的地址空間中，避免因?qū)憰r拷貝(Copy on Write，COW)導(dǎo)致的缺頁中斷影響程序運行效率。

1.4 加速卡虛擬化

航天測控信號處理的實時性要求較高，需要引入物理層硬件加速器的方法，將計算復(fù)雜度較高的信號處理模塊(捕獲、編譯碼等)放在加速器上，使用專用的加速卡進行物理層加速。其他計算復(fù)雜度較低的信號物理層單元、數(shù)據(jù)鏈路及網(wǎng)絡(luò)層模塊可以放在服務(wù)器的虛擬機上，由 CPU進行處理。

現(xiàn)階段，所有云產(chǎn)品都不支持加速卡虛擬化功能，需要自主研發(fā)來滿足加速卡管理功能，圖3給出了加速卡虛擬化方案。

圖3 加速卡虛擬化方案

加速卡虛擬化主要由三部分組成。

(1)物理層

主要由配置了多塊加速卡的通用服務(wù)器組成，加速卡作為共用資源可以給所有的測控功能進行加速。CPU和加速卡通過40 Gb/s網(wǎng)絡(luò)互連，保證數(shù)據(jù)的快速交換。

(2)虛擬化層

在每一個虛擬機上運行一個 “加速卡虛擬模塊”，虛擬機上的測控功能認(rèn)為自己獨占該卡，測控功能與該模塊進行直接通信。加速卡虛擬模塊向調(diào)度中心申請資源，由調(diào)度中心分配可用的資源給加速卡虛擬模塊，加速卡虛擬模塊與加速卡進行數(shù)據(jù)交互，完成一次運算。

(3)調(diào)度層

加速卡資源調(diào)度中心完成加速卡狀態(tài)監(jiān)控、健康管理、加速任務(wù)創(chuàng)建及跟蹤閉環(huán)、資源管理與調(diào)度功能。加速卡資源調(diào)度中心屏蔽了加速卡的差異，可支持異構(gòu)加速卡，不影響頂層應(yīng)用。

1.5 管理與編排

1.5.1 任務(wù)編排

任務(wù)編排主要完成任務(wù)一鍵化自動調(diào)度及資源分配，實現(xiàn)任務(wù)重構(gòu)、故障重構(gòu)、靈活性好、可靠性高的目標(biāo)。通過管控系統(tǒng)還可監(jiān)視任務(wù)的運行狀態(tài)，包括資源狀態(tài)、測控算法狀態(tài)等信息。

提供可視化工具來對不同測控功能的應(yīng)用模板進行編輯，包括軟件構(gòu)件、構(gòu)件連接關(guān)系，對CPU、內(nèi)存、加速卡等資源的需求，以及對通信帶寬、實時性的需求。

由于射頻IP化前端與虛擬基帶不是固定連接，因此前后端設(shè)備的網(wǎng)絡(luò)通信參數(shù)作為一種資源也需要由任務(wù)編排進行管理及維護。在測控任務(wù)執(zhí)行前，任務(wù)編排功能分配IP地址及端口，并發(fā)送給前端IP化設(shè)備和虛擬化測控基帶，這兩類設(shè)備根據(jù)通信參數(shù)完成鏈路建立；任務(wù)結(jié)束后任務(wù)編排功能控制設(shè)備拆除鏈路。

通過分配冗余的虛擬測控基帶，可對某些重大任務(wù)的數(shù)據(jù)處理節(jié)點進行主從備份來保證下行數(shù)據(jù)不丟失，同時當(dāng)某個虛擬機出現(xiàn)故障時可快速切換到備份節(jié)點恢復(fù)上行功能。

1.5.2 測控功能管理

完成測控功能的生命周期管理，包括創(chuàng)建、釋放和日常運行；還可通過基礎(chǔ)設(shè)施管理來收集資源狀態(tài)信息，同時還能夠?qū)y控功能的資源使用情況進行監(jiān)控和故障預(yù)警。

1.5.3 基礎(chǔ)設(shè)施管理

能夠完成基礎(chǔ)設(shè)施的健康管理、資源調(diào)度和任務(wù)分配。其中，云平臺完成通用計算資源、存儲、網(wǎng)絡(luò)的管理，加速卡資源調(diào)度中心完成加速卡資源的管理。

利用云平臺提供的熱遷移功能，可快速將故障服務(wù)器的測控功能遷移到正常服務(wù)器上，實現(xiàn)故障自愈。

1.6 測控功能軟件化實現(xiàn)

軟件解調(diào)在實現(xiàn)過程中最為關(guān)鍵的指標(biāo)是系統(tǒng)的實時性。首先，在軟件解調(diào)處理流程上將整個軟件解調(diào)過程分解為若干個功能上互相串接子模塊，把各個子模塊以流水線式部署在不同的處理器上，實現(xiàn)解調(diào)過程的空間并行化處理。其次，依照子模塊內(nèi)部是否可以并行處理，分為如下兩種處理方式：將可以進行并行處理的子模塊(信號捕獲及信道譯碼操作)部署在加速模塊上執(zhí)行，而將不能并行處理的各種解調(diào)環(huán)路部署在CPU上執(zhí)行。將軟件解調(diào)過程分解為子模塊后，還需要保證各個子模塊正確分配和使用內(nèi)存以及數(shù)據(jù)在各個子模塊間進行正確傳遞。

軟件化信號處理架構(gòu)如圖4所示。

圖4 軟件化信號處理架構(gòu)

1.7 復(fù)雜網(wǎng)絡(luò)環(huán)境下的測距功能實現(xiàn)

由于測量系統(tǒng)對相位非常敏感，因此利用通用服務(wù)器以軟件方式進行測距最大的實現(xiàn)難點在于數(shù)據(jù)包的隨機讀入、讀出以及處理時間的不確定會帶來測距值的隨機抖動。軟件測距系統(tǒng)中存在三個隨機時間，分別是發(fā)射時從服務(wù)器向射頻前端FPGA通過網(wǎng)絡(luò)輸出數(shù)據(jù)包的隨機讀出時間Tout、接收時從射頻前端FPGA向服務(wù)器通過網(wǎng)絡(luò)輸入數(shù)據(jù)包的隨機讀入時間Tin和數(shù)據(jù)包在軟件中的隨機處理時間Timp。為了實現(xiàn)準(zhǔn)確的軟件測距，必須消除上述三種隨機時延對測距系統(tǒng)的影響。

本測距系統(tǒng)采用軟硬件協(xié)作方式進行測距，如圖5所示。

圖5 測距功能實現(xiàn)原理圖

硬件部分的具體工作流程如下：在調(diào)制端，如果在軟件中進行側(cè)音產(chǎn)生、上變頻操作并直接輸出，會造成讀出數(shù)據(jù)包長度加大、讀出時間隨機，導(dǎo)致不同數(shù)據(jù)包間發(fā)射最低側(cè)音時刻隨機抖動。因此，一種方式是在FPGA中進行側(cè)音產(chǎn)生以及上變頻操作，這樣不僅減少了PCIE總線傳輸壓力，而且消除了讀出時間Tout對測距系統(tǒng)的影響；另外一種方法是在軟件中進行側(cè)音產(chǎn)生以及上變頻操作，然后再送入硬件里面的一個FIFO中，通過FIFO的延遲讀取操作，只要軟件產(chǎn)生調(diào)制信號的速率高于硬件讀的速率則在FPGA中的信號就是連續(xù)的，從而消除Tout的影響。

通過在收發(fā)兩端設(shè)置合理的協(xié)作機制，可以消除Tin的影響。首先在FPGA內(nèi)部將發(fā)射主音及最低側(cè)音時鐘與FPGA處理后降速的數(shù)據(jù)流進行復(fù)用；然后通過網(wǎng)絡(luò)傳輸計算機系統(tǒng)；接著在計算機中進行解復(fù)用，將數(shù)據(jù)流送入主音及分頻鏈進行處理，得到接收側(cè)音時鐘數(shù)組，而將發(fā)射主音及最低側(cè)音時鐘送入發(fā)側(cè)音時鐘恢復(fù)模塊恢復(fù)出發(fā)射側(cè)音時鐘數(shù)組；最后將這兩個數(shù)組信息送入距離提取模塊得到測距值輸出。由于發(fā)射時鐘信號同接收數(shù)據(jù)同時打包送入計算機，保證了時間上對齊，這樣隨機讀入時間Tin只會影響系統(tǒng)處理的實時性，而不會影響測距結(jié)果的正確性。

在分析軟件測距系統(tǒng)工作方式之前，首先分析軟件隨機處理時間Timp對測距系統(tǒng)的影響。由于服務(wù)器中的定時精度較差，無法像硬件系統(tǒng)那樣進行精確的時序分析，因此只能將軟件測距系統(tǒng)等效成一個異步系統(tǒng)。以主音環(huán)中的積分清洗操作為例，在每次工作時處理時間隨機抖動。即針對同樣長度的數(shù)據(jù)序列，硬件系統(tǒng)可以保證相同的處理延遲；另一方面，異步軟件系統(tǒng)針對同樣長度數(shù)據(jù)序列，軟件處理時間也會存在抖動。這種隨機抖動導(dǎo)致從時間上看，計算結(jié)果輸出時刻存在抖動，存在隨機誤差。但是從軟硬件測距的計算機理上分析可知，兩者計算方法相同，因此輸出的相位序列值也相同，只是軟件系統(tǒng)處理時間存在隨機抖動，導(dǎo)致等價到時間上被“拉伸”或“縮短”。軟件主音環(huán)在連續(xù)數(shù)據(jù)段間輸出的相位序列依舊保持連續(xù)性，并且與同步系統(tǒng)在數(shù)值上相同。通過上面的分析可知，軟件系統(tǒng)的測距值可保證計算結(jié)果的正確性。

2 實驗驗證

2.1 實驗平臺建立與實驗項目

實時云測控基帶池實驗平臺環(huán)境如圖6所示，主要由3臺射頻數(shù)字化前端、5臺通用計算服務(wù)器、1臺管控服務(wù)器和1臺萬兆網(wǎng)交換機組成。需要開展的實驗測試的項目主要包括多路測控信號并行處理能力、實時云平臺擴展能力及處理時延、云環(huán)境下的軟件化測控處理技術(shù)。

圖6 實驗平臺

2.2 實驗結(jié)果

上述實驗場景可滿足20路測控信號同時軟件解調(diào)與測量。其中，遙測解調(diào)性能較理論值惡化小于1.3 dB，擴頻體制下的測距隨機差可以達到0.3 m，擴頻體制測距零值開關(guān)機穩(wěn)定性可以達到0.8 m。實驗結(jié)果表明，基于實時云測控基帶池架構(gòu)的技術(shù)能夠滿足工程應(yīng)用條件。

3 結(jié)束語

本文提出了一種航天測控功能虛擬化方法，闡述了總體架構(gòu)以及關(guān)鍵功能實現(xiàn)路徑，同時搭建了實驗平臺對該方法的功能和技術(shù)指標(biāo)進行了驗證，對于后續(xù)工程化應(yīng)用具有一定的指導(dǎo)意義。

測控功能虛擬化是一項全新技術(shù)，是NFV架構(gòu)在測控領(lǐng)域的一種應(yīng)用場景，需要盡快開展工程化研究。此外，測控功能算法還需要進一步優(yōu)化，以適應(yīng)云架構(gòu)場景并提升計算效能。