多重索引加時間戳校正的科學衛星源包排序法①

馬文臻,鄒自明,黎建輝,李 冰,石 濤,孫小涓

1(中國科學院 計算機網絡信息中心,北京 100190)

2(中國科學院 國家空間科學中心,北京 100190)

3(中國科學院大學,北京 100049)

4(中國科學院 電子學研究所,北京 100190)

1 引言

在衛星地面數據處理的全部流程中,對正確性和時效性要求最高的一個環節就是數據預處理,其中最關鍵的技術就是載荷源包排序算法.衛星載荷獲取的探測或者實驗數據,以載荷源包的形式存儲在星上存儲器中,在記錄數據之后需要盡快下行到地面執行預處理,去除傳輸層的結構,將載荷源包還原成載荷執行探測并記錄下來的原始數據內容序列,并盡最大可能保障數據的正確性和完備性,以支持后續的科學研究.

從星上各載荷打源包、數管將各路源包統一組成信道傳輸幀、數傳發射機傳輸數據、地面接收站接收數據、地面數據處理系統進行數據解幀、源包提取與正確性校驗、源包時間碼處理、源包排序到數據連續性及完備性驗證[1],每一個步驟都可能發生異常.地面系統需要識別發生的各種異常,判斷是否可以通過容錯處理進行地面修復,確認是否可以還原得到源包順序及內容都正確的、連續而完備的載荷科學數據源包序列[2].如果確認存在無法修復的異常,地面系統需要權衡缺失數據的科學重要性、星上存儲是否已經覆蓋、地面測控站是否有余量進行指令上行、地面接收站是否有余量進行增量接收等各種情況,盡快決定是否上行指令點播發生異常的載荷源包數據,以免在點播完成之前星上存儲器中的數據被覆蓋[3].

如果數據標定處理和數據反演處理不夠理想,都可以事后重新進行處理和驗證.只有預處理,如果星上數據發生錯誤或者缺失,是無法重新獲取的.關鍵位置的一個源包的殘缺或者誤碼,都可能導致科學實驗結果失效或者觀測事例不完備.例如,在量子科學實驗衛星中,科學數據源包存儲了星地量子密鑰,地面實驗數據的分析處理中,需要對密鑰進行逐bit的基矢比對,一個bit 都不能錯,否則該次實驗就失效.所以,空間科學衛星對于載荷源包還原的正確性和完備性有著極為嚴苛的要求,這是不同于其它任何業務應用衛星的.其它的對地觀測衛星、氣象衛星等,都是允許一定的誤碼率,個別的源碼錯誤或者缺失不影響整張圖片的產出或者探測量的監視.

在航天領域,通用的衛星數傳誤碼率指標為糾錯后達到1e–5,這是按照bit 位計算的,換算為幀計數的異常率平均在幾百分之一.在空間科學衛星數據中,誤碼率通常優于1e–6,那么每個衛星下行原始數據文件中發生幀計數異常的概率為幾千分之一,也就是在每個文件中都會遇到幾次幀計數錯誤.衛星上對源包賦予計數和時間碼的時候也可能不定時發生異常.因此,排序依據的標志位發生異常情況下,如何能提高處理正確率,是非常值得研究的[4,5].

在與美國航天局(NASA)和歐空局(ESA)地面數據處理機構的學術交流活動中了解到,其空間科學衛星地面系統對衛星數傳原始數據進行源包排序處理的整體文件正確率平均達92%左右.最終發生錯誤導致失效的源包占總源包的比例大概在百萬分之一的級別.然而,對于空間科學衛星來說,也許失效的那幾個源包,恰好是一個實驗或者一次觀測的關鍵數據,會導致一次實驗或者觀測的失敗;也許失效的那幾個源包,正好錯過了百年難遇的重大發現.為了支持科學發現上可能的突破,地面數據處理領域值得付出持續不斷的改進努力,向著100%的正確率去靠近.

2 問題背景與現狀分析

2.1 星地數傳數據的組織結構

空間科學衛星的數據組織與通信采用國際航天領域通用的CCSDS 標準.衛星數據有科學數據、載荷工程數據和平臺工程數據3 大類,科學數據是載荷設備通過開展觀測得到的原始觀測數據或者開展實驗得到的原始實驗數據,載荷工程數據是表征載荷運行狀態的工程參數,平臺工程數據是表征衛星平臺設備運行狀態的工程參數.衛星平臺及載荷的各設備使用應用過程標識符對衛星數據采集和傳輸過程中不同數據源設備進行區分,構成可變長度的面向應用的數據包,稱為“源包”.遙測源包的格式如表1所示[6,7].

表1 CCSDS 遙測源包格式

同步碼長度為16 bit,一般用‘E225’h (十六進制).每一種不同類型的源包依據應用過程標識符(APID)來區分.硬X 射線調制望遠鏡衛星(HXMT)有35 個APID,暗物質粒子探測衛星(DAMPE)有14 個APID,量子科學實驗衛星(QUESS)有11 個APID,實踐十號返回式科學實驗衛星(SJ-10)有48 個APID.按照APID對飛行器上每個特有的源應用過程產生的源包分別進行包序列計數,長度14 bit,模16384.

副導頭標志長度為1 bit,‘0’b (二進制)表示源包內沒有副導頭,‘1’b 表示源包內有副導頭數據.空間科學衛星由于科學數據采集頻率極高,源包序列計數在一次下行中就會回滾很多次,所以必須聯合使用源包時間碼來區分源包,副導頭標志均為‘1’b.分組標志為長度為2 bit,標記該源包是獨立源包還是分組源包,用來提供源包在組內位置的信息.副導頭長度8 字節,自定義內容,目的是為任何輔助數據(如時間,內部數據域格式,航天器位置/姿態等)編入源包提供一種CCSDS定義的手段.在空間科學衛星中,副導頭為時間碼,其高2 字節為0,然后4 字節為秒計數,最后2 字節為毫秒計數.

E-PDU 數據域是可變長度的N字節,是應用過程在每個源內運行產生的真正的科學探測或科學實驗信息.

衛星數管設備將眾多遙測源包分成幾大類,分別組成不同的虛擬信道數據單元(VCDU),每個VCDU包括主導頭和數據域,VCDU 加上同步碼就構成了數據傳輸幀(AOS frame).不同的虛擬信道的AOS 幀用虛擬信道標識符(virtual channel identifier,VCID)來區分.針對工程參數區回放數據、科學數據區回放數據和實時工程參數數據等,數據傳輸幀劃分不同虛擬信道,以支持不同的數據應用.第一層的遙測源包的連續二進制碼流截斷填充到第二層AOS 傳輸幀的數據域部分.AOS 傳輸幀的格式如表2所示[8–10]:

表2 AOS 傳輸幀格式

數據處理系統解析“AOS 幀—遙測源包”的雙層結構的過程如圖1所示.首先依據虛擬信道標識符、虛擬信道幀計數、回放標志等進行信道區分,從一個或多個傳輸幀的數據域中解析得到有效的源包數據,然后解析源包結構,依據應用過程標識符、源包計數、包長進行分路處理,還原出每一類的遙測源包,對其數據內容進行有效性驗證,之后依據時間碼或源包計數進行源包排序,使其還原為星上探測的原始順序[9–11].只有排序正確、計數連續的源包序列,其數據域的內容依次連接,才可以形成正確的用戶數據單元(protocal data unit,PDU),也就是正確、完備的原始科學探測或實驗數據.

圖1 傳輸幀與源包組織結構的地面解析過程

2.2 傳統的源包排序處理算法及問題

在遙感衛星、氣象衛星等應用衛星的地面數據預處理工作中,源包排序算法是基于“虛擬信道幀計數+源包計數”進行的.其基本排序策略為先按照源包計數進行排序,如果源包計數相同,則按照VCDU 計數進行排序.這種排序策略并未考慮到計數溢出而重置的情況,也不支持同一軌接收過程中進行歷史數據點播的操作[12–14].

在空間科學衛星數據處理領域,由于兩層計數循環速度太快,重置頻率高,單軌數據中常出現源包計數和VCDU 計數都相同的情況,所以“虛擬信道幀計數+源包計數”的雙重計數排序法不滿足空間科學衛星數據的處理需求.所以空間科學衛星在源包結構的副導頭中都增加了“時間碼”字段,擴展為“源包時間碼+源包計數+虛擬信道幀計數”的源包排序處理策略,時間碼相同的源包按照源包計數進行局部排序,虛擬信道幀計數和源包計數僅僅是作為局部變量來使用的.虛擬信道計數主要用來拼接跨兩個虛擬信道的源包數據,使其按照下行順序首尾銜接.由于存儲空間有限,CCSDS為避免大量冗余,源包的時間碼一般精確到秒,最多精確到毫秒,而很多觀測數據的采集頻率極高,最高情況下1 s 可以產生上萬個源包,源包計數的深度為14 bit,計滿16 384 條數據就會循環重新開始一個計數周期,所以源包計數主要用來區別時間碼相同的源包的真實采集順序[15–17].

這種“源包時間碼+源包計數+虛擬信道幀計數”的通行方法對于星上數據和時間碼都正常的情況下是沒有問題的,但是如果幀計數、源包計數和時間碼等關鍵索引信息由于各種異常發生錯誤而不能代表源包的真實采集順序呢?

不同的空間科學衛星,由于載荷對數據采集記錄時間的精度要求的不同,給星上時間系統的設計帶來了不同的要求和實現難度.源包中的時間碼,一般有兩種來源,有的來源于GPS 設備,有的來源于自身時鐘累計的相對秒數和毫秒數.如果載荷組源包的過程發生通訊或者軟件異常,沒有取到時間碼,那么源包中時間碼字段會變成默認值[17].如果時鐘的秒和毫秒計數不完全同步,會導致時間錯齒跳變.如果受到單粒子時間打翻存儲器的某一位或者某幾位的記錄,那么時間碼會發生無規則的跳變.源包計數和虛擬信道幀計數也都是如此,當接收設備故障、雨雪天氣、突發信號干擾等原因造成的誤碼率超出可糾錯范圍時,當星上數傳設備出現故障時,遭遇單粒子打翻某些bit 位時,當點播歷史數據時,都可能出現重復、錯誤、亂序等異常情況,而且有時候多種異常情形會聯合發生.這時候,“源包時間碼+源包計數+虛擬信道幀計數”的算法就會發生排序錯誤,而且很難有一種萬全的源包排序算法,能夠保證在所有異常情況下都能百分百正確地實施源包排序.對于發生排序錯誤的源包,有的可以通過耗時漫長(可能幾天到幾個月)的人工分析去修復,有的沒有得到徹底修復,造成個別科學數據源包失效.

縱觀國內外的主流航天總體機構,都針對性地開展了衛星數據源包提取與排序技術的研究,盡量提高排序正確率,降低因各種時間碼異常情況而導致的大量人工干預工作和對科學研究的負面影響.

3 多重索引加時間戳校正的源包排序算法

經過對我國空間科學先導專項一期發射的DAMPE、QUESS、HXMT和SJ-10 四顆衛星的星上數據組織結構與地面數據預處理過程進行研究,本文設計了一種把諸多異常情形綜合考慮在內的“多重索引+時間戳校正”的源包排序方法.

3.1 多重索引構建

AOS 幀解析、源包提取與多重索引構建的整個處理過程如圖2所示.

圖2 多重索引構建

首先,構建信道級幀索引.獲取數傳原始數據文件后進行文件解析與校驗,之后進行AOS 幀的完整性和有效性校驗,然后進行虛擬信道區分、直傳與回放數據的區分,按照虛擬信道的不同,形成每個信道的幀文件,分別進行幀的排序與連續性校驗,提取幀索引表所需的信息,構建信道級的幀索引,如圖3所示.

圖3 幀索引表

幀索引信息不僅包含傳輸幀的虛擬信道標識符(VCID,十六進制)、虛擬信道幀計數(VCDU Count,十六進制),還包括直傳回放標志(Flag,二進制0 或1)、幀B-PDU 數據域在原始數據文件中的偏移位置(VCDU Offset,十六進制字節數)、下行軌道圈次(Track No,十進制)等信息[18].

其次,構建應用過程級源包索引.對每個虛擬信道的幀文件中的幀進行數據的連續性校驗,在校驗正確的情況下從幀中提取源包數據域,按照不同的APID拼接形成完成的源包(其中,一個虛擬信道標識符VCID 對應一個或者多個應用過程標識符APID),并進行源包的有效性校驗,通過校驗的源包,將其信息解析后提取源包索引表所需的信息,構建應用過程級的源包索引,如圖4所示.

圖4 源包索引表

源包索引信息不僅包括最重要的應用過程標識符(APID,十六進制)、源包時間碼(packet time,轉化為統一的時間格式“年月日T 時分秒.毫秒”)、源包計數(packet count,十六進制),還包括源包長度(packet length,十六進制字節數)和源包E-PDU 數據域在原始數據文件中的偏移位置(packet offset,十六進制字節數)等信息,還包括一個格外重要的字段,就是校正時間戳(corrected time stamp,格式與源包時間碼相同),這個字段存放的是經過時間戳校正之后的源包時間碼,本文提出的算法將主要依據這個校正時間戳進行源包排序,此外,還有異常標記(anomaly flag,十進制),代表不同的時間戳校正策略.

幀索引和源包索引中的信息按照一定規則組合起來,就構成了多重索引.多重索引與數據幀及源包中的相關字段一一對應,于是把對數據本身的處理轉化成為對索引的操作,而索引的數據量相對于數據本身是非常小的,所以可以全部在內存中處理,避免了對數據本身進行處理而產生的大量內外存數據交換,提高數據源包排序處理的效率.

3.2 時間碼提取與時間戳初標

針對不同衛星的不同源包,依據時間碼來源與異常情況的不同,其時間碼提取、時間戳初次標記、異常標記的策略也有所不同,可以配置不同的處理流程和參數.

以HXMT 衛星的幾個典型APID為例進行說明,源包時間碼提取與時間戳初標的過程如圖5所示.高能望遠鏡(HE)的科學和工程參數源包時間碼來自于GPS 設備,因此需要判斷GPS 設備是否處于非定位狀態來確定時間碼的正確性,當其處于正常的定位狀態時,時間戳初始標記為GPS的時間碼,在處于非定位狀態時,時間戳初始標記為0,同時進行異常標記.中能望遠鏡(ME)的源包時間來自于UTC 事例,而且多組FPGA 源包與UTC 事例源包輪流排列,因此需要判斷FPGA 分組編號的連續性并查找對應的UTC 事例,時間戳初始標記為UTC 事例中的時間碼,存在異常時時間戳初始標記為0.平臺工程數據由一系列不同類別的源包首位相接組成,需要檢查源包組的完整性,如果恰好有不完整的源包組,則與之前20 軌數傳下行數據的不完整緩存進行拼接,內容完整的源包從GPS 定位數據包或者時間數據包中獲取時間碼.

圖5 源包時間碼提取與時間戳初標過程

關鍵參數之一是隊列連續性判別參數.根據虛擬信道與應用過程標識符的對應關系、源包的分組特性,對各APID的源包隊列連續性判別參數進行分別設置.舉例如下:

(1)對于HXMT 衛星的低能望遠鏡LE 科學數據,判斷隊列連續性時使用源包計數差小于6 且幀計數差小于FFF 進行判定.因為LE 科學數據包含3 個獨立的APIDI,分別為LE 科學1、LE 科學2、LE 科學3,它們共用一個虛擬信道,而每一幀數據存儲2 個獨立的源包,各源包最大計數為0x3FFF,因此每類源包一個計數循環最多占用1FFF 個幀計數.為保證源包排序,使用半個源包計數周期占用的幀計數FFF.通過對發現問題當軌數據比對,兩個源包間幀計數差未超過FF,因此使用FFF 作為參數可以滿足要求.

(2)對于HXMT 衛星的高能望遠鏡HE 科學數據、中能望遠鏡ME 科學數據,判斷隊列連續性時使用源包計數差小于6 且幀計數差小于3 進行判定.存儲HE和ME 科學數據的每個虛擬信道僅存儲一類源包,HE 科學數據虛擬信道每幀數據存儲1 個源包,ME 科學虛擬信道每幀數據存儲2 個源包,當對3 幀數據容錯時,可能丟失源包數應不大于6.

(3)對于HXMT的載荷工程數據,判斷隊列連續性時使用源包計數差小于27 且幀計數差小于3 進行判定.各載荷的工程數據虛擬信道僅存儲該載荷的工程數據源包,每幀數據存儲9 個源包,當對3 幀數據容錯時,可能丟失源包數應不大于27.

關鍵參數之二是成組源包的不完整數據回溯文件數參數.對于分組源包,一組連續源包共同組成一條探測記錄的情況,占用多個傳輸幀進行傳輸,因此需要判斷該組源包的完整性.舉例如下:對于某些類型的源包組不完整的數據,回溯20 軌數據嘗試進行源包組的補全.

3.3 時間戳校正

從衛星原始數據中提取出來的各種索引字段,沒有一個是隨著源包的真實順序而永遠遞增的,幀計數、源包計數都會周期性回滾歸零重新累計,源包時間碼可能發生各種錯誤和亂序而沒有依據源包真實的先后順序而遞增,因此作為排序依據使用起來有一定困難.而想要對亂序下行的多份重復源包進行正確排序,必須建立一個真正隨著源包的先后順序一直遞增的標志,基于這種情況,本文設置了“校正的時間戳”.源包時間戳校正環節的主要流程如圖6所示.

圖6 源包時間戳校正

根據不同的異常標記采取不同的時間戳校正策略.

(1)當因無法獲取GPS 時間導致源包時間碼變成默認的填充碼時,將其時間戳校正為該源包之前的最近一個正常的源包時間碼;

(2)當載荷異常開關機導致累積秒歸零,造成時間碼復位到初始位置,重新累積,將發生復位后的源包的時間戳校正為當前累積秒疊加復位之前累積秒的總秒數經換算得到的時間碼;

(3)當時間的秒部和毫秒部的進位不完全同步造成“跳秒”現象,也就是判斷當前源包的時間碼小于上一個源包,并且很接近(設置為2 s 之內),那么將當前源包的時間戳校正為增加1 s,并判斷校正后的時間碼大于上一個源包的時間碼,且不大于下一個源包的時間碼,如果不滿足則把時間戳校正為上一個源包的時間碼;

(4)當源包時間碼因單粒子事件等造成無規則異常時,檢索當前源包時間碼,如果小于上一個正常源包的時間碼或大于下一個相鄰源包的時間碼,將其時間戳校正為上一個正常源包的時間碼;

(5)如果本隊列中在當前源包之前不存在非0 時間戳的正常源包,那么依據其之后相鄰最近的非0 時間戳的正常源包來進行時間戳校正,如果本隊列時間戳均為0,即時間碼有誤,那么回溯上一軌數據繼續尋找時間戳正常的源包作為校正基準.

3.4 源包排序

源包排序流程如圖7所示.首先依據校正后的源包時間戳對數據進行排序,進行時間大小比較時,當時間戳無法區分時,借助源包計數、幀計數、源包偏移量、軌道圈次等索引信息進行聯合判斷.對于時間差在一定時間內的數據(這個時間是可以對不同的衛星和載荷進行區分設置的),作為時間相等的數據進行處理.例如在HXMT 衛星中,依據衛星系統的設計,衛星的GPS 非定位時間狀態不會超過20 min 就會復位正常,因此設定時間差在20 min 作為判斷依據.

圖7 源包排序流程

4 方法應用與驗證

本文使用HXMT、QUESS、DAMPE 三個衛星任務2018年度的全部數傳原始數據進行了實驗驗證,數據資源來自國家科技資源共享服務平臺-國家空間科學數據中心.

三星共5347 個數傳原始數據文件,總體量22.78 TB,使用傳統的“源包時間碼+源包計數+虛擬信道幀計數”源包排序算法處理,源包排序完全正確的文件占比平均為93.55%.處理錯誤的文件中,平均約15%是由多種異常聯合發生所引起.使用本文提出的“多重索引+時間戳校正”源包排序處理算法處理,源包排序完全正確的文件占比平均為99.84%,其中排序錯誤的幾個文件均是由于星上本身設備故障引起的數據錯誤.可見,本文提出的算法,大大提升了源包排序處理的正確率,具體實驗結果如表3所示.運行環境為12 個處理節點的服務器集群(4 個CPU Intel Xeon E7-4820v2,主頻2 GHz,內存64 GB),由中國科學院國家空間科學中心公共技術服務中心提供.

表3 原始數據文件源包排序處理的正確率

在同一個HXMT 衛星數傳原始數據文件中分別截取源包計數無循環、源包計數有3 次不完整循環的大小為1 GB的數據片段,幀長為1024 字節,源包長度為488 字節.使用本文提出的處理方法和傳統處理方法進行源包提取與還原排序,分別記錄兩種方法的處理時長及最大占用內存,實驗結果如表4所示.為增加運行時長而使性能指標對比明顯,選擇低配置的運行硬件環境,在一臺普通臺式計算機(Intel Xeon CPU E5649 @2.53 GHz 16 GB RAM)上進行實驗.結果說明“多重索引+時間戳校正”源包排序算法能夠實現源包計數有不完整多次循環和無循環情況下的正確源包提取與排序還原,同時相較于傳統的“源包時間碼+源包計數+虛擬信道幀計數”的源包排序算法,所需的處理時間縮短(約3%),內存的占用量減小(約28%).這是由于傳統處理算法是對幀數據本身進行操作的,本文所提算法是對源包的多重索引進行操作,而源包多重索引的長度明顯小于幀長,所以在處理時間和內存占用量方面有性能優勢.

表4 兩種源包排序處理算法的性能比較

使用本文提出的算法對HXMT 衛星的不同大小的同類型數據進行源包提取與排序處理(運行環境同上),測試數據大小分別截取或者拼接成1 GB 到12 GB的大小,記錄處理時長和最大內存占用量等性能指標,測試結果如圖8所示,虛線條代表處理所用的時長與數據量之間的關系,實線條代表算法的最大內存占用量與數據量之間的關系.

圖8 源包排序處理的時間與內存占用量

結果表明,處理時長隨著數據量增加而有明顯增長,因為源包排序所占用的時間隨著數據量的增加而成倍增加,程序的內存占用量隨著數據量增加變化不明顯,因為而由于采用索引進行處理,而非數據本身,索引本身占用內存不大,主要是程序運行占用的部分,隨著數據量的增加變化不大.

5 總結

“多重索引+時間戳校正”源包排序處理算法,可以解決源包時間碼秒部與毫秒部進位不一致導致的“跳秒”問題、兩次地面站接收數據之首尾源包不完整導致的丟包問題、源包計數深度不足導致的源包計數循環問題、GPS 非定位狀態導致源包時間碼缺失的問題、載荷異常導致累積時間碼異常歸零的問題等多種排序困難,是一種相對完備的自動解決方案.經過對HXMT、QUESS、DAMPE 三個衛星的大量數據進行實驗驗證,結果表明該算法可以將衛星原始數據文件的源包排序整體正確率明顯提升,同時有效提升處理效率.此外,該算法從原理上來說適用于所有衛星的源包排序處理,具有通用性和推廣價值.