應用SpaceWire網絡的航天器分布式存儲系統設計

穆強 牛躍華 于俊慧 李欣 袁珺 高何

(北京空間飛行器總體設計部,北京 100094)

大容量固態存儲器自20世紀90年代開始已逐漸應用于國際航天領域,隨著半導體技術的發展,以Flash器件為存儲單元的大容量固態存儲器目前已經成為航天器的關鍵配置之一[1-5]。特別是對以獲取地面遙感圖像為目標的對地觀測衛星而言,存儲容量配置需求成倍增長,主存儲器容量已超過10 Tbit。為了提高圖像質量,有效載荷配置也呈現多樣化趨勢,除了主載荷還會配置各類輔助載荷,輔助載荷數據存儲需求有著多樣性的特點,如短時、突發性、中低速率輸出、在軌長期工作等不同需求。主存儲器受限于功耗等因素制約,在適應多樣化輔助載荷數據存儲的靈活性需求上并非強項,因此在主存儲器之外增加較小容量輔助存儲器的配置成為一種較為常見的解決方案。如國內某對地觀測衛星,配置輔助存儲器,該設備在軌長期開機,連續存儲衛星工程遙測數據及長期載荷的部分應用數據,而主存儲器在隨著衛星主載荷共同開機工作,存儲主載荷高速數據。

在配置雙固態存儲系統(即主存儲器加輔助存儲器)的航天器中,由于硬件接口設計的差異性,經常會對部分設備的接口進行改動,再應用于其他航天器時又要進行反復的適應性修改,從而帶來不必要的產品研制開銷,并對產品成熟度造成影響。由于應用數據的使用需求,部分數據會同時在不同位置進行存儲,涉及的接口交叉設計繁瑣,同時還增加了系統容錯設計的成本和難度。數據的分散存儲對數據的分配、傳輸、管理提出了新的要求,使與之相關的航天器數據通信協議、星地操控接口的復雜性提高,個別航天器出于數據存儲方便考慮,甚至配備多個輔助存儲器,各種傳輸接口、協議設計及系統容錯設計的復雜性更是成倍增加。

為了解決上述問題,本文提出應用SpaceWire網絡的分布式存儲系統設計。SpaceWire網絡是ESA的數據通信標準,已成功應用于十余項國際空間任務中[6-7]。其接口簡單、采用路由式通信等特點,對支持分布式存儲系統的接口標準化、系統重構能夠起到基礎性作用,使分布式存儲系統對外提供統一的硬件接口和通信協議,屏蔽內部的具體網絡連接方式,從而簡化航天器系統設計。

1 分布式存儲系統設計

分布式存儲系統由控制模塊及若干個Flash存儲模塊構成,每個存儲模塊均可獨立工作,實現數據的分布式存儲。根據實際應用環境的需求,控制模塊和存儲模塊可置于同一臺設備中,也可置于不同設備中,各模塊由SpaceWire網絡互聯。控制模塊負責SpaceWire網絡配置及分布式存儲系統的管理,控制各個存儲模塊完成數據文件的創建、刪除,數據的記錄及回放等。整個分布式存儲系統對外呈現統一的SpaceWire數據接口,以模塊邏輯地址作為提供數據存取服務的入口,數據源端不需要關注存儲模塊的物理位置。當發生單存儲模塊故障時,只要修改路由配置就能將數據無縫遷移至其他存儲模塊,而數據源端可不做任何修改。當需要增加存儲容量時,在適合的設備中增配存儲模塊數量即可,對外接口及協議設計不會發生變動。目前,分布式存儲系統可應用于航天器中低速率數據的存儲,后續隨著航天器高速通信技術的發展成熟,可無縫接入高速數據傳輸,整體實現航天器數據存儲的統一管理。

1.1 網絡結構設計

分布式存儲系統網絡構成如圖1所示,各模塊均連接于SpaceWire網絡中,對載荷設備提供統一的SpaceWire輸入輸出接口。在實際設計中,控制模塊可不獨立配備,其控制功能與其他接入SpaceWire網絡的計算機進行集成,多個存儲模塊可形成冗余備份,為系統容錯設計帶來便利。

圖1 分布式存儲系統網絡構成Fig.1 Network structure of distributed storage system

1.2 網絡配置及協議設計

分布式存儲系統的傳輸協議分為網絡控制和應用數據傳輸兩類,分別利用SpaceWire網絡的2種尋址方式。

(1)路徑尋址。通過物理端口指定數據傳輸目的地,各級路由節點具有包頭刪除功能,將通過的數據包首字節刪除,把第2個字節作為數據包的新包頭首字節地址送出。路徑尋址示意如圖2所示。

(2)邏輯尋址。將路由器的物理端口通過路由表映射到某一個邏輯地址上,通過查找路由表確定邏輯地址對應的輸出端口,目標地址只需要由一個數據字符長度的邏輯地址來表示。利用邏輯尋址方式不需要關注具體網絡結構,因此可屏蔽網絡連接細節。邏輯尋址示意如圖3所示。

航天器網絡物理連接一旦確定,就具有不可更改的特性,因此網絡配置基于路徑尋址進行,以確保能夠正確訪問對應的節點。控制模塊集中進行整個網絡的配置,包括各個節點的端口狀態、通信速率、路由表配置等,配置成功即可為各載荷設備提供數據傳輸服務。網絡配置會產生短包、小數據量通信,控制模塊通過SpaceWire網絡采用遠程存儲器訪問協議(RMAP)對各節點工作寄存器進行配置,并讀出內容以確認配置正確。寫入操作命令包見圖4,讀出操作命令包見圖5。

圖2 路徑尋址示意Fig.2 Schematic diagram of path addressing

圖3 邏輯尋址示意Fig.3 Schematic diagram of logical addressing

圖4 RMAP寫入操作命令包Fig.4 RMAP write command package

圖5 RMAP讀出操作命令包Fig.5 RMAP read command package

應用數據傳輸在網絡層完成路由,對外屏蔽網絡連接方式,采用邏輯尋址方式基于路由表查找目的地。應用數據傳輸量較大,為提高傳輸效率,便于存儲模塊糾錯編碼及回放后地面處理,采用串行傳輸通用協議(STUP)定長傳輸方式。STUP協議數據包為基本傳輸格式,其內部裝載用戶應用數據結構,由數據文件標志和符合國際空間數據系統咨詢委員會(CCSDS)建議的虛擬信道幀(VCF)[8]構成,見圖6。

圖6 STUP數據包Fig.6 STUP data package

不同的載荷設備按照協議要求,將各自的應用數據組成數據包送出,數據包通過各級路由器時,在路由表控制下逐級傳輸至指定邏輯地址對應的存儲模塊。各類應用數據的生成速率、時機、頻度存在差異,因此可根據其存取特點分配不同的存儲模塊,例如,可分為長期數據和短期數據,或者分為平臺遙測數據和載荷數據。通常,將需要長期記錄的數據集中存儲,將僅在觀測時產生的載荷數據及其輔助數據集中存儲,每個存儲模塊內部數據通過文件形式進行管理,對于短期數據的存儲模塊可短期加電工作,降低系統功耗。

SpaceWire總線采用流控制機制[9],當接收端中的緩沖器有足夠容納8 byte數據字符的空間時,發送1個流控制字符(FCT)到鏈路發送端的鏈路接口,發送端鏈路接口接收到FCT控制字符后,可以發送8 byte數據字符。只要接收端的緩沖器有足夠空間,就可向發送端發送FCT控制字符。在一個完整數據包通信結束前,其傳輸路徑被占用,不能傳輸其他數據包,因此數據發送端需要對發送數據進行緩存,避免鏈路傳輸路徑的占用導致數據丟失,當某端口傳輸數據總量達到總帶寬的80%時,要進一步對各節點的發送時序關系進行規劃,降低路徑沖突。

1.3 系統重構

分布式存儲系統具備系統重構能力,當部分模塊故障時可對系統進行重構,實現系統控制和數據存儲功能的遷移,提高系統容錯能力。系統重構會對數據傳輸路徑進行重新組織,重新分配各模塊的功能,因此通常會帶來路由表配置的變化,將邏輯地址映射至新的物理端口,從而實現存儲功能的遷移。系統重構一般通過軟件配置信息注入或程序在軌維護的方式進行,使系統在重構后的網絡結構中工作,邏輯尋址方式能夠很好地對外屏蔽網絡結構的變化,載荷設備不需要了解網絡組成細節,因此不必進行任何修改即可適應,能夠最大化地將故障帶來的更改限制在最小范圍內。

控制模塊的控制功能通常由軟件實現,可集成在連接于SpaceWire網絡中的任意一臺計算機中,控制功能的遷移即將該功能轉移至另外一臺計算機的軟件中,且對應的邏輯地址需要映射到連接后者的物理端口。存儲模塊可通過模塊數量、存儲容量兩方面進行冗余,即配置多于實際需求的存儲模塊,或者每個模塊分配的存儲數據量小于其容量,為數據存儲、遷移預留。例如,某系統中配置4個存儲模塊,每個128 Gbit容量,實際使用3個模塊,第4個作為備份預留。

2 實例驗證

以某衛星分布式存儲系統的設計及應用為例,驗證本文提出設計的可行性和優勢。

2.1 網絡組成

某衛星分布式存儲系統的具體實現如圖7所示。衛星上配置4種輔助載荷,對輔助存儲器數據存儲要求為:在衛星成像期間,通過SpaceWire總線接收4臺輔助載荷傳輸的應用數據、系統管理計算機生成的環境監測輔助數據;在整個壽命期內,不間斷地記錄衛星工程遙測數據。衛星存儲功能由綜合電子系統實現,分布式存儲系統也依托于綜合電子系統設備建立,系統共配置4個存儲模塊,分別安裝于系統管理單元、載荷接口單元中,控制模塊的控制功能集成在CPU模塊1、2(位于系統管理單元)中。該分布式存儲系統為4個輔助載荷設備提供數據存儲服務,輔助載荷設備A、B機分別占用1個SpaceWire端口。存儲模塊1、2長期開機,用于不間斷地記錄衛星工程遙測數據;存儲模塊3、4用于記錄成像期間的載荷應用數據及環境監測輔助數據,非成像期間可關機。

整個SpaceWire網絡以路由單元為核心,路由單元內部由3片愛特梅爾(Atmel)公司8端口路由芯片AT7910E構成,3個路由芯片間通過雙路互聯組成環形網絡,對外提供18個標準SpaceWire端口,通過3級路由表配置,實現所有節點的互聯互通。存儲模塊1～4也應用AT7910E作為協議芯片,CPU模塊1、2和CPU模塊3、4分別與存儲模塊1、2和存儲模塊3、4內部互聯,共享協議芯片接入網絡。路由單元、存儲模塊均為冷備份設計,因此常態下整個網絡中5個路由芯片同時工作。

系統默認CPU模塊1、2作為控制模塊,在故障情況下可通過軟件在軌維護的方式將CPU模塊3、4(位于載荷接口單元)配置為控制模塊。

圖7 某衛星分布式存儲系統網絡結構Fig.7 Network structure of distributed storage system in a satellite

2.2 地址分配及路由配置

在圖7的網絡中,所有節點工作模式均為冷備份,因此A、B機分配相同的邏輯地址,如果需要設計為同時工作,可修改路由表,分配不同的邏輯地址實現。各節點邏輯地址分配如表1所示,其中測試節點用于系統測試。控制模塊(CPU模塊1、2)通過路徑地址訪問所有路由芯片,集中進行路由表配置,表2為控制模塊1、2使用的路徑地址。路由芯片的路由表配置如表3所示。

表1 SpaceWire邏輯地址分配Table 1 Allocation of SpaceWire logical address

表2 控制模塊1、2使用的路徑地址Table 2 Path address of control module 1,2

續 表

表3 路由芯片路由表配置Table 3 Router table configuration of routing chips

在路由表配置中,路由單元內部的雙路互聯中,默認配置為使用端口1～8就近環路方向互聯,另一環路方向路徑及端口9～10路徑作為預留,由于節點為冷備份設計,因此使用組適應路由方式,切機后路由表不需要修改。

該衛星分布式存儲系統選用的路由芯片為AT7910E,最高可支持200 Mbit/s傳輸速率。對其數據傳輸路徑進行分析,最大數據量通信端口為存儲模塊3、4的接收端口,峰值速率要求約為60 Mbit/s,因此將該衛星SpaceWire帶寬設置為100 Mbit/s,最大傳輸峰值約為總帶寬的60%,能夠滿足使用要求。

2.3 冗余設計

分布式存儲系統配置多個控制模塊和多個存儲模塊,相互之間可形成備份關系。控制模塊功能集成在CPU模塊1、2中,由CPU軟件實現。CPU模塊1、2為冷備份設計,控制模塊功能遷移隨其切換同時完成。CPU模塊3、4也可作為控制模塊使用,必要時可在軌修改其軟件,增加相應功能。更改后,路由表不需要更改,控制模塊進行網絡配置時使用的路徑地址如表4所示。

表4 控制模塊3、4使用的路徑地址Table 4 Path address of control module 3,4

當某個存儲模塊故障時,可將向該模塊傳輸的數據遷移至其他存儲模塊,即修改每個路由芯片的路由表,將該地址的數據路由到其他存儲模塊進行處理。例如,將邏輯地址40(存儲模塊3)對應的路由設置改為與邏輯地址34(存儲模塊1)相同即可,數據傳輸路徑對載荷設備透明。

2.4 應用效果

在圖7所示的某衛星分布式存儲系統中,共配置4個存儲模塊,2個CPU系統作為控制模塊,另外還有2個CPU系統可作為備用控制模塊使用,系統對外呈現一致的SpaceWire物理接口。任意模塊間的切換、系統的重構、傳輸路徑的更改均對外屏蔽。與配置雙固態存儲系統的B衛星進行對比,如表5所示。可見,在載荷設備數量基本相當的情況下,本文設計實例在物理接口種類和協議設計的復雜性上顯著優于B衛星,且使用操作更簡化,在適應存儲需求變化及系統重構方面優勢更為突出。

表5 應用效果對比Table 5 Comparison of application effects

3 結束語

配置多種載荷可提高服務質量和應用效率,擴大用戶服務范圍,已逐漸成為航天器研制的常態,隨之而來的在軌數據存儲需求也更加靈活。本文提出的應用SpaceWire網絡的分布式存儲系統,可輔助主存儲器適應中低速數據存儲、在軌長期工作等需求,擴展性良好,在軌具有靈活的重構手段,在故障情況下能最大程度實現系統功能不降級,空間應用的優勢較為突出,目前已經過航天器的在軌驗證,工作狀態良好。隨著SpaceWire-D、Spacw Fibre等技術的后續推廣應用,在數據傳輸時序確定性、通信速率方面還有更大的發展空間[10],未來可將主存儲器納入分布式存儲系統進行統一管理,為航天器提供統一、面向邏輯接口、在軌可重構的高可靠數據存儲服務。