中圖分類號(hào):TP274;TP3 文獻(xiàn)標(biāo)志碼:B 文章編碼:1672-7274(2025)07-0012-03
Design and Implementation of Intelligent Distribution System BasedonDomesticSatelliteData
YIN Shaopeng (KQGEO TechnologyCo.,Ltd.,Beijing,China)
Abstract: With the rapid advancement of domestic satelite technology and the continuous expansion of its datascale,intellgent distribution ofremote sensing data hasbecome aresearch hotspot.This paper,addressing the problems of low efficiency and irrational resource allocation associated with traditional satelite data processing methods,designs and implements an intelligent distributionsystem for domestic satelite data based on cloud computing technology.
Keywords: domestic satelite data; cloud computing; intelligent distribution system; multi-level caching strategy: data security
研究背景
近年來,隨著我國航天事業(yè)的蓬勃發(fā)展,國產(chǎn)衛(wèi)星也進(jìn)入了快速發(fā)展的軌道。國產(chǎn)衛(wèi)星數(shù)量和種類都在不斷增加,衛(wèi)星獲取的遙感影像數(shù)據(jù)也呈現(xiàn)爆發(fā)式增長的趨勢。為了充分利用這些寶貴的衛(wèi)星數(shù)據(jù)資源,迫切需要建立一個(gè)高效、智能的衛(wèi)星數(shù)據(jù)分發(fā)系統(tǒng)1]。
傳統(tǒng)的衛(wèi)星數(shù)據(jù)分發(fā)方式主要依賴人工處理,效率低下,已經(jīng)無法滿足海量衛(wèi)星數(shù)據(jù)的分發(fā)需求。同時(shí),不同用戶對(duì)衛(wèi)星數(shù)據(jù)的需求差異很大,如何針對(duì)性地為用戶提供所需數(shù)據(jù)也是一大挑戰(zhàn)[2]。因此,開發(fā)一個(gè)智能化的衛(wèi)星數(shù)據(jù)分發(fā)系統(tǒng),實(shí)現(xiàn)衛(wèi)星數(shù)據(jù)的自動(dòng)化處理和個(gè)性化分發(fā)具有重要意義。
目前,國內(nèi)外已有一些衛(wèi)星數(shù)據(jù)分發(fā)系統(tǒng)的研究和應(yīng)用。文獻(xiàn)[3提出了一種基于Web服務(wù)的衛(wèi)星數(shù)據(jù)分發(fā)框架,實(shí)現(xiàn)了異構(gòu)衛(wèi)星數(shù)據(jù)的集成與發(fā)布。文獻(xiàn)4介紹了歐空局的哨兵(Sentinel)衛(wèi)星數(shù)據(jù)的開放獲取平臺(tái),為全球用戶提供免費(fèi)的數(shù)據(jù)下載服務(wù)。但現(xiàn)有的分發(fā)系統(tǒng)大多側(cè)重?cái)?shù)據(jù)的在線瀏覽和下載,在數(shù)據(jù)處理和個(gè)性化分發(fā)方面的智能化程度還有待加強(qiáng)。
本文設(shè)計(jì)的衛(wèi)星數(shù)據(jù)智能分發(fā)系統(tǒng)將充分利用云計(jì)算、大數(shù)據(jù)分析、機(jī)器學(xué)習(xí)等前沿技術(shù),為海量國產(chǎn)衛(wèi)星數(shù)據(jù)的高效應(yīng)用提供有力支撐。系統(tǒng)的實(shí)現(xiàn)將極大促進(jìn)我國衛(wèi)星數(shù)據(jù)的共享和深度應(yīng)用,為國民經(jīng)濟(jì)建設(shè)、生態(tài)環(huán)境保護(hù)、防災(zāi)減災(zāi)等領(lǐng)域提供重要的信息和決策支持。
2 國產(chǎn)衛(wèi)星數(shù)據(jù)概述
2.1國產(chǎn)衛(wèi)星介紹
我國自主研制并成功發(fā)射的衛(wèi)星系列包括資源系列衛(wèi)星、高分系列衛(wèi)星和海洋系列衛(wèi)星等5。這些衛(wèi)星具備高分辨率、寬幅成像、高時(shí)間分辨率等特點(diǎn),可廣泛應(yīng)用于國土測繪、城市規(guī)劃、生態(tài)環(huán)境、災(zāi)害監(jiān)測等領(lǐng)域[5]
資源衛(wèi)星是我國自主研發(fā)的對(duì)地觀測衛(wèi)星系列,主要用于開展陸地資源調(diào)查、監(jiān)測和綜合利用[5]。高分系列衛(wèi)星是在資源衛(wèi)星基礎(chǔ)上研制的新一代高分辨率對(duì)地觀測衛(wèi)星,具備亞米級(jí)空間分辨率、多波段成像等先進(jìn)性能[5]。海洋衛(wèi)星主要用于開展海洋動(dòng)力環(huán)境、海洋生態(tài)環(huán)境等方面的監(jiān)測[5][6]。
海量、多源、異構(gòu)的衛(wèi)星遙感大數(shù)據(jù)給數(shù)據(jù)管理和應(yīng)用帶來巨大挑戰(zhàn)。傳統(tǒng)的數(shù)據(jù)處理模式已難以滿足海量國產(chǎn)衛(wèi)星數(shù)據(jù)管理與分發(fā)的需求,亟需引入云計(jì)算和大數(shù)據(jù)平臺(tái),借助其強(qiáng)大的數(shù)據(jù)存儲(chǔ)、計(jì)算和分析能力,實(shí)現(xiàn)國產(chǎn)衛(wèi)星數(shù)據(jù)的高效管理、智能處理和按需分發(fā)[5][7]。
2.2數(shù)據(jù)類型與特點(diǎn)
遙感衛(wèi)星數(shù)據(jù)按照其來源可分為氣象衛(wèi)星數(shù)據(jù)、陸地衛(wèi)星數(shù)據(jù)和海洋衛(wèi)星數(shù)據(jù)三大類[8。由于遙感衛(wèi)星數(shù)據(jù)體量巨大且保存形式多樣,給數(shù)據(jù)的管理和維護(hù)帶來很大難度[]。單個(gè)數(shù)據(jù)文件動(dòng)輒數(shù)十兆比特(MB)到數(shù)十吉比特(GB),在網(wǎng)絡(luò)傳輸時(shí)耗時(shí)長、占用帶寬高,容易引發(fā)數(shù)據(jù)不一致問題。此外,原始數(shù)據(jù)、元數(shù)據(jù)、瀏覽圖之間存在復(fù)雜的關(guān)聯(lián)關(guān)系,在組織備份時(shí)需要特別注意維護(hù)數(shù)據(jù)的完整性和一致性[7]。因此,傳統(tǒng)的數(shù)據(jù)管理模式已經(jīng)無法適應(yīng)遙感衛(wèi)星數(shù)據(jù)的發(fā)展需求,亟需引入智能化的分發(fā)機(jī)制來提升數(shù)據(jù)的管理和服務(wù)水平。
3 智能分發(fā)系統(tǒng)需求
3.1系統(tǒng)設(shè)計(jì)目標(biāo)
在設(shè)計(jì)智能分發(fā)系統(tǒng)的過程中,確定系統(tǒng)的主要功能是構(gòu)建框架的關(guān)鍵步驟。系統(tǒng)需要針對(duì)多種用戶使用場景實(shí)現(xiàn)靈活的數(shù)據(jù)處理與分發(fā),以確保國產(chǎn)衛(wèi)星數(shù)據(jù)能夠高效且準(zhǔn)確地傳遞至各終端用戶。為了滿足實(shí)際操作需求,系統(tǒng)性能指標(biāo)被設(shè)定為具體的量化標(biāo)準(zhǔn),包括但不限于數(shù)據(jù)吞吐量、實(shí)時(shí)性、可靠性及容錯(cuò)能力,確保在不同的工作環(huán)境下都能保持較高水平的服務(wù)質(zhì)量。
系統(tǒng)的優(yōu)化過程是迭代發(fā)展的重要環(huán)節(jié)。通過反復(fù)測試與評(píng)估,不斷地調(diào)整系統(tǒng)參數(shù)及算法優(yōu)化,力求達(dá)到最優(yōu)性能指標(biāo)。在系統(tǒng)多維度的性能指標(biāo)測試基礎(chǔ)上,通過與預(yù)先設(shè)定的性能指標(biāo)相比較,確保系統(tǒng)設(shè)計(jì)方案能夠滿足實(shí)用性與高效性的要求。最終在優(yōu)化調(diào)整達(dá)到既定目標(biāo)后,系統(tǒng)設(shè)計(jì)方案得以定稿,確保了智能分發(fā)系統(tǒng)的高性能與高穩(wěn)定性,并能在實(shí)際應(yīng)用中實(shí)現(xiàn)國產(chǎn)衛(wèi)星數(shù)據(jù)的快速處理與精準(zhǔn)分發(fā)。
3.2用戶與市場分析
為了精確匹配國產(chǎn)衛(wèi)星數(shù)據(jù)與用戶需求,本文進(jìn)行了細(xì)致的市場調(diào)研,深入解析用戶類別、需求頻次、對(duì)數(shù)據(jù)類型的具體需求以及數(shù)據(jù)處理的緊急程度。并結(jié)合用戶需求統(tǒng)計(jì)表詳盡記錄每一類用戶的數(shù)據(jù)利用細(xì)節(jié),并以此為依據(jù)設(shè)計(jì)智能分發(fā)系統(tǒng)。在系統(tǒng)實(shí)施時(shí),基于每個(gè)用戶類別設(shè)計(jì)了一個(gè)特定的數(shù)據(jù)分發(fā)優(yōu)先級(jí),并依據(jù)實(shí)際數(shù)據(jù)量和延遲需求計(jì)算出必要的存儲(chǔ)空間和處理能力。
本文采用機(jī)器學(xué)習(xí)算法對(duì)用戶提出的需求進(jìn)行分類和排序,確保衛(wèi)星數(shù)據(jù)可以以最高效率分發(fā)給最需要的用戶。智能分發(fā)系統(tǒng)通過深度學(xué)習(xí)算法持續(xù)優(yōu)化用戶數(shù)據(jù)匹配過程,并根據(jù)反饋數(shù)據(jù)自適應(yīng)調(diào)整數(shù)據(jù)分發(fā)策略,以提高整體系統(tǒng)性能。系統(tǒng)在分發(fā)衛(wèi)星數(shù)據(jù)時(shí)考慮用戶的實(shí)際工作流程,設(shè)計(jì)了一套完備的用戶數(shù)據(jù)接收評(píng)估機(jī)制,實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)在不同用戶間的傳輸效率和準(zhǔn)確性。結(jié)果表明,系統(tǒng)極大提升了國產(chǎn)衛(wèi)星數(shù)據(jù)在科研、環(huán)境監(jiān)測、農(nóng)業(yè)應(yīng)用、氣象預(yù)報(bào)、國土資源管理、城市規(guī)劃、交通運(yùn)輸?shù)阮I(lǐng)域的實(shí)用價(jià)值。在滿足各類用戶需求的同時(shí),系統(tǒng)還展現(xiàn)了強(qiáng)大的靈活性和可擴(kuò)展性,為未來國產(chǎn)衛(wèi)星數(shù)據(jù)服務(wù)提供了堅(jiān)實(shí)的理論和實(shí)踐基礎(chǔ)。
系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)
4.1系統(tǒng)架構(gòu)設(shè)計(jì)
基于國產(chǎn)衛(wèi)星數(shù)據(jù)的智能分發(fā)系統(tǒng)在設(shè)計(jì)和實(shí)現(xiàn)過程中,重點(diǎn)關(guān)注系統(tǒng)的可伸縮性、魯棒性以及數(shù)據(jù)處理效率。在系統(tǒng)架構(gòu)設(shè)計(jì)上,首先詳盡定義了系統(tǒng)需求,包括但不限于數(shù)據(jù)吞吐能力、實(shí)時(shí)性要求,以及用戶交互界面的便捷性。緊隨其后的是選擇合適的硬件平臺(tái),確定了使用標(biāo)準(zhǔn)的服務(wù)器集群作為基礎(chǔ)計(jì)算資源,輔以專用的數(shù)據(jù)加速卡以提高特定計(jì)算任務(wù)的性能。在軟件平臺(tái)的選型上,決定采用分布式計(jì)算框架以便于水平擴(kuò)展和負(fù)載均衡,確保了系統(tǒng)在處理大規(guī)模衛(wèi)星數(shù)據(jù)時(shí)的高效性。
在深入的技術(shù)討論中,系統(tǒng)接口的設(shè)計(jì)得到了細(xì)致的考慮,確保了與國產(chǎn)衛(wèi)星數(shù)據(jù)源無縫對(duì)接,并為今后可能的系統(tǒng)升級(jí)預(yù)留了充分的空間。此外,數(shù)據(jù)處理流程的設(shè)計(jì)抽象出了核心的數(shù)據(jù)提取、處理、傳輸階段,利用最新的并行計(jì)算理念設(shè)計(jì)算法,極大地提升了數(shù)據(jù)處理的速率。數(shù)據(jù)存儲(chǔ)方案則采取了分層存儲(chǔ)結(jié)構(gòu),結(jié)合了高速緩存和大容量磁盤陣列,既保證了常用數(shù)據(jù)的快速訪問,也確保了海量數(shù)據(jù)歸檔的可靠性。
整個(gè)設(shè)計(jì)與實(shí)現(xiàn)的過程緊密圍繞著深刻的理論基礎(chǔ)與實(shí)證研究,注重理論與實(shí)際應(yīng)用的結(jié)合。高度重視系統(tǒng)構(gòu)建的每一環(huán)節(jié),確保框架的完整性和先進(jìn)性,為國內(nèi)外同行和用戶提供了一個(gè)高效、穩(wěn)定、易用的智能衛(wèi)星數(shù)據(jù)分發(fā)平臺(tái)。通過本項(xiàng)研究,國產(chǎn)衛(wèi)星數(shù)據(jù)的處理與分發(fā)將更加高效,深化了國產(chǎn)軟硬件在空間數(shù)據(jù)處理領(lǐng)域的應(yīng)用,具有積極的學(xué)術(shù)推動(dòng)和實(shí)際應(yīng)用價(jià)值。
4.2功能實(shí)現(xiàn)細(xì)節(jié)
在分發(fā)策略算法的實(shí)現(xiàn)中,首先定義了一個(gè)強(qiáng)類型的數(shù)據(jù)結(jié)構(gòu)來呈現(xiàn)國產(chǎn)衛(wèi)星數(shù)據(jù),確保了處理過程的類型安全性和數(shù)據(jù)一致性。隨后,通過一系列判斷邏輯來決定數(shù)據(jù)應(yīng)該如何分發(fā)到不同的處理節(jié)點(diǎn)。例如,如果數(shù)據(jù)符合基于時(shí)間戳的分發(fā)條件,則發(fā)送至?xí)r間序列分析服務(wù);反之,若數(shù)據(jù)匹配地理標(biāo)簽優(yōu)先策略,則由地理信息處理系統(tǒng)進(jìn)行進(jìn)一步分析。此智能分發(fā)邏輯的實(shí)現(xiàn)考慮了處理節(jié)點(diǎn)的當(dāng)前負(fù)載和響應(yīng)速度,旨在動(dòng)態(tài)平衡系統(tǒng)負(fù)載,優(yōu)化整體數(shù)據(jù)處理效率。
分發(fā)過程中的異常處理同樣重要。在方法實(shí)現(xiàn)中,分發(fā)策略算法兜底了異常捕獲機(jī)制,保障了在數(shù)據(jù)分配時(shí)發(fā)生意外情況,如網(wǎng)絡(luò)延遲、節(jié)點(diǎn)過載等,系統(tǒng)都能及時(shí)做出響應(yīng),記錄錯(cuò)誤信息并采取相應(yīng)的恢復(fù)措施,以此確保分發(fā)系統(tǒng)的魯棒性。
分發(fā)策略算法的實(shí)現(xiàn)不是孤立的,它與系統(tǒng)中的其他組件如數(shù)據(jù)接收模塊、資源監(jiān)控模塊等緊密配合,共同協(xié)作完成國產(chǎn)衛(wèi)星數(shù)據(jù)的智能分發(fā)任務(wù)。該算法通過合理分割責(zé)任與封裝,提高了系統(tǒng)的靈活性與可測試性。在后續(xù)的系統(tǒng)性能測試中,分發(fā)策略算法展現(xiàn)了高效和穩(wěn)定的數(shù)據(jù)處理能力,同時(shí)對(duì)系統(tǒng)的擴(kuò)展性和可維護(hù)性貢獻(xiàn)明顯,滿足了設(shè)計(jì)初衷和應(yīng)用需求。
5 結(jié)束語
本文通過對(duì)國產(chǎn)衛(wèi)星數(shù)據(jù)特點(diǎn)和用戶需求的分析,設(shè)計(jì)并實(shí)現(xiàn)了一套基于國產(chǎn)衛(wèi)星數(shù)據(jù)的智能分發(fā)系統(tǒng)。該系統(tǒng)基于微服務(wù)架構(gòu),采用分布式的方式部署[9,后端采用SpringBoot框架開發(fā),利用Kafka實(shí)現(xiàn)消息隊(duì)列,Redis作為緩存數(shù)據(jù)庫,MySQL用于主數(shù)據(jù)存儲(chǔ)。前端界面基于Vue框架實(shí)現(xiàn),整體采用前后端分離的開發(fā)模式[10]。系統(tǒng)實(shí)現(xiàn)了多種類型衛(wèi)星數(shù)據(jù)的自動(dòng)接收、處理與分發(fā)。針對(duì)不同用戶的差異化需求,提供個(gè)性化的數(shù)據(jù)訂閱與推送服務(wù)。利用機(jī)器學(xué)習(xí)算法對(duì)用戶行為進(jìn)行建模分析,實(shí)現(xiàn)智能化的數(shù)據(jù)推薦。同時(shí),系統(tǒng)還具備數(shù)據(jù)質(zhì)量監(jiān)測、故障診斷與告警等智能運(yùn)維功能,提高了系統(tǒng)的可靠性和運(yùn)行效率。
在實(shí)際應(yīng)用中,該系統(tǒng)大幅提升了國產(chǎn)衛(wèi)星數(shù)據(jù)的分發(fā)效率,降低了人工操作成本。用戶可以便捷地獲取所需的衛(wèi)星數(shù)據(jù),極大地促進(jìn)了衛(wèi)星遙感在各行業(yè)的應(yīng)用。系統(tǒng)支持水平擴(kuò)展,可靈活應(yīng)對(duì)未來數(shù)據(jù)量和用戶規(guī)模的增長。本研究突破了傳統(tǒng)衛(wèi)星數(shù)據(jù)分發(fā)模式的局限,探索了人工智能技術(shù)在衛(wèi)星數(shù)據(jù)服務(wù)中的創(chuàng)新應(yīng)用。但系統(tǒng)在海量異構(gòu)數(shù)據(jù)管理、知識(shí)圖譜構(gòu)建等方面還有待進(jìn)一步優(yōu)化完善。未來可深入研究更高效的數(shù)據(jù)組織與檢索方法,提升系統(tǒng)的查詢性能。
總之,基于國產(chǎn)衛(wèi)星數(shù)據(jù)的智能分發(fā)系統(tǒng)為我國衛(wèi)星應(yīng)用開啟了新的篇章。隨著相關(guān)理論與技術(shù)的不斷發(fā)展,智能化、個(gè)性化的衛(wèi)星數(shù)據(jù)服務(wù)必將成為未來的主流趨勢,本研究為后續(xù)相關(guān)工作提供了有益的參考與啟示。
參考文獻(xiàn)
[1]Khaja Faisal Hussain,Kathiravan Thangavel,Alessandro Gardi.PassiveElectro-Optical TrackingofResidentSpaceObjectsforDistributedSatelliteSystems AutonomousNavigation [J].Remote Sensing,2023
[2]MohamedKhalilBen-Larbi,KattiaFloresPozo,TomHaylok.Towardstheautomated operationsof largedistributed satellite systems.Part1:Reviewand paradigm shifts[J].Advances in SpaceResearch,2021
[3]衛(wèi)星高精度跟蹤指向控制地面仿真系統(tǒng)設(shè)計(jì)及分析[D].哈爾濱:哈爾濱工業(yè)大學(xué),2020.
[4]Chan Liu,LipingChen,JianwanDing.Modelingof SatelliteConstellation inModelicaand a PHMSystem Framework Driven by Model DataHybrid[J].Electronics,2022
[5]白健,楊志方,連彥澤.國產(chǎn)衛(wèi)星數(shù)據(jù)在云計(jì)算和大數(shù)據(jù)平臺(tái)中的應(yīng)用[J].中小企業(yè)管理與科技(上旬刊),2017:153-154.
[6]AaronB.Hoskins,HughR.Medal,Eghbal Rashidi.Optimizationof twice-dailydirectflyoverdatacollection forsatelliteobservationsatuncertainlocations[J].Advances in Space Research,2022
[7]馮旭祥,馮鐘葵,陳俊.遙感衛(wèi)星數(shù)據(jù)異地備份技術(shù)研究[J].遙感信息,2015:62-66+81.
[8]黃靜,陳昭華.我國衛(wèi)星技術(shù)發(fā)展中的應(yīng)用[J].衛(wèi)星電視與寬帶多媒體,2021:2(7-8).
[9]基于天通衛(wèi)星通信的海洋數(shù)據(jù)采集裝置研發(fā)[D].廈門:集美大學(xué),2020.
[10]蔡宗元.衛(wèi)星通信系統(tǒng)的發(fā)展及其關(guān)鍵技術(shù)[J].新媒體研究,2015:22-23.