基于Kubernetes的海量船舶交通信息數(shù)據(jù)存儲系統(tǒng)設(shè)計

摘要：針對Kubernetes在異構(gòu)云平臺的多租戶和復(fù)雜負(fù)載挑戰(zhàn)，該文設(shè)計了層次化資源模型和時序數(shù)據(jù)指標(biāo)，結(jié)合公平算法，實現(xiàn)高效船舶交通信息數(shù)據(jù)存儲系統(tǒng)，提升資源管理與調(diào)度效率，為大規(guī)模數(shù)據(jù)存儲提供有效解決方案。

關(guān)鍵詞：Kubernetes；船舶；交通信息；存儲系統(tǒng)

doi：10.3969/J.ISSN.1672-7274.2024.07.001

中圖分類號：U 675.7 文獻標(biāo)志碼：B 文章編碼：1672-7274（2024）07-000-03

Design of Mass Ship Traffic Information Data Storage System Based on Kubernetes

HOU Guojiao， WANG Shijian， JIANG Dongcan， ZHOU Shihao， ZHOU Yantong

（Three Gorges Navigation Authority of the Yangtze River， Yichang 443002， China）

Abstract： In view of the multi-tenancy and complex load challenges of Kubernetes on heterogeneous cloud platforms， we have designed a hierarchical resource model and time series data indicators， combined with a fair algorithm， to achieve an efficient ship traffic information data storage system， improve resource management and scheduling efficiency， and provide effective solutions for large-scale data storage.

Keywords： Kubernetes; ship; traffic information; storage system

0 引言

隨著全球貿(mào)易的迅速發(fā)展，海上船舶交通變得日益繁忙，如何有效管理和存儲海量船舶交通信息成為海事和航運領(lǐng)域的重要挑戰(zhàn)[1]。為提升海上交通管理效率和航海安全，本文研究和開發(fā)了一個高效的數(shù)據(jù)存儲系統(tǒng)。云計算和大數(shù)據(jù)技術(shù)的進步為這一難題提供了解決思路，其中，Kubernetes技術(shù)因高效資源管理、良好擴展性和靈活部署能力備受矚目[2]。盡管在海量船舶數(shù)據(jù)存儲方面，Kubernetes的應(yīng)用尚處于初級階段，但本研究創(chuàng)新性地運用該技術(shù)，構(gòu)建了層次化資源模型，并引入層級主資源公平算法，優(yōu)化了資源調(diào)度的公平性[3]。以此為基礎(chǔ)，本文進一步設(shè)計了適應(yīng)復(fù)雜負(fù)載的數(shù)據(jù)存儲系統(tǒng)框架，能夠根據(jù)實時數(shù)據(jù)流量動態(tài)調(diào)配資源，從而滿足海量數(shù)據(jù)的處理需求。

1 基于Kubernetes的海量船舶交通信

息數(shù)據(jù)存儲系統(tǒng)

1.1 層次化資源模型設(shè)計及其調(diào)度公平性算法

Kubernetes是開源容器編排平臺，可自動化部署、擴展和管理容器化應(yīng)用程序[4]。隨海上貿(mào)易發(fā)展，航運公司產(chǎn)生大量船舶交通數(shù)據(jù)，其有效分析與管理成技術(shù)難題。為此，本文設(shè)計了基于Kubernetes的層次化資源模型，以應(yīng)對海量船舶交通信息儲存。設(shè)計思路分三步：首先，創(chuàng)建基于定制資源定義（CRD）的資源模型API，這是Kubernetes資源調(diào)度的基礎(chǔ)；其次，運用Operator模式管理和調(diào)度資源，實現(xiàn)資源對象的自動化管理；最后，擴展資源模型功能，因集群資源利用常不均衡，需更精細(xì)的資源監(jiān)控。此設(shè)計旨在提高資源利用效率和管理便捷性，以滿足海運信息數(shù)據(jù)不斷增長的需求，提升航運公司的運營效率和安全性。

為了更好地描述關(guān)聯(lián)模型中的資源使用情況并提高資源的調(diào)度公平性能，研究引入層級主資源公平算法（Hierarchical Dominant Resource Fairness，H-DRF）進行資源管理[5]。首先，該算法收集來自不同用戶或組的資源請求。其次，對于每個資源請求，算法將識別其主資源并計算每個請求的主份額。再者，H-DRF會考慮資源分配的層級結(jié)構(gòu)，并評估每個層級的資源需求情況。最后，根據(jù)計算出的主份額和層級需求來公平分配資源，若分配結(jié)果滿足系統(tǒng)要求則結(jié)束算法，若不滿足則重新調(diào)整資源分配，直到分配結(jié)果滿足要求。

1.2 復(fù)雜負(fù)載下數(shù)據(jù)存儲系統(tǒng)的設(shè)計實現(xiàn)

完成Kubernetes層次化資源模型及其調(diào)度公平性算法的設(shè)計后，研究進一步轉(zhuǎn)向這一模型在實際應(yīng)用場景中的具體實現(xiàn)，搭建了面向復(fù)雜負(fù)載工作的數(shù)據(jù)存儲系統(tǒng)框架。結(jié)合Kubernetes層次化資源模型的數(shù)據(jù)存儲系統(tǒng)框架結(jié)構(gòu)如圖1所示。

圖1 結(jié)合Kubernetes的數(shù)據(jù)存儲系統(tǒng)框架結(jié)構(gòu)

圖1展示了基于Kubernetes層次化資源模型的數(shù)據(jù)存儲系統(tǒng)設(shè)計框架，包含7個關(guān)鍵部分。數(shù)據(jù)采集和預(yù)處理模塊負(fù)責(zé)從多方數(shù)據(jù)源收集并清洗船舶數(shù)據(jù)，確保數(shù)據(jù)質(zhì)量。考慮到數(shù)據(jù)的海量性，本研究選用Cassandra作為主存儲方案，因其快速讀寫、大容量存儲及易擴展性。數(shù)據(jù)處理層采用Apache Spark框架，支持批處理和實時數(shù)據(jù)流分析，實現(xiàn)高效數(shù)據(jù)處理。核心部分是Kubernetes，負(fù)責(zé)全面資源管理和調(diào)度，利用其自動擴展功能應(yīng)對需求波動。此外，框架還包括安全和合規(guī)、監(jiān)控日志管理以及用戶界面和API等模塊，共同構(gòu)成了一個完整、高效且安全的數(shù)據(jù)存儲和處理系統(tǒng)，滿足海事管理和航運公司對海量船舶交通信息的處理需求，提升了運營效率和安全性。

Kubernetes的層次化資源模型允許為不同的服務(wù)和應(yīng)用定義不同的資源配額和優(yōu)先級，確保關(guān)鍵應(yīng)用始終有足夠的資源。考慮到船舶交通信息的敏感性和重要性，還在系統(tǒng)框架中實施了嚴(yán)格的安全措施。這包括數(shù)據(jù)在傳輸和存儲過程中的加密、基于角色的訪問控制以及審計日志的記錄。此外，該層結(jié)構(gòu)還確保系統(tǒng)遵守了行業(yè)標(biāo)準(zhǔn)和法規(guī)要求，如國際航運法規(guī)和數(shù)據(jù)保護法規(guī)。最后，此次研究為系統(tǒng)用戶提供了一個直觀且功能豐富的用戶界面，使各位用戶能夠輕松訪問和分析數(shù)據(jù)，并且提供了RESTful API，允許其他系統(tǒng)或服務(wù)輕松集成和自動化數(shù)據(jù)處理。

2 基于Kubernetes的船舶數(shù)據(jù)存儲系

統(tǒng)測試分析

2.1 系統(tǒng)資源分配功能及調(diào)度公平性驗證測試

為驗證所設(shè)計的Kubernetes層次化資源模型和H-DRF算法的性能，選擇傳統(tǒng)Kubernetes、Docker Swarm編排容器作為對比模型，得到各個模型的資源分配效率和資源利用率如圖2所示。

圖2 三種模型的資源分配率和資源利用率

圖2（a）和圖2（b）所示分別為傳統(tǒng)Kubernetes、Docker Swarm、Kubernetes層次化三種資源模型的資源分配率和資源利用率。由圖2（a）可知，隨著時間的增加，三種模型的資源分配率均先增加后保持穩(wěn)定，穩(wěn)定后傳統(tǒng)Kubernetes、Docker Swarm、Kubernetes層次化三種資源模型的最高資源分配率分別為81.5%、89.8%、97.2%。由圖2（b）可知，隨著時間的增加，三種模型的資源利用率也呈現(xiàn)先增加后保持不變的趨勢。穩(wěn)定后傳統(tǒng)Kubernetes、Docker Swarm、Kubernetes層次化三種資源模型的最高資源利用率分別為83.2%、91.5%、99.0%。

通過對比三種資源模型的資源分配率和資源利用率，可知此次研究所設(shè)計的Kubernetes層次化資源模型的性能最優(yōu)。研究進一步引入主導(dǎo)資源公平性算法（Dominant Resource Fairness，DRF）、加權(quán)公平排隊算法（Weighted Fair Queueing，WFQ）兩種調(diào)度算法作為對比算法，從而驗證文中所設(shè)計的H-DRF算法的有效性。三種算法的任務(wù)調(diào)度時間和公平性指數(shù)變化情況如圖3所示。

圖3 不同調(diào)度算法的任務(wù)調(diào)度時間和公平性指數(shù)變化情況

圖3（a）和圖3（b）所示分別為DRF、WFQ、H-DRF算法的任務(wù)調(diào)度時間和公平性指數(shù)變化情況。由圖3（a）可知，當(dāng)任務(wù)數(shù)量不斷增加時，三種調(diào)度算法的任務(wù)調(diào)度時間均會改變。相較于DRF和WFQ來說，H-DRF的調(diào)度時間始終保持在0.4 s以下，DRF、WFQ、H-DRF所耗費的最高任務(wù)調(diào)度時間分別為1.65 s、0.92 s、0.38 s。由圖3（b）可知，當(dāng)調(diào)度時間不斷增加時，三種調(diào)度算法的公平性指數(shù)均總體呈現(xiàn)上升的變化。其中，H-DRF的公平性指數(shù)波動幅度最小，DRF、WFQ、H-DRF最終所達(dá)到的穩(wěn)定公平性指數(shù)值分別為0.68、0.76、0.93。

2.2 基于Kubernetes的存儲系統(tǒng)性能測試

除了驗證Kubernetes層次化資源模型和H-DRF算法的性能，研究將兩者結(jié)合應(yīng)用到數(shù)據(jù)存儲系統(tǒng)中，并根據(jù)存儲系統(tǒng)單個Pod端到端調(diào)度情況進行了系統(tǒng)性能測試，如圖4所示。

圖4（a）、圖4（b）、圖4（c）分別為Docker Swarm、傳統(tǒng)Kubernetes、Kubernetes層次化資源模型所搭建的數(shù)據(jù)存儲系統(tǒng)調(diào)度穩(wěn)定性和調(diào)度耗時情況。由圖4（a）可知，Docker Swarm下的存儲系統(tǒng)的穩(wěn)定性在0.76～0.85之間，其單個Pod端到端調(diào)度耗時在0.22～0.27 s之間。由圖4（b）可知，傳統(tǒng)Kubernetes下的存儲系統(tǒng)的穩(wěn)定性在0.83～0.91之間，其單個Pod端到端調(diào)度耗時在0.08～0.14 s之間。由圖4（c）可知，Kubernetes層次化資源模型下的存儲系統(tǒng)的穩(wěn)定性在0.96～0.99之間，其單個Pod端到端調(diào)度耗時在0.01～0.04 s之間。

3 結(jié)束語

本研究利用Kubernetes構(gòu)建層次化資源管理模型，并引入H-DRF算法以確保集群資源的公平調(diào)度。結(jié)合這兩點，本研cZsSgUecEw7JTwMe7OlFBx2bHmfsiluYQJMB+RplgYw=究設(shè)計了一個面向復(fù)雜負(fù)載的數(shù)據(jù)存儲系統(tǒng)框架。實驗結(jié)果顯示，優(yōu)化后的Kubernetes模型資源分配率高達(dá)97.2%，利用率達(dá)99.0%。H-DRF算法的調(diào)度時間低于0.4 s，公平性指數(shù)高達(dá)0.93，遠(yuǎn)超DRF和WFQ。在三種存儲系統(tǒng)中，本研究設(shè)計的數(shù)據(jù)存儲系統(tǒng)調(diào)度穩(wěn)定性達(dá)0.99，單個Pod調(diào)度耗時僅0.01 s。這表明本研究的數(shù)據(jù)存儲系統(tǒng)具有出色的資源調(diào)度性能，能有效處理大量船舶交通數(shù)據(jù)。然而，在極端負(fù)載或特殊資源需求下，如何平衡系統(tǒng)性能和公平性仍是挑戰(zhàn)。未來，筆者將繼續(xù)探索，以滿足更多復(fù)雜場景的需求，為海事管理和航運提供更高效、更安全的解決方案。

參考文獻

[1] 曾緣，李軻，竇亮．面向Kubernetes的容器立體化監(jiān)控系統(tǒng)[J]．計算機系統(tǒng)應(yīng)用，2023，32（5）：57-66．

[2] 蔣筱斌，熊軼翔，張珩，等．基于Kubernetes的RISC-V異構(gòu)集群云任務(wù)調(diào)度系統(tǒng)[J]．計算機系統(tǒng)應(yīng)用，2022，31（9）：3-14．

[3] 劉祥，胡瑞敏，王海濱．基于Kubernetes的AI調(diào)度引擎平臺[J]．計算機系統(tǒng)應(yīng)用，2023，32（8）：86-94．

[4] 韓維，孫林檀，呂靜賢，等．電力企業(yè)互聯(lián)網(wǎng)輿情數(shù)據(jù)規(guī)格化存儲系統(tǒng)設(shè)計[J]．信息技術(shù)，2023（8）：160-164．

[5] 魏亞清，夏少芳，胡秀源．海量船舶故障數(shù)據(jù)挖掘中的模糊運算聚類算法分析[J]．艦船科學(xué)技術(shù)，2022，44（13）：182-185．

作者簡介：侯國佼（1981—），男，漢族，湖北公安人，高級工程師，本科，研究方向為計算機應(yīng)用。

王士健（1983—），男，漢族，湖北荊州人，高級工程師，碩士，研究方向為信息化建設(shè)和運維。

姜東參（1995—），男，漢族，河南信陽人，工程師，本科，研究方向為計算機科學(xué)與技術(shù)。

周世豪（1999—），男，漢族，湖北荊州人，助理專業(yè)師，本科，研究方向為計算機科學(xué)與技術(shù)。

周延通（1988—），男，漢族，河南新鄉(xiāng)人，工程師，本科，研究方向為計算機科學(xué)與技術(shù)。