國產微服務基礎架構關鍵技術研究與設計

王玉琳 曹小靜 李智深 周春云

近幾年來，隨著信息技術的高速發展及現代化信息處理環境的復雜化，傳統信息系統變得越來越龐大，軟硬件之間、服務模塊間、前后臺之間緊耦合嚴重，導致信息系統擴展性能差、重構能力弱、升級改造困難，新功能開發或修改更加耗時。傳統的RPC架構或SOA架構已無法滿足各級各類信息系統適應多樣化任務、快速更新迭代的需求。在信息系統需求升級的大背景下，開展國產微服務架構關鍵技術研究已迫在眉睫，力求解決國產信息系統受國產基礎硬件平臺制約、運行效率低、交付擴展及迭代能力不足等問題。

國產微服務基礎架構技術是堅持國產自主可控發展路線，將國產信息系統中的不同模塊以微服務方式進行拆分，每個微服務是獨立內聚的業務邏輯，能夠單獨開發、調試、部署、運行及治理，每個服務運行在其獨立的進程中，服務與服務間采用輕量級的通信機制互相協作。通過微服務與Docker技術相結合，將國產信息系統中的微服務編譯、部署、調測及升級演化成全自動化的工程，推動國產微服務基礎架構的快速發展。國產微服務基礎架構關鍵技術研究主要包含基于硬件混合架構容器技術、容器化微服務開發標準等方面，并基于硬件平臺構建微服務原型系統進行關鍵技術驗證。

國產微服務基礎架構關鍵技術研究采用“3層2域”，包括服務基礎環境層、微服務支撐層、剖分方法與典型應用層，以及技術研究實施體系域與標準規范保障體系域，研究總體架構如圖1所示。

服務基礎環境層采用容器技術實現國產龍芯、飛騰等混合硬件架構資源的虛擬和池化，以容器形式提供混合架構的微服務運行時環境。

服務支撐層主要由數據層、運行層、服務層組成。數據層為微服務訪問、交換、配置、運行提供數據共享同步、網內融合與協同調度；運行層為微服務提供容器編排管理框架，支持容器管理與協同調度，具備迭代增量、快速交付能力；服務層以微服務為對象，提供動態協同交互能力，支持集中式、自組織協同等服務模式，并提供服務制作、注冊管理、編排組合應用能力。

剖分方法與典型應用層主要包括由剖分機制、剖分模型、剖分方法與剖分評價等，并結合典型應用進行關鍵技術驗證。

（一）基于混合硬件架構的容器技術

通過在國產龍芯及飛騰平臺移植、適配Docker引擎，并對Docker存儲驅動進行優化，提供微服務運行時環境。在Docker移植適配方面，首先，在國產龍芯、飛騰等國產平臺上優化GO編譯器；其次，選擇穩定的Docker發行版，保證各國產平臺上接口的一致性；最后，移植Containerd、runC等組件，修改與平臺架構相關的Golang代碼、結構體定義和常量定義等，修復無法解析信號SIGEMT和部分龍芯、飛騰架構兼容的問題，優化Docker運行效率。在存儲驅動優化方面，通過優化地址映射、I/O攔截和緩存管理等機制解決國產硬件平臺上現有存儲驅動存在寫時復制操作粗粒度較大、冗余頁緩存、I/O性能較低等問題。首先，為了以較低開銷支持細粒度的寫時復制操作，地址映射機制采用兩級映射策略來支持兩種不同的虛擬塊大小，并針對不同的寫請求采用按需分配的塊分配機制，以實現高效的寫時復制操作；其次，為了有效地減少冗余I/O請求，冗余I/ O攔截提供了一個輕量級的攔截機制，可以準確地檢測冗余I/O請求，并且支持從其它容器緩存而不是硬盤中讀取數據；最后，基于有效的緩存監控方法和回收策略，緩存管理機制可以顯著地減少緩存中的無用重復數據，進而達到提升緩存效率的目的。

（二）結合容器技術的微服務開發規范

通過研究容器運行機理與微服務特性，形成容器化微服務開發規范，支持兩者良好融合，實現微服務運維的一站式自動化，開發規范如下：

1.微服務原則：職能單一、低耦合與高內聚、前后端分離、無狀態服務。

2.異常退出機制：服務提供異常退出機制，當服務啟動失敗或異常時能夠正常退出。

3.長和短連接機制：應用服務采用短連接訪問機制，特定情況下需要保持長連接時，應用服務應具備重連機制。

4.服務與客戶端IP解耦：應用服務無法獲取到客戶端請求的源IP，不支持應用服務對客戶端IP進行檢測。

5.服務與本地IP解耦：應用服務對外IP和本地IP代表不同的含義，不支持應用服務將對外IP和本地IP進行一致性檢測。

6.服務主程序前臺運行，不能以守護進程方式運行：應用服務主程序需要前臺運行，如果后臺運行則在容器啟動完成該程序后，認為該程序執行結束，容器將立即退出。

基于國產微服務基礎架構關鍵技術研究成果，設計并構建微服務原型系統，系統由管理、計算、存儲等三類節點組成，部署拓撲如圖2所示。

管理節點是系統的控制中心，負責管理和控制，接收用戶控制指令并負責具體執行過程。管理節點采用集群式（至少3個節點）設計，避免單點故障，確保系統自身穩定性。計算節點是執行任務的負載節點，負責執行管理節點分發的任務（以容器形式），并監控容器的運行狀態。存儲節點為容器提供存儲空間，支持本地、共享等存儲方式，存儲節點為可選。計算節點可替代存儲節點，使用自帶硬盤提供存儲空間。管理節點之上也可以部署計算組件，既承擔管理職責又充當計算節點的角色，實現管理節點資源最大化利用。

基于四臺龍芯服務器（CPU：龍芯3A3000處理器、雙路、8核，內存：16GB，磁盤：1TB）和中標麒麟服務器操作系統V5.0采用“3管理節點+4計算節點”部署模式構建的微服務原型系統，采用Iperf工具測試跨計算節點間容器網絡質量情況，通過300組測試數據分析，虛擬化網絡傳輸速率折損率為1.23%，具體如圖3所示。

另外，使用Stress壓力測試工具分別將管理節點CPU負載達至20%、40%、60%、80%、90%，進行30個高負載的200MCPU、200M內存的測試容器創建、刪除操作，微服務原型系統運行正常。

通過研究于國產微服務基礎架構關鍵技術，設計微服務原型系統，有效支撐國產信息系統的構建。一方面在使得國產信息系統在復雜度可控的前提下，將系統的各個微服務分散運行于國產基礎硬件平臺之上，通過集群化思維可快速擴充信息系統所依賴的基礎硬件平臺，提升信息系統的運行效率；另一方面使得國產信息系統具有良好的快速交付、升級擴展、迭代重構、容錯恢復以及自主可控等特性，保障國產信息系統的安全、可靠運行，滿足國產信息系統任務多樣化和快速更新迭代的需求。

作者單位：王玉琳、曹小靜、周春云 揚州萬方科技股份有限公司李智深 某部駐鎮江軍事代表室