高精度位置服務平臺分布式架構研究與設計

李艷紅，成芳，沈朋禮，劉東亮，李曉婉

(1.中國科學院國家授時中心,西安 710600；2.中國科學院精密導航定位與授時技術重點實驗室,西安 710600；3.中國科學院大學,北京 100049)

0 引言

近年來，北斗衛星導航系統(BDS)應用快速發展，高精度位置服務越來越多地應用到了各行各業，尤其在測繪、精準農業、形變監測、地震監測、電力監測等領域都被廣泛應用[1-2]. 很多省市都抓住北斗發展機遇，大力發展位置服務產業，北斗位置服務平臺的建設在省級、地市級逐步開展，像黑龍江省、湖北省、遼寧省、陜西省都建設了符合本地發展需求的區域位置服務平臺，這一系列區域公共服務平臺的建設改善了北斗散戶自發的粗放式應用的局面，將其發展成區域公共服務平臺統一運營的增值式高效益應用，更加有利于北斗產業的可持續性發展. 但這些平臺只面向區域提供服務，區域與區域之間的服務平臺相對獨立，各區域平臺針對性強、適用性較低，缺少一個相對統一的系統標準，各個區域位置服務平臺之間存在重復建設的現象，位置服務數據存在大量冗余，計算資源和存儲資源也有很大的浪費. 目前在國內面向全國范圍的統一的公共位置服務平臺暫時空白.

北斗“一帶一路”高精度位置公共服務平臺(以下簡稱高精度位置服務平臺)跨越區域限制，面向全國和“一帶一路”沿線國家提供位置服務，具有規范的數據、服務、安全、存儲等技術標準. 平臺采用基于云計算概念和技術的數據中心解決方案，力求建設完成國內最權威、架構最完整、技術最先進、功能最強大的位置服務大數據云平臺. 目前高精度位置服務平臺集中了高精度位置服務的所有業務，其信息化連續性直接關系到用戶體驗和服務質量，隨著用戶量和業務的快速增加，平臺將會面臨越來越大的訪問壓力、計算壓力和存儲壓力. 針對這一發展的急切需求，我們提出了在廣西、泉州、成都等地建立高精度位置服務平臺分中心的發展規劃. 面對多中心的布局，如何根據高精度位置服務的不同業務特點，設計主中心與分中心之間的分布式系統架構，使得主中心與分中心之間能做到系統架構融合互通、平臺資源相互支撐、數據資源相互共享、業務流程相互促進，則是需要迫切解決的關鍵問題，也是本文的研究意義所在.

目前已有學者在位置服務平臺以及多數據中心業務系統的架構設計上進行過相關研究. 黑龍江位置服務平臺[3-4]采用分布式部署與應用模式，在黑龍江省架設總站點，在多地區布設分站，但在平臺架構上還是采用集中式架構，以國家“天地圖”和省(市)級節點提供的地圖服務資源為數據基礎[5]，提供規模化、業務化位置服務. 遼寧省北斗高精度位置服務平臺[6]采用傳統的集中式架構，針對東北高緯度地區可見衛星數量少，空間分布不佳導致的信號接收困難、定位時效性差的問題提出了多星多模數據融合定位. 湖北省BDS 高精度位置服務平臺[7]業務體系架構分為基礎設施層、應用支撐層、功能服務層、應用層以及表現層，應用支撐層為整體架構設計的核心部分，搭建了可動態擴展的、高可靠的位置服務云平臺，平臺根據功能服務層各應用領域的需求，為不同的應用領域提供位置服務. 上述區域位置服務平臺架構均為集中式架構，拓展性低，集中式架構使得整個平臺構成過于復雜，維護成本高，同時也不適用于多中心的運行模式. 秦浩等[8]針對雙中心的客服業務系統采用了分布式架構，從用戶接入、服務調度和數據復制等多個方面介紹了異地雙數據中心的分布式應用架構，實現了雙中心的系統容災和快速切換. 姜青云等[9]針對商業銀行多中心運行模式提出了分布式異地多活的基礎架構，對其架構進行介紹的同時也指出異地多活運行模式不僅能夠容災還能高效承擔業務任務. 上述學者分別對區域位置服務平臺和多中心的商業業務系統架構設計進行了研究，但在異地多中心的高精度位置服務平臺分布式架構設計上的相關研究卻是近乎空白.

本文在以上學者研究的基礎上，針對高精度位置服務平臺的業務特點以及異地多中心的運行模式對高精度位置服務平臺進行總體架構設計以及分層設計，采用目前主流的技術框架結合業務模塊，構建一個滿足功能和發展需求的高可用、高性能的分布式架構，為平臺的業務支撐提供保證.

1 設計原則與目標

合理利用分布式架構的技術先進性，采用業界主流的先進技術與模式，并與高精度位置服務業務相結合，確保先進技術與業務模式的有效與適用. 從整體上提高平臺的可靠性，降低平臺對單一設備可靠性的要求，使得支撐數據中心的資源根據業務應用需求進行彈性伸縮，實現系統的靈活擴展. 構建一個與業務平臺相適應的高性能、高可用分布式架構，實現主中心與分中心之間系統架構融合互通、平臺資源相互支撐、數據資源相互共享、業務流程相互促進的目標.

2 功能設計

高精度位置服務平臺主要實現對24 個國際GNSS監測評估系統(iGMAS)以及廣域的北斗地基增強系統國內框架網155 個基準站的觀測數據、廣播星歷以及狀態空間域(SSR)的實時接收，對于接收到的數據進行統一的管理、分發、處理和存儲，并基于這些數據為用戶提供其他位置服務. 例如將接收到的實時觀測數據要進行統一的存儲外，觀測數據也可進行質量分析與評估，并通過頁面展示或郵件發送數據分析評估結果，從而實現對用戶提供數據質量分析服務；SSR 改正數則可通過平臺向用戶直接進行播發，為其精確定位提供數據支撐，同時SSR 改正數與廣播星歷也需要進一步處理生成精密軌道鐘差文件，并將其進行存儲；除此之外，接收到的實時數據可根據用戶需求用于實時動態定位和實時靜態定位以獲取精確的定位結果，存儲的數據需要為用戶提供下載服務等.

高精度位置服務平臺的主要功能設計如圖1 所示.

圖1 高精度位置服務平臺

1) 用戶管理功能

高精度位置服務平臺用戶主要分為三類，分別是超級管理員、平臺管理人員和獲取服務的用戶. 不同角色對應不同的權限級別，超級管理員主要是對所有用戶賬號進行管理并對用戶進行權限分配；平臺管理人員負責不斷開發和完善平臺功能以及對平臺狀態、各類基準站狀態等進行監控和日常維護；獲取服務的用戶可在平臺進行賬號注冊和個人信息管理，根據不同應用需求對其進行分級分類，登錄賬號后獲取相應服務，這樣以便為不同用戶提供分級分類的位置服務.

2) 實時數據接收功能

高精度位置服務平臺實時數據主要來源于地基增強系統國內框架網155 個參考站以及24 個iGMAS站. 接收的實時數據包括觀測數據、廣播星歷、SSR產品改正數等. 能夠實現Ntrip 實時數據接收及模擬測試數據讀取，獲取實時數據流之后進行實時數據流解碼，并校驗各測站的數據完整性. 同時也可以接收用戶觀測數據以幫助用戶完成定位解算. 由于該項功能中的站點，其數據是相互獨立的，可以單獨接收、處理，因此，適用于分布式處理的方式，每個數據中心只接收、處理部分站點數據.

3) 數據存儲功能

接收到的觀測數據、廣播星歷、SSR 產品改正數以及用戶觀測數據均需進行存儲，以便數據的使用和數據核驗. 為保證高可用、高可靠和經濟性，同時采用結構化存儲和非結構化存儲，對用戶信息、基準站信息等采用關系數據庫存儲，對于海量文件采用分布式并行存儲系統來存儲. 分布式并行存儲系統支持大量數據和文件的并發讀寫需求，同時也可以實現容量海量擴展、性能線性擴展，這也完全滿足了平臺數據量日益劇增和持續發展的需求.

4) 數據產品播發功能

數據產品的播發主要是實時數據和實時產品的播發，將標準化為RTCM 格式的數據流以Ntrip 協議進行封裝，外部用戶作為Ntrip Client 通過發送請求報文獲取Caster 的返回數據流，以此向其他用戶提供標準的Ntrip 數據播發服務.

5) 數據下載功能

數據下載功能是指外部用戶根據自身需要下載存儲系統的觀測數據、廣播星歷、事后精密產品等數據. 平臺對外提供統一的服務接口，參照行業規則建立FTP 服務器，對外提供FTP 下載服務，使得外部用戶可以訪問、下載平臺提供的數據.

6) 數據質量分析功能

數據質量分析主要是對各站點觀測數據進行分析，數據來源包括從基準站實時接收的數據流、數據存儲服務器的數據以及用戶上傳數據三種. 能夠通過結合廣播星歷、電離層產品和精密產品等分析觀測數據從而計算各站點衛星系統位置精度因子(PDOP)、多路徑、時序圖、星下點軌跡、用戶測距誤差(URE)、用戶等效距離誤差(UERE)等，評估結果能夠通過頁面進行展示并存儲.

7) 精密產品生成功能

平臺可以實時接收廣播星歷、軌道、鐘差、電離層等實時差分改正數，接收到之后除了進行實時播發，也能夠處理生成可供用戶進行事后精密單點定位(PPP)的SP3、CLK、DCB 文件，并將這些精密文件進行存儲，給用戶提供事后精密產品下載服務.

8) 實時精密單點定位功能

基于實時數據流以及實時SSR 改正數產品的接收，進行實時精密單點定位(RT-PPP)解算，從而得到米級甚至分米級的定位結果. 該功能包括多用戶并行實時數據預處理模塊、誤差模型改正模塊、多用戶并行 RT-PPP 計算模塊、多用戶并行RT-PPP 結果質量控制模塊、多用戶并行RT-PPP 結果展示模塊，同時能夠保證萬名用戶并發訪問、并且具備事后文件輸入仿真實時計算的能力.

9) RTK 定位功能

平臺RTK 定位功能提供完備的網絡RTK—虛擬參考站(VRS)定位功能，RTK 定位基于實時數據流以及用戶信息進行組網解算生成虛擬觀測數據，結合用戶實時觀測數據進行RTK 定位解算，能夠實現實時厘米級的定位精度. 該功能能夠滿足對實時性和定位精度都有要求的用戶服務，同時RTK 定位是區域定位，在各分中心進行RTK 定位模塊的部署，當用戶請求RTK 定位服務時可根據用戶所在區域進行分區分域任務分配，能夠有效降低服務請求的響應時間，提高用戶體驗.

10) 定制化方案接入功能

平臺根據用戶不同的定位需求提供RT-PPP、RTK 等完備的基礎定位解算功能，但在是實際應用中有多元的應用場景，例如滑坡監測、車輛管理、房屋監測等，這就需要根據行業需求進行定制化服務方案. 平臺提供定制化服務接入接口，定制化解決方案可以通過該接口獲取平臺實時數據并依靠平臺計算資源進行相應解算.

11) 定制化方案管理

定制化方案管理即為對定制化方案接入的不同應用場景的管理，主要記錄每一個定制化解決方案的基本信息，包括該定制化方案名稱、狀態、主要服務所在地，以及項目的創建時間、修改時間等，保證每一個定制化方案都能記錄在冊，方便平臺管理人員對項目的的添加、查詢與維護，將每一項平臺延伸的定制化服務都作為平臺的一部分進行統一的管理與維護.

12) 狀態監控功能

狀態監控功能主要分為兩部分，一是通過對實時流數據傳輸的監測從而對基準站狀態進行監控，二是對收集平臺運行信息并監控. 對基準站運行狀態進行監控，出現異常的站點或者不在線站點以及對未接到實時流數據站點進行異常提醒，連續監測平臺的運行狀態，出現異常進行警示，提示平臺運維人員進行維護.

13) 日志管理功能

日志管理功能是平臺運行時各種信息的流水查看功能，主要提供平臺運行期間出現的各種日志的查看功能、平臺基礎服務被外圍系統調用的日志查看功能、平臺管理人員對平臺內部進行的優化、更新、維護等的日志的查看功能、用戶操作的日志查看功能等. 通過對平臺內各種日志信息的管理有利于平臺日常管理和維護.

3 總體架構設計

高精度位置服務分布式架構方案就是針對位置服務平臺多中心異地模式，為使得主中心與分中心之間協調工作，實現數據資源相互共享，業務流程相互促進進而擴展設計出的一套高性能和高可用的異地多活分布式架構. 整體的分布式異地多活基礎架構如圖2 所示.

圖2 分布式異地多活基礎架構

分布式異地多活首先各個數據中心在地域上是分布的，而非集中的，其次數據中心在機房基礎設施、計算資源、存儲資源和網絡資源的軟硬件部署上是分布的而非集中的. 但是多個數據中心之間可以實現資源調度以及基于全局的運維管理，并且每個數據中心都承擔一定的業務服務，相互之間協同工作. 當某一數據中心發生故障時，其他數據中心可分鐘級接管用戶流量，并對關鍵業務實現接管，達到互為備份和共同承擔業務的雙重效果[9].

在架構設計上總體采用Dubbo 分布式架構體系，該架構體系的中文文檔在國內開源框架中當屬一流，為后期開發提供了強大的支撐，其在國內的應用也已有很多成熟案例，同時Dubbo 采用RPC 服務調用方式，相比于目前市場上其他的分布式架構體系具有更好地服務調用性能，更適合異地分中心的運行模式. 業務模塊采用微服務集群的形式組合發布，設計的平臺分布式架構如圖3 所示，從上到下一共分為四層，分別是接入層、應用層、服務層和數據存儲層.

圖3 平臺分布式架構圖

1) 接入層

接入層完成用戶訪問數據中心的第一級流量分發. 用戶通過web 瀏覽器、手機APP、第三方用戶OpenAPI 等訪問網站請求服務. 在服務請求這一過程中接入層通過域名解析(DNS)智能解析遵循就近原則將用戶定向到相應的數據中心，完成用戶分流的同時也將用戶分配到距離自己最近的分中心(或主中心)，能夠減少傳輸距離，有效降低時延，提升用戶體驗感.

2) 應用層

應用層主要用于定義業務的工作流程，根據平臺功能性需求分析我們可以將高精度位置服務平臺劃分成用戶管理、狀態監控、定制化方案管理、日志管理、數據下載、數據質量分析、RT-PPP、網絡RTK、定制化方案接入和提供實時產品十大業務模塊. 根據各項業務特點按照一定的劃分規則來將各項業務劃分到不同的數據中心，使得各數據中心能夠共同分擔訪客流量，協同工作.

為了實現業務內聚保證服務實時性，我們選擇用戶區域作為劃分業務的單元，這也就是“單元化”. 把地理位置上接近的用戶、基準站劃分到同一個中心(機房)，這樣用戶區域定位的整個流程在同一個機房完成，避免了跨機房調用造成的時延，這樣既符合實時數據接收的分布式處理也能在區域定位中保證最小的時延，而像廣域定位這種無需單元化的請求則直接分配在主中心完成. 依據這種劃分規則進行如下劃分：首先主中心應具備提供所有服務的能力，分中心提供部分服務，并與主中心做數據同步. 由于SSR 改正數由主中心來實時接收并播發，所以RT-PPP、提供實時產品服務僅由主中心提供；網絡RTK 是區域定位，需要借助周邊基準站來實現，所以網絡RTK 服務由分中心來提供；數據分析、數據下載、狀態監控、定制化方案管理、日志管理和用戶管理等服務均由各分中心提供服務，并與主中心做數據同步.

每一項業務都由一個服務器集群承載，當同時訪問同一業務模塊的用戶量激增時，或者分中心用戶訪問某一業務需要轉至主中心來完成時，需要將這些請求做負載均衡分配到集群中的每一個服務器上，從而提高平臺的整體性能，因此在應用層引入Nginx 集群實現負載均衡. Nginx 作為開源軟件相較于硬件實現負載均衡成本更低，同時相較于LVS、HAProxy 等負載均衡軟件又具有通過配置能夠同時實現負載均衡和反向代理兩項功能的優勢. 其反向代理功能可減少用戶訪問網站過程中由于靜態資源加載所造成時間延遲. Nginx 作為反向代理服務器將靜態資源緩存起來，當用戶發起獲取網頁請求時，靜態資源可以直接從反向代理服務器上獲取，加快訪問速度. 另外，可以采用Nginx+Keepalived 心跳維持組件實現負載均衡的高可用性. 應用層的程序應當是無狀態的，不保存任何的中間數據，它將服務ID、函數名以及相關參數傳給服務層框架，框架再將這些參數分配到具體的服務上執行[10].

3) 服務層

服務層是一個服務集群，每一項服務都是相對獨立的，能獨立完成一項任務，并且可以被多個應用程序復用. 本文結合實際業務功能將高精度位置服務平臺拆分為權限管理、用戶信息管理、實時數據接收、數據產品播發、精密產品生成、RT-PPP 處理、RTK處理、數據質量分析、數據下載、第三方接入、基準站狀態監控、平臺運行監控、定制化方案管理、日志管理等14 項服務.

主中心服務層與分中心服務層根據所提供服務的不同在服務部署上具有一定差別. 實時數據接收和權限管理是服務層復用最多的基礎服務. 權限管理服務是所有業務的基礎，任何用戶的業務請求都要經過權限管理服務的過濾，保證用戶請求的服務與其自身的權限相匹配；所有需要實時數據的業務都要調用實時接收數據服務作為數據源，服務層的服務參照應用層各個中心業務部署進行相應部署，其中主中心為了完成所有業務模塊需要在服務層部署所有的服務，而分中心不具備提供RT-PPP 服務和提供實時產品服務，所以在各分中心部署除RT-PPP 處理、精密產品生成、數據產品播發之外的服務.

每一項服務可以由一個服務器集群支撐，避免單點故障造成多項業務不可用. 服務層的分布式服務框架是依托Dubbo+Zookeeper 的服務治理策略，實現服務配置的集中管理與動態更新，同時也與分布式數據庫中間件建立連接，能夠訪問數據存儲層的數據庫、緩存和文件系統.

4) 數據存儲層

根據高精度位置服務平臺各類數據存儲規模和存儲需求的不同，同時選擇和采用結構化存儲以及非結構化存儲，結構化存儲使用關系型數據庫MySQL，主要用于存儲用戶信息、項目信息以及基準站信息等需要持久化的重要業務數據，并通過MyCAT 中間件構建高可用、高并發的MySQL 集群；平臺持續接收的基準站數據以及高精度產品等非結構化數據數據量極大，且對存儲的可靠性要求極高，本文中采用基于ParaStor 的分布式存儲系統進行存儲，其相比于傳統的HDFS 具有更高的存儲性能和更高的可靠性；在存儲層也引入遠程字典服務(Redis)緩存用于緩存用戶獲取服務期間頻繁訪問的數據和需要頻繁插入數據庫的數據. 前者包括用戶的權限等級等基本信息、用戶操作記錄信息以及平臺的系統通用信息. 后者包括平臺接收的多個基準站的實時數據，這些數據每時每刻都在接收，并且數據量很大，如果將這些數據直接存入數據庫，頻繁的插入會使得數據庫服務器面臨巨大的壓力，也會使得平臺的整體性能大大降低，所以在這里采用Redis 緩存將實時接收到的數據先緩存起來，等積累一定量的數據后再將這部分緩存起來的數據寫入到數據庫中，減少數據庫的讀寫次數.

4 核心功能實現流程

高精度位置服務平臺最核心的功能就是定位功能，通過對全球衛星導航系統(GNSS)數據處理分析得到定位結果，從而向用戶提供相關基礎位置服務和定制化位置服務. 在對整體功能設計有了一定了解之后，接下來通過對平臺用戶獲取服務流程以及RT-PPP 和RTK兩種定位模式的詳細分析來闡述平臺的運行邏輯.

1) 分布式平臺用戶獲取服務流程

高精度位置服務平臺在分布式異地多中心的設計模式下，同一個域名所對應的是多個IP 地址，并且部署在異地多個數據中心，可以通過智能DNS 服務技術實現各中心間的訪問流量負載均衡調度[9]. 當用戶訪問平臺域名時，首先依據就近原則對設備節點的運行狀態、節點當前的負載情況、服務能力以及分布等情況進行檢測，如果節點運行狀態良好是可用節點，則將用戶請求定向到相應的數據中心，接下來用戶的登錄等操作則在該數據中心進行；如果節點檢測結果為不可用，用戶訪問流量將不發往異常的數據中心，而是根據各節點的分布、負載情況等重新定向到可用的數據中心，這樣即使一個節點出現故障也可以保證平臺持續無間斷的對外提供服務.

用戶訪問定向到具體數據中心后，需要完成登錄操作，系統將對用戶所屬的區域以及用戶賬號的狀態進行判斷，符合區域范圍以及用戶狀態健康可用的允許登錄正常訪問，不符合區域范圍以及賬號狀態異常的拒絕登錄. 通過驗證后用戶可根據頁面顯示選擇需要獲取的服務，系統判斷是否為分中心業務，是分中心業務的則提供相關服務，不是分中心業務的轉發給主中心處理，從而完成主中心與分中心的調度控制，如圖4 所示.

圖4 平臺用戶獲取服務流程圖

2) 基于分布式的RT-PPP 處理流程

RT-PPP 的關鍵在于實時軌道、鐘差、電離層、地球自轉參數、碼偏差、相位偏差改正數等，這些實時差分改正參數可以由第三方提供，也可以由陸態網進行數據處理實時生成. 高精度位置服務平臺主中心是直接實時接收外部處理生成的實時差分改正數，并將實時產品播發給主中心用戶以及分中心，也正是因為主中心處在獲取實時差分改正數的最前端，所以在主中心完成RT-PPP 解算將會達到最小時延，定位結果達到最優. RT-PPP 的處理流程主要如圖5 所示.

圖5 RT-PPP 業務流程圖

圖中顯示了整個RT-PPP 業務模塊的處理流程，該項業務服務由主中心提供，整個流程由應用層進行程序控制，該業務的完成需要調用服務層的三項服務，分別是權限管理服務、實時數據流接收服務以及RT-PPP 處理模塊. 權限管理服務用于完成用戶權限等級的校驗，只有擁有此項服務權限的用戶才可以獲取RT-PPP 服務業務；實時數據流的接收服務為數據處理過程提供數據源；RT-PPP 處理服務則是該業務模塊的核心處理流程，進行RT-PPP 解算，得出實時定位結果.

3) 基于分布式的網絡RTK 處理流程

網絡RTK 主要采用雙差算法，雙差觀測模型可同時消除了接收機端與衛星端的鐘差、初始相位、相位硬件延遲偏差，且可消除電離層等大部分相關誤差. 本文采用VRS 技術來實現動態實時定位，由于VRS 需要根據流動站概略坐標選擇附近基準站進行組網，并根據網內各基準站所采集的實時觀測數據在區域內進行整體建模解算，通過建立精確的誤差模型(如電離層、對流層、衛星軌道等誤差模型)來生成，所以在距離流動站更近的分中心實現了RTK 服務，這與基準站分布式數據接收與處理完美契合.

當用戶請求網絡RTK 服務時，系統根據用戶位置定向到距離用戶最近的分中心，同時該分中心接收和處理用戶附近參考站實時觀測數據，相當于整個RTK 流程都在本地完成，將時延做到了最小，定位結果達到了最優. 它的整體處理流程與RT-PPP 業務相似，都是由應用層進行程序控制并調用服務層的相關服務，通過多個服務的協調配合最終實現網絡RTK業務. 具體處理流程如圖6 所示.

圖6 網絡RTK 業務流程圖

5 結束語

本文基于高精度位置服務平臺現有業務的特點以及異地多中心的發展規劃對平臺功能模塊以及分布式架構進行了研究與設計. 在功能模塊設計中實現了從實時數據接收到數據處理、播發、存儲、管理一整套的服務，同時平臺也提供第三方接入服務，為平臺資源充分利用以及行業用戶定制化服務提供了可能. 在平臺架構中采用分而治之的設計思想對整體架構進行了分層設計，各層之間相互獨立，為平臺開發提供了便利. 通過對目前市面上存在的多種技術進行比較和選型，最終綜合考慮采用與平臺業務模式匹配度最高、性能最優的主流技術架構完成了高性能的負載均衡方案、服務治理框架以及數據庫架構，同時結合每項業務的特點詳細分析了服務拆分和部署情況以及分布式平臺用戶的服務獲取、基于分布式的RT-PPP 處理、基于分布式的網絡RTK 處理等關鍵功能流程，解決了目前所面臨的主、分中心獨立工作、業務不連續的問題，使得主中心與分中心能夠資源共享協同工作，實現“多活”，從整體上提高平臺性能.

平臺發展是一個長期的過程，目前只針對現有資源及用戶需求進行了相應的功能設計，在分布式架構設計中也做了有利于功能模塊擴展的設計，后期還需要不斷的完善和開發，當然在系統架構上也需要不斷地進行驗證和優化. 隨著用戶需求和業務發展需求的不斷改進，服務拆分仍然是分布式架構中的重中之重，需要充分考慮業務特點以及拆分粒度，具體情況具體分析，這也將是后續研究工作的一個重要方向.