江蘇大學(xué)基于微服務(wù)構(gòu)建分布式數(shù)據(jù)服務(wù)平臺(tái)

文/黃宏暉

微服務(wù)的概念由Martin Fowler和James Lewis 于2014年共同提出，它是一種軟件架構(gòu)思想，將單一應(yīng)用程序拆分為眾多的小型服務(wù)組件進(jìn)行開(kāi)發(fā)，其中每個(gè)服務(wù)組件擁有自己的進(jìn)程和通信機(jī)制，可實(shí)現(xiàn)自動(dòng)化輕量級(jí)獨(dú)立部署，且各個(gè)服務(wù)可通過(guò)不同的編程語(yǔ)言實(shí)現(xiàn)并使用不同的數(shù)據(jù)存儲(chǔ)技術(shù)。

高校信息化發(fā)展已進(jìn)入智慧校園建設(shè)階段，但制約其快速發(fā)展的一個(gè)重要因素即是數(shù)據(jù)，部分高校已經(jīng)建設(shè)了統(tǒng)一的中心化數(shù)據(jù)平臺(tái)并提供數(shù)據(jù)服務(wù)，然而效果并不明顯，主要表現(xiàn)為以下幾個(gè)方面：1.信息系統(tǒng)分散，核心業(yè)務(wù)數(shù)據(jù)同步至中間庫(kù)(共享庫(kù))滯后或者無(wú)法獲取；2.數(shù)據(jù)質(zhì)量不高，數(shù)據(jù)更新不及時(shí)，形成斷層現(xiàn)象，導(dǎo)致數(shù)據(jù)不一致；3.業(yè)務(wù)部門(mén)缺乏安全意識(shí)，數(shù)據(jù)泄漏或線下傳遞現(xiàn)象頻發(fā)；4.重復(fù)的硬件成本投入；這種中心化的建設(shè)方式在數(shù)據(jù)準(zhǔn)確性、及時(shí)性及系統(tǒng)的擴(kuò)展性和易維護(hù)性等方面均難以滿足智慧校園建設(shè)對(duì)數(shù)據(jù)服務(wù)的要求。

本文從高校信息化建設(shè)自身特征出發(fā)，基于微服務(wù)架構(gòu)思想，采用分而治之，集中監(jiān)控管理的方法，構(gòu)建分布式數(shù)據(jù)服務(wù)平臺(tái)(DaaS), 規(guī)范數(shù)據(jù)接口和數(shù)據(jù)來(lái)源，為應(yīng)用系統(tǒng)、移動(dòng)應(yīng)用等提供權(quán)威的數(shù)據(jù)保障，助力智慧校園快速發(fā)展。

平臺(tái)設(shè)計(jì)方案

服務(wù)劃分原則

要實(shí)施微服務(wù)治理，首先面對(duì)的問(wèn)題如何劃分業(yè)務(wù)從而實(shí)現(xiàn)服務(wù)化，基本的解決思路是拆分和分層。拆分的策略有兩種即橫向拆分和縱向拆分，橫向是指根據(jù)業(yè)務(wù)域進(jìn)行，從而形成獨(dú)立的業(yè)務(wù)微服務(wù)集群。縱向是指針對(duì)某一模塊或組件拆分形成獨(dú)立的原子服務(wù)。分層是指梳理、抽取核心或者公共的原子服務(wù)下沉至核心或公共服務(wù)層，逐步形成穩(wěn)定的底層服務(wù)。其次是拆分的粒度，這是服務(wù)拆分的難點(diǎn)，微服務(wù)架構(gòu)也是循序演進(jìn)的過(guò)程，可參考以下原則：1.功能完整，職責(zé)單一；2.API版本兼容性?xún)?yōu)先；3.迭代演進(jìn)，團(tuán)隊(duì)可接受。

業(yè)務(wù)梳理

高校業(yè)務(wù)系統(tǒng)的建設(shè)質(zhì)量參差不齊，大部分業(yè)務(wù)系統(tǒng)管理嚴(yán)謹(jǐn)，數(shù)據(jù)完整，接口規(guī)范，能獨(dú)立向外提供數(shù)據(jù)服務(wù)。相反，部分業(yè)務(wù)系統(tǒng)在數(shù)據(jù)和對(duì)外接口方面均不完善，形成了數(shù)據(jù)孤島。針對(duì)高校業(yè)務(wù)系統(tǒng)的現(xiàn)狀和數(shù)據(jù)的提供源，本文將微服務(wù)數(shù)據(jù)平臺(tái)的服務(wù)分為兩類(lèi)：原生型和代理型。原生型是指業(yè)務(wù)系統(tǒng)本身不對(duì)外提供數(shù)據(jù)接口服務(wù)，基于微服務(wù)技術(shù)進(jìn)行開(kāi)發(fā)集成，數(shù)據(jù)源直接取自(非)關(guān)系型數(shù)據(jù)庫(kù)。而代理型是指業(yè)務(wù)系統(tǒng)已有基于SOAP協(xié)議的WebService服務(wù)，將其封裝注冊(cè)至微服務(wù)組件中。

架構(gòu)設(shè)計(jì)

如圖1所示，本文構(gòu)建的微服務(wù)分布式數(shù)據(jù)平臺(tái)主要包括三個(gè)部分：數(shù)據(jù)源、微服務(wù)組件、數(shù)據(jù)管理平臺(tái)。

圖1 微服務(wù)分布式數(shù)據(jù)服務(wù)平臺(tái)

數(shù)據(jù)源是微服務(wù)事實(shí)的實(shí)際數(shù)據(jù)提供者，從數(shù)據(jù)庫(kù)種類(lèi)上分，既有關(guān)系型數(shù)據(jù)庫(kù)，也有非關(guān)系型數(shù)據(jù)庫(kù)。從來(lái)源上分，既有實(shí)際的業(yè)務(wù)數(shù)據(jù)庫(kù)，也有基于數(shù)據(jù)同步機(jī)制的傳統(tǒng)共享庫(kù)。實(shí)際業(yè)務(wù)庫(kù)主要提供實(shí)時(shí)的數(shù)據(jù)來(lái)源，如統(tǒng)一認(rèn)證庫(kù)、人事數(shù)據(jù)庫(kù)、一卡通賬戶(hù)等，而共享庫(kù)主要提供離線的數(shù)據(jù)分析，將分析結(jié)果對(duì)外提供數(shù)據(jù)服務(wù)，如科研成果、一卡通歷史消費(fèi)、論文數(shù)量等。

圖2 基于SpringCloud微服務(wù)框架構(gòu)建的數(shù)據(jù)平臺(tái)原型

在微服務(wù)架構(gòu)設(shè)計(jì)中，需要核心組件作為技術(shù)支撐，包括：1.服務(wù)注冊(cè)中心，主要實(shí)現(xiàn)服務(wù)的注冊(cè)與發(fā)現(xiàn)，微服務(wù)之間通過(guò)注冊(cè)中心彼此感知，同時(shí)從注冊(cè)中心訂閱自己需要引用的服務(wù)。2.服務(wù)網(wǎng)關(guān)，它是外部調(diào)用數(shù)據(jù)的唯一入口，對(duì)外屏蔽系統(tǒng)內(nèi)部結(jié)構(gòu)，提供動(dòng)態(tài)路由、監(jiān)控、授權(quán)等功能。3.容錯(cuò)機(jī)制，每個(gè)微服務(wù)一般會(huì)有多個(gè)實(shí)例服務(wù)提供服務(wù)，為保證服務(wù)高可用，需要提供負(fù)載均衡及熔斷機(jī)制。4.統(tǒng)一的配置管理，提供集群中心化的統(tǒng)一集中配置，簡(jiǎn)化開(kāi)發(fā)和運(yùn)維的繁瑣。5.日志和監(jiān)控管理，微服務(wù)是獨(dú)立的服務(wù)組件，種類(lèi)和數(shù)量繁多，需要通過(guò)日志和統(tǒng)一管理界面監(jiān)控各項(xiàng)指標(biāo)及出錯(cuò)的鏈路跟蹤。

數(shù)據(jù)管理平臺(tái)主要負(fù)責(zé)對(duì)平臺(tái)的界面化統(tǒng)一管理，包括微服務(wù)節(jié)點(diǎn)狀態(tài)監(jiān)控、應(yīng)用授權(quán)、開(kāi)發(fā)者賬號(hào)授權(quán)、標(biāo)準(zhǔn)化文檔維護(hù)等。

技術(shù)實(shí)現(xiàn)方案

通信協(xié)議

本文設(shè)計(jì)的微服務(wù)平臺(tái)采用輕量級(jí)的通信規(guī)范，微服務(wù)之間的通信遵循REST風(fēng)格，而數(shù)據(jù)交換格式采用JSON。對(duì)于REST及JSON的相關(guān)概念，本文不再贅述。基于這種風(fēng)格的通訊機(jī)制，與傳統(tǒng)的基于SOAP和WSDL的服務(wù)相比更簡(jiǎn)潔。

技術(shù)框架

目前實(shí)施微服務(wù)架構(gòu)可供選擇的方案有Dubbo和SpringCloud，前者是開(kāi)源的服務(wù)治理框架，服務(wù)調(diào)用方式采用RPC，是實(shí)現(xiàn)微服務(wù)的基礎(chǔ)組件，對(duì)于微服務(wù)涉及的其他必要組件未必提供。而SpringCloud是由Spring開(kāi)源社區(qū)提供，整合了現(xiàn)有的服務(wù)治理的主流技術(shù)，包括服務(wù)注冊(cè)中心(Eureka)、網(wǎng)關(guān)(Zuul)、配置管理(Spring Cloud Config)、消息總線(Spring Cloud Bus)、負(fù)載均衡 (Ribbon/Feign)、熔斷器(Hystrix)及一些工具包，比如數(shù)據(jù)流操作工具(Spring Cloud Stream)、安全工具包(Spring Cloud Security)等，覆蓋微服務(wù)實(shí)施的方方面面，底層基于SpringBoot技術(shù)，天然的支持RESTful風(fēng)格。

平臺(tái)實(shí)現(xiàn)

基于SpringCloud微服務(wù)框架可方便的構(gòu)建出數(shù)據(jù)平臺(tái)的原型，如圖2所示。每個(gè)獨(dú)立的微服務(wù)均提前注冊(cè)至注冊(cè)中心(EUREKA)，客戶(hù)端的請(qǐng)求通過(guò)網(wǎng)關(guān)(ZULL)分發(fā)，根據(jù)請(qǐng)求接口路由至相應(yīng)的微服務(wù)，對(duì)于每個(gè)微服務(wù)一般會(huì)有多個(gè)節(jié)點(diǎn),采用Ribbon做負(fù)載均衡保證服務(wù)可用，而Hystrix做熔斷器來(lái)避免服務(wù)調(diào)用的雪崩現(xiàn)象，集群的統(tǒng)一配置文件通過(guò)配置中心及時(shí)更新實(shí)現(xiàn)。

為保證微服務(wù)之間接口調(diào)用的安全，需要進(jìn)行服務(wù)之間的身份認(rèn)證。簡(jiǎn)單的做法可以使用IP地址段隔離來(lái)保護(hù)被拆分的服務(wù)，適合于短時(shí)間內(nèi)迅速遷移服務(wù)的場(chǎng)景。從長(zhǎng)遠(yuǎn)來(lái)看，此種方式存在局限性，對(duì)網(wǎng)絡(luò)架構(gòu)存在依賴(lài)性，故本文設(shè)計(jì)的架構(gòu)中采用JWT(JSON Web Token)方式進(jìn)行身份認(rèn)證，客戶(hù)端的請(qǐng)求經(jīng)過(guò)網(wǎng)關(guān)時(shí)會(huì)向授權(quán)中心(AUTH)請(qǐng)求JWT，當(dāng)實(shí)際請(qǐng)求到達(dá)某個(gè)微服務(wù)的時(shí)候，微服務(wù)會(huì)向授權(quán)中心獲取JWT驗(yàn)證是否是合法的請(qǐng)求。同時(shí)授權(quán)中心還承擔(dān)給應(yīng)用授權(quán)的任務(wù)，一般新申請(qǐng)的應(yīng)用授權(quán)中心會(huì)分配一組App ID和App Secret，通過(guò)數(shù)字簽名和驗(yàn)簽的過(guò)程來(lái)校驗(yàn)應(yīng)用的合法性。

根據(jù)實(shí)際業(yè)務(wù)出發(fā)，本文設(shè)計(jì)的微服務(wù)分為兩種，一種是公開(kāi)信息類(lèi)服務(wù)，另一種是受限類(lèi)服務(wù)。前者是指無(wú)需數(shù)據(jù)擁有者授權(quán)即可使用，此時(shí)只需申請(qǐng)的應(yīng)用在授權(quán)中心注冊(cè)即可，比如通知公告類(lèi)，本身新聞數(shù)據(jù)是對(duì)外公開(kāi)的，為防止接口的惡意調(diào)用，只需對(duì)應(yīng)用進(jìn)行授權(quán)驗(yàn)證即可。后者指的是私人敏感數(shù)據(jù)，需要數(shù)據(jù)擁有者授權(quán)后方可使用，比如課程、成績(jī)等，該服務(wù)基于Oauth 2.0協(xié)議，配合學(xué)校統(tǒng)一身份認(rèn)證平臺(tái)實(shí)現(xiàn)，用戶(hù)一卡通號(hào)和密碼經(jīng)過(guò)統(tǒng)一身份認(rèn)證后，授權(quán)給第三方應(yīng)用使用數(shù)據(jù)。

數(shù)據(jù)安全管理

數(shù)據(jù)安全是高校信息化建設(shè)過(guò)程中一直面臨的問(wèn)題，主要原因在于業(yè)務(wù)系統(tǒng)分散管理，業(yè)務(wù)部門(mén)對(duì)數(shù)據(jù)的安全性重視程度不夠，作為私有財(cái)產(chǎn)保護(hù)的同時(shí)缺乏技術(shù)手段進(jìn)行管理。數(shù)據(jù)安全管理需要技術(shù)和行政手段共同發(fā)揮作用，本文構(gòu)建的分布式數(shù)據(jù)平臺(tái)從技術(shù)層面進(jìn)行統(tǒng)一規(guī)范管理，基于授權(quán)認(rèn)證機(jī)制保證數(shù)據(jù)的相對(duì)安全。在業(yè)務(wù)系統(tǒng)作為微服務(wù)接入數(shù)據(jù)平臺(tái)的過(guò)程中，對(duì)數(shù)據(jù)庫(kù)賬戶(hù)密碼安全性、授權(quán)范圍、防火墻配置等方面進(jìn)行規(guī)范，而對(duì)于使用數(shù)據(jù)的開(kāi)發(fā)者，平臺(tái)通過(guò)注冊(cè)授權(quán)方式指定特定數(shù)據(jù)接口的使用范圍、使用期限，遵守接口文檔的使用規(guī)范，開(kāi)發(fā)調(diào)試期間數(shù)據(jù)經(jīng)過(guò)脫敏處理。而行政管理手段，首先是健全數(shù)據(jù)管理隊(duì)伍，學(xué)校層面大力支持，信息化部門(mén)和二級(jí)單位積極配合，明確實(shí)行數(shù)據(jù)共享的意義。其次對(duì)數(shù)據(jù)使用者而言，按照 “誰(shuí)使用，誰(shuí)負(fù)責(zé)”的原則，在嚴(yán)格履行數(shù)據(jù)使用申請(qǐng)、審批、簽署保密協(xié)議的基礎(chǔ)上，信息化部門(mén)還要加強(qiáng)數(shù)據(jù)的使用監(jiān)督和安全風(fēng)險(xiǎn)提示，對(duì)存在安全隱患的使用方式停止數(shù)據(jù)提供。

微服務(wù)數(shù)據(jù)平臺(tái)不是對(duì)原有數(shù)據(jù)倉(cāng)庫(kù)或共享庫(kù)的顛覆，而是有效補(bǔ)充，原有的數(shù)據(jù)中心或者數(shù)據(jù)倉(cāng)庫(kù)是離線數(shù)據(jù)挖掘和分析的重要數(shù)據(jù)源，是微服務(wù)數(shù)據(jù)平臺(tái)重要的數(shù)據(jù)支撐。從實(shí)踐效果來(lái)看，平臺(tái)服務(wù)松耦合，易擴(kuò)展，數(shù)據(jù)共享靈活，運(yùn)維方便，是構(gòu)建統(tǒng)一數(shù)據(jù)平臺(tái)強(qiáng)有力的技術(shù)手段。