多租戶系統(tǒng)的輕量級實現(xiàn)及其在大型儀器設(shè)備共享平臺中的應(yīng)用

肖 健, 于 策, 崔辰州, 樊東衛(wèi), 王傳軍, 張 戈

(1. 天津大學 軟件學院, 天津 300350； 2. 天津大學 計算機科學與技術(shù)學院, 天津 300350； 3. 中國科學院 國家天文臺, 北京 100012； 4. 中國科學院 云南天文臺, 云南 昆明 650011；5. 阿里云計算有限公司, 北京 100102 )

近年來,隨著國家不斷加大對高等教育和科研事業(yè)的投入,各高校和科研院所也擁有了越來越多的大型儀器設(shè)備和科學裝置(以下簡稱“大儀”)。由于大儀屬于稀缺資源,前期投入成本高,因此,如何最大限度地發(fā)揮這些大儀的價值,是設(shè)備的運維部門和主管單位的重要工作之一。借助信息化技術(shù)建設(shè)儀器設(shè)備共享平臺,能夠有效提高儀器設(shè)備利用率,加強儀器設(shè)備的開放共享,在更高的層面優(yōu)化資源配置[1-2]。很多高校的大儀管理平臺已取得了很好的效果[3-4],但也有許多具體功能有待優(yōu)化,使設(shè)備的教育科研產(chǎn)出最大化。

大儀具有兩個顯著特點：(1)大儀本身的構(gòu)造和操作十分復(fù)雜,需要有專業(yè)人員負責運行和維護,在某些特殊情況下,用戶可以不到現(xiàn)場,專業(yè)技術(shù)人員也能夠按照標準流程完成實驗并反饋結(jié)果；(2)大儀的平均單次作業(yè)周期較長,除了實驗本身的時間外,某些實驗還需更換輔助部件。目前,大部分大儀共享平臺都以相對通用的線上預(yù)約功能為主,而對具體設(shè)備的使用特點考慮較少,不能很好地支持設(shè)備共享的完整工作流程,例如實驗內(nèi)容管理、實驗數(shù)據(jù)歸檔、遠程下載、成果統(tǒng)計等。因此,很難將用戶、運維團隊以及主管部門緊密地連接在一起,形成一個相互促進的閉環(huán)流程。

由于很多大儀是高度定制的,精細化的開放與共享管理也需要高度定制的信息平臺。在互聯(lián)網(wǎng)應(yīng)用領(lǐng)域廣泛應(yīng)用的多租戶技術(shù)[5]可以有效地解決這類問題。但完全按照商用標準建立的多租戶平臺,對于設(shè)備共享管理而言又過于復(fù)雜,成本也比較高。因此,本文結(jié)合中科院天文大科學中心對望遠鏡共享管理平臺的實際需求,提出了一個多租戶系統(tǒng)的輕量級設(shè)計方案。該方案采用工作流技術(shù)規(guī)范設(shè)備的預(yù)約、使用以及管理流程,利用規(guī)則引擎保證各類用戶的數(shù)據(jù)安全,實現(xiàn)了儀器預(yù)約申請、實驗準備、數(shù)據(jù)管理、效益評價、輔助決策的閉環(huán)流程。文本旨在分享該系統(tǒng)的設(shè)計方案、關(guān)鍵細節(jié)、實際使用情況以及推廣建議,為大儀共享平臺的建設(shè)和完善提供參考。

1 多租戶技術(shù)與大儀共享平臺

要針對設(shè)備的使用特點進行精細化管理,關(guān)鍵是設(shè)備運維團隊的高度參與,這就需要共享平臺作為一個軟硬件基礎(chǔ)設(shè)施,為各個大儀團隊提供可定制的二級平臺。從技術(shù)角度看,就是“軟件即服務(wù)”(SaaS)的模式[6],典型的例子就是互聯(lián)網(wǎng)上各類電商平臺。大儀團隊可類比于店鋪,為用戶提供服務(wù)；使用儀器的用戶可類比于消費者,訂購服務(wù)。

在SaaS的架構(gòu)中,核心的功能是對多租戶的支持。本文中的租戶指的是使用大儀的實驗團隊。各個團隊可以在共享平臺之上,針對設(shè)備的特點建立高度定制化的二級平臺,并在其上完成共享安排、預(yù)約管理、實驗數(shù)據(jù)管理、成果統(tǒng)計、使用情況分析等一系列工作；而主管部門也可以實現(xiàn)單位內(nèi)大儀的統(tǒng)籌管理。多租戶技術(shù)對各類需求的支持非常靈活,甚至可以在實體設(shè)備之上構(gòu)建虛擬設(shè)備。

具體來說,每種儀器都有特定的功能。有些科學實驗需要使用1種以上的儀器設(shè)備,如果該類儀器設(shè)備的使用組合比較常見,相關(guān)實驗團隊就可以聯(lián)合建立一個專門的二級平臺,把關(guān)聯(lián)的設(shè)備都納入進來,在特定情況下實現(xiàn)協(xié)同管理,提高整體的工作效率和效果。本文的成果之一——天文望遠鏡共享平臺中就有虛擬望遠鏡的應(yīng)用范例。

2 多租戶框架的設(shè)計與實現(xiàn)

要實現(xiàn)多租戶功能,需要一整套的技術(shù)規(guī)范,主要包括定制化、數(shù)據(jù)安全、水平擴展性和系統(tǒng)穩(wěn)定性[6-7],而對于中小規(guī)模的大儀共享平臺而言,主要考慮定制化和數(shù)據(jù)安全即可。數(shù)據(jù)安全主要包括訪問控制機制和數(shù)據(jù)隔離策略。鑒于與電商平臺類似的定制化非常復(fù)雜,本文采用一個折中的方案,即先利用工作流技術(shù)規(guī)范設(shè)備共享管理的標準處理流程,又在每個處理階段預(yù)留了擴展接口,使得交互界面和業(yè)務(wù)邏輯的定制化只需要少量編碼即可完成。對于數(shù)據(jù)隔離和訪問控制,在參考基于角色的權(quán)限控制(RBAC)[8]的標準之上,利用動態(tài)腳本解析和規(guī)則引擎技術(shù)實現(xiàn)了靈活的權(quán)限定義和細粒度的訪問控制。

2.1 基于工作流的定制化設(shè)計

由于儀器設(shè)備的共享管理流程基本一致,系統(tǒng)首先利用工作流技術(shù)對整個流程進行了抽象,規(guī)定了各個主要處理步驟的通用操作,對于系統(tǒng)內(nèi)任何設(shè)備的共享使用,都要遵守這一標準的流程。如圖1所示,除了現(xiàn)場實驗過程本身之外,整個流程形成了一個閉環(huán),將用戶、設(shè)備運維團隊、管理部門緊密地聯(lián)系在一起,方便用戶按統(tǒng)一標準使用不同的設(shè)備,也有利于管理規(guī)范化和提供系統(tǒng)層面的統(tǒng)計分析。

圖1 可定制的設(shè)備共享管理流程

在對整個處理流程提供了標準的處理模板之后,為解決多租戶的定制化需求,在各個步驟的模板中插入擴展點。模板本身只規(guī)定了該工作節(jié)點的基本信息和處理過程,運維團隊可以根據(jù)具體需要,增加設(shè)備專用屬性和處理方法。對于暫時不需要的處理模板,也可以直接略過,由系統(tǒng)按照默認方法處理。例如:不同的設(shè)備可以定制專屬的預(yù)約申請模板,在提供更多的選項給用戶的同時,也為實驗準備提供必要的信息；某些供不應(yīng)求的特殊設(shè)備需要事先評估使用申請的科學價值和重要性,再制定用戶的排隊計劃,這可以通過配置評審規(guī)則和邀請專家進行在線評審來實現(xiàn)。

為方便科學用戶和運維團隊存儲和利用數(shù)據(jù),大儀共享平臺還提供了實驗數(shù)據(jù)的管理功能。對于某些通用類型的實驗,如果沒有必要重復(fù)進行,用戶可以直接下載系統(tǒng)的歸檔數(shù)據(jù),有利于節(jié)約時間和資源。

關(guān)于實驗數(shù)據(jù)的使用,還需要考慮數(shù)據(jù)的知識產(chǎn)權(quán)。在默認情況下,只有實驗和數(shù)據(jù)的描述信息(元數(shù)據(jù))對所有用戶是可見的,實驗內(nèi)容數(shù)據(jù)都是受保護的,數(shù)據(jù)的所有者是該實驗的科學用戶,其他用戶可以向數(shù)據(jù)所有者發(fā)送數(shù)據(jù)使用請求,數(shù)據(jù)所有者也可以將特定數(shù)據(jù)設(shè)置為向所有用戶開放。

2.2 基于規(guī)則引擎的訪問控制機制

無論是二級平臺的定制需求,還是用戶的數(shù)據(jù)使用,都需要一套安全機制來保障。基于角色的訪問控制是一套成熟的訪問控制機制,在國際上有標準的RBAC96/97模型[8]。在RBAC中,權(quán)限與角色相關(guān)聯(lián),用戶通過成為適當角色的成員而得到這些角色的權(quán)限。用戶可以很容易地從一個角色被指派到另一個角色。雖然RBAC極大地簡化了權(quán)限的定義,但具體實現(xiàn)起來并不容易。

在設(shè)計實現(xiàn)階段,RBAC模型通常被映射到經(jīng)典的7表模式(用戶表、角色表、權(quán)限表、功能表、用戶角色關(guān)聯(lián)表、角色權(quán)限管理表、權(quán)限功能關(guān)聯(lián)表)。當用戶比較多時,可能還需要對用戶進行分組管理,因而增加2個表。在一些大型、復(fù)雜系統(tǒng)中,完整的RBAC模型可能需要大約15個表,這勢必會大大增加編碼的復(fù)雜性和實現(xiàn)的難度[9]。即使在Web系統(tǒng)中應(yīng)用最廣泛的Spring Framework[10],在數(shù)據(jù)級別的權(quán)限控制方面,也需要對每一條數(shù)據(jù)記錄單獨進行權(quán)限定義,應(yīng)用起來十分不便。

本文在滿足權(quán)限控制基本需求之上,基于規(guī)則引擎和動態(tài)腳本解析技術(shù),提出更為簡化、靈活的權(quán)限描述方式,權(quán)限表之間的映射關(guān)系如圖2所示。在數(shù)據(jù)庫層面一共有5張表(含關(guān)聯(lián)表),能夠滿足BRAC模型的大部分規(guī)范。該方式是理論模型與設(shè)計實現(xiàn)在面對具體問題時的一個良好折中,其具體實現(xiàn)需要借助Web框架的攔截器功能和底層語言的反射機制。

攔截器可以按照預(yù)定的規(guī)則截獲部分或所有的處理請求,能夠在真正的業(yè)務(wù)邏輯執(zhí)行前后進行一些通用性的處理,從而為應(yīng)用程序提供面向切面編程(AOP)[11]的類似功能,非常適用于日志、權(quán)限等貫穿于每個處理之中的通用行為。如圖2所示,當一個請求到來時,權(quán)限攔截器解析URL,并利用反射機制得到處理該請求的類對象(Controller)及其方法名,然后解析并驗證相關(guān)的權(quán)限規(guī)則。如果發(fā)現(xiàn)匹配操作且規(guī)則驗證通過,則觸發(fā)實際的業(yè)務(wù)代碼；反之,拒絕該用戶的操作請求。

圖2 基于攔截器和規(guī)則引擎的細粒度訪問控制機制

圖2中,從面向?qū)ο缶幊痰膶崿F(xiàn)角度來說,在對象層面,用戶對應(yīng)User,角色對應(yīng)Role,操作對應(yīng)Operation。在Operation類中,權(quán)限的描述信息包括類(class)、方法(method) 和規(guī)則(rule)3個屬性。

類(對象)+方法,標識一個具體操作,是操作級別的過濾。

規(guī)則代表數(shù)據(jù)訪問的限制,即什么樣的數(shù)據(jù)能夠被訪問或操作。按照對數(shù)據(jù)的操作類別,這里定義了2類規(guī)則:

(1) 查詢規(guī)則:讀操作,對應(yīng)一條或多條數(shù)據(jù)的讀取；

(2) 決策規(guī)則:寫操作,對應(yīng)數(shù)據(jù)的新增、修改和刪除。

權(quán)限控制可以總結(jié)為“什么樣的用戶能看到哪些數(shù)據(jù),操作哪些數(shù)據(jù)”；而此處的“規(guī)則”也可以形象地表達為“多少權(quán)限事,盡在規(guī)則中”。

圖2展示了一個讀操作的處理過程。用戶要查詢實驗數(shù)據(jù),首先,這個查詢操作被映射成DataController對象的ListAllData方法；然后被權(quán)限攔截器攔截,解析對應(yīng)的操作規(guī)則:只有該用戶私有的數(shù)據(jù)以及向所有用戶公開的數(shù)據(jù)才可以訪問；最后,按照這個規(guī)則將過濾后的數(shù)據(jù)返回給用戶。這里所有的過程都是系統(tǒng)框架自動完成的,這種非侵入式(no-intrusive)方法避免了傳統(tǒng)的硬編碼實現(xiàn)方式[11],從而使得開發(fā)人員不必關(guān)心權(quán)限部分,只專注于業(yè)務(wù)邏輯。權(quán)限定義和管理通過圖形化界面，經(jīng)過簡單配置即可完成,也方便系統(tǒng)在運行時更改權(quán)限配置。這一功能對定制化要求較高的多租戶平臺也十分重要。

2.3 關(guān)鍵功能的實現(xiàn)方法

多租戶系統(tǒng)的框架采用Java Web技術(shù)實現(xiàn),主要組件和交互方式如圖3所示,其整體遵循典型的MVC模式[12],分別在控制層、視圖層、模型層以及存儲層對定制化進行了特殊支持。

圖3 多租戶框架的核心組件及組成結(jié)構(gòu)

首先,基于Java的泛型(圖中)和ORM技術(shù),實現(xiàn)了通用的增刪改查(CURD)以及報表導(dǎo)出等常用功能,其子類幾乎不需要關(guān)心數(shù)據(jù)庫相關(guān)操作,只關(guān)注業(yè)務(wù)邏輯即可。

然后,利用面向?qū)ο蟮睦^承機制,并借助template和bridge的設(shè)計模式[12],在中間層提供全面的缺省功能,實現(xiàn)和擴展接口。子類只需要實現(xiàn)具體設(shè)備的擴展部分,對應(yīng)的視圖部分則利用了AJAX技術(shù)的異步請求功能,動態(tài)加載設(shè)備的定制信息,并與基本信息拼接成完整頁面。

最后,利用泛型和繼承機制,不同設(shè)備的定制信息可以自動保存在不同的數(shù)據(jù)表中,實現(xiàn)不同設(shè)備之間數(shù)據(jù)的隔離。

貫穿所有處理流程的權(quán)限控制,主要基于Spring MVC提供的攔截器和嵌入式的Java源代碼解釋器BeanShell[13]來實現(xiàn)。如圖2所示,安全攔截器按照既定的過濾規(guī)則,在業(yè)務(wù)處理之前調(diào)用規(guī)則引擎,檢查用戶身份和權(quán)限。利用BeanShell對Java代碼的動態(tài)解釋能力,很容易實現(xiàn)自定義的微型規(guī)則引擎。只須完整地定義出代表操作對象的環(huán)境變量,就可以通過Java代碼的形式來描述權(quán)限規(guī)則(見圖2中的示例)；而BeanShell能夠在運行時對規(guī)則進行解析并求值。如求值為真,則繼續(xù)執(zhí)行；否則拒絕請求。安全管理器負責加載權(quán)限信息,并提供規(guī)則引擎所需要的運行時上下文。整個權(quán)限控制組件能夠以面向切面的形式裝配到系統(tǒng)中,從而不必侵入具體的業(yè)務(wù)代碼。

工作流管理器通過一系列的狀態(tài)轉(zhuǎn)換和控制,負責管理具體設(shè)備的預(yù)約和使用流程。同安全管理器類似,工作流管理器控制的對象也是上層的基類,具體設(shè)備對應(yīng)的子類只需關(guān)注業(yè)務(wù)邏輯。特別指出的是,圖3只是框架的設(shè)計思路和典型處理流程,而工作流的具體處理步驟也是類似的結(jié)構(gòu),不再贅述。

3 應(yīng)用與推廣情況

本文提出的輕量級多租戶系統(tǒng)框架,已經(jīng)成功應(yīng)用于國內(nèi)天文領(lǐng)域的基礎(chǔ)信息化平臺——天文科技領(lǐng)域云[14]。圖4所示基于該多租戶系統(tǒng)框架構(gòu)建的天文望遠鏡開放共享平臺已于2014年上線運行,現(xiàn)部署在阿里云(aliyun)的專用節(jié)點上。目前已經(jīng)集成了興隆2.16 m光學望遠鏡、麗江2.4 m光學望遠鏡、撫仙湖1 m紅外太陽塔、新疆26 m射電望遠鏡以及大科學工程的郭守敬望遠鏡(LAMOST)等,貴州500 m球面射電望遠鏡(FAST)也即將接入該平臺,用戶數(shù)量已達到千人以上。

圖4 中科院天文望遠鏡開放共享平臺

值得一提的是,該平臺上還有2個虛擬望遠鏡:一個是國內(nèi)2 m級的望遠鏡的聯(lián)合體,另一個是中科院國外望遠鏡使用計劃中相關(guān)望遠鏡的聯(lián)合體。借助多租戶平臺定制化的優(yōu)勢,可以快速地構(gòu)建虛擬設(shè)備,實現(xiàn)望遠鏡之間的協(xié)同調(diào)度天文望遠鏡的整個工作流程比其他大型儀器設(shè)備更復(fù)雜,因此也有力證明了該多租戶系統(tǒng)框架的實用性。對于新望遠鏡的加入,平臺的開發(fā)人員只需要對應(yīng)望遠鏡的特有需求(終端設(shè)備參數(shù)、觀測計劃分解等),而其他處理流程則完全通過配置方式實現(xiàn)。望遠鏡的運維團隊、用戶可以在標準的工作流程下,充分發(fā)揮和使用望遠鏡的特有功能,上級主管部門也可以將望遠鏡的使用細節(jié)報告(例如觀測頻繁程度、終端利用率等)作為參考依據(jù)之一,制定針對性的支持政策。

除了天文望遠鏡開放共享平臺,該框架還應(yīng)用在面向民間天文臺和望遠鏡的科普項目(http://psp.china-vo.org)以及天津市數(shù)字媒體實驗教學中心的設(shè)備共享管理。此外,中國木版年畫數(shù)據(jù)庫[15]以及天津市城建熱線平臺[16]也基于本框架構(gòu)建,充分體現(xiàn)出該框架的適用性和靈活性。

4 結(jié)語

針對大型儀器設(shè)備開放共享精細化管理需求提出的支持多租戶模式的輕量級實現(xiàn)方案，綜合衡量了系統(tǒng)的復(fù)雜度、擴展性和實用性,利用開源軟件、工作流和規(guī)則引擎對商用多租戶系統(tǒng)的復(fù)雜實現(xiàn)過程進行了必要的簡化,大大降低了系統(tǒng)的技術(shù)門檻,能夠滿足大型儀器設(shè)備共享平臺的實際需求,方便推廣和使用。目前,為進一步推進天文望遠鏡的開放共享,阿里云的技術(shù)工程師也參與了該框架的完善和升級的工作。下一步的工作重點將是進一步增強系統(tǒng)對定制化的支持,不再采用硬編碼的擴展形式,而是通過配置實現(xiàn)新增設(shè)備的擴展需求,進一步降低系統(tǒng)運行維護的技術(shù)難度,推出更穩(wěn)定的開源版本為廣大社區(qū)使用。

參考文獻(References)

[1] 王松梅,趙舉忠,胡雪梅.“互聯(lián)網(wǎng)+”助推大型儀器設(shè)備高效使用[J].實驗科學與技術(shù),2017,15(2):152-154.

[2] 張晶晶,殷曦敏,王錫昌,等.大型儀器設(shè)備平臺建設(shè)現(xiàn)狀與運行建議[J].實驗室研究與探索,2016,35(1):261-263,274.

[3] 胡煒,周潔,蒙冰.國家重點實驗室大型儀器設(shè)備平臺建設(shè)的探索研究[J].中國教育技術(shù)裝備,2013(23):26-28.

[4] 劉寧,郭爽,徐召,等.國家重點實驗室大型儀器設(shè)備平臺建設(shè)與管理[J].實驗技術(shù)與管理,2017,34(4):265-267.

[5] Aulbach S, Grust T, Jacobs D, et al. Multi-tenant databases for software as a service: schema-mapping techniques[C]//ACM International Conference on Management of Data.Vancouver, Canada,2008:1195-1206.

[6] 葉偉,趙進,葉軍.互聯(lián)網(wǎng)時代的軟件革命:SaaS架構(gòu)設(shè)計[M].北京:電子工業(yè)出版社,2009.

[7] 子柳.淘寶技術(shù)這十年[M].北京:電子工業(yè)出版社,2013.

[8] Sandhu R S, Coyne E J, Feinstein H L, et al. Role-Based Access Control Models[J].Computer, 1996, 29(2):38-47.

[9] Oh S, Park S. Task-role-based access control model[J].Information Systems, 2003, 28(6):533-562.

[10] Johnson R, Hoeller J, Arendsen A, et al. Professional Java Development with the Spring Framework [M].Birmingham, UK: Wrox Press Ltd, 2005.

[11] Kiczales G, Lamping J, Mendhekar A, et al. Aspect-oriented programming[C]// European Conference on Object-Oriented Programming. Jyv?skyl?, Finland,1997:220-242.

[12] Gamma E, Helm R, Johnson R E, et al. Design patterns: elements of reusable object-oriented software[M]. Pearson Education India, 1994.

[13] Niemeyer P. Beanshell:lightweight scripting for Java[EB/OL].[2017-11-21].http://www.beanshell.org.

[14] 肖健,于策,崔辰州,等.天文科技領(lǐng)域云:大數(shù)據(jù)時代的天文教育和科研信息化平臺[J].實驗技術(shù)與管理,2017,34(10):133-138.

[15] 王坤.論中國木版年畫數(shù)據(jù)庫的建立與開發(fā):兼及非物質(zhì)文化遺產(chǎn)保護[J].天津大學學報(社會科學版),2013,15(6):567-570.

[16] 郝彬.天津市12319城建熱線業(yè)務(wù)系統(tǒng)設(shè)計與實現(xiàn)[D].天津:天津大學,2015.