基于云存儲與J2EE架構的信息系統設計及應用

林 珠，李海威，楊柏藹

(1.廣東省科技基礎條件平臺中心 高性能計算重點實驗室，廣東 廣州 510033；2.華南師范大學 計算機學院，廣東 廣州 510631)

基于云存儲與J2EE架構的信息系統設計及應用

林 珠1，李海威1，楊柏藹2

(1.廣東省科技基礎條件平臺中心 高性能計算重點實驗室，廣東 廣州 510033；2.華南師范大學 計算機學院，廣東 廣州 510631)

隨著大數據時代的來臨，云計算及其數據處理技術在信息系統中的運用越來越普及，特別在數據的存儲與服務的應用方面，云計算具有大規模存儲和按需服務的優勢。如果將云計算技術與當前J2EE技術相結合，能夠促進信息系統的高效運行和服務推廣。為運用存儲技術解決現階段常見的結構化和非結構化數據共存的問題，以建設青少年創新服務平臺為背景，在青少年創新服務平臺需求分析的基礎上，將云計算中的存儲技術與現階段流行的J2EE開發框架有機結合，設計并開發了基于云存儲與SpringMVC、MyBatis架構的青少年創新服務平臺系統，并運用于青少年創新資源庫的存儲，較好地解決了云存儲與信息系統中MVC框架相結合的問題。運行結果表明，所構建的青少年創新服務平臺，有效促進了廣東省青少年科技工作的開展，加快了廣東省青少年科技創新能力建設的進程。

創新服務平臺；Spring；MVC；MyBatis；NoSQL

0 引 言

當今世界，科技發展繼續突飛猛進，科學技術已成為經濟、社會發展的主要驅動力。科技創新能力作為科技競爭力的核心和國家競爭力的基石，正以前所未有的力量左右著國際競爭的格局。國內經濟發展逐步進入了一個從傳統生產要素驅動向創新要素驅動的新階段，建設創新型國家是二十一世紀國內經濟發展和科技進步的重大戰略[1]。青少年作為祖國未來建設的接班人，其科技創新能力直接影響著創新型國家的建設。青少年科技創新能力的培養離不開良好的創新活動環境，廣東省青少年科技競賽服務平臺的建設是實施素質教育和搭建青少年科技創新環境的重要渠道和方式之一，能夠將青少年科技活動的資源有機結合在一起，為青少年提供更豐富的科技教育資源，為青少年科技競賽活動組織實施者提供開展活動所需的資源和技術支持。通過該平臺的有效實施，可以提高青少年的科技創新能力，促進青少年對科學的積極態度，促進青少年跟科技工作者的分享和交流；可以提高青少年的團隊合作能力；可以提高青少年學習科學知識的技能，促進青少年提高自主解決問題的能力；可以提高青少年在課外的工作技能和獨立工作的能力。

因此，建設廣東省青少年科技競賽服務平臺，既是保障國家科技創新人才培養的重大戰略舉措，也是解決廣東對科技創新型人才的長久需求，確保廣東經濟持續發展的必然要求，具有十分深遠的意義。為此，基于現階段流行的J2EE架構，搭建了MyBatis+Spring MVC+VUE框架[2]，并采用云存儲方式解決青少年創新資源庫的存儲難題[3]，設計并實現了廣東省青少年科技競賽服務平臺的建設。

1 平臺需求分析

“廣東省青少年科技競賽服務平臺”是具有信息發布、交流學習、活動申報、作品查詢等功能的綜合性網絡服務平臺，該項目整合了廣東省青少年科技創新活動中所有科技創新作品資源，采用基于云計算的體系架構，建立一個面向全省青少年和青少年活動實施者的網絡服務云，為服務對象提供按需自助的云服務。項目建設圍繞青少年科技競賽活動中科技競賽項目申報和科技創新作品資源整合兩部分內容開展，充分利用全省的科技創新資源有效促進青少年科技創新能力的培養。

(1)科技競賽服務子平臺。

科技競賽服務平臺為青少年提供各式各樣的科技活動信息和科技活動資源，為青少年活動的實施者，包括政府、學校、研究所等活動開展工作提供方便快捷的服務。通過該科技競賽服務平臺，青少年能了解全省范圍內的各種競賽項目，以平臺為橋梁參與各種競賽活動。平臺采用WEB2.0交互式應用技術，支持各類機構和人員便捷地進行活動申報與審批，作品提交與查詢，網上交流和合作研究等，有效促進全省的科技創新服務工作的開展。科技競賽服務平臺主要包括信息發布、交流學習、活動申報、作品查詢等功能。

信息發布的內容主要包括單位簡介、新聞動態、通知文件、活動介紹、活動掠影、地方快訊、資料下載、網站鏈接等。主要內容圍繞廣東省青少年科技競賽的主題來進行，通過平臺，青少年用戶和社會各界人士可以獲悉組織各類競賽的組織單位介紹，最新的關于青少年科技競賽開展的活動信息，以及廣東省內各地區開展科技競賽的情況和成果；而組織單位可以通過平臺發布相關的競賽通知文件，詳細介紹各類競賽規則，宣傳科技知識、上傳科技材料等。

交流學習主要是為了促進青少年活動的實施者進行科技創新教育工作方面的交流。交流學習面向廣東省青少年科技教育協會會員及其他各市縣的管理人員。登陸方式選取會員登陸，然后可以使用平臺的交流學習模塊進行相互溝通。

活動申報系統是平臺的重要組成部分，也是協助廣東省范圍內科技競賽活動成功開展的有效舉措。競賽活動的申請者可以對創新大賽、機器人競賽等各類科技創新活動進行申報，申報由省級管理者抽取項目授權號給地市管理者，而申報人員憑該授權號在申報系統中進行活動申報。申報人員通過申報系統提交需求和相關信息，提交也可以對自己以往的申請紀錄進行查看，并在該申報系統中獲悉最終的申報結果。

(2)創新資源庫。

平臺需建設高質量、具有實際應用的創新作品資源庫，該庫主題分明、內容齊全、標準規范化、平臺穩定，同時涵蓋了各年級、各學科，各種創新競賽等多種形式的作品。創新作品資源庫收集和整合的內容主要包括廣東省范圍內創新大賽的作品以及全省機器人競賽創意類作品等所有全省范圍內開展的青少年科技創新活動的作品資料。

創新資源庫的創新之處在于該資源庫并非是簡單的信息統計，而是通過整合技術需要將作品進行分門別類，集資料檢索、查詢于一體。該資源庫主要研究基于互聯網的創新資源的自動監測與采集技術，實現對青少年科技創新資源信息智能分析、自動分類和自動索引，結合智能整合方式、動態感知和信息導航等多種技術，為平臺高效的信息整合提供有力的技術支撐。

2 平臺整體架構

針對以上架構的特點，為實現快速開發、快速部署、便于維護的目標，使用B/S設計模式，其軟件體系結構采用基于構件和服務的分布式計算系統結構[4]，如圖1所示。

平臺采用四個高性能計算搭建成Hadoop集群[5]，其中主節點一個，從節點三個。主節點作為分布式存儲的入口，三個從節點均安裝基于Hive的開源數據倉庫框架的數據庫集群[6]和基于Hbase技術的NoSQL存儲集群[7]。

圖1 廣東省青少年科技競賽服務平臺架構

整個系統在分布式企業開發平臺(J2EE)框架基礎上進行開發，采用當前流行的MyBatis+Spring MVC+VUE框架[8]，其中MyBatis用于處理結構化的數據，與Hive數據庫直接關聯，其非結構化部分，將采用NoSQL數據庫[9]進行存儲。平臺最終創建了創新資源庫，并在此基礎上，進行信息發布、學習交流、活動申報、作品查詢等，有利于青少年開展創新活動。

3 平臺關鍵技術

3.1MyBatis+SpringMVC+VUE框架

在開發過程中采用高吞吐量的MVC設計模式，框架為MyBatis+Spring MVC+VUE，如圖2所示。

圖2 MyBatis+Spring MVC+VUE框架

在Web應用系統里使用MVC三層架構是最普遍的方法，包括數據持久層、業務層和表示層[10]。數據持久層主要進行對數據庫的操作，考慮到青少年創新資源的數據類型多樣，將其分為結構化與非結構化進行存儲。因此，該部分主要分為兩個方面：一方面，為結構化數據提供的Mybatis技術與Hive數據庫進行SQL連接；另一方面，為非結構化數據提供NoSQL連接Hbase數據庫[11]。業務層主要是處理一些業務邏輯，包括對數據的計算和處理，對業務流程的實現。表示層主要處理兩件事情，一件是接收和處理用戶的請求，另一件是發布交易數據。

選用J2EE技術結合MVC(模型、視圖、控制器)等軟件設計思想來開發管理系統和應用系統，在前臺采用靈活豐富的各種控件進行界面展示，為用戶進行存儲管理和應用提供良好的用戶體驗。其中Mybatis框架用來讀寫MySQL數據庫，實現持久層功能；VUE框架用來實現各種業務邏輯，渲染界面視圖；Spring MVC框架用來充當控制器核心,同時作為底層的Ioc容器，用來提供對象的依賴注入，并整合和集成Mybatis和VUE這兩個框架，使其運行協調有效。

3.2以云存儲的方式搭建創新作品庫

項目采用云存儲的方式搭建創新作品庫，利用了前沿的云計算技術,將高性能計算機集群建設作為超云服務器。平臺采用四個高性能計算搭建成Hadoop集群[12]，其中主節點一個，從節點三個。主節點作為分布式存儲的入口，協同為用戶提供存儲服務，三個從節點均安裝基于Hive的開源數據倉庫框架的數據庫集群和基于Hbase技術的NoSQL存儲集群。

Hive是基于Hadoop的開源數據倉庫框架，具有數據量遠超傳統數據庫、成本低廉、擴展性好、支持標準SQL查詢語言等特點，但也存在不支持數據預處理、應用整合能力不足、查詢延遲等問題。Hbase是在Hadoop之上構建的非關系型、面向列存儲的開源分布式結構化數據存儲系統，其具有數據有序稀疏數據列存儲、行級別數據一致性等特點，但存在面向特定應用設計，應用代碼重用度不高、缺乏統一接口標準、產品成熟度不高等問題[13]。

在數據存儲和管理機制上，將在Hive、Hbase等開源工具的基礎上進一步完善。在數據分布式加載框架方面，結合創新資源的預處理技術，實現并行、持續、可預處理的分布加載系統；在智能索引機制方面，將在基于數據塊統計信息的查詢優化實際上投入更多精力，通過創新資源存儲智能分層和分類技術，優化系統性能，實現面向不同查詢，根據查詢代價動態選擇索引，進一步縮短查詢響應時間。

Hive與Hbase的結合存儲，也就是SQL與NoSQL的結合存儲[14]。NoSQL具有動態擴展的優勢，特別適合存儲創新作品這種類型的數據，然而，作為信息平臺，仍需要處理和維護關系型數據，因此平臺根據不同的情況采取不同的存儲方式。對于結構化數據，仍按平常的方式進行存儲，即采用SQL進行寫入HIVE數據庫，查詢直接從HIVE數據庫讀取；對于非結構化數據，在寫入Hbase數據庫的同時，將基本索引信息同時寫入HIVE數據庫，查詢時直接從Hbase數據庫中讀取。將非結構化的基本信息同時存入關系型數據庫，保障了平臺在實現信息展示、活動申報、作品審批等業務功能更容易實現，提高了系統的運行效率。

4 成果與應用

項目建設了廣東省青少年科技競賽服務平臺，通過平臺，帶動了廣東省青少年科技教育活動的發展，通過平臺積極開拓，不斷創新，組織開展形式多樣、深受廣大青少年喜愛的科技教育活動，充分利用全省的科技創新資源有效促進青少年科技創新能力的培養。形成了廣東省青少年科技創新大賽、廣東省青少年機器人競賽、廣東省青少年科學教育特色學校創建活動、全國青少年高校科學營廣東營活動和廣東省青少年科學調查體驗活動等青少年科技活動品牌，活動多，普及面廣，成效顯著。

平臺前端界面如圖3所示。

圖3 平臺效果展示

平臺進行多元化在線服務，為學生、教師、組織者、專家、家長等用戶提供活動申報、專家評審、會員申請、互動交流、檔案查詢等功能，有效促進青少年科技創新服務的開展。

5 結束語

為了解決現階段信息系統中常見的結構化存儲與非結構化存儲共存的問題，充分利用MyBatis+Spring MVC+VUE框架，將數據分別存入Hive與Hbase數據庫，設計并構建了青少年創新服務平臺。通過該平臺，青少年可以自主學習科普知識，了解科技發展現狀，以及同齡人所關注的科技活動，該平臺所起的作用不僅僅是青少年科技資源的共享，同時也是青少年科技學習和能力培養的有效依托。平臺建設完成后，有效促進了廣東省青少年科技工作的開展，提高了各種競賽的組織實施和評審工作，加快了青少年科技創新能力建設的進程。

[1] 竺 凌.在科技創新教育中應用信息技術的教學探究[J].科技創新導報,2016,13(4):144.

[2] Zhang D, Wei Z, Yang Y. Research on lightweight MVC framework based on spring MVC and Mybatis[C]//International symposium on computational intelligence & design.[s.l.]:[s.n.],2013:350-353.

[3] Chang V,Wills G.A model to compare cloud and non-cloud storage of big data[J].Future Generation Computer Systems,2016,57:56-76.

[4] Agrawal D,Bisdikian C,Calo S B,et al.Application-requirement based configuration designer for distributed computing systems[C]//International workshop on vehicle routing in practice.[s.l.]:[s.n.],2015.

[5] 彭 明,孫 峰.基于Hadoop的云存儲集群的設計[J].閩南師范大學學報:自然版,2015,28(1):54-58.

[6] Maheswari N,Sivagami M.Large-scale data analytics tools:Apache Hive,Pig,and HBase[M]//Data science and big data computing.[s.l.]:[s.n.],2016.

[7] Lee C H, Zheng Y L. Automatic SQL-to-NoSQL schema transformation over the MySQL and HBase databases[C]//IEEE international conference on consumer electronics.Taiwan:IEEE,2015:426-427.

[8] 吳婉楠.基于SpringMVC和MyBatis框架的炒股比賽系統的設計與實現[D].南京:南京大學,2016.

[9] 楊 磊.基于NoSQL的多維Web數據倉庫框架設計與應用[D].北京:中國科學院大學,2014.

[10] Freeman A. The MVC pattern, projects, and conventions[M]//Pro ASP.NET Core MVC.[s.l.]:Apress,2016.

[11] 譚潔清,毛錫軍.Hadoop云計算基礎架構的搭建和hbase和hive的整合應用[J].貴州科學,2013,31(5):32-35.

[12] 陳 偉.基于Hadoop平臺的教育云存儲系統的構建方法[J].中國醫學教育技術,2015,29(1):29-33.

[13] 高金標,何利力,鄒云陽.基于分布式存儲系統的Hive與Hbase的研究[J].工業控制計算機,2015,28(12):44-45.

[14] 王 艷,董麗麗.NoSQL與關系數據庫相結合的設計與實踐[J].電腦知識與技術:學術交流,2014(9):1857-1859.

DesignandApplicationofInformationSystemBasedonCloudStorageandJ2EEArchitecture

LIN Zhu1，LI Hai-wei1，YANG Bai-ai2

(1.Key Lab of High Performance Computing,Guangdong Province Science and Technology Basic Condition Platform Center,Guangzhou 510033,China; 2.College of Computer,South China Normal University,Guangzhou 510631,China)

With the advent of big data era,the cloud computing and its data processing technology have become more and more popular in applications of information system.Especially in applications of data storage and service,it has advantages of large-scale storage and on-demand services.The cloud computing technology combined with the current J2EE technology can promote the efficient operation of information systems and services.In order to solve the problem of coexistence of structured and unstructured data at the present stage,with construction of youth innovation service platform as background,the analysis on requirements of that is conducted.Thus a youth innovation service platform system based on cloud storage and SpringMVC,MyBatis architecture is designed and established via integration of storage technology with currently popular J2EE development framework,which has been applied in the storage of youth innovation service platform and has solved the problem in integration of cloud storage with MVC framework.The operation results show that it has effectively promoted the expansion of science and technology among the youths in Guangdong Province,and accelerated the construction of science and technology innovation capability in Guangdong Province.

innovation service platform；Spring；MVC；MyBatis；NoSQL

TP302

A

1673-629X(2017)10-0177-04

2016-10-31

2017-02-10 < class="emphasis_bold">網絡出版時間

時間：2017-07-19

廣東省科研設施與儀器向社會開放共享(試點)及共享服務管理模式創新計劃項目(2015B030304001);廣東省科技資源數據分析與開放共享服務平臺建設(2014B070706004);大型設施設計虛擬展示關鍵技術的研發(2015A030401052)

林 珠(1983-)，女，高級工程師，碩士，研究方向為數據挖掘和人工智能、信息系統。

http://kns.cnki.net/kcms/detail/61.1450.TP.20170719.1109.034.html

10.3969/j.issn.1673-629X.2017.10.037