張成梅 黃偉 郝淼 于杰 楊冰 王雅潔*

（1.貴州省分析測(cè)試研究院 貴州省貴陽市 550000）

（2.貴州省食品安全檢測(cè)應(yīng)用工程技術(shù)研究中心有限公司 貴州省貴陽市 550009）

生物生態(tài)監(jiān)測(cè)，即對(duì)生物生態(tài)、環(huán)境的各項(xiàng)指標(biāo)進(jìn)行監(jiān)測(cè)和預(yù)報(bào)，是生態(tài)環(huán)境領(lǐng)域的重點(diǎn)任務(wù)，也是維持生態(tài)系統(tǒng)穩(wěn)定的基礎(chǔ)性工作。進(jìn)入新時(shí)期，生物生態(tài)監(jiān)測(cè)面臨著現(xiàn)代化技術(shù)的沖擊，逐漸覆蓋了生物生態(tài)信息管理和輔助進(jìn)行分析決策的工作。對(duì)生物生態(tài)資源與環(huán)境參數(shù)發(fā)生狀況的及時(shí)監(jiān)測(cè)、上報(bào)和決策指導(dǎo)關(guān)系到生物生態(tài)危機(jī)能否得到及時(shí)防治，也關(guān)系到生態(tài)系統(tǒng)的穩(wěn)定性是否得到足夠的保障。當(dāng)前，互聯(lián)網(wǎng)、大數(shù)據(jù)和云計(jì)算等信息技術(shù)的飛速發(fā)展，迫使生物生態(tài)信息管理系統(tǒng)的開發(fā)技術(shù)不斷進(jìn)行創(chuàng)新，因此，本文基于微服務(wù)架構(gòu)這種簡單、可獨(dú)立部署的服務(wù)套件開發(fā)方式來構(gòu)建基于微服務(wù)的生物與環(huán)境大數(shù)據(jù)平臺(tái)，以期為生物多樣性保護(hù)、生態(tài)圈的穩(wěn)定發(fā)展提供信息時(shí)代的技術(shù)支持。

1 理論基礎(chǔ)

1.1 微服務(wù)架構(gòu)

1.1.1 微服務(wù)架構(gòu)的概念及特點(diǎn)

微服務(wù)架構(gòu)是一種軟件研發(fā)架構(gòu)理念，也可以稱為一種架構(gòu)風(fēng)格，該架構(gòu)是將復(fù)雜軟件應(yīng)用程序拆分為多個(gè)較為簡單、可獨(dú)立部署的服務(wù)套件的特定方法。旨在將統(tǒng)一的功能模塊分解到多個(gè)相對(duì)分散的服務(wù)，從而實(shí)現(xiàn)有效解耦。其中每個(gè)小型的服務(wù)都會(huì)在各自的進(jìn)程中運(yùn)行，運(yùn)用輕量級(jí)的通信機(jī)制進(jìn)行通信，例如 HTTP 或 API[1]。每個(gè)服務(wù)都是圍繞業(yè)務(wù)功能進(jìn)行構(gòu)建，可完全通過自動(dòng)化機(jī)制進(jìn)行獨(dú)立部署，并且可以使用不同開發(fā)語言編寫，以及使用不同的數(shù)據(jù)庫存儲(chǔ)技術(shù)進(jìn)行數(shù)據(jù)持久化，服務(wù)集中化管理非常少[2-3]。與傳統(tǒng)的整體式軟件架構(gòu)相比，微服務(wù)架構(gòu)具有以下優(yōu)勢(shì)：

（1）復(fù)雜度可控。由于微服務(wù)架構(gòu)將傳統(tǒng)整體式架構(gòu)業(yè)務(wù)系統(tǒng)拆分為多個(gè)服務(wù)進(jìn)行獨(dú)立開發(fā)，有效緩解了傳統(tǒng)整體架構(gòu)需求無限擴(kuò)大導(dǎo)致復(fù)雜度無限積累的難題；

（2）可獨(dú)立部署。在微服務(wù)架構(gòu)中，服務(wù)既可以獨(dú)立運(yùn)行，又可以獨(dú)立部署，當(dāng)一個(gè)服務(wù)發(fā)生故障或者有新需求進(jìn)行修改時(shí)，只需停止相應(yīng)服務(wù)即可；

（3）技術(shù)棧靈活。微服務(wù)架構(gòu)采用去中心化治理技術(shù)，每個(gè)服務(wù)都可以由不同團(tuán)隊(duì)獨(dú)立開發(fā)，使得不同團(tuán)隊(duì)可以結(jié)合具體功能業(yè)務(wù)選擇更適合的技術(shù)路線和數(shù)據(jù)庫類型；

（4）有容錯(cuò)機(jī)制。微服務(wù)架構(gòu)中不同服務(wù)在各自獨(dú)立的進(jìn)程中運(yùn)行，當(dāng)某一服務(wù)發(fā)生錯(cuò)誤時(shí)，可以采取重試或平穩(wěn)退化相應(yīng)方法使其他服務(wù)有效避免應(yīng)用層面錯(cuò)誤發(fā)生，實(shí)現(xiàn)容錯(cuò)機(jī)制。

1.1.2 Spring Boot

圖1：Spring Cloud 相關(guān)組件架構(gòu)

Pivotal 團(tuán)隊(duì)基于企業(yè)級(jí)框架 Spring 高度集成研發(fā)出 Spring Boot 框架。該框架秉承“約定大于配置”的思想，旨在簡化研發(fā)人員創(chuàng)建產(chǎn)品級(jí) Spring 應(yīng)用和服務(wù)的過程。其內(nèi)部默認(rèn)配置了很多框架使用方式，例如在 Spring Boot 框架中，可以建立獨(dú)立的 Spring 應(yīng)用程序，內(nèi)嵌 Tomcat、Jetty 以及 Undertow 等諸多 Web 容器，可以在不做部署情況下讓項(xiàng)目直接運(yùn)行起來，簡化了XML 文件和 Maven 的繁瑣配置。擁有豐富的開箱即用的微服務(wù)功能，為研發(fā)人員初始搭建以及開發(fā)過程中的樣板化配置提供簡單、快捷的應(yīng)用方案，使其能夠快速搭建生產(chǎn)環(huán)境，并可以和 Spring Cloud 聯(lián)合部署[4-6]。Spring Cloud 組件架構(gòu)如圖1 所示。

1.2 HADOOP 框架

Hadoop 框架是 Apache 下的分布式系統(tǒng)架構(gòu)項(xiàng)目，包括了一系列大數(shù)據(jù)技術(shù)工具，共同構(gòu)成了 Hadoop 生態(tài)圈，主要有 HDFS、MapReduce、Yarn、HBase、Flume、Sqoop、Hive、Mahout 等。這里重點(diǎn)介紹本文應(yīng)用中最為重要的 HBase。

HBase 是一個(gè)高可靠、高性能、面向列、可擴(kuò)展的分布式存儲(chǔ)系統(tǒng)。同時(shí)，HBase 也是一種分布式數(shù)據(jù)庫解決方案，其可通過大量廉價(jià)的機(jī)器來解決大量數(shù)據(jù)的高速存儲(chǔ)和讀取。HBase 可以實(shí)現(xiàn)大容量存儲(chǔ)，其擴(kuò)展非常容易，只需要橫向添加 DataNode 的機(jī)器就可以實(shí)現(xiàn)擴(kuò)展存儲(chǔ)容量[7]。與傳統(tǒng)數(shù)據(jù)庫不同的是，HBase 采用列式存儲(chǔ)，其原理如圖2 所示。

2 基于微服務(wù)的生物與環(huán)境大數(shù)據(jù)平臺(tái)數(shù)據(jù)處理流程設(shè)計(jì)

2.1 生物與環(huán)境數(shù)據(jù)來源分析

表1：基于微服務(wù)的生物與環(huán)境大數(shù)據(jù)平臺(tái)數(shù)據(jù)來源及數(shù)據(jù)類型

圖2：HBase 原理示意圖

圖3：基于微服務(wù)的生物與環(huán)境大數(shù)據(jù)平臺(tái)應(yīng)用場(chǎng)景

基于微服務(wù)的生物與環(huán)境大數(shù)據(jù)平臺(tái)的數(shù)據(jù)來源包括政府觀監(jiān)測(cè)的數(shù)據(jù)、企業(yè)觀監(jiān)測(cè)的數(shù)據(jù)以及開放數(shù)據(jù)三部分，如表1 所示。

對(duì)于政府觀監(jiān)測(cè)數(shù)據(jù)，通過與政府合作并提供服務(wù)的方式合理利用政府脫敏的觀監(jiān)測(cè)數(shù)據(jù)以及觀監(jiān)測(cè)設(shè)施，主要包括觀測(cè)站、雷達(dá)、無人機(jī)等設(shè)備的監(jiān)測(cè)數(shù)據(jù)、科研團(tuán)隊(duì)考察數(shù)據(jù)，以及其他涉生物環(huán)境監(jiān)管部門的歷史數(shù)據(jù)等；對(duì)于企業(yè)觀監(jiān)測(cè)數(shù)據(jù)，通過項(xiàng)目研發(fā)的方式使用企業(yè)自建的觀監(jiān)測(cè)系統(tǒng)數(shù)據(jù)，主要包括水環(huán)境設(shè)備、氣象設(shè)備、視頻等監(jiān)測(cè)數(shù)據(jù)以及歷史積累的數(shù)據(jù)；對(duì)于開放數(shù)據(jù)，通過網(wǎng)絡(luò)爬蟲、業(yè)務(wù)系統(tǒng)埋點(diǎn)以及訪問數(shù)據(jù)庫的方式進(jìn)行獲取，主要包括中國生物生態(tài)數(shù)據(jù)庫、Gebco 全球海陸地形數(shù)據(jù)庫、生物科學(xué)大數(shù)據(jù)中心（http://msdc.qdio.ac.cn/）、NOAA 地球物理數(shù)據(jù)中心網(wǎng)站 （https://www.ngdc.noaa.gov/）、 Argo 全球觀測(cè)網(wǎng)站（http://www.argo.ucsd.edu）等相關(guān)數(shù)據(jù)庫與網(wǎng)站。

2.2 生物與環(huán)境數(shù)據(jù)應(yīng)用場(chǎng)景分析

生物與環(huán)境大數(shù)據(jù)平臺(tái)最終是面向用戶的，用戶群體包括政府用戶、研究機(jī)構(gòu)、企業(yè)和個(gè)人，因此根據(jù)數(shù)據(jù)用途分類的原則，在整體上可以將基于微服務(wù)的生物與環(huán)境大數(shù)據(jù)平臺(tái)劃分為八大應(yīng)用場(chǎng)景，如圖3 所示。

地域管理：生物與環(huán)境大數(shù)據(jù)平臺(tái)實(shí)現(xiàn)涉生物生態(tài)環(huán)境管理單位對(duì)所轄地域的管理，查看地域環(huán)境情況、氣象預(yù)報(bào)信息，及時(shí)通報(bào)相關(guān)人員；查看地域生態(tài)保護(hù)項(xiàng)目工作進(jìn)度；對(duì)地域生態(tài)功能區(qū)劃分與管理，以及地域的保護(hù)與開發(fā)。

生物生態(tài)環(huán)境：基于實(shí)時(shí)生物生態(tài)指標(biāo)數(shù)據(jù)以及水文數(shù)據(jù)等，制定周期性生物生態(tài)環(huán)境質(zhì)量公報(bào)，同時(shí)，針對(duì)生物生態(tài)環(huán)境污染的地域，制定合理的生態(tài)環(huán)境恢復(fù)策略；實(shí)時(shí)進(jìn)行生物生態(tài)環(huán)境預(yù)警監(jiān)測(cè)，制作環(huán)境預(yù)測(cè)預(yù)警公報(bào)，向社會(huì)預(yù)報(bào)環(huán)境災(zāi)害的生成與爆發(fā)、生物資源與生態(tài)環(huán)境破壞風(fēng)險(xiǎn)和威脅因素。

物種種養(yǎng)殖：基于生物生態(tài)環(huán)境數(shù)據(jù)以及對(duì)往年物種變化、繁殖信息、物種活動(dòng)及分布數(shù)據(jù)的分析，總結(jié)物種變化數(shù)據(jù)與生態(tài)環(huán)境條件的關(guān)系，預(yù)測(cè)采集、種植及養(yǎng)殖高產(chǎn)區(qū)域，從而在提高物種繁殖效益的同時(shí)，做到對(duì)環(huán)境的保護(hù)，促進(jìn)生態(tài)文明建設(shè)。

圖4：生物與環(huán)境大數(shù)據(jù)平臺(tái)框架數(shù)據(jù)處理流程圖

圖5：基于微服務(wù)的生物與環(huán)境大數(shù)據(jù)平臺(tái)系統(tǒng)總構(gòu)架

生物生態(tài)執(zhí)法：基于該大數(shù)據(jù)平臺(tái)，建立人員、物種群落保護(hù)規(guī)定及案件檔案，服務(wù)環(huán)保執(zhí)法；根據(jù)生物生態(tài)環(huán)境數(shù)據(jù)，預(yù)測(cè)生物生態(tài)災(zāi)害的發(fā)生，聯(lián)合國家相關(guān)機(jī)構(gòu)進(jìn)行生物生態(tài)環(huán)境災(zāi)害應(yīng)急指揮。

生態(tài)旅游：利用大數(shù)據(jù)分析技術(shù)，分析生態(tài)旅游的熱點(diǎn)路線及熱點(diǎn)區(qū)域，制定可推薦、安全的個(gè)性化旅游路線與策略，實(shí)現(xiàn)旅游方式分析與推薦，帶動(dòng)生態(tài)旅游業(yè)的發(fā)展。

生物多樣性評(píng)價(jià)：從平臺(tái)構(gòu)建的數(shù)據(jù)庫中調(diào)取物種數(shù)據(jù)、生態(tài)環(huán)境數(shù)據(jù)、氣候數(shù)據(jù)等數(shù)據(jù)并進(jìn)行實(shí)時(shí)的云上并行計(jì)算，得到符合科研需要和政府決策需求的生物多樣性報(bào)告。生物多樣性評(píng)價(jià)是一種反映復(fù)雜環(huán)境問題、表征生物多樣性的整體狀況和趨勢(shì)的概括性數(shù)據(jù)和信息工具，能用于評(píng)價(jià)不同水平的生物多樣性保護(hù)措施，并且通過政策干預(yù)和其他行動(dòng)對(duì)所涉及的問題發(fā)出信號(hào)[8]。因此，對(duì)于某一地區(qū)而言，為提高生物多樣性的管理，創(chuàng)新管理模式，推動(dòng)管理方式從粗放型向精細(xì)型轉(zhuǎn)變，整體提升生物多樣性的管理科學(xué)性，進(jìn)行生物多樣性評(píng)估非常重要且必要。

產(chǎn)品追溯：提供相關(guān)地區(qū)生物與地方性特色生態(tài)產(chǎn)品的種養(yǎng)殖、生產(chǎn)與加工過程、包裝出庫、銷售與流通的全過程追溯，通過將生物生態(tài)產(chǎn)品、生產(chǎn)企業(yè)及相關(guān)信息納入平臺(tái)建設(shè)，方便對(duì)生物生態(tài)產(chǎn)品進(jìn)行查詢和溯源，形成地方特色，助推產(chǎn)品銷售與宣傳。

2.3 基于微服務(wù)的生物與環(huán)境大數(shù)據(jù)平臺(tái)數(shù)據(jù)處理流程

基于微服務(wù)的生物與環(huán)境大數(shù)據(jù)平臺(tái)框架架構(gòu)的設(shè)計(jì)以及標(biāo)準(zhǔn)體系的研究具體結(jié)合了各項(xiàng)業(yè)務(wù)的功能需求，實(shí)現(xiàn)對(duì)基于微服務(wù)構(gòu)架的數(shù)據(jù)處理流程設(shè)計(jì)，如圖4所示，主要包括數(shù)據(jù)源、數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理和數(shù)據(jù)應(yīng)用五個(gè)層面。

圖6：基于微服務(wù)的生物與環(huán)境大數(shù)據(jù)平臺(tái)系統(tǒng)網(wǎng)絡(luò)拓?fù)?/p>

圖7：基于微服務(wù)的生物與環(huán)境大數(shù)據(jù)平臺(tái)系統(tǒng)主要類設(shè)計(jì)

其中，數(shù)據(jù)采集主要通過多種數(shù)據(jù)采集手段來采集生物資源數(shù)據(jù)、生態(tài)環(huán)境數(shù)據(jù)，通過網(wǎng)絡(luò)爬蟲、業(yè)務(wù)系統(tǒng)埋點(diǎn)、數(shù)據(jù)遷移以及數(shù)據(jù)分發(fā)等方式將分散的生物生態(tài)信息數(shù)據(jù)采集到文件或數(shù)據(jù)庫中。數(shù)據(jù)存儲(chǔ)主要是將采集到的生物資源與生態(tài)環(huán)境數(shù)據(jù)存儲(chǔ)到基于微服務(wù)的生物與環(huán)境大數(shù)據(jù)平臺(tái)的分布式數(shù)據(jù)節(jié)點(diǎn)內(nèi)。數(shù)據(jù)處理根據(jù)業(yè)務(wù)需求利用數(shù)據(jù)處理模型等方式對(duì)數(shù)據(jù)進(jìn)行分析處理。

3 基于微服務(wù)的生物與環(huán)境大數(shù)據(jù)平臺(tái)的設(shè)計(jì)

3.1 系統(tǒng)總體結(jié)構(gòu)設(shè)計(jì)

基于微服務(wù)的生物與環(huán)境大數(shù)據(jù)平臺(tái)采用微服務(wù)架構(gòu)思想設(shè)計(jì)，對(duì)系統(tǒng)整體功能模塊進(jìn)行拆分，具體業(yè)務(wù)劃分為共享交換服務(wù)、用戶管理服務(wù)、權(quán)限控制服務(wù)及日志管理服務(wù)等單一的、具體的、獨(dú)立的服務(wù)。服務(wù)間采用輕量級(jí)的API 調(diào)用形式，并且配合Spring boot 及Spring Cloud 構(gòu)筑成前端的微服務(wù)構(gòu)架。此外，由于現(xiàn)有生物資源與生態(tài)環(huán)境保護(hù)領(lǐng)域的發(fā)展存在瓶頸，無法充分利用數(shù)據(jù)，并無法安全保護(hù)數(shù)據(jù)。而生物與環(huán)境大數(shù)據(jù)平臺(tái)能夠利用HBase 文件存儲(chǔ)系統(tǒng)實(shí)現(xiàn)生物生態(tài)數(shù)據(jù)的存儲(chǔ)備份，而且系統(tǒng)擴(kuò)容方便，通過增加物理服務(wù)器節(jié)點(diǎn)的方式在后期增強(qiáng)系統(tǒng)存儲(chǔ)能力。對(duì)于現(xiàn)有的存儲(chǔ)的大量監(jiān)測(cè)數(shù)據(jù)，傳統(tǒng)的數(shù)據(jù)分析算法在讀寫以及分析上已經(jīng)很難進(jìn)行下去，不能作為海量數(shù)據(jù)的分析方法，但基于大數(shù)據(jù)和微服務(wù)的生物與環(huán)境云平臺(tái)能夠利用 MapReduce 對(duì)數(shù)據(jù)分析處理任務(wù)進(jìn)行并行化操作，通過集群來實(shí)現(xiàn)海量數(shù)據(jù)的處理，效率得到了顯著提高。綜上所述，系統(tǒng)的總體技術(shù)結(jié)構(gòu)圖如圖5所示。

3.2 系統(tǒng)網(wǎng)絡(luò)拓?fù)湓O(shè)計(jì)

系統(tǒng)使用Nginx 作為負(fù)載均衡服務(wù)器，兩臺(tái)Nginx 服務(wù)器采用Keepalived實(shí)現(xiàn)高可用，使用Tomcat 作為應(yīng)用服務(wù)器，將微服務(wù)單獨(dú)部署到一臺(tái)服務(wù)器上，使用Redis 作為數(shù)據(jù)緩存服務(wù)器，數(shù)據(jù)庫采用主從熱備份的方式來保證系統(tǒng)數(shù)據(jù)庫的穩(wěn)定。同時(shí)，集群服務(wù)器由master、slave1、slave2 等節(jié)點(diǎn)做組成，包 含 了Ajax、Redis、Spring Batch、Apache Storm、Apache Spark 等組件，平臺(tái)系統(tǒng)網(wǎng)絡(luò)拓?fù)湓O(shè)計(jì)如圖6 所示。

3.3 數(shù)據(jù)類的設(shè)置

基于微服務(wù)的生物與環(huán)境大數(shù)據(jù)平臺(tái)系統(tǒng)主要是對(duì)采集到的監(jiān)測(cè)數(shù)據(jù)根據(jù)任務(wù)項(xiàng)目進(jìn)行分析評(píng)價(jià)，分析方法是基于若干公式的組合計(jì)算以及生物生態(tài)環(huán)境質(zhì)量評(píng)價(jià)模型算法，最終得到分析評(píng)價(jià)的結(jié)果并針對(duì)結(jié)果的統(tǒng)計(jì)預(yù)警等功能。平臺(tái)以 Task、Project、Standard、Method 等類作為分析評(píng)價(jià)的基礎(chǔ)，在 Evaluate 類中進(jìn)行計(jì)算，最終結(jié)果在 AnalysisResult 類中存放。如圖7 所示。

4 總結(jié)

本文以基于微服務(wù)的生物與環(huán)境大數(shù)據(jù)平臺(tái)系統(tǒng)設(shè)計(jì)為主線，深入了解生物資源保護(hù)與生態(tài)環(huán)境領(lǐng)域的數(shù)據(jù)化和網(wǎng)絡(luò)化管理需求，提出了基于Spring 框架和Hadoop 的大數(shù)據(jù)平臺(tái)框架構(gòu)想，設(shè)計(jì)了生物與環(huán)境大數(shù)據(jù)平臺(tái)的總體架構(gòu)、數(shù)據(jù)處理流程以及技術(shù)路線。靈活地將微服務(wù)網(wǎng)絡(luò)技術(shù)與大數(shù)據(jù)技術(shù)應(yīng)用到生物生態(tài)管理領(lǐng)域，打造生物與環(huán)境大數(shù)據(jù)平臺(tái)系統(tǒng)，利用大數(shù)據(jù)技術(shù)在生物生態(tài)領(lǐng)域的深度融合來提升信息技術(shù)、科技創(chuàng)新在生態(tài)環(huán)境與生物多樣性保護(hù)發(fā)展中的貢獻(xiàn)率。但是，隨著生物生態(tài)相關(guān)業(yè)務(wù)的不斷發(fā)展，還需要對(duì)該平臺(tái)不斷進(jìn)行完善，以適應(yīng)新的需求。