上海農業云服務中心的建設與應用

唐 煒，葉有燦，周 艷

(上海市農業農村委員會信息中心，上海200335)

唐煒，葉有燦，周艷.上海農業云服務中心的建設與應用[J].上海農業學報，2020，36(4)：150-155

根據中國信息通信研究院發布的《云計算白皮書(2016 年)》，2015 年，我國云計算整體市場規模達378 億元(人民幣，下同)，整體增速31.7%，呈現高速增長態勢。 云計算正從互聯網行業向傳統行業轉變，“政府、金融行業成為主要突破口”。 可以看出，云計算[1]技術正在不斷熟化，開始進入政府部門，在農業行業政府管理部門也開展逐步應用。 在2015 年，《農業部關于推進農業農村大數據發展的實施意見》(農市發〔2015〕6 號)中明確提出，“建設國家農業數據中心。 以建設全球農業數據調查分析系統為抓手，推進國家農業數據中心云化升級，建設國家農業數據云平臺，在此基礎上整合構建國家涉農大數據中心。”可見，國家部委數據中心也開始著手從傳統物理硬件架構向云化以及虛擬化[2]進行升級改造。

1 建設背景

上海市農業農村委員會信息中心機房建立于2005 年，是一個基于傳統物理服務器架構的數據中心[3]。 至2015 年，機房內擁有近100 臺物理服務器。 經過調查摸底，各應用系統、網絡硬件資源建設，都是通過項目制方式實施，即：申報立項-購置設備-系統搭建-運行維護。 這種傳統的建設方式帶來了兩方面短板，一方面是較大型的業務系統在進行“攤大餅”式的建設，導致帶來了越來越多的單點故障[4]潛在風險點；另一方面是微小型的業務應用，因其預算無法支持單獨設備采購，往往采取了“寄居蟹”式建設，和一些其他業務應用合用一臺服務器、操作系統、數據庫等，在未來的系統運行維護中將會有遭遇較大幾率應用系統不穩定性和管理混亂的風險。 所以無論是“攤大餅”還是“寄居蟹”，這對市農委信息中心機房來說都不是一個可持續的發展方式。 設備存量現狀方面，近80%的設備購置時間超過5 年，超過90%的服務器主機仍在使用已經停止更新服務的Windows Server 2003 甚至更老的版本。 主干網絡設備仍處于百兆帶寬的水準。 整個機房的IT 基礎設施處于老、舊、弱狀態，難以滿足市農業農村委員會系統推進信息化建設工作的需求，亟待進行升級改造。

2 建設過程

2.1 建設原則

2.1.1 技術架構標準化原則

在系統結構設計時，根據存儲讀取、業務訪問、帶外管理等需求采用了基于光纖通道Fiber Channel 技術標準以及以太網系列技術標準，規劃了存儲網絡、業務網絡和管理網絡。 使用了思科N5K 系列光纖交換機，利用其整合的融合網絡適配器CNA 同時支持以太網NIC 和光纖通道HBA 的特性，統一了光纖交換機前端服務器和后端存儲傳輸協議以及傳輸效率的一致性[5]。 通過堅持統一規范的原則，從而為未來的業務發展及設備增容打下基礎，可以保證系統在未來10 年內符合國際標準，并兼容相關技術。

2.1.2 實用且可靠原則

為確保設備設施性價比優、資金投入產出比高，在系統架構設計時，通過對各業務運營現狀的了解以及一段時間的試用，并未采用技術理論較為先進的Openstack[6]云平臺，而是從應用案例較多、投入運營時間較長、運營人力資源投入較少等實用性角度進行整體考量，最終選用了基于vSphere[7]的虛擬化解決方案。 此外，在設備選型上選擇了擁有高標準、高質量、高性能的產品；在硬件架構上全部采用雙接口的冗余方案，杜絕單點故障；在軟件基礎方面，要求虛擬化環境下的系統配置操作簡單方便、安全可靠。

2.1.3 可升級可擴展原則

要求整個系統至少能夠滿足3—5 年市農業農村委員會信息化建設工作硬件需求，系統要具有較強的擴展性，預留了存儲、網絡、主機等資源的擴展空間，可以迅速、便捷的根據具體需求進行硬件基礎資源的擴展。 同時，系統在不做較大變更的前提下，具備進行小版本平滑功能升級的能力。

2.2 設計和建設

為確保業務應用和生產數據的安全，上海農業云服務中心采用基于vSphere 的虛擬化技術進行設計和開發，整個中心由物理資源層、虛擬資源層、基礎軟件層組成(圖1)。 云中心的計算資源建設于X86 架構服務器基礎之上，實現對服務器資源的虛擬化整合與管理。 云中心的存儲資源架構于SAN 存儲網絡基礎之上，實現對存儲資源的虛擬化整合與管理。

2.2.1 物理資源層

云中心的物理資源層由服務器、存儲設備和網絡設備組成。 其中，服務器根據機房已有的硬件條件，由新購聯想機架式服務器和存量利舊思科刀片式服務器組成(表1 和表2)；云中心的網絡分成業務訪問網絡、帶外管理網絡和存儲網絡三種互為獨立的網絡體系，其中業務訪問網絡和帶外管理網絡均采用獨立千兆雙電口網卡，與核心交換機連接，形成局域網的千兆訪問網速。 存儲網絡由光纖交換機分別通過萬兆網卡和HBA 卡與各主機以及存儲連接，保證存儲磁盤IO 高速讀寫速度。 存儲設備由兩臺新購置的國產品牌存儲和一臺利舊存儲組成。 所有存儲皆為雙控制器，構成云中心虛擬化存儲資源池的物理設備基礎。

表1 新購設備清單Table 1 List of newly purchased equipment

表2 利舊設備清單Table 2 List of used equipment

2.2.2 虛擬資源層

由于服務器廠牌、型號、配置不一，故通過虛擬化技術，在物理主機上安裝ESXi 操作系統，構建了兩個計算集群。 依靠FC SAN 技術，對存儲完成了虛擬化，形成了一個60 TB 的存儲資源池。 同時通過VMware vCenter，實現了快速的虛擬機部署、存儲資源分配、主機管控和虛擬化資源池運行情況實時監控(表3)。 通過vMotion、DRS、HA 等vSphere 的原生功能，實現了農業云服務中心的高可用性。

表3 虛擬資源清單Table 3 List of virtual resource

2.2.3 基礎軟件層

通過前期對市農業農村委員會內部應用系統所涉操作系統、中間件和數據庫的了解和調查，參照等級保護測評工作中對主機安全基線的要求，通過vCenter 定制了不同性能(CPU 核數+內存大小+存儲容量)、不同功能(操作系統+中間件+數據庫)、符合等保安全基線要求的系統模板。 通過模板發布虛機，云中心可以快速交付包含操作系統、中間件、數據庫等基礎軟件在內的主機資源“套餐”，供開發或者運維人員快速部署業務應用。

3 成果及成效

3.1 建設實施

農業云經過了近一年的設備購置、利舊升級、軟件調試等建設，形成了由20 臺主機、2 臺光纖交換機和3 臺存儲組成的虛擬化基礎資源池，隨后開展應用系統的遷移工作。 根據應用系統對業務連續性和資源性能的需求，將其分成了三個類型：核心應用系統、一般應用系統和正在開發的應用系統(圖2)。 核心應用系統主要是門戶網站類、政務服務類應用，直接面向社會公眾提供各類服務，其服務狀況由各監管機構進行實時監控。 對于此類應用系統，要求運維方提供遷移方案和回退方案。 在遷移實施過程中，采取傳統物理服務器和虛擬機雙線并行互備的方案，力減網站下線割接時間。 一般應用系統多為業務填報類系統，其在市農業農村委員會系統內的應用系統數量中占比較高，且需要賬號登錄信息才能使用。 因此，其遷移工作只能在非工作時間段展開，遷移方式多為在新開設虛機上重新部署業務應用的方式。 對于正在開發的應用系統，則在完成上述兩種業務系統后，根據物理主機負載情況，對應系統虛機在各物理宿主機上做好合理安排，使其不影響前兩類應用系統的運行。 經過一年多的系統遷移工作，目前已有超過30個市農業農村委員會系統內業務系統運行在云中心上。

3.2 運維保障

3.2.1 技術手段

VMware vCenter 自帶的監控系統能對虛擬化資源池內的虛機進行管理，具有簡單的監控功能，但是vCenter 的功能主要是體現在配置管理方面，在監控方面不論是展現手段還是分析方法都比較單一。 面對越來越多應用系統所帶來各種各樣的業務場景，vCenter 在日常運維方面越發顯得單薄和力不從心。 為此，選用Veeam ONE[8]軟件對云中心的日常運維進行監控和報告。 通過Veeam ONE 軟件，實現了三大功能：一是豐富的報表功能，結合模型算法，給出虛擬化資源未來增長趨勢，便于對于云中心的建設進行合理規劃；二是在原有云中心生產環境監控的基礎上，增加了備份環境監控的維度，對云中心運營環境的監控更加有效、立體；三是無代理、全天候的數據收集方式，確保上述功能的實現絲毫不對應用系統產生額外的性能開銷。

3.2.2 管理制度

在建設云中心的過程中，除了做好技術方面的基礎建設之外，在管理制度建設方面，擬稿印發有《上海市農業農村委員會網絡與信息安全管理辦法》。 該辦法包括事件分類、事件分級、適用范圍、工作原則、領導機構、工作機構、專家機構、預防措施、監測預警、預警發布、預警響應、應急處置、后期處置、應急保障、監督管理等內容。 還印發有《上海市農業委員會中心機房農業云平臺管理規范》，此辦法從控制云中心安全風險，減少異常故障的角度出發，設計了遷入申請表、主機基線檢查表、遷入實施方案等標準化表單，規范了業務應用從遷入部署到日常運營的全過程。

3.3 應用效果

3.3.1 降低成本

一是利舊設備。 利用vSphere 支持廣泛兼容性，將市農委信息中心機房內的原有設備投入到新的生產環境中去。 這樣就跨過了硬件迭代發展后帶來的門檻，最大化利用原有資產，保護了原有投資，走出了“拋棄式”的新建怪圈，為未來虛擬化資源池的擴展開拓了新的“集約型”發展模式。

二是降低硬件維保成本。 云中心的建設，破除了傳統物理服務器之間的“藩籬”，大大提升了單臺物理主機的利用效能。 近幾年來，隨著越來越多的應用逐步遷入云中心，機房內的主機數量由2015 年的100 余臺降至2019 年的40 臺，大大降低了每年機房的硬件維保費用。 承載的應用系統數量由2015 年的不到20 個升至2019 年的35 個，成為上海市農業農村委員會最重要的信息化建設基礎設施。

三是降低運營成本。 一方面主機數量的減少，使得機房用電能耗不斷降低。 據查，市農業農村委員會信息中心機房電費由2016 年5.5 余萬元∕月，逐年降至2019 年4.8 余萬元∕月。 另一方面主機數量的減少，也使得機房內配套網絡設備的數量不斷減少，簡化了網絡拓撲的復雜程度，降低機房總體維護成本40余萬元。

3.3.2 安全可靠

相較于以前存在于傳統物理服務器上的不同品牌型號、不同業務類型、不同實現方式的復雜的數據備份需求，vSphere 原生的數據備份以及快照功能，極大減輕了數據備份的難度。 此外，在云中心建設過程中，選用Veeam+Dell DD 的第三方備份方案，通過定時執行各虛機的統一備份任務，配合豐富的報表功能，使得數據備份工作自動化、簡單化、可驗證水平更高，大大提升了數據的安全性。 在傳統物理主機架構中，如果要提高應用系統的可靠性，需要對每個應用系統進行集群環境配置，由此帶來的是高昂的商業軟件采購成本和運維成本。 此次云中心的建設，使得所有運行在云中心上的應用系統受到了vSphere 的HA、FT 等功能的保護，實現了在基礎運營環境的高可用性，降低了實施成本，提升了應用系統的可靠性，總體提高了云中心對各應用系統運營穩態的保障。

3.3.3 效率提升

云中心建成后，原有的設備購置流程大為簡化。 所有基于云中心建設的應用系統，從開發團隊填寫表單提出明確的IT 資源需求，到發布相關虛機，整個過程由原來數周時間變成了小時級別，大大加速了市農業農村委系統內信息化項目的建設速度。 對各開發運維團隊提出的新增資源需求，云中心可以通過虛擬化統一管理平臺，迅速編制相關虛機資源消耗報表，根據報表情況快速處置應用系統的資源需求。 云中心還可以快速搭建測試環境，供各應用系統進行軟件功能測試、系統補丁測試、數據恢復測試等多種業務需求，從而實現云中心對各應用系統需求敏態的響應。

4 結論與思考

上海農業云服務中心的建設，提升了IT 資源的使用效率和應用系統的運營水平，降低了硬件的維護成本和能源的消耗水平，為上海市農業農村委員會信息中心機房的IT 基礎設施提供一攬子式的升級方案，為上海市農業農村委員會開展下一步信息化建設打下堅實的基礎。 隨著信息化技術水平的快速發展，上海農業云服務中心還有進一步完善的空間。

一是網絡安全防護永遠在路上。 本次建設過程著力點放在包含計算、存儲、網絡等IT 基礎資源的改造和擴容方面，對于虛擬化資源池的網絡安全防護還有更大空間。 根據國家網絡安全法、等級保護2.0等相關法律要求，各種網絡安全事件頻發、各種網絡攻擊手段不斷翻新的當下，僅憑網絡安全防護設備是不夠的。 需要在未來云中心的運營過程中，根據網絡安全對虛擬化及云計算等新技術的要求，按照輕重緩急的步驟，逐步加強上海農業云服務中心的網絡安全防護工作。

二是云中心運維團隊提出更高的要求。 云中心建立后，各業務應用共享一個虛擬化資源池，從技術架構來說是一個強關聯的狀態。 而各業務應用有半數以上來自于市農業農村委員會委內處室和直屬事業單位，從管理架構來說是一個較為松散的“社區云”。 這一“強”一“松”造成了諸如各主機普遍存在資源分配率較高、資源利用率較低的問題、自行安裝非業務應用軟件問題、單臺主機資源消耗過高影響所在集群多個應用訪問體驗問題等等，需要云中心的運維團隊在技術上要引入更加合適、強大的運維工具，在管理上有更加合理、落地的制度安排，來保障上海農業云服務中心的正常運行。

三是云中心的功能上還有提升空間。 目前完成了虛擬化資源池的建設工作，從技術角度來看僅僅是為IAAS 層(基礎設施即服務)的建設開頭。 市農業農村委員會在2018 年完成了21 個網站的整合，在2019 年開始了生產業務數據的整合工作。 市經濟與信息化委員會在《上海市政務信息系統整合實施方案》中提出了“加快推進本市政務信息系統整合，推進跨層級‘大系統’和跨部門‘大平臺’建設”。 可見，政府部門的信息化建設正在逐漸提速，僅僅是硬件資源的整合和服務已漸漸不能滿足未來的需求。 下一階段，還需要努力提升上海農業云服務中心的功能，在結合市農業農村委員會需求的基礎上，將上海農業云中心向PAAS 層(平臺即服務)，乃至SAAS 層(軟件即服務)進行提升、完善，加速上海農業農村信息化事業的建設。