云存儲在水產健康養殖中的應用

摘要：針對目前水產大規模、高密度的集約化養殖使得管理、控制的難度增大，數據存儲面臨的資源利用率低、管理維護成本高等問題，運用HDFS（Hadoop Distributed File System）API的方式設計了云存儲服務平臺，實現了水產養殖用戶訪問模塊、水產養殖用戶管理模塊、目錄管理模塊、資源管理模塊和集群管理模塊及數據存儲，以及對集群的狀態監控和管理等功能。該系統可以提高服務器、存儲和網絡等資源利用率，實現水產養殖環境的有效檢測、信息化生產管理、精細飼喂、病害防控、安全可追溯，增加經濟效益，對保護農業環境和綠色無公害食品生產具有重要意義。

關鍵詞：水產養殖；云存儲；海量數據；HDFS；健康養殖

中圖分類號： S126 文獻標志碼： A 文章編號：1002-1302（2014）07-0246-02

收稿日期：2013-10-14

基金項目：公益性行業（農業）科研專項（編號：201203017）；國家星火計劃（編號：2011GA610009）。

作者簡介：劉光明（1980—），男，天津人，碩士，實驗師，主要研究方向為網絡信息技術。Tel：（022）23793887；E-mail：liugm2005@126.com。

通信作者：邢克智（1956—），男，天津人，教授，博士生導師，主要從事水產養殖的研究。E-mail：kzxing@yahoo.com.cn。伴隨著人們的消費模式已轉變為質量型，在不破壞環境前提下，規范化、標準化、集約化的信息管理、健康養殖智能化方式是未來水產養殖業發展的方向[1]。如今水產制品在生產和流通過程中，質量的檢驗監督還剛剛起步，水產制品質量安全問題存有一定的隱患。水產制品健康養殖的信息化建設水平不高，數據分布不均勻，更新速度慢，并且在健康養殖過程中還有很多數據、圖表存儲和查詢匯總等工作[2]。隨著水產健康養殖管理工作的不斷開展，對健康養殖手段提出了更高、更新的要求，怎樣運用信息化技術提高水產健康養殖管理水平成了急需解決的問題[3]。開發的適合水產健康養殖的云存儲系統，可以很好地解決這些問題，實現以下功能：（1）適應水產健康養殖數據存儲不斷的發展，支撐存儲節點的不斷增加，使數據可以在每個存儲單元均勻分布，均衡存儲空間與帶寬的負載；（2）建立海量數據存儲系統，可迅速查詢到所需數據，減少平均響應時間和吞吐量；（3）可提高硬件的利用率，減少管理成本。結合云存儲技術與數字化信息平臺的特點，應用云存儲技術解決水產健康養殖管理相關的問題，改善目前信息平臺服務器存儲單一管理的現狀，筆者介紹了云存儲技術在水產健康養殖中的作用，建立了水產健康養殖云存儲服務的功能模塊。

1云存儲系統對水產健康養殖的作用

1.1水產養殖品種的選育管理

利用運存儲技術，同步各養殖品種基礎數據，用戶可通過這些數據進行良種引入、選育和自育、繁殖、提純復壯工作，實行自動數據對接，并對系統運行進行分析，進一步指導生產，為水產健康養殖提供基礎。現階段，水產養殖抗疾病、品種品系的抗逆實施還剛剛開始，要進一步在這方面取得進展，就需要信息技術與傳統育種技術相結合。

1.2科學放養

用戶將養殖品種搭配、放養密度、投入產出水平等數據上傳云存儲，然后系統根據不同品種、池塘的生產條件、資金、設備等得出相應的放養模式與密度。健康養殖應當是合理搭配品種結構，投入和產出水平最佳，水產養殖業、種植業、畜牧養殖業與云存儲技術相結合，利用廢棄物循環，取得各種資源的最佳效果，可以極大地降低養殖過程中廢棄物的排放，使生態環境得到保護和經濟效益得到提升。

1.3溯源管理

將養殖環境數據上傳至云存儲系統，用戶可利用水產品條形碼或二維碼等相關數據，通過互聯網查詢此產品產自于哪個養殖場、何時出場、水產種群規模、養殖周期、水產品健康情況等，達到放心食用的目的[4]。

1.4飼料配方和投喂管理

投飼、投喂管理是開展健康、可持續發展水產養殖的關鍵。用戶把飼料的存儲量、種群需要的營養成分和成本價格等各方面信息傳入云存儲，經過系統計算得出合理的飼料配方，而后將配方傳至云存儲。通過輸入飼料類型、投喂條件和所需的營養標準、營養成分及相關價格，便可從存儲系統中查詢出飼料配方。然后通過系統控制的飼料投喂技術，滿足養殖生物生長的需要，減少對飼料的浪費和養殖環境的污染。

1.5健康管理和病害控制

目前，水產養殖的病害控制和健康管理直接影響我國水產養殖的發展[5]。水產養殖中健康管理和病害控制主要包括：水產健康養殖管理系統、病害控制系統和無公害魚藥系統[6]。將以上3個系統接入云存儲后，把常見疾病進行整理和分類，按病理名、病理圖、病源類、癥狀、防治方法及治療藥物實時同步進系統。通過利用海量數據推算，幫助用戶判斷水產動物的疾病癥狀，并進行及時、有效的治療和預防。

2技術實現

云存儲系統使用HDFS（Hadoop Distributed File System）作為底層存儲，為上層應用提供高可靠、高性能的存儲服務。HDFS在很大程度上借鑒了Google GFS分布式文件系統的設計思想和關鍵技術，它具有高容錯、高可擴展、兼容不同硬件設備、支持海量數據等諸多特性，相比目前的文件分布式系統，HDFS降低了POSIX（portable operating system interface of unix）的部分限制，達到數據流式讀取的目標[10]。HDFS可移植性強，可極好地在不同硬件與軟件中進行設計，可運行在不同分布式服務器平臺與存儲，為數據中心及子業務系統的平臺提供底層的技術支持。

3設計與實現

3.1平臺設計

水產健康養殖云存儲平臺的架構如圖1所示，采用了分布式文件系統HDFS作為底層存儲架構，由于HDFS提供的高可用性、高可靠性及容錯機制等特性，增強了分布式云存儲系統的穩定性、可靠性和可擴展性。為方便上層邏輯往底層文件系統中讀寫數據，設計并實現了文件讀寫模塊；在上層業務的具體處理邏輯中，兼容了Amazon S3接口，使得整個系統在設計和實現上更加規范合理，除此之外，還增加了安全控制模塊以及訪問模塊等[8]。

3.2平臺模塊

本平臺主要包含4個模塊：養殖戶訪問、養殖戶管理、養殖戶權限與存儲集群管理[8-9]。（1）養殖戶訪問：養殖戶登錄，養殖戶信息修改，養殖文件復制、傳遞，對文件的共享與加密，建立和編輯文件目錄的等功能。（2）養殖戶管理：維護養殖戶信息和狀態，分配養殖戶屬于哪個子系統。（3）養殖戶子系統權限：設置基礎的信息，分配與管理系統權限。（4）存儲集群管理：后臺管理員可以設定集群中主從節點IP地址、從節點數量，還可以對集群運轉狀態、任務完成狀態進行監控；同時，還可對集群障礙和存儲空間余量情況進行報警。該云存儲平臺的各功能模塊如圖2所示。

3.3系統實現

HDFS使用方法有2種：一種是使用HDFS的API在客戶端上對數據進行操作；另一種是通過mount命令掛載到Linux文件系統中，調用Fuse-DFS一個Hadoop文件系統[7]，然后利用標準的Unix命令與之交互。對于前者，由于運用Fuse-DFS后的讀寫操作會有30%左右的效率損耗，因此，直接調用HDFS的API接口方式實現各功能[11]。系統管理平臺包括4個功能：管理用戶、管理目錄、管理資源、管理集群，后3個涉及到與HDFS通信。

3.3.1管理用戶主要實現管理水產養殖注冊用戶的基本功能，只有用戶通過審核和激活，才能對申請資源及對相應的文件和目錄進行操作。頁面主要包括用戶注冊類別、空間分配大小、激活進程、審批進程等。

3.3.2目錄管理主要實現創建、修改水產養殖用戶目錄及目錄下的文件查看等操作，以文件夾的形式在客戶端瀏覽器上呈現。

3.3.3資源管理主要涉及文件上傳、文件下載和修改、刪除文件等功能。

3.3.4集群管理主要管理與監控集群中設備的狀態，包括管理集群控制點的范圍、任務執行情況的查看、各種預警的處理等。

4結語

基于云存儲技術的水產健康養殖存儲平臺，完全改變了傳統存儲的架構，使得數據資源的應用更靈活與可靠，具有訪問數據資源速率快和存儲成本低[12-13]的特點，相比一個服務雙存儲熱備份，系統中不同水產養殖數據資源可成功地整合進云存儲平臺，使得存儲空間化零為整，系統資源得到很好的利用[14]。云存儲技術的利用可以實現水產養殖全程智能控制，養殖生態、生產指導、病害決策、精細飼喂、質量安全追溯等信息發布，提高疾病預防水平，降低養殖風險和養殖能耗，因此，云存儲技術的應用可改變水產養殖方式，為水產信息化養殖的實現提供技術保障。

利用云存儲技術構建的水產集約化健康養殖精細管理平臺已在水產養殖企業進行示范應用，增強了水產集約化健康

養殖精細管理平臺的可靠性與靈活性，提高了資源的訪問速度，降低了存儲成本。該技術有兩處需要改進：（1）HDFS作業調度算法與通信機制；（2）較小文件傳輸過程中讀取與寫入的速率。

參考文獻：

[1]薛正銳. 現代高效設施漁業工程技術綜述[J]. 科學養魚，2002（3）：19-20.

[2]王聯珠，李曉川，譚樂義. 論加入WTO后對我國水產品加工標準化工作的影響[J]. 中國水產，2001（8）：18-19.

[3]范小建. 全面提高我國水產品質量安全水平的思考[J]. 中國漁業經濟，2006（3）：3-7.

[4]呂平，王海波，顧紹平. 可追溯體系及其在水產品安全控制中的作用[J]. 漁業現代化，2006（3）：7-9.

[5]李健. 加強漁用藥物的行業管理，促進水產養殖業持續發展[J]. 中國水產，2000（6）：68-69.

[6]嚴正凜. 水產健康養殖內涵的探討[J]. 中國水產，2008（12）：33-35.

[7]Venner J.Pro Hadoop[M]. New York：Apress，2009.

[8]張興旺，李晨暉，秦曉珠. 基于云計算的數字化信息資源建設模型的研究[J]. 信息系統，2011（8）：101-102.

[9]王瑞梅. 池塘水質管理智能決策支持系統研究[D]. 北京：中國農業大學，2003.

[10]謝菊芳，陸昌華，李保明，等. 肉類工廠化生產質量安全監控系統的設計[J]. 農業工程學報，2005，21（7）：128-131.

[11]金松昌. 基于HDFS的多用戶并行文件IO的設計與實現[D]. 長沙：國防科學技術大學，2010.

[12]張先鋒，鄒蕾. 云計算技術及其應用研究[J]. 計算機與數字工程，2011，39（10）：194-197.

[13]王佳雋，呂智慧，吳杰，等. 云計算技術發展分析及其應用探討[J]. 計算機工程與設計，2010，31（20）：4404-4409.

[14]石利平. 淺析基于Web的云存儲技術[J]. 現代計算機，2010（3）：67- 69.