基于Docker的私有云系統的設計

蔡云龍

摘要：隨著移動設備的興起，數據與日劇增，每天都會產生大量的數據。云計算為中小型企業或者個人提供數據的存儲與計算服務，節省了存儲計算成本。但是云計算帶來便利同時也存在一定的風險，用戶一般將數據存儲在公有云中，而公有云系統中多個用戶共享計算資源，用戶無法確切地知道可控的資源運行在何處，存儲在公有云中的數據，有極大地風險被非法使用。本文在分析云安全風險的基礎上，提出一種基于Docker技術的私有云設計方案并進行驗證。

關鍵詞：云計算；公有云；風險；Docker

引言

未來幾年是個人云計算的時代，每個人每天都在使用著大數據，是大數據中的一員。比如一個家庭拍攝的各種圖片、視頻和各種傳感器數據，在一兩年很快就會達到TB級，而且這樣的增長速度會越來越快。隨著物聯網進程的加快，每個人每天將產生大量的個人隱私數據，這些數據可能包括健康數據、家電數據和個人移動位置信息等等，人們會對這些數據的安全性更加關注，而公有云的劣勢將無限放大。研究開發私有云系統將會從本質上對這個問題進行一定的緩解。私有云相比于傳統的公有云有以下幾點好處：

第一點，防止數據被竊取。公有云存儲服務往往是和用戶的某些平臺賬號綁定在一起的，或者與用戶的某個郵箱綁定在一起的，一旦平臺賬號或郵箱被黑客獲取，所有的數據就一覽無余了。再加之網絡上社工庫泛濫，很多用戶喜歡在各種網絡服務上使用相同的密碼，往往是某一個賬號失竊，所有數據全部暴露。

第二點，防止數據被主動泄漏。用戶將數據托管在第三方的云平臺上，無法保證云服務提供商不把用戶數據提供給其他人使用。

第三點，防止數據遺失。2009年底微軟的SIDEKICK事件，導致郵件服務器中斷一周，而用戶數據卻未曾備份而丟失。還有2010年，阿里云服務器磁盤錯誤，導致TeamCola數據丟失等等。

從以上幾點可以看到，構建家庭私有云是非常必要的。能夠保證自己的私人數據與其他互聯網賬號無關，不被搜索引擎索引，不被別人監視。用戶部署的私有云能夠保證服務器運行并做好數據備份。如果僅在家庭或公司內部使用可以部署在內網，安全系數更高。

在私有云的環境下（如圖1所示），用戶的云端服務器再也不是云服務商所提供，而是用戶擁有自己的服務器，用戶可以使用手持終端與自己的私有云服務器隨時隨地通信。這種情況下，除了私有云服務器本身不可抗外力的因素，服務器與數據是百分之百安全的，用戶只需要利用APP登錄自己的云端服務器就可以實現私人數據的存儲與重要數據的同步。

1.Docker與SeafiIe的介紹

Docker是一個開源的應用容器引擎，讓開發者可以打包他們的應用以及依賴包到一個可移植的容器中，然后發布到任何流行的Linux機器上，也可以實現虛擬化。容器是完全使用沙箱機制，相互之間不會有任何接口（類似iPhone的app）。幾乎沒有性能開銷，可以很容易地在機器和數據中心運行。最重要的是，他們不依賴于任何語言、框架或包裝系統。Docker能簡化我們的云存儲搭建過程，還能使其更安全地運行，更方便的維護。

Docker共享一個操作系統，使用容器的概念抽象起來，可以將Docker理解成一種沙盒（Sandbox），每個Docker容器內運行一個應用，不同容器之間互相隔離，每個容器擁有自己的lP地址，并且可以在網絡中被識別。因此Docker容器是一個可訪問網絡的獨立設備，這在概念上類似于虛擬機，使得Docker容器與傳統的chroot的概念不同。Docker技術可以使容器跨越物理機器的障礙，不同主機之間的容器可以建立通信機制，可以實現用戶應用數據更好的備份，可以簡化分布式系統構建的過程，如圖2所示。Docker作為一種操作系統層次上的虛擬化方式，不需要額外的虛擬機管理應用和虛擬機操作系統，Docker可以直接復用本地物理主機的操作系統，因此更加輕量級，可以大大減少對硬件配置的要求。比起傳統的虛擬機技術有很多新的特性，表1是Docker與傳統的虛擬機技術在特性上的比較。

Docker提供了一種靈活的分層技術，你可以使用所需的組件來配置自己的容器。有一個叫作層的容器組件，一層就是一個容器鏡像。一般從基礎層開始，基礎層通常就是你想在容器中使用的操作系統的類型（容器管理器只提供您所需的操作系統的部分，并非主機操作系統）。如果想在容器中運行其他腳本文件，需要構建容器的配置和增加層。這樣使得程序的開發使用是十分靈活的。例如在圖2中，一個應用程序或服務容器需要PHP 5.5框架，就需要配置相應的容器。另一個應用程序或者服務需要PHP5.6框架，同樣僅需利用PHP 5.6配置對應的容器即可。它不像虛擬機那樣，改變當前運行的版本時需要進行大量的配置和安裝步驟。利用容器，僅需在容器配置文件過程中重新定義下該層即可。

Seafile是2013年國內一個團隊開發的開源云存儲系統，提供了豐富的文件同步和管理功能，還有更好的數據隱私保護以及群組協作功能。在本文中，利用Seafile實現用戶對數據的上傳、下載、同步功能。除此之外，Seafile還有完善的隱私保護，用你的密碼來加密文件，實現共享，可靠的文件儲存，完整的快照、恢復說明，支持實時數據備份。提供操作歷史、鏡像恢復功能，可恢復在指定時間內被刪除的文件，減少誤操作的影響，日志功能齊全，便于審計，免費并易于部署，界面友好。

2.私有云系統構建

分析本系統可知，主要是數據的存儲和管理，所以由兩層組成：數據存儲層和服務提供層。

2.1分布式存儲環境建立

本項目中，以Docker容器為計算存儲節點，構建分布式環境，采用的分布式文件系統為MooseFS。MooseFS是一款網絡分布式文件系統。它把數據分散在多臺服務器上，但對于用戶來講，看到的只是一個源。MFS像其他類unix文件系統一樣，包含了層級結構（目錄樹），存儲著文件屬性（權限，最后訪問和修改時間），可以創建特殊的文件（塊設備、字符設備、管道和套接字），符號鏈接，硬鏈接。在圖3中可以看到，數據存儲層使用的是MooseFS文件系統，主要由Master、Metalogger和Chunkserver這些部分組成。master負責在整個系統中管理數據。是整個系統的維護者。Metalogger做master數據備份的節點。chunkserver是mrs系統中的數據存儲者，真正的用戶數據按照算法被分成chunk，并分發到各個chunkserver上，這樣就保證了數據的安全性，本項目中低層存儲部署的方案如圖3所示。

這里需要注意的一點是，MooseFS的客戶端程序也就是加載MooseFS磁盤系統的命令是使用fuse編寫的，因此要想掛載MooseFS的服務器，必要的前提條件就是先安裝fuse，這樣編譯MooseFS的時候才能順利通過。接下來，來看看此分布式文件的讀寫過程。

讀取數據的時候分為六步，如圖4所示（圖中粗線為數據流方向，細線為控制消息方向）。首先應用程序向客戶端發起訪問請求，提交訪問表（filename，byte range）；然后客戶端將訪問表轉換成可以識別的形式（filename，chunk index），然后發給master節點；接下來master節點返回給客戶端數據塊句柄以及數據塊的位置；客戶端按照master節點提供的信息，發送數據塊句柄以及數據讀取范圍到相應的chunkserver上；chunkserver將所請求的數據發回給客戶端；最后客戶端將數據拷貝到應用程序中。

寫入數據到MooseFS中比較復雜一些，共分為九步，如圖6所示。因為分布式系統中存在三個備份，在讀取數據的時候只需要從這三個其中之一讀取即可，但是寫入數據的時候，必須往這三個備份里面都寫入數據。首先，應用程序發起寫入數據的請求，將文件名與數據發送給客戶端；接下來客戶端將請求表（文件名，數據）轉換成塊句柄（文件名，塊索引），然后發送給master節點；master節點將塊句柄和三個備份的位置全部返回給客戶端：然后客戶端將數據寫到所有待寫Chunkserver的內部buffer中；客戶端發送寫指令到主備份Chunkserver，主備份Chunkserver按照一定的順序依次從buffer中把數據寫入到數據塊中，主備份Chunkserver寫入操作完成后，由主備份Chunkserver發送同樣寫操作指令給次備份Chunkserver執行寫任務，次備份Chunkserver寫入數據完成后，向主備份Chunkserver報告寫入狀態，然后主備份Chunkserver向客戶端返回寫入狀態。如果以上任意一個Chunkserver寫入失敗，客戶端會建議新的節點進行再次寫入。

2.2用戶接口通信模塊設計

與用戶交互的接口主要使用Seafile完成。Seafile服務端主要由HEpserver、Seahub、Seafile、Ccnet和Task Deamon這幾大模塊組成。這幾個模塊的功能是：Ccnet主要負責通信，是內部的RPC服務進程，連接其他幾個組件；Seahub主要提供網頁頁面，供用戶管理自己在服務器上的數據和賬戶信息；Httpserver主要負責網頁端的文件上傳與下載；Seafile是整個架構的核心，其功能是實現對原始文件的上傳、下載和同步，是整個框架進行數據處理的實際執行者；Task Deamon主要處理后臺郵件收發等任務。在模塊的實現方面，Ccnet、Seafile和HttpServer這三個模塊，主要使用C語言編寫，架構上主要采用libevent事件循環與線程池處理異步任務。Seahub使用python Django框架實現，主要通過一個輕量級的python http服務器Gunicorn來提供網站支持服務，Seahub是作為Gunicorn一個進程來運行。Task Deamon主要采用python實現。Seafile的架構如圖6所示。

3.整體系統搭建與測試

本項目從小型化、易使用的角度出發，針對的環境主要是家庭，綜合考慮之下，使用的硬件為Wandboard Quad作為私有云的運行環境，Wandboard Quad是一塊ARM開發板，其配置如圖7所示。

采用Wandboard Quad的原因主要是由于它支持SATA接口，這樣就可以將大容量廉價的硬盤接入開發板中做私有云系統的存儲設備。系統整體的測試架構如圖7所示。利用Docker容器技術將計算資源有效整合，擴充出五個節點，然后在此基礎上利用MooseFS文件系統實現對單機資源的有效利用，實現對分塊區域的高效使用，而且此系統也可與其他系統進行動態擴展，可以實現高的容錯。然后在結合Seafile云存儲系統實現對松散資源的集中管理，加密存儲，從某種意義上解決了傳統存儲存在空間、加密和共享上的瓶頸。實現了私有云存儲系統，保證了數據的隱私性，且易于擴展。

在測試中，在Wandboard Quad開發板上移植Ubuntu系統鏡像，然后編譯Linux內核使得內核版本在Linux3.8以上，再編譯Uboot，設置系統啟動參數。本項目中為了便于調試，采用tftp的方式進行Linux系統的啟動，系統的內核鏡像從上位機交叉開發環境/tftpboot/Wandboard目錄下獲取內核鏡像。首次啟動開發板，進入Uboot環境需要設置參數，其

setenv ethact sms0

setenv ethaddr 00：10：75：2A：AE：EO

setenv gatewayip 10.234.56.1

setenv netmask 255.255.255.O

setenv serverip 10.234.56.32

setenv usbethaddr 00：10：75：2A：AE：EO

setenv ipaddr 10.234.56.120

setenv bootargs console=$（console），$（baud rate）$（optargs）root=/dev/ram video=$（video）

usb start

tftp 0x40008000 Wandboard/zlmage

bootm

經過上面的一系列工作完成后。Ubuntu系統就可以成功在Wandboard Quad開發板上運行，然后再進行網絡環境的配置，接下來繼續移植Docker到Wandboard Quad開發板，接下來再完成MooseFS分布式系統的構建，分布式系統的Master節點擔任seafile服務器的角色。用戶訪問私有云的時候，docker通過內部的端口映射，直接可以將用戶的請求發送到內部的master節點上，然后由master節點完成數據的存儲訪問任務。

4.總結

本文以最新的容器化技術Docker為基礎搭建私有云存儲系統，致力于解決家庭環境中，數據存儲的問題。以小型化、易部署為目標，在Wandboard Quad開發板上搭建驗證。本系統可以實現家庭用戶對數據存儲的需求，而且便攜，占用的面積較少，而且采用Docker技術，系統的可集成度很高，當用戶需要添加某個應用時，可以直接創建一個Docker容器，直接運行，不用考慮兼容性的問題，極大地簡化了部署服務的周期，并且，為了數據的可靠性，防止單點硬件故障，用戶可以使用兩塊Wandboard Quad板進行部署，或者多塊，利用MooseFS分布式系統的容錯性，可以實現多數據的高可靠性地存儲。