一種批量文件加密實時傳輸及存儲的方法

譚文貴

（中國移動通信集團重慶有限公司 重慶市 401121）

1 引言

本文涉及批量文件加密實時傳輸技術和云計算領域，尤其是隨著企業批量文件傳輸需求大量增加和硬件資源云化比例的不斷增大，計算、存儲資源的云化廣泛運用到企業各業務，而且越來越向核心業務滲透，資源云化的使用越來越廣且業務要求也更高。特別是針對批量文件加密實時傳輸及存儲，如何實現批量文件傳輸和存儲云化管理、IO 性能提升、統一空間權限管理、橫向擴展、數據安全保障是一個值得研究的課題。現有的技術方案存在一系列的缺陷，主要有：

（1）批量文件傳輸和存儲采用主備模式接口機組網，數據的實時同步需要部署大量的sftp 服務，部署復雜；一旦主機發生故障不能正常啟動，備機的數據一致性不能得到保證；接口機的存儲采用內置盤劃分raid 方式，數據保護機制不夠，可靠性不高，單臺服務器的磁盤IO 受到限制。

（2）接口機采用主備模式，備機閑置較多，造成資源的浪費。不能根據接口機的忙閑程度，靈活進行業務分配，合理利用資源。

（3）存儲空間容量的管理問題。由于內置盤的擴展能力有限，隨著大數據業務數據量的大量增加，內置盤的容量不能滿足業務需求，橫向擴展能力差。存儲空間訪問權限問題。每個賬號讀取存儲空間的路徑不可以統一設置，不能提供統一的空間權限管理。

針對當前批量文件加密實時傳輸及存儲的缺陷，本文提出一種批量文件加密實時傳輸及存儲的方法，該方案對批量文件加密實時傳輸及存儲方法進行了系列優化。

2 系統總體架構

一種批量文件加密實時傳輸及存儲的方法，該方案對批量文件加密實時傳輸及存儲方法進行了優化，采用基于分布式SFTP 網關的接口機云化方法，傳輸采用前端分布式SFTP 網關部署，存儲采用后端云陣對象存儲池架構部署。批量文件加密實時傳輸及存儲架構如圖1所示。

批量文件加密實時傳輸及存儲主要由五大部分組成。主要由批量文件待傳局點1,2，…n、分布式sftp 網關模塊、分布式云陣對象存儲、驗證服務模塊、后臺數據庫系統組成。各業務系統需要加密傳輸的文件在批量文件局點1,2，…n 待傳、分布式sftp 網關模塊由sftp 網關服務組成、分布式云存儲由云陣對象存儲組成、驗證服務模塊進行業務驗證和錯誤日志回傳、后臺數據庫系統含大數據Hadoop 平臺和倉庫數據庫DB2 平臺。該技術方案中主要實現以下三大模塊：

模塊一：分布式SFTP 網關模塊。實現內容如下：

圖1：批量文件加密實時傳輸及存儲架構圖

圖2：業務數據傳輸邏輯流程圖

SFTP 網關模塊采用sftp 與s3 協議轉換技術，將批量文件傳輸加密協議sftp 轉換為后端對象存儲池接口協議s3，SFTP 網關中的服務器僅作透傳功能，性能消耗低，IO 吞吐量由后端云陣對象存儲池滿足，性能較傳統方法提升明顯。

模塊二：接口機后端云陣對象存儲模塊。后端云陣存儲提供s3協議訪問接口，與模塊一中將sftp 協議轉換后的s3 協議匹配，采用糾刪碼技術進行數據安全保護，橫向易于擴展，解決橫向擴展問題，滿足日益增長的業務數據存儲需求和緊急擴容需求。

模塊三：驗證服務模塊進行業務數據的驗證，將處理好的數據寫入大數據Hadoop 平臺和數據庫，實現數據驗證失敗回寫日志文件功能。

3 基于分布式SFTP網關的業務數據傳輸方法

基于分布式SFTP 網關的業務數據傳輸流程如圖2所示。流程中涉及的環節主要有：批量文件待傳局點、sftp 網關模塊、云陣對象存儲、驗證服務器、后端DB2 數據庫和大數據hadoop 平臺。業務數據傳輸邏輯流程步驟如下：

（1）業務系統批量數據文件采用加密sftp 進行上傳，形成批量文件局點1,2，…n；

（2）業務系統批量文件局點1,2，…n 通過sftp 加密協議上傳到sftp 網關模塊，sftp 網關模塊進行sftp 協議向對象存儲s3 協議轉換；

（3）批量文件數據通過sftp 網關模塊將接收到的采用透傳方式，將文件數據存儲到后端云陣對象存儲系統，云陣對象存儲系統采用s3 協議，糾刪碼技術進行數據保護；

（4）業務系統通知驗證服務模塊業務數據上傳成功；

（5）驗證服務模塊從sftp 網關拉取業務數據到本地；

（6）驗證服務模塊驗證業務數據并做業務處理后存儲到DB2數據庫和大數據Hadoop 平臺；

（7）數據驗證失敗回寫日志文件。

4 基于分布式SFTP網關實現方法

該方案中分布式sftp 網關主要包含應用組件、數據組件和負載均衡組件幾部分組成。該方案中采用應用組件和數據組件按照安全域劃分規則分開部署，應用組件部署在DMZ 區，數據組件部署在內網核心區。方案中sftp 網關模塊內部服務器的操作系統均為輕量級安裝，負載低，性能消耗較少，橫向擴展容易，安全性好，易于批量配置管理。分布式sftp 網關的主要實現步驟如下：

4.1 sftp與s3之間的協議轉換

該功能的核心就是實現sftp 協議轉換成云陣對象存儲的s3 協議。當外圍業務系統數據需要通過接口機寫入后端存儲系統的時候，通過sftp 網關模塊，將sftp 協議向s3 協議的轉換，摒棄目前方案中直接通過sftp 協議將業務數據傳到接口機內置盤，再通過接口機客戶端軟件推送到后端DB2 數據庫和hadoop 平臺。該方案中的批量文件通過sftp 網關實現透明傳輸，不在sftp 網關自身服務器內置盤落地，而是將數據通過協議轉換直接透明傳輸到后端云陣對象存儲池。

4.2 sftp網關內部采用多服務多活實現

生產環境中sftp 網關必須以多服務多活的方式運行，采用分布式架構實現。主要實現方法如下：步驟1、將sftp 網關中的sftp server 按照承載服務器的性能比例情況，在各服務器上部署并啟動sftp 網關服務進程，盡量均勻分布提升整體性能；步驟2、對后端云陣對象存儲池進行節點標識，并提供s3 協議接口；步驟3、按照來自不同底層服務器的原則，將兩個sftp 網關服務進程與一個后端的對象存儲節點一一對應，按照分散部署的原則，實現sftp 網關服務進程與后端對象存儲池節點的對應。

4.3 sftp網關內部實現統一訪問接口

該方案實現sftp 網關內部統一訪問接口，摒棄目前方案中一對接口服務器一個訪問IP 地址，整個分布式sftp 網關統一提供一個訪問服務IP。降低業務訪問的復雜度，統一管理變得簡單。統一訪問服務IP 入口，在后端進行資源調配時，用戶無感知，靈活調配資源滿足業務的需求。

4.4 sftp網關內部實現訪問賬號權限統一管理

該方法實現sftp 網關內部訪問賬號權限統一管理，摒棄目前方案中大量接口機復雜的sftp 賬號，賬號管理難度大，風險高。提供統一的空間權限管理，存儲空間的權限與訪問賬號權限對應，實現對后端存儲空間權限的統一管理。sftp 網關用戶包含兩部分，系統用戶和sftp 用戶。采用系統用戶和sftp 用戶分離管理的方法。系統用戶用于維護、監管sftp 用戶的日常操作；sftp 用戶可在系統管理界面統一維護，支持權限設置，可以配置用戶根目錄到對象存儲的bucket，也可以設置用戶權限到指定bucket 下的文件夾。采用本方案sftp 用戶管理更加規范，賬號的權限管理會根據用戶的需求進行整體評估使用，并進行相應的安全限制。為提供操作記錄回溯，該方案提供操作日志記錄功能，操作日志中記錄sftp 用戶對文件的詳細操作，包括文件的上傳、下載、刪除和移動等操作，便于對用操作的追蹤和監管。

5 結論與展望

針對當前批量文件加密實時傳輸及存儲的缺陷，本文優化了傳統方法，技術優點具體包括：

（1）采用前端分布式SFTP 網關，后端分布式云存儲架構。提供接口機池化管理，解決內置盤的數據安全性和系統的高可用問題，解決單臺服務器的磁盤IO 限制問題。采用sftp 與s3 協議轉換技術，SFTP 網關中的服務器僅作透傳功能，性能消耗低，IO 吞吐量由后端云陣存儲池滿足，性能較傳統方法提升明顯。

（2）通過分布式SFTP網關，SFTP網關內部實現統一訪問接口，將請求分發至合適的節點，靈活進行業務分配，合理利用資源。降低業務訪問的復雜度，統一管理變得簡單。同一個訪問服務IP 入口，在后端進行資源調配時，用戶無感知，靈活調配資源滿足業務的需求。

（3）采用接口機后端云陣存儲池化技術，SFTP 網關服務進程和后端云陣存儲橫向易于擴展，解決橫向擴展問題，滿足日益增長的業務數據存儲需求和緊急擴容需求。

（4）采用接口機池化技術，SFTP 網關內部實現訪問賬號權限統一管理。解決傳統方案中接口機復雜的sftp 賬號，賬號管理難度大，風險高的問題。存儲空間的權限與訪問賬號權限對應，實現對后端存儲空間權限的統一管理。