一種高速跨網文件安全傳輸架構設計*

張 亮，胡 芡，張詠秋

（中國電子科技集團公司第三十研究所，四川 成都 610041）

0 引 言

針對文件在不同網系間跨網傳輸的業務需求，跨網安全性成為文件跨網傳輸中的核心問題[1-2]。除了病毒查殺、惡意代碼掃描、深度檢測等傳統的安全防范手段，跨網文件傳輸的信道協議也成為網絡安全防范的重要關注點。近些年，跨網文件傳輸的單向光傳輸、光盤擺渡、內存擺渡[3-4]等文件傳輸系統的應用，從一定程度上解決了跨網系統文件傳輸信道協議方面的安全問題，降低了安全風險。但是隨著應用業務系統的不斷拓展，對文件傳輸的性能要求也越來越高，傳統的光擺、內存擺等系統的傳輸帶寬和時延等性能指標難以滿足業務系統的需求。目前業界廣泛使用的類似于文件傳輸協議（File Transfer Protocol，FTP）、簡單文件傳輸協議（Trivial File Transfer Protocol，TFTP）等基于標準網絡的文件傳輸協議與擺渡系統相比，在傳輸帶寬和時延等性能指標方面具有明顯的優勢。但是通用的開源文件傳輸協議在網絡安全性方面大打折扣，被攻擊和隱秘竊取的風險極高[5]，所以這類文件傳輸協議也不能滿足現代跨網文件傳輸的需求。因此，急需一套適用于現代跨網交換系統的，且具有傳輸高效、協議私有、部署靈活等特征的文件傳輸系統。本文基于某跨網傳輸系統上的研究成果和已有的跨網傳輸系統平臺，設計并實現一種基于私有傳輸協議的高速高效文件傳輸架構。該架構具有單文件并發、多文件并傳等特征，以解決當代跨網文件傳輸的痛點。

1 一種分層的私有文件傳輸協議

從文件傳輸的安全性、可靠性、高效性出發，同時考慮文件傳輸的高并發、高帶寬、靈活適配部署能力，提出了一套基于分層模型的私有文件傳輸協議。該文件傳輸協議區別于現有FTP等開源協議，從傳輸協議層面降低了被網絡攻擊和感染的風險，滿足跨網文件傳輸的高安全需求。分層文件傳輸的模型架構既保證了文件傳輸的可靠性，又滿足了適配部署的靈活性需求，可適用于跨網傳輸等特定場景。同時，該文件傳輸協議模型可以無縫適配文件并發傳輸的調度和管理，保證了文件傳輸的性能要求。此外，在該分層文件傳輸協議模型中的不同傳輸層面，可以友好的集成和擴展第三方功能模塊，部署應用到現代跨網交換系統中。文件安全傳輸分層協議模型如圖1所示。

在該文件傳輸協議模型中，文件幀作為最小的傳輸單元，一個文件可被拆分成若干個文件幀。文件幀的長度可以根據實際系統和網絡環境作相應的調整，每個文件幀傳輸相互獨立，彼此互不影響互不依賴，且每個幀在傳輸過程中沒有先后順序要求。因此使得文件幀高速并發傳輸亂序成為了可能，同時也可適用于不同時延不同帶寬不同路徑的復雜網絡環境。

1.1 幀傳輸層

幀傳輸層主要負責文件幀的收發，可根據不同的跨網應用環境定制私有的幀協議、選擇校驗和應答機制、增減幀頭特定信息、選擇性適配不同跨網傳輸信道。

1.2 文件傳輸層

文件傳輸層主要完成單個文件的收發、單文件的幀拆分、單文件的幀還原、文件幀傳輸的并發任務分配和單文件的完整性校驗，在文件傳輸層可以集成文件本身安全性相關的病毒查殺、惡意代碼掃描、內容深度查等功能模塊。

1.3 傳輸控制層

傳輸控制層主要負責文件傳輸管理、文件收發管理以及多文件任務時文件發送隊列任務的調度和維護，在這一層可根據需求增加文件自動同步、文件標簽機制等文件業務邏輯功能，拓展應用場景。

2 異步事件并發模型

在該文件傳輸架構中，為了滿足高性能指標要求、實現單文件高速并發、多文件多路并傳，在此提出了兩套任務并發管理框架：一種為基于任務與任務處理器相統一的多任務并發管理框架，另一種為基于任務與任務處理器相分離的多任務并發管理框架。多任務管理框架可以完成多任務的隊列等待、任務自動分配、任務自動加載、不同任務間自動調度、多任務并發執行等功能。結合提出的分層文件傳輸協議模型，采用基于任務與任務處理器相統一的多任務并發框架來實現多文件多路并傳，采用基于任務與任務處理器相分離的多任務并發框架實現單文件多幀并發傳輸。

2.1 基于任務與任務處理器相統一的多任務并發管理框架

此種多任務并發框架主要包含任務等待隊列、當前任務執行集合、任務調度幾個關鍵模塊。任務對象中既包含任務的必要參數信息，也包含任務執行流程。當任務調度激活后，自動開始異步執行任務流程，任務流程執行完成后通知任務調度器釋放已執行完任務流程的任務對象，并從等待任務隊列中調度新的任務對象并執行。該框架模型示意圖如圖2所示。

采用此種框架實現多文件并發傳輸的控制，在該框架模型中，每個任務對象即為一個單一文件傳輸任務，任務會負責將一個確定文件傳輸到接收端，文件傳輸完成后任務即執行完成，釋放相關聯的對象資源。

2.2 基于任務與任務處理器相分離的多任務并發管理框架

此種多任務并發框架主要包含任務等待隊列、任務處理器集合、任務調度幾個關鍵模塊。任務實體中不包含任務執行流程，只包含任務的必要參數信息，任務的執行流程由任務處理器集合中的任務處理器完成。當任務調度激活后，任務信息會分配加載到任務處理器中；任務處理器通過任務的參數信息開始異步執行任務流；任務流程執行完成后通知任務調度器標記任務已完成的任務處理器，并從等待任務隊列中調度新的任務對象加載到空閑的任務處理器上執行?？蚣苣Ｐ褪疽鈭D如圖3所示。

采用此種框架實現多文件幀并發傳輸的控制，在該框架模型中，每個任務為一個文件幀，每一個任務處理器為文件幀傳輸通道。任務處理器在得到新任務對象后會負責將對象的文件幀內容傳輸到接收端，一個文件幀處理完成后不會立即釋放傳輸通道資源，而是等待被加載下一個文件幀任務對象并傳輸新的任務對象文件幀。

3 異步I/O事件處理機制

在該文件傳輸架構中，選用基于poll/epoll實現I/O（Input/Ouput）多路復用的libevent模型，以實現異步I/O處理。該事件處理機制具有事件驅動、高性能、輕量級、專注于網絡、跨平臺支持性強等特點。使用該模型框架實現文件傳輸底層的數據收發處理，基于事件驅動模型實現全異步化的數據接收和應答處理，基于非阻塞的I/O復用實現高效高速數據收發處理，以此來保證件傳輸架構的傳輸處理性能。與此同時，在設備文件幀傳輸模塊中，將I/O接口邏輯與文件幀數據收發重組相分離，使文件傳輸架構中文件傳輸協議接口和通信方式的多元化適配和拓展成為可能，可以適配不同跨網傳輸信道。

4 文件無鎖并發讀寫機制

采用mmap文件映射內存的方式來實現文件的讀取和寫入操作。采用mmap方式對要操作的文件進行分段映射，使得每個文件映射塊的操作相互獨立。文件塊操作方式具備異步、同一文件不同塊操作對塊順序不敏感、同一文件可被多文件塊無鎖同步操作的特點。這種文件操作方式實現了單文件的同步并發讀寫，大大提高了文件讀寫的性能和磁盤操作效率，解決了文件傳輸中文件磁盤讀寫I/O性能瓶頸，保證了文件傳輸的高速高效。文件無鎖并發讀寫的示意圖如圖4所示。

5 實驗及性能

按照所設計的文件傳輸框架，編碼實現文件傳輸服務程序，在不同CPU系統平臺下分別測試文件傳輸的性能和效果，實驗拓撲圖如圖5所示。實驗選取了10 MB、50 MB、100 MB、200 MB、500 MB、1 GB、2 GB、4 GB幾種常見的不同大小測試文件進行測試，測試文件列表如圖6所示。設定單文件最大并發數為10，重點測試了在x86處理器和申威sw1621處理器兩種平臺下的文件傳輸情況，測試效果及性能統計如圖7～圖10所示。

實驗結果表明，在兩種處理器平臺下，在x86平臺下傳輸速率均可達800 Mb/s；在申威sw1621平臺下傳輸速率平均為750 Mb/s左右。在申威sw1621平臺上的性能只是略低于x86 CPU平臺，因此該文件傳輸系統在國產化平臺上也有不錯的表現，在當前大力推廣國產化平臺的趨勢下，可應用于某些國產化需求強烈的特定場景。

6 結 語

本文基于分層的私有文件傳輸協議、兩種異步事件并發框架模型、異步I/O事件處理機制和文件無鎖并發讀寫機制設計實現了一種高速文件傳輸架構。此外，詳細介紹了分層私有文件傳輸協議的核心思想，以及文件分層傳輸的實現方法；闡述了兩種異步事件并發模型框架的詳細設計方案，以及在該文件傳輸架構中的詳細處理流程；還介紹了所采用的異步I/O事件處理機制和文件無鎖并發讀寫機制；實現了一種符合現代跨網文件傳輸系統需求的具有單文件并發、多文件并傳特性的高速文件傳輸方式，在文件傳輸的安全性、傳輸效率、靈活應用部署等方面具有較強優勢。作為一種文件傳輸解決方案，后期可根據不同的跨網傳輸需求，修改文件幀協議信息、增加集成第三方安全檢查機制、適配不同跨網設備接口、集成標簽管理機制等，應用到更多的跨網系文件傳輸系統中。