基于單向設備的分布式多任務調度在大型復雜網絡環境下的應用實踐

張天澤 馬叢林

摘要：大數據的匯集對網絡和安全設備提出了新的挑戰，數據源種類的豐富及非結構化數據價值挖掘日益增長，已對跨域傳輸提出了新的要求。為實現不同網絡之間數據的安全傳輸需求，同時解決以往整體單向傳輸設備使用不平衡，硬件資源的利用率偏低的問題，單向設備的分布式多任務調度及其關鍵技術的探索顯得尤為重要。

關鍵詞：大數據;數據傳輸;單向傳輸設備;調度服務器;關鍵技術

中圖分類號：TP18 ?文獻標識碼：A??文章編號：1671-2064（2019）16-0000-00

1研究背景介紹

“大數據”是近幾年來的熱門話題，大數據的匯集對網絡和安全設備提出了新的挑戰，數據源種類的豐富及非結構化數據價值挖掘日益增長，已對跨域傳輸提出了新的要求。

在保證網絡不打通的前提下，為了進行不同網絡之間的數據傳輸，使用的解決方案是是用安全單向傳輸設備來進行不同網絡之間的數據傳輸。包括從網絡A與B，網絡A與C，網絡A與D。設置了多個單向安全設備，每個應用使用一個單向設備，每個單向設備容納至少一個應用通路。

基于物理隔離的單向傳輸系統部署在內外網絡邊界，將內部網絡與外部網絡進行單向連接，只允許數據從外部網絡單向傳輸至內部安全網絡，不允許反向數據流動。同時，導入前置機、單向傳輸設備和導入服務器串接部署，單向傳輸設備只提供導入前置機與導入服務器兩個專用設備之間的數據單向導入，不與各種應用服務器交互，避免引入額外的安全風險。

單向安全傳輸系統的文件同步功能是核心功能，該功能支持兩種方式的文件傳輸，一種是推文件方式，另一種是拉文件方式。推方式是指在導入前置機上建立FTP|SMB文件服務器，使用者將需要同步的文件從外網上傳到文件服務器，然后上傳的文件通過導入前置機的代理程序進行數據封裝、壓縮等處理，再由導入前置機通過光閘口傳輸到單向傳輸設備，單向同步到導入服務器上，導入服務器代理程序接收并還原文件后，通過文件傳輸協議上傳到導入服務器網絡的特定文件服務器上。如果外網有專門的文件服務器，就可以采用拉方式進行文件傳輸。這里拉方式是指在導入前置機上將駐留文件客戶端代理程序，該程序定期去文件服務器上獲取需要傳輸的文件，然后上傳的文件通過導入前置機的代理程序進行與推方式同樣的處理。

在當前的解決方案框架下，會存在一個比較大的問題，某些應用的數據流量大，造成其所對應的單向傳輸設備負載大，而一些應用的數據流量較小，但也占據了相同的資源。這樣就造成了整體單向傳輸設備的使用不平衡，硬件資源的利用率偏低。

2 解決方案思路

在單向設備本身不做改造的情況下，是否能夠通過純軟件的方式來實現對通路的均衡分配，從而實現通路全面的高利用率以及高可用性（失敗恢復）。是本解決方案研究的重點。

解決問題的具體思路是通過一個總控文件接收和任務調度服務器（具備高可用），作為應用數據（文件）安全傳輸的統一入口。在接收到文件之后，根據當前單向設備任務分配的狀態安排任務通路。解決方案的邏輯架構圖如圖1。

在數據傳輸的執行過程中，對單個應用λ而言，在網絡B中的數據的應用獲取數據并將其放置在隔離區的文件服務的對應路徑之下，任務調度服務器輪詢對應位置獲取文件，并根據任務分配原則將對應文件放置在分配到的單向設備所對應的文件處理服務器上，再由單向設備獲取文件并導出到網絡A中文件處理服務器，經過任務調度服務器的處理再導出到文件服務中，平臺I上的β應用獲取數據，整個數據安全傳輸過程完成。如果網絡A中的數據需要傳輸到網絡B中，流程實際上是類似的反向流程。

在這個數據跨網傳輸的過程中，每個網絡中都需要有任務調度服務器來完成文件的接收、處理、文件打包以及任務分配的工作。該服務器是解決方案的重要節點，承擔著系統中最為核心的作用。

3關鍵技術實踐

為了保證整體的數據鏈路的安全、可控，可靠，本解決方案涉及到了不少關鍵技術。分別簡要介紹如下：

3.1無需綁定硬件設備

通常的使用方法都是基于特定的硬件設備，沒有兼容多品種、多型號的硬件的冷切換功能。而本解決方案的設計思路不依賴單向設備的本身的硬件特性，只需要單向設備支持SFTP、Samba等協議，即可實現通路資源的統一調度，能夠對用戶的既有設備實現利舊，充分保護用戶的固定資產。

3.2跨機房分布式部署

每個方向的兩個單向設備通路分布在主備兩個機房部署，調度服務可以調度主備機房的所有通路，當其中一個通路出現故障時，調度服務會將任務轉移到可用的通路，從而確保任務不中斷。

3.3通道暢通保證

為了保證單向通道不全部被大文件任務占用而阻塞整體通路，將任務處理器標記為小任務通道和大任務通道，大任務只能在大任務通道傳輸，小任務當大任務通道空閑時（大任務通道無大任務在處理），可以在大任務通道傳輸。任務的大小區分可配。

3.4統一調度策略

在任務統一調度的前提下，為了保證重要應用的業務的數據傳輸不受通路整體交通狀況的影響，能夠設置任務優先級，根據業務優先級選擇高優先級的任務。同時，根據文件服務器中的文件容量：優先調度文件容量少的處理器。同時需要計算每個處理器中排隊文件的平均大小，選擇大小最接近待處理文件的那個處理器，這樣可以在兼具等待耗時公平的前提下同時盡量使得大中小文件分類傳輸，以提升大中小文件的傳輸效率。

3.5秒傳與秒回傳

從高密級網絡B到低密級網絡A傳輸文件（或反向傳），之前擺渡過的文件，后續任務中不用擺渡，通過比對文件摘要來從本地獲取文件，通過驗簽確保文件不被篡改。而B擺渡到A的文件，不用再從A擺渡回來，只擺渡在A生成的文件摘要，通過摘要在B獲取本地文件。

3.6設備狀態監控

在不獲取單向傳輸設備的運行信息的前提，能夠對狀態進行監控，通過雙單向網閘的傳遞心跳文件，來判斷單向傳輸設備是否工作正常。

3.7任務失敗恢復

在任務未成功執行并被調度服務器獲知時，會重新嘗試傳送文件，且在重試時會優先選擇和任務處理失敗時不同的任務處理器。

3.8安全保證

文件提交到任務調度服務之前需要進行安全掃描，確認有問題后繼續處理任務。安全掃描應當能夠集成多個第三方掃描工具，實現全方位的文件掃描，包括常規文件格式以及APT等。

4應用效果

在某項目的實地應用測試過程中，本方案的可行性得到初步驗證，無論在執行效率以及軟件可靠性方面都得到了一定程度的證明。

在效率層面，通過搭建8套千兆網閘（單向4通路）的測試環境，進行壓測，每通道并發任務數為50，從低密級B網絡向高密級A網絡擺渡，審核后自動擺渡回到A網絡，總共擺渡178G文件，用時21分32秒，178G/21分32秒/4通路，得到單通路常規文件擺渡速度為37MB/S。遠遠超過之前的單向設備獨立的傳輸方式。

實驗過程中，嘗試直接關閉一條通路（進出均可）后，傳輸任務不會中斷，會被均分到其余通路上，通行速率下降約1/4;在關閉任意一個調度服務器的情況下，任務也不會受影響。整個傳輸系統的可靠性也得以被驗證，可以用于實際的工程化部署。

參考文獻

[1] 吳紹欣.分布式指揮系統分層多任務調度研究[D].哈爾濱工程大學，2011.

[2] 佚名.一種分布式多任務調度管理系統：陜西，CN103677973A[P].2014-03-26.

[3] 趙睿斌，楊紹亮，王毛路，等.基于商密體系的政務鏈解決數據安全共享交換的研究[J]. 信息安全與通信保密，2018，No.293（5）：85-90.

[4] 佚名.基于單向隔離硬件通道的數據單向傳輸系統：北京，CN1601955[P].2005-3-30.

收稿日期：2019-06-29

作者簡介：張天澤（1985—），男，河南洛陽人，本科，正科，研究方向：網絡安全，資源運營。