數據快速傳輸技術的探索

趙千里，胡瑩瑩

（國家無線電監測中心，北京 100037）

數據快速傳輸技術的探索

趙千里，胡瑩瑩

（國家無線電監測中心，北京 100037）

近年來，無線電監測數據量呈井噴式增長，而數據傳輸手段仍沿用著20世紀70年代誕生的TCP/IP協議，由于其固有機制問題，TCP無法充分利用帶寬網絡，在數據包丟失和延遲嚴重的網絡上更無法提供可靠高效的數據傳遞，而一種新的傳輸技術Fasp?優勢明顯。

TCP/IP協議；數據傳輸；Fasp?協議

1 引言

隨著無線電監測手段的復雜化、多樣化，非結構數據也在無線電行業爆炸式增長，大量數字信息需要快速且可靠的傳輸。然而，于20世紀70年代誕生的互聯網底層傳輸TCP協議已經儼然跟不上網絡和數據的傳輸要求。TCP無法充分利用現代化的高帶寬網絡，更無法在數據包丟失和延遲嚴重的網絡上提供可靠高效的數據傳遞。

TCP吞吐量瓶頸的根源在于速率控制機制，在該機制中，發送方需要確認每一個發送至接收方的數據包。如果某一接收確認因高網絡延遲或數據包丟失而未準時返回，發送方即認為相比接收方的處理能力其發送速率過快，因而大幅降低速率并緩慢恢復。結果，傳輸速率減慢到像是在爬行，而現代化的高帶寬通道沒有得到充分利用。

而一種新的傳輸技術Fasp?，摒棄了TCP對速度控制和可靠性的捆綁，采用獨特的專利方法使傳輸速度達到接近滿帶寬的最大值，且不影響對擁塞的回避，實現了理想高效和對帶寬的充分利用。其吞吐量不受洲際WAN、衛星、Wi-Fi、蜂窩連接上出現的網絡延遲和極端數據包丟失的影響[1]。其傳輸時間比標準FTP快數百倍且可預測性強，不受網絡條件影響。

2 Fasp?傳輸效果驗證

Fasp?的底層技術應用，替換了傳統的TCP傳輸協議，具有內置的、完整的安全性，包括連接節點安全驗證，傳輸中數據加密及數據完整性驗證。它徹底克服了TCP固有瓶頸，實現了在各種共享和私有網絡環境中傳輸速度的最大化。這種技術可以獲得完美的傳輸效率，不為網絡延遲和丟包所限制。并且，用戶享有對傳輸速度以及不同傳輸流之間帶寬共享的無以倫比的控制。不管網絡距離和動態性能如何，即便是在最困難的網絡條件下（衛星、無線和洲際遠程鏈接），文件傳輸時間仍然可以得到保障。它可以靈活地部署在C/S或B/S構架的應用上，并利用普通的IP網絡最大限度地利用帶寬進行高效傳輸。同時，它也有著極好的跨平臺性，支持幾乎所有的主要操作系統。該軟件同時也包含一種文件接力技術，使得在傳輸大量極小文件時，其效率與傳輸單個大尺寸文件有著相同的效率與速度。

為測試驗證Fasp技術和TCP的傳輸差異，選擇連接服務器（Connect Server）如圖1的方式進行驗證[2]，通過網頁瀏覽器插件下載資源站點國際生物技術信息中心服務器NCBI (National Center for Biotechnology Information）提供的數據源。

圖1 服務器、瀏覽器插件測試驗證Fasp傳輸速率

用傳統基于TCP/IP協議的下載工具（IE瀏覽器自帶下載工具）下載速度測試。測試結果如圖2所示，可以看到其下載速度為每秒600KB左右。按筆者網絡50MB雙鏈路來算，其利用率只占到了整個網絡帶寬的0.6%左右。

圖2 TCP/IP協議下載速度

之后，用Fasp協議的下載工具（Aspera Connect客戶端）下載相同文件進行速度測試，測試結果如圖3所示。可以看到其下載速度為每秒65MB左右，按筆者50MB雙鏈路來算，其利用率占到了整個網絡帶寬的60%左右。

圖3 Fasp協議下載速度

3 幾種傳輸技術對比

如何提高廣域網中海量數據傳輸的速度是一個被廣泛關注的問題，工業界和研究機構都試圖用不同的方法來提高傳輸速度。一般來說，已知的不同于Fasp的解決方法可以被歸為：基于TCP/IP協議的優化；基于UDP的加速。

3.1 基于TCP協議的各種改進

（1）早期的TCP協議

傳輸控制協議（TCP）在理想條件下可提供可靠的數據傳遞，但它存在著一個固有吞吐量瓶頸，隨著遠距離WAN上出現的數據包丟失及延遲增加，該瓶頸則變得更加突出且嚴重。吞吐量瓶頸的根源在于TCP用于調節其數據流速率的機制，標準TCP無法區分數據包丟失背后的原因對文件傳輸速度所造成的嚴重后果。帶寬利用率和不穩定傳輸速率的波動可導致不可預測的傳遞時間，甚至是傳輸失敗，造成無法按時完成關鍵業務，從而需要昂貴的傳輸監督和冗余。

（2）修改TCP/IP協議棧

對已有TCP/IP協議棧進行參數優化是一種比較常見的加速方式。這些加速方法通常會通過調整協議棧參數從而使TCP可以維持更大的發送窗口，并且有選擇性的報告丟包以防止TCP在一個往返時間內速率下降過多。一些更高級的機制直接修改TCP的速率控制機制，譬如，這些“高速”TCP協議通常在丟包的時候速率減少更緩慢，而在無網絡擁塞的時候速率增加更快。但是，因為這些協議并沒有改變TCP根本的基于丟包的速率控制，所以只能在丟包比較小的情況下充分利用帶寬，而在丟包比較嚴重的情況下帶寬利用率仍然極其低下。非標準的TCP/IP協議棧通常以獨立的代理服務器的形式部署在數據中心或廣域網鏈接的前端。

（3）并行TCP數據流

另一種對已有TCP/IP協議棧提供加速的方法是實施并行TCP數據流。顯而易見，當單個TCP數據流帶寬利用率很低時，用多個數據流可以使總的帶寬利用率增加。但是由于這種簡單的方法沒有對TCP的速率控制機制做任何改進，所以在丟包率嚴重的情況下（大于10%），其性能仍然不能得到保障。打開多個數據流會大量耗費客戶端和服務器端的CPU和內存資源。更嚴重的是，由于TCP的帶寬控制是基于丟包的，所以當并行TCP獲得更高帶寬利用率的同時，其實際上已經在瓶頸鏈路上造成了大量的丟包和擁塞，以至于其余應用無法正常工作或導致其速度及其緩慢。

（4）前向差錯控制

前向差錯控制是（FEC）一種在廣域網傳輸中經常被采用的技術。它的原理是在發送的原始數據之上加傳一定比例的冗余碼，這樣當網絡擁塞造成丟包的情況下可以通過校驗碼恢復部分原始數據。嚴格地說，前向差錯控制并不是一種純粹的加速機制，而只是一種可靠性手段，因其并未對傳輸速率有何改善。前向差錯控制只能在一般丟包的情況下改善傳輸的可靠性，而其本身在丟包嚴重的情況下并不能提供完全的可靠性。前向差錯控制相關的編碼/解碼需要耗費一定量的CPU資源，在高速網絡環境中往往通過特殊硬件實現。

3.2 基于UDP協議的流量噴發

由于傳統TCP傳輸協議的低效，以及修改TCP協議本身的復雜性，近幾年，人們相應推出了一些基于UDP的傳輸協議，比較常見的開源協議譬如Tsunami和UDT。但這些協議并沒有高質量的設計，僅僅是采用了基于UDP的流量噴發。更具體的說，這些協議通常可以保證傳輸的可靠性，而在此之上采用簡單的速率控制來響應網絡擁塞。但由于其粗糙的可靠性機制和速率控制設計，這些協議往往傳輸效率很低，并且會加重網絡擁塞造成大量丟包，對網絡中其余的TCP數據流有極壞的影響。UDT在廣域網上（延遲100微秒，丟包1%）上的傳輸速率極不穩定。由于其過于簡單的速率控制機制，傳輸速率在很多時候大大超過了網絡已有帶寬，從而造成嚴重擁塞。更嚴重的是，由于UDT可靠性設計上的缺陷，大量的網絡帶寬被用來反復傳遞重傳數據。正因為UDT本身會造成大量的擁塞和網絡丟包，所以在和另一個TCP數據流共享帶寬時，TCP數據流的性能大大削弱，傳輸速率幾乎降到0。只有當UDT退出時，TCP才能有效利用帶寬。

3.3 Fasp高速傳輸協議優勢

Fasp是一個新的大型數據傳輸協議，它以一種創新方法在應用層實現可靠性，消除了TCP的低效率丟失、處理錯誤以及所導致的傳輸速率不穩定波動。為了保證100%的可靠性，Fasp實施它自己從理論上已證明的最佳機制，該機制可準確識別并轉發傳輸通道上的真正數據包丟失。在數據包丟失率為10%的條件下，Fasp的帶寬利用率達到了90%，冗余數據負擔低于1%。

與強力多流TCP方法相比，Fasp?采用單一數據流實現了理想高效率，而且并未耗盡系統資源或充斥網絡。與簡化的UDP數據爆破不同，Fasp具有理想的帶寬效率，并且不使冗余數據充斥網絡，或拒絕訪問標準TCP應用。如表1展示了各種傳輸協議的優勢[3]。

表1 fasp技術與幾種其他技術傳輸對比

4 結束語

越是遠距離、大文件，用Fasp協議傳輸數據越具優勢。目前，Fasp以其卓越的性能已經在生命科學、媒體和游戲產業領域廣泛應用。IBM已經將該技術之融入到自己的產品中，為推進其大數據的發展戰略，通過Fasp技術，客戶能輕松實現把數據復制到IBM的云服務中[4]。

但Fasp技術也存在著應用局限性，其傳輸處理對象僅限文件（file）格式，而對于實時的流數據卻無能為力。所以對于無線電領域監測系統的接收機接收下來的實時流數據無法直接傳輸，還需要經過本地存儲或處理形成固定文件之后，才能傳輸使用。對于涉及類似的流數據采集（比如氣象的實時衛星云圖，物聯網傳感器傳輸的實時數據等）還有待于基于Fasp協議新的產品。

[1] Ultra High-Speed Wide Area Data Transport: Aspera, Inc. 5900 Hollis Street Suite E Emeryville, CA 94608 USA

[2] Fasp A Critical Technology Comparison: 5900 Hollis Street, Suite E | Emeryville, CA 94608 USA | T: 510.849.2386 | F: 510.868.8392

[3] 藍訊高速數據傳輸解決方案介紹．ChinaCache（北京藍訊公司）

[4] IBM Aspera Technical Sales Mastery:IBM,2012

Exploration on the Application of Rapid Transmission Technology

Zhao Qianli, Hu Yingying

（The State Radio Monitoring Center, Beijing,100037）

In recent years, radio monitoring data shows the eruption type growth, and means of transmitting data is still using the TCP/IP protocol which born in the seventy's, because of its inherent mechanism problem, TCP can not make full use of network bandwidth, packet loss and delay serious network can not provide reliable and efficient data transmission. And a new Fasp? transmission technology it is obvious advantages.

TCP/IP protocol; data transmission; Fasp? protocol

10.3969/J.ISSN.1672-7274.2015.07.015

TN919.1文獻標示碼：A

1672-7274（2015）07-0059-04

趙千里，男，漢族，1982年生，碩士學位，畢業于北京郵電大學通訊軟件專業，現就職于國家無線電監測中心信息管理處。

胡瑩瑩，女，漢族，1988年生，碩士學位，畢業于北京航空航天大學計算機學院，現就職于國家無線電監測中心信息管理處。