英特爾5520平臺網絡通信性能測試分析

上海交通大學是教育部直屬、教育部與上海市共建的著名高等學府，也是國家重點建設、全國首批7所“211工程”和首批9所“985工程”建設的高校之一。該校在信息化建設方面始終走在前列，率先建成了采用WDM技術的跨城域校園網，為數萬名師生提供高質量的網絡接入和信息服務。隨著學校規模的不斷擴大，上海交通大學在徐匯、閔行、七寶三個校區之間部署了帶寬達10Gbps的校園網主干環路；三個主要校區和其他校區間也采用了1Gbps鏈路構成網狀拓撲結構，使每個校區與其他校區之間存在兩條以上的冗余鏈路，保證了各個校區間互連互通；閔行校區內主要匯聚點之間也分別實現了10G環狀連接，保障了校園網運行的穩定、可靠。

作為中國教育和科研計算機網絡(Cernet)華東南地區網、上海教育與科研計算機網(Shernet)和校園網(SJTUnet)的建設、管理單位，上海交通大學網絡信息中心擁有很強的科研實力，長期擔負著三大網絡運營維護的艱巨任務。在此過程中，該中心充分發揮科研能力上的優勢，獨立自主地解決了許多難度較大的運維問題。我們在連載中就曾經提到，該校兩年前在對校園網出口入侵檢測系統的選型中，遇到了市售產品難以滿足需求的窘況。在充分分析了業務需求的前提下，網絡信息中心的老師帶領團隊自行研發，以多組x86服務器分布式處理的方式實現了對萬兆鏈路的實時監測。這樣的方式不僅構建了一個開放的、可以承載多業務的科研平臺，更將科研成果轉化為實際的安全服務，為校園網的穩定運行提供了保障。

雖然上海交通大學校園網目前擁有多條出口鏈路、總計超過10Gbps的鏈路帶寬，但在愈發豐富、模式愈發復雜的網絡應用面前，也不是永不擁塞的高速路。目前，流量的可視化與可控性已成為老師們重點關注的問題，他們需要一個強大的應用流量分析管理系統，為運營維護乃至下一步網絡建設規劃提供準確的參考依據。經過細致地評估，老師們初步選定了連續兩年獲得計算機世界年度產品獎的Panabit應用層流量管理系統。不過，與大多數同級別通信、安全產品不同，該系統運行在x86而非MultiCore-MIPS或NP平臺上，而老師們（或者說是大多數人）對于x86平臺在萬兆環境中穩定工作都沒有太多信心。

來吧，就讓測試去證明一切。

規格全面提升的5520平臺

上海交通大學網絡信息中心的老師們為這次測試準備了一臺戴爾PowerEdge R710服務器，它是戴爾為第一代Nehalem-EP處理器平臺及其后續Westmere-EP處理器平臺設計的2U機架式產品。PowerEdge R710基于英特爾5520 IOH芯片（代號Tylersburg-36D）設計，提供了36個PCIe2.0信道，最多支持兩顆英特爾Xeon 5500/5600系列處理器，可以搭配英特爾ICH9或者ICH10使用。在英特爾尚未明確推出Sandy Bridge嵌入式解決方案的今天，基于5520芯片組的產品仍然是目前設備制造商與用戶能夠獲取到的最高端x86平臺。

得益于戴爾靈活的定制化銷售模式，測試使用的這臺PowerEdge R710配置了一顆英特爾Xeon X5690處理器。它支持SMT超線程技術（測試中關閉），具有6個核心、12個硬件線程，主頻達到3.46GHz，最大的Turbo Boost頻率高達3.73GHz，屬于英特爾32nm Westmere-EP處理器家族中的最高端產品。這顆處理器中的每個核心都具有32KB的L1指令緩存和L1數據緩存及256KB的L2緩存，所有核心共享一個12MB的L3緩存。此外，Xeon X5690還通過兩個6.4GT/s的QPI總線和另一顆處理器以及5520/5500 IOH芯片通信，QPI總線是一個雙向的并行總線，在X5690上，其單向帶寬為12.8GB/s。

由于集成了較高規格的內存控制器，單顆Xeon X5690可以支持3通道R-ECC DDR3內存，每通道又支持最多3個R-ECC DDR3 DIMM。在使用能夠支持的最高規格的16GB內存條的時候，每顆處理器可擁有144GB的總內存容量，整個系統（雙路配置）則可達到288GB的最大容量。X5690支持的最大內存頻率規格為DDR3-1333，不過當所有DIMM插槽都插滿內存的時候，運行頻率將會降低至1066。而本次測試使用的這臺PowerEdge R710服務器配置了3條4GB容量的內存，運行在3通道模式。

英特爾Xeon X5690處理器通過6.4GT/s的QPI總線連接到5520 IOH上，而IOH目前主要的功能就是提供更多的PCIe總線連接，這正是網絡通信產品所需要的。英特爾5520 IOH提供了36個PCIe 2.0信道和一個連接ICH芯片的ESI總線接口，這個ESI總線就是桌面級IOH芯片常用的DMI總線，其實質是一個x4的PCIe 1.0界面。而36個PCIe 2.0信道則以10個端口的形式提供，分別為8個x4的端口以及兩個x2的端口。其中8個x4的端口可以聚合為4個x8或者兩個x16端口，另外兩個x2的端口則可以聚合為一個x4端口，但是不能與其余8個x4端口進一步聚合。我們知道，PCIe 2.0的每個信道可以提供5.0GT/s的單向傳輸速率（500MB/s），因此5520 IOH提供了巨大的IO帶寬。在不需要這么多帶寬的場合，英特爾也推出了一個簡化版的5500 IOH產品，將PCIe信道數量減為24個。它的代號是Tylersburg-24，這一命名就體現出了PCIe信道的數目。

與時俱進的網絡子系統

和桌面級與嵌入式產品不同，在服務器上，所有的高速設備都直接連接到IOH芯片上，而不是相對低速的ICH芯片，理論上減少了性能瓶頸。測試使用的PowerEdge R710服務器上提供了1條PCIe v2.0 x16插槽和兩條PCIe v2.0 x4插槽，分別連接到3組頂級網絡控制器。其中一組是一塊基于英特爾82599EB芯片的英特爾X520雙口萬兆網卡，另兩組是基于英特爾82576EB芯片的雙口千兆網卡，一共提供了兩個萬兆接口和4個千兆接口。實際上，戴爾PowerEdge R710還板載了4個基于Broadcom網絡控制器的千兆接口，但在測試中并未用做業務處理。

英特爾X520雙口萬兆網卡使用的82599EB是一個強大的網絡控制器，是目前英特爾在萬兆級產品中最頂級的型號。該芯片原生兩個萬兆接口，每個接口都可以支持128個TX/RX隊列，并可以根據情況最多劃分為64個RSS（Receive Side Scaling，接收方擴展）隊列。此外，82599EB還支持MSI和MSI-X（Extended Message Signaled Interrupt，擴展消息告知中斷)特性和一些與數據中心應用密切相關的高級功能。由于萬兆環境下的數據傳輸需要巨大的帶寬，82599EB推薦使用PCIe v2.0 x8或以上規格接口進行連接，否則可能會出現瓶頸。

英特爾82576EB也是比較強大的網絡控制器，使用PCIe v2.0 x4接口進行連接，是82580出現前千兆級產品中的頂級型號。該芯片原生兩個千兆接口，每個接口支持16個TX/RX隊列，最多可劃分16個RSS隊列。和82599EB一樣，82576EB也支持MSI和MSI-X，并支持VMDq、VMDc等虛擬化功能。在與英特爾服務器級Tylersburg IOH芯片搭配時，82576EB和82599EB可以通過I/O AT技術加速其DMA傳輸性能。