分布式多處理機的并行模擬測試

劉 輝，黃海生

(1.上海電力學院計算機與信息工程學院，上海 200090;2.華能太倉電廠，江蘇太倉 215424)

在高性能計算機的設計過程中，需要對各個功能部件分別進行測試和評估，以改進性能，但是對各個已經生產出來的功能部件進行測試的成本太大，故需要進行模擬測試.本文主要介紹參與多處理器的全系統模擬的組成部件，即互聯網絡模擬和評估環境，以及兩個模擬器之間的接口方法，分析了全系統模擬時遇到的問題以及在模擬精度和模擬時間之間找到平衡的方法.

1 模擬環境

1.1 IN接口和計算單元

本文是在并行系統分布式內存的內部互聯網絡中進行模擬的，該網絡允許計算結點以高吞吐量、低延遲的方式互換信息，這種方式可以高效運行并行應用程序.

本文的模擬環境是基于分布式內存并行機制，并且用模擬環境來評估互聯網絡模擬和評估環境(InterconnectionNetworkSimulationand Evaluation Environment，INSEE)結構下網絡互聯(Interconnection Network，IN)的功能.模擬環境包括FSIN和TRGEN.FSIN是一個時間驅動的、權重小的，功能靈活齊全的IN模擬器［1］，該模擬器可以模擬幾千個由不同的拓撲結構構成的、分布式內存的并行計算機節點;TRGEN模塊可以使用人工合成的消息流量來進行全系統模擬，可以在集群上利用MPP技術實現模擬結果.

IN模擬器的一個實例可以模擬通過網絡的信息包流量，而全系統模擬的多個實例可以模擬計算單元的操作細節.具體操作包括硬件設備的模擬、操作系統、支持庫，以及并行應用等.

(1)NIC(NetworkInterface Card，網絡接口卡)組件，負責與IN設備通信，這是個軟件層次上的模塊;

(2)驅動器，這是NIC的驅動程序，是模擬器的核心部分;

(3)堆棧協議，提供對IN部件的高層次訪問，在模擬器的核心部分;

(4)支持庫，提供并行計算的MPIAP接口和必需的運行時間支持，位于堆棧協議的頂部;

(5)并行應用進程.

此外，模擬環境還包括一個同步模塊——使所有的模塊提前同步，一個信息流量管理模塊——允許信息在結點和IN模擬器之間互換信息，如果需要還要完成信息的翻譯.

1.2 網絡阻塞控制機制

當IN系統中資源的使用情況達到其極限時，就會發生網絡阻塞，阻塞會引起網絡吞吐量的下降和延遲的增加.阻塞控制機制通常在網絡剛出現阻塞信號時就立即限制信息包的發送.通常探測阻塞信號和避免阻塞的方法有多種，基于全局知識的如RECN，基于本地路由緩沖信息的如LBR.IBM的原環形網絡使用的機制是傳送中的消息優先［2］，我們稱之為IPR.

本文使用的兩種阻塞控制機制為IPR和LBR，兩者都基于本地可用的信息，具有良好的執行性能和最小的實現代價.在使用IPR時，優先權賦予正在傳送中的消息，以數字P表示優先權的大小.在這些周期中，一個新的消息包只有在確認不會與當前網絡中已有的消息發生競爭時才發送新的信息，P的值可以從零變化到1，取零值表示沒有限制，取1表示正在傳送的流量有絕對的優先權.當地緩沖限制LBR機制主要用于特定的自適應路由來避免逃逸網絡中死鎖的發生，LBR將冒泡規則擴充到所有新產生的到達網絡的信息包［1］.因此，一個消息包只有在發送操作可以確保與虛擬通道相關的傳送緩沖區有B個消息包空間的情況下，才能發送到自適應虛擬通道.參數B是預留給傳送中的流量的緩沖區數目，換言之，處理阻塞的效果是通過緩沖區利用率來評價的.

1.3 同步機制

模擬器的各個不同的模擬部件有不同的模擬時鐘，有不同的時間單元，并且有可能有不同的機制來使用這些時鐘.例如，Simics是事件驅動的，并且在每一個CPU時鐘周期內都要探測時間;INSEE是周期驅動的，而且時間單元是循環的［3］.因此，需要制定一套機制來協調和同步不同部件的時鐘，這套機制可以協調模擬器在同一個空間中的計算部件和IN部件，就像使用同一個全局時鐘一樣.模擬環境中的同步模塊就用來實現該功能.

同步模塊的第一種工作模式是串行地進行模擬操作.計算單元的模擬器在給定的時間片內提前執行，然后停下，而IN模擬器開始操作，然后模擬相同的時間，再停下，然后計算單元模擬器重新開始模擬操作.該模擬器不會并行工作，若計算單元上產生了一個消息，它會加上時間戳后存儲在接口隊列上.然后IN模擬器會在相同的時間片內開始模擬，先對接口隊列進行處理，當IN模擬器探測到有消息傳送到計算單元時，它就會將這個時間存儲在接口隊列中［2］.計算單元不會對過時的消息進行處理，因此所有在給定時間片內接收的消息只在下一個時間片的起始時刻進行處理.換言之，消息的處理需要等待，等待時間從零到一個時間片的間隔不等.

同步模式的第二種工作模式是計算單元和IN模塊并行工作.在一個時間片內，兩個單元同時處理各自的任務，處理完成后兩個模擬器互換事件隊列，計算單元模擬器將在一個時間片內產生的消息傳送給IN模擬器，IN模擬器把到達目的計算單元的消息傳送給計算單元［4］.該模式達到了并行的目的，但引進了兩個人為的延遲:信息的進入要延遲到下一個時間片的開始;消息傳送延遲的影響依賴于時間片的長短.此外，消息進入IN模擬器的方式是以突發的形式在下一個時間片的開始時刻進入的，這可能會引起不必要的資源競爭.

在這兩種模式中，時間片越短小，精確性越高，但在執行的過程中要不斷地暫停模擬器的操作.時段較長的時間片可以提高實驗速度，但會引入人為的延遲，這些延遲將影響實驗結果.

1.4 實驗環境

測試系統由64個計算節點通過環形網絡連接起來.所有的同步時間片是10 000∶200，即200個INSEE周期與10 000個simics周期相等，這個同步時間片可以產生128 Mb/s的帶寬，大致與快速以太網的速度相當.

在實驗中，假定P=1(最大權限的優先權)，B=3(這表示只有在隊列是空或者基本為空的情況下才向自適應通道發送消息).本實驗使用的應用程序是NAS并行標準A類的一個子集，該子集經常用來作為對多處理器性能進行評估的并行應用程序.為了便于描述，我們只集中討論BT，CG，IS 3個基準.BT是偏向于計算性的基準，它可以演示網絡層次是如何不會影響執行時間的，而CG和IS是專供通信的基準，利用它們很容易看到網絡的變化對實驗結果的影響.

2 多處理器的全系統模擬的實現

本文利用simics來模擬計算節點的工作，而計算結點是通過網絡來交換信息包的.交換信息包的方式采用重用協議堆棧和NIC驅動程序.這種方式可以增加與流管理模塊的交互能力［5］.同步機制采用網絡模擬器和simics，以鎖定步驟的模式并行工作.模擬環境使用8個simics實例，每個實例模擬8個節點，共有64個模擬節點.每個節點運行的操作系統是red hat 7.3，系統配置MPI并行接口函數，由于我們使用的是類以太網的NIC，故可以在低端協議堆棧上使用TCPI/IP或UDP/IP協議.

在多處理器上將一個消息傳送到另一個進程需要幾個步驟.首先，消息被分割成網絡幀，這些幀根據使用的協議堆棧來封裝不同的消息頭部.接著，這些幀被傳送到NIC驅動器上，然后送往IN模擬器，不是送到真正的IN模擬器，流量產生器把幀從模擬的硬件NIC分離開來，然后送往INSEE.流量產生器負責發送和接收從INSEE的TrGen模塊來的幀.就像我們使用集群來模擬多處理器一樣，流量產生器將消息幀發送至計算機來執行［6］.

TrGen負責分配FSIN的工作負載，FSIN是INSEE的IN模擬器核心［7］.TrGen接收的消息幀進一步被分割成消息包，然后送到FSIN路由器的接收隊列中.當同步服務器發送消息告訴FSIN開始工作時，TrGen就開始模擬消息包是如何在網絡之間傳送的，以及如何把它們送到目的地的.一旦一個幀的所有消息包都到達目的地后，TrGen就將消息包組合成一個消息幀，然后再將這個消息幀送至對應的目的結點的流量產生器中.

流量產生器將到達的消息幀送往模擬硬件NIC，同步消息使simics重新啟動，到達的消息幀會使模擬硬件發生中斷.然后，對消息幀進行處理，即去掉協議堆棧的頭部，重組消息，并將其送至應用程序進程.

若要在每個simics中運行幾個計算結點，則要求有兩個不同的同步機制，第一個同步機制用來協調所有的simics內的計算結點［8］，即每個節點運行一定數目的周期，然后下一個結點開始運行，如此以時間片輪轉的形式循環執行;第二個同步機制用來協調計算節點和INSEE，在INSEE中有一個同步服務器，在simics實例中有一個同步客戶機.當所有的simics實例中的節點有一個完整的時間片時，不同客戶機就停止那個實例，然后發送一個時間戳信號到同步服務器，請求運行下一個時間片.在一個運行時間片內，所有已經產生的網絡流量信息就在接收隊列中等待.

當同步服務器接收到來自所有的simics實例的時間戳信號后，INSEE就同意FSIN來運行一個時間片，并把接收到的信息包路由到目的FSIN路由器［9］.當FSIN結束自己的時間片后，就發送一個多點傳送的時間戳信號至所有的同步客戶機，允許它們重新開始一個新的計算節點的運行.

3 實驗和結果的討論

本實驗共重復了10次，表中只顯示10次的平均值.

3.1 網絡層次的阻塞控制機制的效果評估

在MPICH環境中，在使用沒有任何網絡阻塞控制的實驗情況下，應用程序的執行時間受到TCP誤估時間間隔的負面影響，因為它觸發了重新傳送協議并持續觸發了慢啟動協議，這就使得飽和網絡中的整個執行時間被延長.而在執行IPR或LBR時，TCP可以自行決定時間間隔，這有助于減少重新傳送的次數，可以減少慢啟動的發生.因此，IPR和LBR有兩個相近的效果:一是在多數應用程序中，通過網絡的消息包的流量可以加速進行;二是在所有的情況下，IPR和LBR可以幫助TCP讓應用程序達到更高的吞吐量.實驗的結果如表1所示.

表1 使用阻塞控制機制LBR和IPR時的模擬執行時間 ms

3.2 阻塞協議和網絡速度

一旦端到端節點與網絡阻塞控制機制之間的接口建立起來后，就可以用實驗來評估這些阻塞控制機制對不同的網絡速度的影響.我們模擬了網速分別是128 Mb/s和1 280 Mb/s的實驗，結果如表2所示.

表2 不同網速下的模擬執行時間

若無阻塞控制機制，則提高網速可使TCP平臺性能下降;若網上信息的流量不是很大而網速很快，則TCP可以正確地計算其計時器，并以高吞吐量傳送流量.然而在這個階段，若出現爭奪網絡資源的情況，則消息包的傳送就會變慢，甚至有些消息包會丟失，但這并不是真正的丟失，僅是從TCP的角度來看，消息到達得太晚了.延遲到達的消息會觸發TCP的流量控制和錯誤恢復機制.而這種觸發機制會降低網絡性能.

3.3 模擬速度和精度之間的折中選擇

在連接兩個不同的模擬器時，必須選擇合適的同步機制，而時間片間隔不僅影響精度，還影響模擬的性能.時間片越長，延遲就越大，導致精度降低.此外，每當模擬器進行同步時，就會引起延遲.因此，時間片間隔長，啟動模擬器的實際時間減少，模擬性能就好;時間片間隔越短，模擬性能越差，但可以提高模擬精度.

4 結語

全系統模擬是一個非常復雜的工作，若模擬的不是一臺電腦而是網絡中的多個計算機時，復雜性會增加，尤其在模擬的網絡和接口與傳統的LAN網絡設備不同時更加復雜.

本文對IN進行了全系統模擬，該模擬需要很多的部件，有時需要重用模擬環境.重用機制可以減少工作量和錯誤的發生，但是也會帶來一些風險，如精度的降低和模擬結果的無效等.模擬環境的各個部件之間的同步也需要認真設計，這樣可以找出模擬精度和運行時間之間的折中點.通過實驗結果可知，協議堆棧、MPI的實現、驅動程序和同步模型等因素都會影響實驗結果.

［1］RIDRUEJO Fco Javier，JOSE Miguel-Alonso，JAVIER Navaridas.Full-system simulation of distributed memory multicomputers［J］.Cluster Compute，2009，12(1):309-322.

［2］PFISTER G F.Aspects of the Infini Band(tm)architecture［C］//Third IEEE InternationalConference on ClusterComputing(CLUSTER’01)，2001:369-377.

［3］BINKERT N L Dreslinski.The M5 simulator:modeling networked systems［J］.IEEE Micro，2006，26(4):52-60.

［4］BODEN N J Cohen.A gigabit per second local area network［J］.IEEE Micro，1995，15(1):29-36.

［5］GARCíA P J Quile.Scalable congestion management for interconnection networks［J］.IEEE Micro 2006，26(5):52-66.

［6］IBM.IBM full-system simulator for the cell broadband engine processor［CP/OL］.［2011-12-1］http://alphaworks.ibm.com/tech/cellsystemsim.

［7］SKLAVOS N，KOUFOPAVLOU O.Architectures and VLSI implementations of the AES-Proposal rijndael［J］.WEEE Transactions on Computers，2002，51(12):1 454-1 459.

［8］SMITH T F，WATERMAN M S.Identification of common molecular subsequences［J］.J.Molecular Biology，1981，2(1):195-197.

［9］AMZA C，COX A，DWARKADAS S.Shared memory computing on networks of workstation［J］.IEEE Computer，1996，29(2):18-28.