多核處理器核間高速通訊架構的研究

汪 健，張 磊，王少軒，趙忠惠，陳亞寧

（中國兵器工業第214研究所蘇州研發中心，江蘇 蘇州 215163）

1 引言

在當今處理器的發展中，提高處理器主頻的做法實現起來似乎更加困難，用戶市場上難以看到芯片主頻率高達4GHz或者4GHz以上的傳統單核處理器出現。世界頂級芯片巨頭Intel、AMD公司為代表的供應商，依靠不斷提高處理器頻率提升系統性能的時代即將成為過去。究其原因可能有三點：首先僅僅依靠提升主頻已經很難大幅度提升CPU的性能，從而減緩了消費者對高頻CPU的熱衷；其次當CPU主頻達到2GHz以上的時候，處理器功耗也達到了近100W，這已經是目前風冷散熱技術的極限；第三，在嵌入式產品領域，傳統的單核處理器結構越來越不能滿足呈幾何級數增長的計算規模的需求。單核模式下的利用局部性追求性能提升的腳步已經放緩，而基于多核的線程級并行技術卻為性能提高提供了新的動力，為了達到更高的處理效能，多核處理器體系結構應運而生了。

多核處理器是指一個芯片內含有兩個或者兩個以上的“執行內核”。多核處理器在進行體系結構的技術研究時，比起單核處理器來講，要面臨更多的挑戰，諸如核間通訊、存儲器體系、低功耗、軟硬件協調等。如何實現多個內核之間相互協作和通信，確保提高處理速度、提高芯片處理器性能就是核間通訊結構研究的主要內容，也是學術界關注的重點。在多核通訊方式中，目前除了繼續沿用單核SOC中的總線結構，如AMBA、CoreConnect、Wishbone、OCP、C*BUS等，主要還有交叉開關（Crossbar switch）、片上網絡（NoC，Network on-Chip）等結構。本文將對這幾種主流結構進行討論。

2 總線結構體系

多核處理器系統的總線結構如圖1所示。從圖中可以看到，多核處理器總線結構硬件可以分為三個主要部分：處理器（計算節點）、總線接口（通訊節點）和片上總線。雖然時鐘同步問題和傳統的總線結構限制了多核處理器總線架構的發展，并且由于性能和功耗的限制，總線連接的設備數量一般以低于12個最為合適，但就實用而言，總線結構設計方便、硬件消耗少、成本低，在中小規模多核芯片中也是一種不錯的選擇。

2.1 共享總線結構

共享總線結構如圖2所示。總線上方的處理器為主設備，是通訊發起方;下方的設備為從設備，全局總線將全部片上部件連接起來。主設備可以由n個處理器構成，從設備為n個本地存儲器和共享設備。n個本地存儲器分別屬于各個處理器，即這n個本地存儲器在邏輯上統一編址，但每個處理器只能訪問自己的存儲地址空間；共享設備為共享存儲器、旗語存儲器和中斷控制器。

在共享存儲器的多處理器系統中，多個同時進行的共享存儲器讀寫操作可能會使數據變得不可靠，對于共享可寫存儲單元的訪問，會破壞數據的完整性，因此必須采取同步措施才能保證讀寫操作的正確性。旗語控制器即用來實現多核之間的同步功能，標記該處理器核可否對某共享區域發起讀寫操作。中斷控制器主要實現多核之間的任務調度，為了對其他處理器核發起中斷，發起中斷請求的處理器核訪問中斷請求寄存器，如果中斷使能寄存器中允許中斷請求，中斷控制器產生外部中斷請求信號或者快速中斷請求信號使處理器核進入相應的中斷服務程序。

2.2 層次化總線結構

共享總線結構串行分配主設備的總線周期，不僅效率低而且不能支持兩對以上的設備同時通訊。隨著總線上集成的處理器數目的增多，這個固有的缺點表現得越來越明顯。為了克服這些缺點，緩解通訊瓶頸的壓力，在原有全局總線的基礎上，為每個處理器增加本地總線，并將本地存儲器連到本地總線上，使每個處理器通過本地總線與本地內存通訊，構成局部的總線網絡，實現了層次化通訊結構和層次化存儲器結構，提高了并行處理能力。層次化總線結構如圖3所示。

局部總線負責處理器核與本地存儲器之間的通訊，全局總線實現處理器核對共享模塊的訪問，兩層總線通過總線橋連接，這樣同時減少了關鍵路徑上的總線負載。處理器之間的通訊是通過對共享存儲器區的訪問完成的，即分配一段存儲空間，讓所有處理器都可以訪問，并合理安排各處理器的訪問機制，依次讀寫共享存儲區，從而完成處理器之間的通訊。

總線通訊的主要優點是結構簡單、協議簡明、總線優先級可靈活設置，尤其適用于設備優先級有明確排序的系統。主要缺點首先是擴展性不強。隨著總線設備數量的增加，總線上的寄生電容等參數也變大，從而導致性能降低。因此當總線上需要掛接上百個設備時，這將是不可逾越的鴻溝。其次是并行性差。總線無法支持一對以上的用戶同時通訊，設備串行使用總線。這兩個缺點無疑限制了總線在多核處理器核間通訊中的應用。

3 交叉開關網絡

3.1 交叉開關的功能

交叉開關（Cross-bar）是片上網絡的一種，來源于計算機網絡的一種交換結構，是業界公認用于構建大容量系統的交換網絡結構。Cross-bar引入了交換矩陣這種新的交換方式，摒棄了共享帶寬的交換方式，在數據交換上是一場革命性的變化。Crossbar交換網絡使用仲裁機制確定數據流向，很好地解決了總線結構的擁塞問題。Cross-bar的拓撲結構如圖4所示。

在多處理器Cross-bar通訊設計中，每個處理器核可以有獨立的一級緩存（L1 Cache），共享二級緩存L2 Cache。L2 Cache被用來作為數據交換的共享存儲器，而各個處理器核使用L1 Cache作為其私有存儲器。共享的二級緩存具有很大的優勢。首先，二級緩存的全部資源可以被任何一個處理器訪問，當二級緩存的數據更新之后，多個處理器并不需要做緩存數據同步的工作，工作量相對減少了，而且極大地降低了緩存數據延遲問題，這有利于處理器性能的提升。其次共享的二級緩存任何一個處理器都可以根據工作量的大小來決定占用多少二級緩存資源，利用效率相對于獨立的二級緩存得到了極大的提高。

Cross-bar的作用是為處理器訪問存儲器提供較大的帶寬。其由n條橫向和m條縱向的連線構成的網狀結構使得每一個處理器能夠和任意一塊L 2 Cache進行連接。每一條交叉線中的交叉位置等效于一個開關，需要控制邏輯來控制具體是哪一個核與L2 Cache連接。如果有不同的處理器核需要同時訪問同一塊L2 Cache，則需要有相應的仲裁機制對不同處理器核的訪問進行控制。

3.2 一種典型的Cross-bar設計實現

Cross-bar的基本原理是讓處理器核能與不同的Cache塊相連，進行數據的傳遞。在多核處理器中Cross-bar要設計成雙向的，主要負責控制多個處理器核與多個緩存區、輸入/輸出設備之間的數據傳輸。所有在Cross-bar中的數據交換都有兩個方向，因此整個Cache Cross-bar要分成兩個獨立的部分，處理器到緩存的CPU-Cache開關模塊（processor-cache cross-bar PCX）和緩存到處理器的Cache-CPU開關模塊（cache-processor cross-bar CPX）。PCX模塊管理從CPU核到二級緩存、輸入/輸出設備的通信；CPX模塊管理從二級緩存、輸入輸出設備至CPU核的通信。處理器會通過Cache Cross-bar中的PCX部分向L2 Cache發出數據請求，而L2 Cache則會通過Cache Cross-bar中的CPX部分向處理器發送返回的數據以及一些缺失或者命中的信息。PCX的結構和CPX的結構除了輸入輸出端口的數量有差別之外，其他的功能是類似的。

圖5是Cross-bar的數據交換示意圖。

在一個時鐘周期內，只允許一個數據包發送給一個特定的目標。當有多個單元發送數據包給同一個目標時，交叉開關會暫時保存這些數據包并裁決這些包的發送順序，而不會改變或處理這些數據包。交叉開關可以處理兩種通信請求方式：第一種是發送一個數據包，在一個時鐘周期內完成；第二種是連續發送兩個數據包，在兩個時鐘周期內完成。一般一個數據包從源傳輸到目標所需的總時鐘周期數可能大于理論上所需的周期數，這是因為當多個源同時發送數據包到同一個目標時，PCX（或是CPX）發送一個特定數據包的時間會大于一個時鐘周期。

源單元一次可發送最多兩個單數據包請求或一個雙數據包請求到一個特定的目標單元。PCX模塊為每個源單元—目標單元提供一個隊列緩沖器（Data Queue，DQ）來保存數據包，緩沖器為兩個數據包深度。PCX模塊在發送一個數據包給目標單元后，會發送一個確認信號給源單元。每個源單元通過這個確認信號來監控隊列緩沖器是否已滿。每個源單元會發送一個數據包和一個目標識別碼（Identifier，ID）給CPX模塊。CPX模塊從二級緩存、輸入/輸出設備接受數據包并發送給多個處理器核。緩存和輸入/輸出設備能處理的數據包是有限的。當目標單元達到接受極限時，會發送一個停止信號到PCX模塊，這個信號會阻止PCX模塊向源單元發送確認信號。

3.3 仲裁器的設計

多核處理器運行過程中會有多個處理器核可能會同時請求相同緩存塊的內容，因此仲裁部分是必須的，仲裁器是cross-bar的核心模塊之一。仲裁部分首先會根據核所發出的請求先后順序發出確認信號到贏得仲裁的核，在這個過程中最先發出請求的核具有最高的優先級。仲裁器用來決定是哪個核贏得了對L2 Cache的請求訪問權。對于仲裁的需求，無論是PCX還是CPX都是相同的，因此在設計上可以將仲裁器設計成可重用的結構，以提供給CPX和PCX。

仲裁器的主要功能這樣設計：采用深度為若干的FIFO存儲來自于處理器核的傳輸請求，可定義越早發出的請求優先級越高，也可以定義其他的優先級。仲裁器會以請求發出的先后順序來給各個處理器核發送訪問L2 Cache的確認信號。因此對于不同的處理器核在同一時間發出的請求，仲裁器采取不偏向于任意一個核的方式進行處理，具體的實現方式在仲裁器的結構中進行定義。根據L2 Cache塊的輸入信號，可停止對處理器核發出確認信號。如果請求FIFO滿，則對處理器核發出停止發送請求信號。

仲裁器通過流水線來實現整個仲裁過程。流水線的基本周期包括三個，分別是PQ、PA和PX。PQ周期處理器核發出請求，PA周期仲裁器進行仲裁，PX周期發送確認信號給處理器核，并實現數據的多路選擇，仲裁器流水結構如圖6所示。

所有請求首先被發送到輸入寄存器，輸入寄存器及其后面的電路包括FIFO、旁路選擇器和請求選擇器一起構成了仲裁流水線的PA周期。這些電路用來實現對請求的緩存操作。由于采用了先入先出的機制，所有緩存的數據是按照先后次序存儲的，也就達到了最先發出的請求會有最高的優先級的要求。如果仲裁器沒有正在處理之前的請求，當前的請求會被直接發送到請求寄存器，而如果之前還有請求在仲裁器中進行處理，則當前的請求會被先存儲到FIFO中。請求寄存器以及整個左半部分的電路構成了仲裁流水線的PX周期。左半部分電路中的升序優先編碼器和降序優先編碼器（DES PE）實現了對同一時間發出的請求采取不偏向仲裁的功能。在仲裁結束后，相應確認信號會發送給贏得仲裁的處理器核。

采用不同的處理器，仲裁器時序的要求是不同的，要根據處理器的實際進行設計，此處不再詳述。

4 片上網絡結構

NoC（Network on-Chip）是更高層次、更大規模的片上系統，是片上的網絡系統。NoC技術的核心思想是將計算機網絡技術移植到芯片設計中來，徹底解決多CPU的體系結構問題。由于網絡結構本質就是多CPU系統，因此基于網絡的體系結構是多CPU系統最有前途的解決方案之一。片上網絡繼承了分布式系統與計算機網絡的概念，互連結構具有各通信模塊之間并行通信，數據的通信帶寬高、擴展性好、吞吐量大，并且可以在一定程度上改善深/超深亞微米條件下信號傳輸線延遲等優點，有人稱NoC會成為下一代多核的主流互連結構。

4.1 NoC的拓撲結構

拓撲結構體現了NoC中通訊節點在芯片中的分布和連接。由于系統需求、節點模塊的尺寸和不同的位置，需要不同類型的拓撲結構，有很多種可供選擇的拓撲結構。良好的拓撲結構必須考慮以下因素：路由節點與處理器節點或者路由節點之間的通信帶有明顯的局部性特征；NoC中資源節點的物理尺寸與通訊節點的物理尺寸的相互影響；NoC使用物理連線作為通信信道，因此節點之間的連接不能太復雜，且要具有易擴展性。

片上網絡結構常用的為直接型結構，即網絡中每個節點與相鄰節點之間以點對點方式或直接互連的方式連接。如網格（Mesh）結構，包括規則的Mesh結構、不規則的Mesh結構、多層Mesh結構、稀疏的Mesh結構，二維環狀Mesh結構，還有胖樹結構、八角形網絡等。圖8所示為采用了二維網格結構（2D mesh）的片上網絡，這是比較常用的系統結構。該二維網格結構由資源單元和網絡結構構成，其中網絡結構包括交換單元、通信通道和資源與網絡的接口（mi），資源單元由嵌入式系統或者存儲器系統構成。圖中S表示交換單元，P與C分別表示處理器單元與緩沖存儲器，D表示DSP單元，re表示可配置單元，如FPGA單元。mi表示資源與網絡的接口，M表示存儲單元。圖中每一個方形區域（region）用于映射不同結構的系統，例如處理器子系統和存儲器子系統合成的區域，區域的規模可以大于一般的資源單元，但是區域與片上網絡其他部分的互連需要通過交換單元進行。

4.2 NoC的通訊協議

NoC是一種片上通信基礎結構，借鑒網絡中的分層思想，NoC設計采用了一個普通的通信分層方法，定義了5個協議層：物理層、數據鏈路層、網絡層、傳輸層和系統層。圖9是NoC一個典型的層次結構。

（1）物理層

物理層實現連接處理器資源與網絡的鏈路寬度和鏈路方向，因此帶寬負載能力、數據包大小、數據包在兩節點之間的傳輸延遲等物理信息都是檢驗物理層設計質量的評估標準。

（2）數據鏈路層

數據鏈路層的功能就是將信息的每一個字準確地從一個節點傳輸到相鄰的節點上，定義了資源節點和通訊節點以及兩個通訊節點之間的傳輸協議，保證物理連接之間可靠的信息傳輸。由于兩個相鄰的節點可能以異步傳輸模式工作，因此除了需要考慮數據的出錯檢測與糾錯外，數據鏈路層還需要注意硬件同步問題，同時實現數據編碼和更好地控制數據傳輸率以及功耗管理。物理層和數據鏈路層均與工藝有關，也就是說，如果采用新工藝，必須重新定義這兩個層。

（3）網絡層

網絡層負責建立互連鏈接以及路由策略，因此片上網絡中各傳輸路徑的利用情況在很大程度上取決于網絡層的設計結果。不同的鏈接建立方式在不同的網絡拓撲結構中性能各不相同，因此針對不同的應用、不同的片上網絡結構，需要制定相應的鏈接建立方式。

（4）傳輸層

傳輸層負責監視網絡流量、對數據包進行拆分及組裝，因此數據包發送速度、掉包率以及解決方案是衡量傳輸層設計質量的標準。另外傳輸層對網絡傳輸路徑上的流量控制，直接影響了數據傳輸的吞吐量，這也是衡量傳輸層性能的指標。

（5）系統層

該層的重要功能包括信息的同步和管理、接收端數據格式的轉換以及一些與應用相關的功能等。

4.3 路由算法

路由策略的研究是NoC中的一個重要內容，在給定的網絡拓撲結構下，決定數據包在網絡中的投遞路徑。其目的是使數據包的網絡延時、數據吞吐率、數據包投遞所需的功耗和可靠性都達到令人滿意的指標。

NoC路由算法的分類主要有：依照路由結果的計算位置，依照路徑選擇方式，依照路徑距離等方法，由算法決定了數據包在網絡結構中傳輸的方向，把可能的傳輸路徑集合限制為合理的路徑子集。如果消息的路由完全由它的源和目的地址決定，與網絡中其他流量無關，這種路由算法稱為確定性路由，對于每一個源節點和目的節點之間，采用確定性路由得到唯一一條路徑計算結果。而自適應路由算法是允許路徑上的其他流量影響數據包的路由策略，對于每一對源和目的節點，算法可以根據網絡的擁堵狀況給出多條的路徑計算結果。路由計算模塊是一個相對獨立的處理單元，通常只需要根據不同的算法改變交換節點中的路由計算模塊，就可以實現NoC路由算法的改變。

維序路由是采用較為廣泛的路由算法，采用了確定性路由的方法，數據包不管其路徑上的鏈路是否阻塞都要沿該路徑走下去。該算法的思想是數據包先在低維上投遞，直到數據包在該維度上相對于目的節點的偏移量為0，然后轉移到下一維度以相同的模式進行投遞，直到達到目的節點。因此維序路由是一種分布式路由，也是一種最小距離路由。

圖10是二維Mesh網格中維序路由的一種算法，也被稱為XY路由。表示的是不同源節點、目的節點下維序路由算法得出的路由路徑結果以及在二維Mesh網絡中路由路徑的可能轉向。數據包先在X維度上投遞，然后在Y維度上投遞，直到達到目的節點，該路由算法很明顯不會出現死鎖現象。

4.4 交換技術

交換技術是按照某種方式動態地分配傳輸線路和接口的資源，是影響網絡性能、決定交換節點結構的重要技術。NoC中運用的交換技術主要可分為兩類：面向連接的和無連接的。面向連接的交換方式主要有電路交換，無連接的方式主要有存儲交換、虛切通和蟲孔交換。

（1）電路交換（Circuit Switching）是一種面向連接的交換機制。在開始通信之前，一般要通過一個信息頭按照一定的路由規則選路，然后建立路徑，同時預定所經過路徑的信道資源。目的端在成功收到這個信息頭后將沿原路返回一個應答，源節點收到這個應答后便開始傳輸數據。數據傳輸之前源節點和目的節點之間建立直接的連接路徑，一旦數據開始傳輸，消息的傳輸從不會阻塞。數據部分在網絡中傳輸時將獨占此路徑中各段鏈路的整個帶寬，并且不需要再做路由選擇。

（2）存儲交換（Store and Forward Switching）是先將數據完全存儲，然后進行路由決策，最后再轉發到下一節點的一種交換機制。NoC中的存儲交換主要以分組為流控單元，每個分組有一個分組頭，含有源、目的節點地址以及其他一些控制信息。路由節點接收到一個分組后，先將整個分組存儲在緩存器中，從分組頭中獲取路由信息，由路由器的路由決策單元選擇一條輸出通道后，置位交叉矩陣中的內部連接，如果下一路由節點中有足夠的空間存放此分組，就將此分組轉發到下一路由節點。存儲交換的優點是通道只在一個數據包需要傳輸的時候才被占用。

（3）虛切通交換（Virtual Cut-throuth Switching）將分組進一步劃分為更小的片，并按順序排好，將所需的路由信息放入第一個片中（稱為頭片，后續片稱為數據片），在無阻塞的情況下，路由節點收到頭片后，從中讀取路由信息，然后由路由決策單元負責選路，如果輸出通道空閑，則將頭片轉發出去，后續片緊隨頭片向前路由，從而大大縮小了存儲交換的時延。由于在任何一個節點都有可能有多條消息被阻塞，每一個節點都要提供能存儲所要通過它的數據的存儲空間，所以在每一個節點需要相當大的存儲空間。

（4）蟲孔交換（Wormhole Switching）是目前NoC中的主流交換機制。它和虛切通交換的思想基本相同，只是二者在發生阻塞時所表現出的行為不同。在蟲孔交換中，數據包也被細分成片，以流水的方式在網絡上傳輸，并且允許一個分組只由一個片組成。頭片中包含路由信息，其他數據片都跟隨頭片在它確定的路徑上流動，就像蟲子一樣。當頭片發生阻塞時，分組中的所有片都將停止前進，頭片緩存在當前節點，數據片就地緩存在其后的若干個中間節點中。每個路由節點只需提供一個片大小的緩存資源。蟲孔交換對數據包大小和路徑長度都不敏感，資源占用少、實現代價小、且效率高，適合NoC使用。蟲孔交換的示意圖如圖11所示。

蟲孔交換結構的處理過程是這樣：數據包的片段到達蟲孔交換結構，存儲在輸入通道緩存單元中，并進行路由計算。得到路由信息后，數據包提出傳輸請求，仲裁器根據請求進行帶寬資源分配，一旦該數據片被允許傳輸，它將被交換到目的端口并投遞出去，直到數據包的最后一個片段離開交換節點。根據這個處理過程，蟲孔交換電路的結構如圖12所示，由緩存單元、路由計算單元、仲裁請求管理單元、交換分配和交換陣列五個部分組成。

在VLSI實現中，NoC交換節點多采用流水結構設計，一般流水處理結構分為路由計算、通道分配、交換分配、數據交換和傳輸等五級。在NoC設計中，總是希望得到良好的網絡性能，如較短的網絡延遲時間，從交換節點設計角度考慮，減少交換結構的流水處理級數是縮短網絡延時的有效方法，流水處理級數越少，數據包通過交換節點的時間就越短。

不同的NoC交換技術，對應著不同的網絡性能和實現代價，要根據實際要求進行選擇。

5 結束語

多核處理器通訊架構的研究在國際上是一個熱點課題，上述幾種通訊方式是目前廣泛使用的。但是無論采用何種結構，設計人員必須著重考慮多處理器系統芯片的兩個應用特征：實時性和低功耗。選擇適合的拓撲、路由類型和流量控制策略、隊列管理策略、數據包/消息格式和端對端的網絡服務類型等，對這些性能進行折衷，只有合適的才是最好的。

［1］孫利榮，蔣澤軍，王麗芳.片上網絡[J].計算機工程，2005，31.

［2］閆輝.多核是軟件開發行業的遷移目標[J].程序員，2006，（9）：47-48.

［3］馬關勝，馮剛.SoC設計與P核重用技術[M].北京：國防工業出版社，2006．

［4］荊元利，樊曉椏.網絡互連多線程處理器[J].計算機工程與應用，20.

［5］歐陽.多核時代改變計算發展歷史[J].程序員，2006，（9）：42-46.

［6］張恒龍，顧華璽，王長山.片上網絡拓撲結構的研究[J].中國集成電路，2007，16（11）:42-46．

［7］劉軼，張昕，等.一種面向多核處理器并行系統的啟發式任務分配算法[J].計算機研究與發展. 2009，46（6）.

［8］Kangmin Lee, Se Joong Lee, Hoi Jun Yoo. A Dis-tributed Crossbar Switch, Switch Scheduler for On-ChipNetworks[A]. IEEE Proceedings of Custom Integrated Circuits Conference, 2003. 671-674.

［9］Rakesh Kumar, Dean M Tullsen, Norman P Jouppi.Heterogeneous Chip Multiprocessors[J].IEEE, 2005, 32-38.

［10］Valderrama CA, Changuel A, Jerraya A. Virtual prototyping for modular and flexible hareware-software systems[J]. Design Automation for embedded systems, 1997, 2（3）：267-282.