TMS320C6678多核DSP的核間通信方法

吳 灝，肖吉陽，范紅旗，付 強

（國防科學技術大學 ATR國家重點實驗室，湖南 長沙410073）

嵌入式領域的處理器設計已向多核處理器迅速發展，TI公司的KeyStone架構的多核處理器就是其中之一。2010年11月，TI公司發布了最新的KeyStone架構的8核DSP處理器TMS320C6678，每個C66x內核頻率為1.25 GHz，提供每秒高達40 GB MAC定點運算和20 GB FLOP浮點運算能力；1片8核的TMS320C6678提供等效達10 GHz的內核頻率，單精度浮點并行運算能力理論上可達 160 GB FLOP，是 TS201S的 50倍、C67x+的 115.2倍[1]，適合于諸如油氣勘探、雷達信號處理以及分子動力學等對定浮點運算能力及實時性有較高要求的超高性能計算應用。

核間通信是多核處理器系統所面臨的主要難點，通信機制的優劣直接影響多核處理器的性能，高效的通信機制是發揮多核處理器高性能的重要保障。TMS320C6678采用TI全新KeyStone多核架構，屬于單芯片多核架構，有別于常見的板載多芯片通信方式[2]。而KeyStone架構的通信研究才剛剛起步，因多核通信復雜，需要搭建合適的通信拓撲結構，因此拓撲結構的選取會直接影響通信代價和并行計算的效率[3]。TMS320C6678采用基于KeyStone架構的中斷控制器、核間通信寄存器以及合適的通信拓撲結構實現多核間的通信。通過中斷系統激活處理器，觸發具有通信功能的中斷服務程序，調用寄存器完成相應的功能，并通過合適拓撲結構完成通信。

基于以上分析，本文針對TMS320C6678多核處理器，首先分析了中斷控制器和核間中斷原理及其實現；然后分析了核間通信的原理，給出了通信的發起和響應的實現方法；最后介紹了主輔和數據流兩種多核通信的拓撲結構，并通過仿真對其通信代價進行了對比，得出了兩種結構的優缺點以及適用范圍。對設計多核處理器核間通信有一定指導意義。

1 TMS320C6678中斷控制器

TMS320C6678采用基于KeyStone架構的中斷控制器INTC（Interrupt Controller）[4]、激活處理器觸發相應的中斷服務程序，完成通信的第一步。

首先需要配置中斷向量表，啟動CPU中斷功能。TMS320C6678的CPU可接收15個中斷，其中：1個硬件異常(EXCEP)、1個不可屏蔽中斷(NMI)、1個復位(RESET)和12個可屏蔽中斷(INT4～INT15)，中斷源支持最多128個。每個核心通過事件控制器產生事件（Event），觸發核間中斷（IPI）和其他核心進行通信。在TMS320C6678中，核間中斷（IPC_LOCAL）默認對應 91號事件，而核間中斷屬于可屏蔽中斷，通過中斷控制器可以映射到INT4～INT15任意一個中斷上。為了實現核間中斷，必須按以下方式進行設置：

（1）控制狀態寄存器（CSR）中的全局中斷使能位置為1，全局中斷使能；

（2）中斷使能寄存器（IER）中的 NMIE位置為 1，可屏蔽中斷使能；

（3）中斷使能寄存器（IER）將要映射的可屏蔽中斷的相應位置1；

（4）選擇91號事件作為中斷源，映射事件到指定的物理中斷號。中斷發生后，將中斷標志寄存器（IFR）的相應位置 1。

中斷發生時，由事先配置好的中斷向量表跳入中斷服務程序（ISR），完成核間通信，如圖1所示。

2 多核處理器的核間通信機制

多核處理器由中斷觸發通信后，配置相應的寄存器，以完成通信。TMS320C6678主要的核間通信寄存器有16個，其中8個IPC中斷生成寄存器(IPCGR0～IPCGR7)和8個IPC中斷確認寄存器(IPCAR0～IPCAR7)。將IPC中斷生成寄存器IPCGRx(0≤x≤7)的最后一位IPCG位置 1，就能產生對 core_x的中斷；1～3位是保留位，4～31位(SRCS0～SRCS27)提供了可以識別多達28種的中斷來源。IPC中斷確認寄存器 IPCARx(0≤x≤7)的 0～3位是保留位，4～31位(SRCC0～SRCC27)分別對應 28種不同的中斷來源。當SRCSx被置1時，寄存器將相應的中斷確認寄存器的SRCCx位置1。當中斷被確認后，寄存器將SRCCx和相應的SRCSx位同時置0。

當TMS320C6678的一個處理器核準備與其他處理器核通信時，根據TMS320C6678的中斷事件映射表，引發91號事件，產生可屏蔽的核間中斷，調用中斷服務例程。中斷服務例程IPC_ISR函數設計如下：

void IPC_ISR()

{

KICK0=KICK0_UNLOCK;

KICK1=KICK1_UNLOCK;

*(volatile uint32_t*)IPCGR[2]=0x20;

*(volatile uint32_t*)IPCGR[2]|=1;

KICK0=KICK0_UNLOCK;

KICK1=KICK1_UNLOCK;

}

以向core_2發送0x20信息的中斷為例，對應的0x20的信息存入SRCS位中，用于識別中斷源。同時將當前CPU核心內的中斷產生寄存器IPCGR2的最后一位IPCG位置1，觸發IPC中斷。當目標處理器核被中斷觸發后，會自動跳轉到中斷異常向量表中相應的入口點，讀取當前核心中斷產生寄存器 IPCGRx（0≤x≤7），從寄存器的SRCS位中獲取通信發起方傳來的核間信息。然后將信息存入對應的中斷確認寄存器IPCARx中，清空SRCC和相應的SRCS位，用以接收下一次的核間中斷。其中的KICK0和KICK1為陷阱控制寄存器，用來避免通信沖突的發生。

3 拓撲結構設計與性能測試

以上對TMS320C6678基本核間通信機制及其實現過程進行了分析，但是要實現TMS320C6678強大的多核功能，必須從系統的角度上設計良好的并行計算方案，設計合適的系統并行拓撲是其中的關鍵所在。通信代價、帶寬和功能是評測通信的重要指標，下面介紹了兩種多核通信并行方式，分析了它們的拓撲結構，并對上述指標做了測試對比。

3.1 通信的拓撲結構

適用于多核DSP通信的并行方式有兩種：一種是主輔拓撲結構（Master Slave）[5]，另一種是數據流拓撲結構（Data Flow）[6]。

主輔拓撲結構，在TMS320C6678中如圖2所示。作為主核(控制核)的處理器通過EDMA與外部存儲器DDR進行數據交換，然后主核通過核間中斷與輔核通信。主核起到控制的作用，所有輔核（計算核）的中斷都由控制核來處理，輔核只負責計算任務，輔核之間沒有任何核間通信的產生。

數據流拓撲結構，在TMS320C6678中如圖3所示，是一種基于片上互聯的結構。每個處理器核均有單獨的處理單元和存儲媒介。第一個核與FPGA或者外部存儲器DDR相連，核間通信順序產生。核間通信時每個處理器核既是控制核又是計算核，核間傳遞的信息在每個核內都起到一個中轉站的作用。

3.2 性能測試實驗

本文設計了核間通信測試程序來測試兩種結構。程序的功能是：當一個核收到來自其他核的中斷后，立即確認并按照拓撲結構依次發出核間中斷，沒有其他耗時的操作。程序在TMDXEVM6678L評估板上進行仿真，板載有一塊TMS320C6678芯片，處理器運行的頻率設置為1 GHz，采用的編譯環境是TI公司的CCSv5.0。

通信測試結果如表1所示，主輔結構運行完測試程序所需要的總通信代價是171 352個時鐘周期。其中，作為主核的core_0耗費116 311個時鐘周期，而7個輔核每個核均耗費7 863個時鐘周期。采用數據流結構運行完測試程序所需要的總通信代價是171 319個時鐘周期，其中core_0耗費21 385個時鐘周期，core_7耗費21 366個時鐘周期，其他 6個核耗費21 428個時鐘周期。

表1 通信測試結果

如圖4所示，采用主輔結構時，作為輔助核的7個核可以同時并行運行，理論上通信時間可以減少到124 174個時鐘周期。主輔結構由于利用了多核的并行處理，總的通信時間是數據流結構的72.5%，以測試環境中的 1 GHz的主頻計算，則節省了 47.1 μs。

主輔結構涉及到通信任務的分配，主核的設計困難，而且輔核之間不能通信。每個線程的執行時間可能是隨機的，作為控制核的主核需要最優化負載均衡以達到系統最優的并行效率，適用于高級的操作系統(如Linux)上，并預先要設定好每個核的通信線程，由操作系統進行調度。

數據流結構的優點是數據帶寬有保證，可擴展性好。但是設計過程復雜，而且由于具有比較高的數據傳輸速率，對通信帶寬有較高的要求，因此數據流結構更適用于簡單的實時系統。因為每個數據單元的傳輸都是統一的，結構相對簡單，數據的通信也是有規律的，不過通信時間較長。

本文研究了基于TMS320C6678多核DSP處理器的核間通信，深入分析了核間中斷、核間通信機制(包括寄存器配置以及具體的實現方法)，討論及測試了主輔結構和數據流結構兩種多核通信的拓撲結構，并對比了兩者的性能和優缺點。對設計多核DSP處理器的核間通信有一定的指導價值。

[1]Texas Instruments Inc.TMS320C6678 data manual[Z].2011.

[2]邢向磊，周余，都思丹.基于ARM11MPCore的多核間通信機制研究[J].計算機應用與軟件，2009，26(5)：9-10，110.

[3]謝子光.多核處理器核間通信技術研究[D].成都：電子科技大學，2009.

[4]Texas Instruments Inc.KeyStone architecture interrupt controller user guide[Z].2011.

[5]陳國兵.嵌入式異構多核體系的片上通信[D].杭州：浙江大學，2007.

[6]Texas Instruments Inc.Multicore design overview[Z].2011.