基于CompactPCI/PSB總線的冗余系統(tǒng)設(shè)計

西北民族大學電氣工程學院（甘肅 蘭州 730030） 黃景廉

0 引言

CompactPCI總線是基于PCI電氣規(guī)范開發(fā)的高性能工業(yè)總線，現(xiàn)在正逐步廣泛應(yīng)用于工控系統(tǒng)、通信和網(wǎng)絡(luò)等行業(yè)，CompactPCI已成為PICMG組織支持的一項開放標準。CompactPCI標準將外設(shè)組件互連(PCI)標準特性與支持嵌入式應(yīng)用的堅固機械外形完美結(jié)合在一起，其性能特征是專門針對工業(yè)環(huán)境而量身定制的。簡單地說，CompactPCI總線=PCI總線的電氣規(guī)范+標準針孔連接器(IEC-1076-4-101)+歐洲卡規(guī)范(IEC297/IEEE 1011.1)。

CompactPCI基于PICMG2.0規(guī)范，其電氣特性與PCI總線相同，因此用戶的軟件和普通PC機兼容，現(xiàn)有的PCI外圍卡也可以很容易地移植到CompactPCI平臺上。CompactPCI使用2mm高密度針孔總線連接器，和使用金手指連接器的PCI卡相比，具有連接可靠、完全氣密的特點，模塊的抗震性和抗腐蝕性高。此外，CompactPCI模塊采用經(jīng)過20余年現(xiàn)場使用考驗的歐規(guī)卡 (Eurocard)結(jié)構(gòu)，采用垂直安裝、前抽取結(jié)構(gòu)，提高了模塊的散熱性、抗震性和易維護性。在電信和工業(yè)自動化領(lǐng)域，由于CompactPCI總線工控機良好地解決了可靠性和可維護性問題，加上工控機設(shè)計者一般都掌握基于PC的嵌入式軟硬件設(shè)計技術(shù)，而且基于Microsoft的軟件和開發(fā)工具通用性強、使用者眾多，所以，CompactPCI總線工控機得以迅速發(fā)展。

CompactPCI基于PICMG2.16規(guī)范，采用了PSB技術(shù)，使得用戶可以通過PSB技術(shù)對CompactPCI上的板卡可通過以太網(wǎng)進行數(shù)據(jù)的交換。

為了保證工業(yè)控制平臺的可靠性要求，一般來說都需要把系統(tǒng)設(shè)計為冗余系統(tǒng)。為了實現(xiàn)工業(yè)控制平臺冗余的要求，本文利用PICMG 2.16規(guī)范中的PSB(Packet Switching Board)技術(shù)實現(xiàn)了熱備冗余的要求。該冗余平臺擴展性強，且有成熟的產(chǎn)品支持，將會在工業(yè)控制領(lǐng)域有廣泛的應(yīng)用前景。

1 系統(tǒng)結(jié)構(gòu)與原理

本文設(shè)計的冗余系統(tǒng)選用美國Schroff公司出品的CPCI/PSB作為系統(tǒng)平臺，如圖1所示。該系統(tǒng)平臺完整支持PICMG 2.0、PICMG R3.0、PICMG 2.1、PICMG 2.10、PICMG 2.11、PICMG 2.16、PICMG 2.9規(guī)范。兩段 CPCI總線，每段1個系統(tǒng)槽，6個擴展槽，系統(tǒng)2個結(jié)構(gòu)槽。第1、2、20、21槽可安裝2塊6U 電源模塊或4塊3U電源模塊，實現(xiàn)電源模塊的冗余。第3、4槽插PSB板卡，可實現(xiàn)第5到18槽板卡之間的數(shù)據(jù)交換。第5到11槽為一段獨立的CPCI總線，第5槽為系統(tǒng)槽，6到11槽為擴展槽。第12到18槽為另一段獨立的CPCI總線，第18槽為系統(tǒng)槽，第12到17槽為擴展槽。

本文設(shè)計的基于CPCI/PSB的冗余系統(tǒng)要求第5、18的系統(tǒng)槽插帶CPU的板卡做為每段CPCI總線的“管理者”。為了實現(xiàn)系統(tǒng)冗余的切換功能，需要在每段CPCI總線的擴展槽上安裝PCI-TO-PCI板橋，并與另一段的系統(tǒng)板卡通過專用的Local PCI背板總線相連。從而使得該系統(tǒng)板可以通過Local PCI背板總線去控制另一段CPCI總線。

通過上述分析可知由于每段CPCI上都安裝了一塊系統(tǒng)板卡和一塊PCI-TO-PCI板橋，這樣使得系統(tǒng)只剩下5個擴展槽，但是基于一般的工業(yè)控制應(yīng)用仍然可以提供2N或N+1的I/O模塊冗余備份。

圖1 美國Schroff的標準CPCI/PSB背板拓撲圖

1.1 系統(tǒng)板結(jié)構(gòu)

該冗余系統(tǒng)平臺的系統(tǒng)板卡結(jié)構(gòu)與一般的標準系統(tǒng)板結(jié)構(gòu)相似，除了一些主要元件如處理器CPU、存儲器RAM、磁盤驅(qū)動等以外，還有以下一些具有特別功能的組件：以太網(wǎng)控制器及網(wǎng)口、Local PCI bus與CPCI總線之間的PCI-TO-PCI橋、連接到橋板的 Local PCI bus。兩個系統(tǒng)板可通過PSB板卡進行數(shù)據(jù)交換。

1.2 PCI-TO-PCI板橋結(jié)構(gòu)

橋板結(jié)構(gòu)主要包括兩部分：PCI橋接、熱插拔控制器。

PCI橋接：當一個系統(tǒng)板的主CPU要控制另一段CPCI總線時，必須通過背板上的Local PCI總線，經(jīng)過橋板上的PCI-TO-PCI橋的擴展，才能將該主CPU的Local PCI總線與另一段CPCI總線連接。

1.3 PSB板卡結(jié)構(gòu)

PSB技術(shù)是基于PICMG 2.16規(guī)范設(shè)計的，它類似于一個以太網(wǎng)交換器，把兩段CPCI總線上的節(jié)點全部連接在了一起，溝通了之間的聯(lián)系。目前這種以PSB技術(shù)溝通CPCI兩段總線的方式分為兩種，一種是單PSB結(jié)構(gòu)，一種是雙PSB結(jié)構(gòu)。

單PSB結(jié)構(gòu)的CPCI背板由一個結(jié)構(gòu)槽和若干節(jié)點槽組成，并通過結(jié)構(gòu)槽將他們聯(lián)系起來。單PSB結(jié)構(gòu)的網(wǎng)絡(luò)拓撲結(jié)構(gòu)就像星型一樣，每個節(jié)點槽通過一個10/100/1000 Mbps全雙工以太網(wǎng)和結(jié)構(gòu)槽連接。節(jié)點槽的聯(lián)系是通過與結(jié)構(gòu)槽進行數(shù)據(jù)包的交換進行的，而結(jié)構(gòu)槽同時也與一個和多個節(jié)點槽進行數(shù)據(jù)包的交換，從而通過結(jié)構(gòu)槽完全溝通了所有節(jié)點槽之間的聯(lián)系。

雙PSB結(jié)構(gòu)的CPCI背板由兩個結(jié)構(gòu)槽和若干節(jié)點槽組成。每個節(jié)點槽同時與兩個結(jié)構(gòu)槽相連，結(jié)構(gòu)槽之間也互聯(lián)。所以節(jié)點槽之間的數(shù)據(jù)交換可以通過結(jié)構(gòu)槽A或者結(jié)構(gòu)槽B進行，起到了冗余的作用，本文就是基于該系統(tǒng)架構(gòu)設(shè)計的冗余工業(yè)控制平臺。

1.4 IPMI總線

2000年2月，PICMG發(fā)布了具有重要意義的系統(tǒng)管理標準PICMG 2.9 R1.0，CompactPCI System Management Specification。標準為CPCI系統(tǒng)定義了基于IPMI接口規(guī)范的IPMB總線及其管理總線網(wǎng)絡(luò)。互為備份的兩個專用的系統(tǒng)管理控制器模板 (獨立于主CPU)，實時采集和查詢系統(tǒng)所有部件的事件日志(Event Log)，向系統(tǒng)管理員報告引起系統(tǒng)服務(wù)中斷的異常事件，以便及時采取預(yù)防措施，防止系統(tǒng)崩潰。系統(tǒng)所有部件(包括CPU模板、I/O模板、包交換模板、無源背板、故障切換電路、機箱、電源、冗余磁盤陣列、風扇、網(wǎng)絡(luò)以及環(huán)境條件等)的監(jiān)視和管理都統(tǒng)一由管理軟件和系統(tǒng)管理控制器通過IPMI接口和IPMB網(wǎng)絡(luò)實現(xiàn)。

1.5 工作原理

本系統(tǒng)主要是為了滿足工業(yè)控制的冗余性要求進行設(shè)計，故這里著重討論本系統(tǒng)實現(xiàn)熱備冗余切換的工作原理。熱備冗余切換分為兩種工作模式：擴展卡的切換、系統(tǒng)卡切換(即總線切換)。

不管是擴展卡的切換還是系統(tǒng)卡的切換，系統(tǒng)平臺都可以通過IPMI總線探測到，并向系統(tǒng)管理員報告，即熱備系統(tǒng)的CPU板卡。熱備系統(tǒng)的CPU板卡得知主系統(tǒng)故障則向IPMI總線發(fā)起切換請求，并由IPMI進行執(zhí)行切換，使得熱備系統(tǒng)變?yōu)橹飨到y(tǒng)。此時可根據(jù)IPMI報告的故障點對原來的主系統(tǒng)進行維修，以便盡快保持本系統(tǒng)平臺熱備的功能。基于CPCI/PSB總線設(shè)計的熱備冗余系統(tǒng)如圖2所示。

圖2 基于CPCI/PSB總線設(shè)計的熱備冗余系統(tǒng)

2 系統(tǒng)可靠性分析

本系統(tǒng)平臺選用了高可靠性的CompactPCI/PSB平臺，采用熱備冗余的思想進行設(shè)計，系統(tǒng)所需要的背板、電源、CPU板卡等設(shè)備均有美國Schroff公司提供，PSB交換板由德國kontron公司提供，具有相當高的可靠性。本文采用英國ReliaSoft公司出品的BLOCKSIM可靠性分析軟件進行計算，得到以下結(jié)果。

系統(tǒng)平臺CPU板卡、背板、電源、PCI－TO－PCI橋、PSB交換板等設(shè)備的單獨可靠性指標清單(均必要設(shè)備)如表1所示。

?

系統(tǒng)結(jié)構(gòu)原理圖如圖3所示。

圖3 基于CPCI/PSB熱備冗余系統(tǒng)結(jié)構(gòu)原理圖

圖4 系統(tǒng)各模塊可靠性關(guān)系圖

限于產(chǎn)品資料有限，在進行系統(tǒng)可靠性分析的時候，我們利用每個模塊的MTBF對系統(tǒng)可靠性進行分析。我們?nèi)」十a(chǎn)品的可靠性為 R=!·e－!x。通過分析系統(tǒng)各個模塊之間的串并聯(lián)關(guān)系得到各個模塊之間的可靠性關(guān)系圖如圖6：

經(jīng)過BlockSim軟件進行分析后得到該系統(tǒng)可靠性失效率和可靠度變化如圖5，圖6所示。

圖5 系統(tǒng)失效率變化圖

圖6 系統(tǒng)可靠度變化圖

根據(jù)BlockSim可靠性軟件計算，本文設(shè)計的基于CPCI/PSB技術(shù)的熱備冗余系統(tǒng)的MTBF為11581.94h。

3 結(jié)論

基于CompactPCI/PSB平臺設(shè)計的熱備冗余系統(tǒng)平臺具有很強的擴展能力，不但能滿足一般的工業(yè)控制要求，還可以設(shè)計成另外形式的可靠性系統(tǒng)結(jié)構(gòu)。由于是實驗室樣機，故槽位只有16個。若需要很多I/O的系統(tǒng)則可以利用PCI-TO-PCI板橋進行擴展，理論上可以擴展到256個擴展槽。該熱備冗余可靠性平臺具有高可靠性、可維護性和可用性的特點可以將其運用到軍工、航天、鐵路、通訊等需要高可靠性要求的領(lǐng)域，具有廣泛的市場前景。另外由于兩段CPCI之間其實是在同一塊無源背板上，存在著一個如果背板損壞則整套系統(tǒng)出現(xiàn)崩潰的局面，故建議搭建冗余系統(tǒng)。

[1] Rich Pellegrini，研制高可用的應(yīng)用系統(tǒng):CompactPCI和 AdvancedTCA的技術(shù)比較，2007年NMS白皮書，2007

[2] 邱建平.CPCI平臺應(yīng)用系統(tǒng)的可靠性設(shè)計[J].科技信息，2007(25)

[3] 熊庭剛，馬中.基于CPCI熱切換技術(shù)實現(xiàn)高可用適度并行系統(tǒng)[J].計算機工程與設(shè)計，2005(9)

[4] 賀迎芳，辛勤.如何給PCI卡選用合適的總線控制器[J].單片機與嵌入式系統(tǒng)應(yīng)用，2002(2)