智能N取M型高可靠安全計算機系統

周 煒 師 進 韋 文 孟慶堯 江 明

（北京全路通信信號研究設計院有限公司，北京 100073）

智能N取M型高可靠安全計算機系統

周 煒 師 進 韋 文 孟慶堯 江 明

（北京全路通信信號研究設計院有限公司，北京 100073）

通過分析指出傳統故障-安全系統在電子系統日趨復雜的背景下將遇到故障檢測復雜性劇增的問題，為解決系統設計的可持續發展問題，滿足用戶對可靠性和安全性不斷提高的需求，提出一種智能的N取M型高可靠安全計算機系統，并在系統的可靠性、安全性、設計成本、可維護性以及系統容量方面同傳統安全系統進行對比分析。性能仿真數據說明新的安全計算平臺不僅能夠完全滿足IEC61508中SIL4等級系統的要求，更重要的是，這一類型的安全計算結構極大地降低了對單器件可靠性及安全性的要求，比傳統故障-安全結構在設計和維護成本方面更加具備可持續發展的潛力。

高可靠；高安全；二乘二取二；三取二；N取M；智能退化；安全計算機

1 概述

在傳統的故障-安全系統中,系統輸出危險側的概率等于系統失效概率同失效后導向危險側概率的乘積,即D=(1-R)d。為了在故障發生時能可靠地導向安全側,故障-安全系統需要詳盡地分析系統中所有可能的故障模式,并設計相應的故障檢測電路來處理各種類型的故障。目前幾乎所有的安全控制系統都已離不開高性能處理器,隨著半導體技術的進步,處理器的計算速度、核心的數量、接口電路的復雜性都在飛速地增長,在這樣的前提下,要覆蓋檢測單套計算單元的各種失效(如內存故障、IO故障、總線故障、寄存器故障、ALU單元故障等)已變得越來越困難。在高速條件下要實現這些復雜的檢測功能,其設計的復雜度甚至可能超過了設計一個新處理器的數據通路部分。另一方面,在故障-安全系統的設計中,也需要采用不同的策略在處理器間實現不同程度的同步,如基于時鐘同步或基于協處理硬件電路的同步［1,2］。隨著系統總線和時鐘頻率的提高,一個高速的輸出級硬件同步器的設計也變得日益困難。這些因素使得故障-安全系統采用硬件檢測來覆蓋所有危險輸出故障模式的實現成本越來越高。有部分批評者甚至認為,即使經過仔細的設計,由于目前處理器電路的晶體管數量都很龐大,在無法遍歷整個失效狀態空間的情況下,必然會出現故障檢測電路無法覆蓋的失效模式,所以無論故障檢測電路是否存在,系統都不可避免會存在潛在的輸出危險側數據的可能。

另一種避免系統輸出危險側的方法,就是盡可能地提高系統的可靠性。通過減少系統故障的概率,來減少輸出危險側的概率,從而保障系統安全。在后續的討論中可以看到,在現有的技術條件下,通用計算機的可靠性同上個世紀相比已經大為提高,采用通用計算機來搭建一個高可靠的安全系統的成本反而會比設計一個故障-安全的專用系統成本更低。本文提出一種新型的采用通用計算結構的故障-安全計算系統,由于大幅度簡化了故障檢測電路的設計,新系統不僅具有更加簡潔的系統結構,同傳統的故障-安全的設計模式相比,還具備高可靠、高安全、低成本、易設計維護、可持續發展等特點,更加適合在未來高度集成的有嚴格成本指標要求的安全應用中使用。

本文結構如下,第二章介紹安全系統的分類;第三章介紹N取M系統的基本原理;第四章介紹N取M系統實現的關鍵技術;第五章詳細地對N取M系統各種RAMS指標進行分析并同幾種典型的故障-安全系統性能進行比較;第六章介紹N取M系統在列控系統中的應用;最后,第七章對全文進行總結與展望。

2 安全系統分類

2.1 故障-安全系統

根據計算系統的基本原理,任何一個計算系統的數據通路,在設計上都包括3個部分:1)輸入獲取;2)邏輯運算;3)輸出控制。由于數據通路上的3種模塊(輸入模塊、邏輯模塊和輸出模塊)都可能失效,傳統的故障-安全系統都會設計相應的故障檢測模塊來實時檢測數據通路上模塊的工作狀態,一旦檢測到故障,檢測電路立即切斷該數據通路,防止錯誤的輸出被驅動到輸出線路上。

典型的故障-安全系統有1OO1D,1OO2D, 2OO2D,2OO3D,2×2OO2D等幾種構型,不同的構型具有不同的可靠性和安全性。假設單系故障率為p,故障后發生危險側輸出概率為d,則1OO2D系統、2OO3D系統和2×2OO2D系統的可靠性和安全性如表1所示。

通過對各個系統性能的表達式分析可知, 2×2OO2D系統、2OO3D系統在開始時可靠性高于單系,但從3倍單系MTBF時間來看,在后期兩者都在一定程度上犧牲了可靠性,而三取二系統的可靠性比二乘二取二系統略高,安全性方面則是2×2OO2D系統最高。

表1 三種典型安全系統性能比較

2.2 高可靠系統

另一類安全系統通過采用提高系統的可靠性來避免系統輸出危險側,這類系統在航空航天控制領域被廣泛的使用。因為這類系統中對系統可用性的要求比鐵路控制系統更為苛刻,所以需要通過提高系統的可靠性和可用性來防止系統停止輸出,因此更加強調系統對容錯性能的要求,如在機載系統中常用到三路冗余的安全系統。這類系統的安全性可以根據公式(1)進行計算:

從公式(1)可以看出,這類系統的安全性完全同系統的可靠性成正比。

類似于故障-安全系統,在航空中使用的機載的多路冗錯系統對單系可靠性和安全性的要求都比較高,因此冗余的路數大都不多,一般取到3路,所采用的也往往是高可靠的硬表決器。隨著軟件技術的進步,分布式表決器開始逐步進入過程控制系統。在下面的章節中可以看到,通過提高系統中冗余的節點數,結合分布式表決機制,同時采用智能退化策略所構建的N取M系統將可以進一步降低系統對單組件MTBF指標的要求并提升系統整體的性能。

3 N取M系統原理

N取M系統去掉了故障-安全系統中復雜的故障檢測部分,轉而認為單計算節點具備如下特點。

1)單計算節點失效是不可檢測的且任意時刻都可以發生;

2)單計算節點失效后,其輸出可以是任意可能的數值。

為了在以上條件下保證系統的可靠性和安全性能提升到比傳統故障-安全系統更高的水平,N取M系統必須在以下幾個方面進行仔細的設計。

3.1 分布式表決

沒有了故障檢測的功能,也不能使用集中表決器(會產生單點失效的問題),因此N取M系統的安全性完全建立在分布式多路表決的基礎上,系統中大部分的節點如果通過分布式表決能夠獲得一致的結果,則可以形成多數派意見,系統最終采信該結果作為輸出。參與分布式表決的節點數量越多, N取M系統整體的可靠性和安全性就越高。

3.2 拜占庭容錯

分布式多路表決能夠實現安全的前提是必須保證多個獨立的計算通路獲得完全相同的輸入。由于拜占庭失效假設故障的計算單元可以向其他的計算單元發送任意的消息［3］,并且假設這些消息可以是惡意的,這一特性嚴重破壞了分布式多路表決的前提條件。一個多節點參與表決的拜占庭失效場景如圖1所示。

圖1 拜占庭失效對分布式表決的影響

假設數據源S和P6發生拜占庭失效,S給各P1-P5發送不確定消息{1,0,1,0,1},P6給P1-P5節點發送不確定消息{1,0,1,0,1},在進行節點間數據交換后,功能正常的P1-P5節點將得到表2中的所示數據。

表2 拜占庭失效對分布式表決的影響

從表2中可以看出,在進行分布式表決時,雖然系統中還有5個正常的節點,但因為每個節點收到的數據不一致,判決的結果也不同,最后的表決結果無法形成一致的多數派意見,導致多節點多路表決無法完成。

從拜占庭失效假設可知,傳統的安全通信協議并不能防止拜占庭失效。為了防止拜占庭失效,在20世紀80年代發展起來了拜占庭容錯技術。萊斯利·蘭伯特在其經典論文［3］中通過嚴格的數學推導從邏輯上證明:假設一個系統中計算節點數量為N,發生拜占庭失效的節點數量為M,在采用非簽名數據傳輸消息的條件下,當N＜3M+1時,要在剩下的正常節點中完成多數派表決并達成一致是不可能實現的,因此文獻［3］中提出了兩種不同的經典拜占庭容錯算法。

一種是基于節點間正常的通信,并假設通信鏈路是不可靠的和非簽名的OM算法,即通過在節點間采用M輪次的數據通信,可以保證系統中正常的N-M個節點能夠保證獲得一致的輸入數據,并通過多路表決獲得正確的結果。

另一種容錯算法在節點中采用帶簽名的消息傳輸機制,并假設在系統消息傳輸過程中簽名的數據是無法被其他失效節點所偽造的SM算法。SM算法可以保證在最少節點數N=M+2時能夠容忍M個節點發生拜占庭失效。

綜上所述,在N取M系統中必須采用拜占庭容錯協議才能夠實現分布式多路表決,而提高參與表決節點的數量將成為提高系統可用性和安全性的關鍵。

3.3 智能退化過程

在N取M系統中,通過系統設計,在少量系統故障時,可以采取智能退化的方式而非停機的方式來利用剩余的計算節點。例如:在10取8系統中,若有3系故障,剩下7系已無法滿足10取8操作。但是,通過分布式表決的結果系統可以判決并隔離與多數派意見不一致的3個節點,因此可以將剩余7系智能退化成7取5系統,此時仍然能夠保持一個高可靠、高安全的系統,所以系統仍然能夠繼續正常工作。

采用智能退化設計的N取M系統,最終可容忍僅剩余2系無故障的情況,所以系統可以視為具有與N取2系統相同的可靠性。假設系統可容忍從N取M退化到N取Me,則系統可靠性為:

從公式(2)可以看出,由于組合系數的存在,當系統節點數N增加時,系統的可靠性將快速增加。

在N取M系統不斷故障并智能退化的過程中,系統的安全性曲線不斷在下降。從N取M退化到Ne取Me時,只有N系全Fail并且有至少Me系輸出危險側時,系統才輸出危險側,因此退化后系統的安全性為:

從公式(3)可以看出,當系統N增大時,系統安全性將獲得指數級提升。

4 N取M系統關鍵技術

4.1 拜占庭容錯技術

拜占庭容錯技術是系統安全層的核心,容錯協議高效的實現是各個獨立的計算單元能夠實現分布式計算并保持一致性的基礎。所以該協議的實現也是軟件安全性要求最高的部件,需要綜合采用形式驗證、大數據測試、等價性檢查、軟硬件協同仿真等多種技術手段來保障軟件質量。

4.2 高速互聯技術

由于拜占庭容錯協議需要大量的系統間通信開銷,如果不能保證系統間通信的速度,系統響應的實時性將受到極大的影響,這也是之前拜占庭容錯協議沒有獲得廣泛應用的一個主要原因。最近十年以來,更加高效的拜占庭容錯算法獲得了快速的發展［4～8］,并且隨著千兆以太網的普及,已經可以采用高速以太網作為N取M系統的內部高速互聯總線,徹底解決了協議層面的關鍵問題。同時未來防止IO側可能引入的雷擊問題,在IO側可以考慮采用光介質以太網作為高速互聯的通道。

4.3 動態遷移技術

計算節點由于故障發生失效后,系統通過一致性協議能夠檢測到該失效的節點并且將其隔離,同時為了保證系統中可用的計算節點數量不隨著時間逐步減少,需要采用動態重啟并上線同步的方式增加新的節點進入系統。動態遷移技術在虛擬機層面保留了足夠的配置數據,使得可以在失效發生后很短的時間內通過平臺的管理功能在其他物理節點上重啟之前運行的虛擬機鏡像。新鏡像啟動之后通過狀態機同步協議與現在服役的計算節點間獲得狀態上的同步,完成同步后新鏡像就作為一個新的計算節點投入使用,因此具備在很短時間內動態恢復節點數量的能力。在系統總的計算能力能夠負荷的情況下,計算節點不僅可以動態產生,而且通過一致性協議具備快速同步到在線狀態的能力。這樣的特性使得不需要進行額外的維護操作就能使在線的處理節點數量長時間保持一個較高的值,使系統的MTTR時間可以降低到非常接近于0的水平。

4.4 安全輸入輸出技術

傳統的安全輸入輸出采用不同等級的安全協議來保障數據可以正確地實現端到端傳輸。但傳統安全傳輸協議并不具備拜占庭失效容錯的特點,這也是N取M系統中必須采用拜占庭容錯協議而不是傳統安全協議作為安全輸入輸出技術的原因。幸運的是,在輸入輸出節點上實現拜占庭容錯并不比傳統安全協議需要更多的處理器資源。例如,傳統的輸出節點可能需要二乘二取二的結構來完成安全輸出,而要求邏輯計算節點和輸出節點均采用二乘二取二的結構。因此在輸入輸出端總共需要4個處理節點。

在N取M系統中, 假設輸入/輸出級至少具有X個處理器節點,同時在邏輯計算級,有Y個節點同輸入/輸入級進行配合共同實現安全輸入輸出功能,拜占庭容錯協議要求X+Y＞M系+2(M系為發生拜占庭失效的節點個數)。當取X=2,Y=2 時,系統輸入/輸出級最多可以容忍1個節點出現拜占庭失效,因此,同傳統的二乘二取二結構相比,在處理器數量減半的情況下就可以實現對拜占庭失效的容錯。

5 N取M系統性能分析

5.1 系統可靠性分析

假設N=10、20,并假設單系危險側輸出概率d=0.05,分別用Matlab仿真計算M可容忍退化到4、3、2的情況,假設退化過程中作為Ne取(Ne-2)的系統來使用。結果如圖2所示。

從圖2中可以看出,N＞10時,采用單系MTBF為1 000天搭建的N取M系統在不同的時間點內均超過了SIL4系統的可靠性指標。在N＞10時,在單系MTBF時間點內,N取M系統結構已經具有比傳統的安全系統更高的可靠性,N＞20時,在2倍單系MTBF時間點內,N取M系統均具有比傳統安全系統更高的可靠性。

圖2 可靠性仿真結果對比

5.2 系統安全性分析

在系統不斷故障和智能退化的過程中,系統的安全性曲線不斷在下降。從N取M退化到Ne取Me時,只有N系全Fail并且至少有Me系輸出危險側時,系統才輸出危險側。N取M系統的安全性與傳統安全系統和歐標參考系統仿真結果對比如圖3所示。

以上仿真結果表明,N取M系統(N≥10)已經達到歐標SIL4等級系統的安全性要求,并且超過了傳統故障-安全系統的性能。

5.3 系統成本分析

圖4給出了在系統性能下降時間點tX取不同值時,對應的(N,λ)曲線簇以及對應的(c,N)曲線簇的仿真結果:

從圖4中可見,不管是增大N或是提高單系的MTBF,邊際收益都會逐漸變小。但是任意給定一個安全性能指標,采用N取M系統方案必定能使系統總成本達到極小值,而這一特性是傳統安全系統所無法做到的。

5.4 系統可維護性分析

在采用了硬件虛擬化技術之后,在計算能力足夠的情況下,整個系統的MTTR可以下降到接近0的水平,因為系統能夠通過重新分配資源快速實現新系統的上線和同步。因此從系統可用性的角度來講,N取M系統幾乎時刻都保證具有100%的可用性。另外通過定期維護系統中物理計算節點,使得系統中新節點和老節點的數量維持一個合適的比例,可以使得整個系統能更長時間的保持在5取3結構之上,而不是退化為4取2的結構。因此系統在更長的使用時間內都將維持較高的安全性曲線等級和可用性等級。

5.5 系統容量分析

圖3 安全性仿真結果對比

圖4 (N，MTBF)曲線簇與(c，N)曲線簇

采用N取M結構的系統可以方便地通過增加計算節點N的數量來提升系統的計算能力,而不必像傳統安全系統一樣需要重新進行安全認證和硬件設計。前面已經討論過,增加新的計算節點在采用硬件虛擬化技術的前提下,所增加的成本幾乎小到可以忽略不計,因此總的來說,整個N取M系統的計算容量將具有相當大的彈性,從管理一個車站到覆蓋一個區域內的所有列車,這使得N取M的安全架構有希望成為未來區控中心控制平臺的重要選擇之一。

6 列控系統應用

通過上述分析,N取M系統在保障了高可靠性、高安全性,同時由于采用了通用處理節點和高速內部總線,維持著很高的通用數據處理能力和通用性。

在地面應用方面,通過采用虛擬化技術、分布式執行等技術,系統計算能力可以大幅度提升,原來需要若干安全計算機平臺來承載的工作將可以獲得整合。傳統按線路部署的控制機制也可以演進為區域集中控制。例如武廣客運專線,全線共設置了9套RBC系統,每套RBC系統均為二乘二取二結構,共需36臺專用主機。任何一套RBC系統中,只要雙系各有一個主機出現故障,都會導致該RBC系統管轄區域無法進行CTCS-3級控制,降低運行效率。采用本文所述的安全計算平臺后,不僅整體造價下降,而且任何兩個主機故障,全線運行均不會受到影響,保障了系統的可靠性和整體運行效率。另一方面,系統計算能力的提升對于系統的業務邏輯也起到簡化的作用,采用集中的區域控制中心后,不僅RBC移交行為可以大幅度獲得簡化,而且車輛的跨線路作業將更加便捷,因此安全計算中心尤其適合于在北京、上海、廣州等多條線路匯聚的城市部署。類似地,其他地面控制系統,如聯鎖系統、列控中心系統、臨時限速系統、軌道電路系統等都可以采用該形式進行整合。僅需要在控制中心配置足夠數量的計算集群即可。

在車載應用方面,通過進一步采用空間冗余等可靠性提升技術,N取M型安全計算體系結構將推動車載計算同移動計算全面接軌。由于移動計算的處理器具備經濟規模的優勢,所以車載系統不僅在成本上可以逐步降低,在計算速度上也能跟上電子技術的發展。通過駁接更多的傳感器和車地無線通信系統,車載控制系統將能為高速列車提供更為智能的控制服務。例如,未來的車載系統將能夠接入加速度傳感器、GIS傳感器、姿態傳感器、雷達傳感器、高速無線通信系統,更加平穩地控制速度更高的列車。

7 總結與展望

本文提出了一種新型的基于智能退化技術的N取M型安全計算系統。同傳統安全系統相比,該系統具有高可靠性、高安全性、低成本、高可維護性、通用性等特點,基于該系統的列控系統應用的開發、測試、驗證均可以得到極大的簡化。

隨著通信技術和移動計算技術的發展,處理器將繼續保持性能大幅度提升、價格大幅度下降的趨勢,在這樣的技術發展趨勢下,選擇N取M構架作為安全系統的基礎構架避免了傳統故障-安全系統的發展瓶頸問題,使整個系統具備了良好的性能擴展性和不可比擬的規模經濟優勢。

在本文完成之際,國家鐵路總局正好修訂發布了《鐵路通信信號設備生產企業審批實施細則》,修訂后的鐵路通信信號設備目錄由原來的52種減少為26種,減少了50%,代表著未來列控系統一體化的趨勢已經拉開帷幕。相信未來會有越來越多的列控應用被遷移到統一的高可靠列控平臺上,而列控系統設備制造商也將逐步向列控服務提供商轉型,為用戶提供更可靠,更安全,更定制化的軌道交通智能控制服務。

This paper reveals the problem of the traditional fail-safe system in failure detection complexity with a sharp increase because of its components becoming more and more complex. In order to keep a sustained development in the system design and continually promote RAMS requirements of the system, it puts forward an intelligent safety-critical computer system with M out of N architecture and gives the comparison and analysis of this system and the traditional fail-safe system in RAMS performance and system capacity. The simulation results show that this system can not only satisfy the SIL4 requirement defined in IEC61508, but also lower greatly requirements for the basic computation unit in the reliability and safety, so this system is more suitable for future development than the traditional fail-safe architecture in the design and maintenance cost.

high reliability; safety critical; double 2 out of 2; 2 out of 3; M out of N; Smart regression; safety-critical computer

10.3969/j.issn.1673-4440.2014.04.001

2014-05-19）