龍芯3號板卡HT互聯及內存故障診斷方法的設計與實現

,賈凡2

(1.南京理工大學 計算機科學與工程學院，南京 210094； 2.北京航天測控技術有限公司，北京 100041； 3.龍芯中科技術有限公司，北京 100095)

0 引言

目前，龍芯處理器已廣泛應用于航空、航天、裝備、測控、通信等關鍵領域，作為支撐國家信息化、智能化戰略的重要核心部件，在這些關鍵領域實現了國產化替代，保障了國家重大工程的核心自主和安全運行。在上述關鍵領域中，常面向惡劣環境，存在長期工作、高密度計算等關鍵性應用要求，對元器件、主板的可靠性提出了嚴苛的要求，這就需要在確保硬件高可靠的同時加強設備自檢測和故障自診斷設計，從而保證故障實時定位、實時診斷，直至實現在線修復和無人維護，確保關鍵設備高可靠運行。

在特種應用領域中，電子產品面向的惡劣環境如: 高溫、低溫、震動、鹽霧等環境，因此主板設計時關鍵器件一般采用板貼設計以提高可靠性，這為關鍵器件的維修和定位帶來了挑戰，比如內存。商用機器一般選用的內存條類型有：SO-DIMM、R-DIMM、U-DIMM，當機器的內存出故障時，僅通過逐一替換內存條的方法就可以排除故障內存；而對于加固計算機主板，由于內存顆粒直接焊接在主板上，相關標準對主板的同一器件維修的換焊次數要求不大于3次，這些條件限制了內存顆粒的維修不能像商用機器維修那樣通過簡單的替換和測試的方法進行，需要提供軟件定位的方法，確定故障器件后再進行焊接維修。

加固計算機主板的成本高昂，按質量規范要求，出現故障后需要準確地定位問題，不允許反復維修。 龍芯的產品線齊全，品類豐富，提供了各種應用領域所需要的解決方案，其中龍芯3號系列處理器是面向桌面、高端嵌入式和服務器應用的多核處理器[1]。龍芯3號計算機主板如果外接冷板、散熱片或加三防漆等，導致硬件一旦出現故障，通過測量信號等方式定位問題的難度大幅度提高。因此通過基本輸入輸出系統(basic input output system,BIOS)一組固化到主板上一個 ROM 芯片上的程序[2]，通常稱為固件，并結合硬件增加內建調試模塊來對板卡故障進行診斷是最為高效、便捷的。

綜上所述，提高主板自檢測、自診斷能力已成為提高全國產信息化硬件可靠性和保障性的迫切要求，也是未來信息系統智能化無人化發展的需要。

1 板級故障診斷總體設計

現代的無內部互鎖流水級(microprocessor without interlocked pipelined stages,MIPS) 處理器提供一定的硬件支持來協助開發人員[3]。龍芯3號計算機模塊的硬件設計抽象圖如圖1所示。

圖1 龍芯3號計算機硬件設計方案

龍芯3號CPU對外接口采用擴展的HT協議，既可用于實現外部設備連接，又可實現多芯片互聯[4]。HT是系統級的總線，IO多指南北橋芯片，多芯片互聯是指與多個龍芯3號互聯，即在同一塊主板上構建2路或4路CC-NUMA(Cache-coherent non-uniform memory access architecture：高速緩存相關的非一致性內存訪問，是一種用于多處理器的電腦記憶體設計)系統。龍芯 7A1000 橋片(后文簡稱為橋片)是龍芯的第一款專用橋片組產品，目標是替代 AMDRS780+SB710 橋片組，為龍芯處理器提供南北橋功能。橋片通過 HT 高速總線接口與龍芯3 號系列處理器相連，一旦HT總線互聯出現故障，將導致系統無法啟動[5]。

內存作為計算機中重要的部件之一，內存的穩定運行決定了計算機能否穩定運行。內存是指能夠按照處理器的訪問粒度進行隨機訪問的存儲器[6]。系統中常見的靜默錯誤，即程序使用了有錯誤的內存，將會造成程序跑飛或者得到錯誤的運行結果，如果在裝備類應用中出現此類錯誤將導致無法預估的損失。作為程序運行的載體，內存的穩定性以及內存故障調試與故障定位是計算機所有調試模塊中最基礎和重要的部分。近年來，隨著芯片工藝水平的顯著提升，內存中一個最小比特位存儲單元所占的體積越來越小。而隨著芯片密度的增加，內存芯片內部更容易受到因高溫、射線輻射、劇烈振動、灰塵等外部因素的影響而出現損壞，導致數據存儲錯誤。這些錯誤一般是因為內存單元中某個和多個bit位發生翻轉造成的，這些損壞一般不可逆，調試內存穩定性等參數無效，必需更換內存顆粒才能解決問題。

根據故障診斷需求和龍芯開源軟件的現狀，基于PromMonitor(PMON,龍芯處理器的BIOS)在實現龍芯固件規范要求的軟硬件初始化要求的基礎上增加故障診斷功能模塊。

PMON上電啟動流程如圖2所示。

圖2 PMON上電啟動流程

BIOS故障診斷設計主要包括HT鏈路鏈接問題故障診斷(位于PMON上電啟動流程[3]階段)和內存問題故障診斷(位于PMON上電啟動流程[5])?；邶埿?號系列的CPU計算機模塊的上電自檢流程，結合HT和內存兩種常見故障，設計了HT和內存故障的診斷實現方法，并對HT故障實現可靠性增強設計，以期幫助用戶快速發現故障、準確定位問題的目的。

龍芯3號板卡啟動過程中出現故障，其故障故障樹如圖3所示。

圖3 主板啟動故障樹

龍芯3號處理器主板啟動故障跟軟硬件均相關，硬件相關的問題包括電源、復位、時鐘和取指，一般采用指示燈的做法進行故障指示。HT控制器是可編程器件，需要軟件對其進行工作模式配置后才可以正常訪問所連接的設備，出現問題可分為軟件配置問題及硬件配置問題。內存控制器與HT類似，需要軟件正確配置其工作模式才可能正常訪問內存設備，出現問題的模式分為：地址線問題、數據線問題、控制線問題及顆粒問題。下文對每種故障分別進行描述。

1.1 電源故障

開機啟動，模塊上電，電源按照設計的電源時序完成各級電源的上電，本方案設置了3個指示燈用于指示上電過程，第一個指示燈指示外部電源接入，第二個指示燈指示Standby域上電完成，最后一個電源指示燈指示所有電源上電完成。板卡使用過程可根據3個指示燈的狀態來判斷模塊上電過程是否有異常，異常電源屬于哪個電源域。

1.2 復位故障

上電完成后，開始板上電路的復位操作，可根據復位指示燈觀測模塊復位是否正常，正常情況為上電后復位指示燈點亮，完成復位后指示燈熄滅。其它狀態為復位異常。

1.3 取指故障

CPU的取指是否正常關系到能否啟動BIOS。當一個計算機系統通電以后，它會運行存儲在閃存中的固件[7]。龍芯3號處理器從3A2000之后都支持SPI取指，為了便于板卡啟動故障定位，除了電源指示燈以及復位指示燈，CPU的BIOS芯片片選引腳接有一個取指指示燈用于指示CPU是否有取指操作。正常情況模塊完成復位后CPU會發起取指操作[8]，取址指示燈在CPU取址過程會閃爍，取址完成后熄滅，其他狀態為取址異常。

1.4 HT故障

HT問題主要表現為HT互聯故障，可能原因有硬件配置問題：如互聯頻率設置過高，HT總線電壓過高或過低，HT工作模式設置錯誤等；軟件配置問題：HT頻率設置過高。啟動過程中HT總線的建鏈過程分為兩個階段：第一階段是按照硬件默認頻率進行建鏈；第二階段是HT復位后，按照軟件配置的HT頻率以及工作模式進行建鏈。板卡啟動過程中常見的HT故障一般為第二階段，故障排查方法詳見第2章。

1.5 內存故障

板卡啟動故障、運行過程中系統或應用程序跑飛、運行測試程序結果不符合預期、網絡DMA數據規律報錯等情況，均可能是內存問題導致的系統穩定性問題，造成數據讀或寫錯誤，從而影響程序運行結果的正確性。

內存存儲單元是按照行、列來組織的，對內存的尋址是通過Bank地址，行地址和列地址進行的[9]。常見的內存問題有：地址線問題，控制線問題，數據線問題，內存顆粒本身的問題。

1)對于控制線問題，包括時鐘，片選信號等，如果控制線故障，內存訓練是無法正常完成的，這里需要硬件參與定位。

2)地址線問題：若地址線問題，在內存測試中，會出現間隔固定地址段，對內存的讀寫內容完全相同，形成內容回繞的現象，可以根據錯誤規律即間隔地址空間的大小推算哪根地址線錯誤。

3)數據線問題及內存顆粒本身問題：在內存測試時都有可能表現為內存固定數據位錯誤。

由于龍芯3號處理器中集成了2個內存控制器，每個內存控制器上可以接2個片選，對于雙路或四路計算機模塊，內存連接更是復雜。已無法根據上述方法直接定位出哪個CPU的哪個內存控制器的數據線或內存顆粒故障，詳細故障定位方法見第3章。

1.6 板級故障小結

主板產品應用的統計數據顯示，高質量等級的龍芯3號主板在生產、調試、維修保障過程中最常見的故障種類包括兩類：HT互聯故障和內存故障，兩者之和約占維修總數量的80%以上。因此通過自動手段快速定位診斷這兩類故障就成為提升主板故障維修效率的關鍵。

針對上述兩種故障模式，設計了軟件定位方法，以期達到提高維修效率、減少維修成本的效果。

2 HT故障診斷和可靠性增強

龍芯3號對外接口采用擴展的HT協議，既可用于連接IO又可實現多芯片互聯。HT是系統級的總線，IO多指南北橋芯片，多芯片互聯是指與多個龍芯3號互聯，即在同一塊主板上構建2路或4路CC-NUMA系統。一旦HT總線互聯出現故障，將導致系統無法啟動。

為了簡化描述，本文以龍芯3號處理器連接橋片為研究對象，提出一種HT鏈路故障的診斷及自修復方法。對于多處理器HT互聯的情況，處理方法類似。

在大量的板卡維修過程中，我們發現有些機器在500次重啟實驗過程中總有幾次啟動死機的情況，通過調試串口及Ejtag進一步定位發現死機時機器卡在HT總線建鏈互聯處，這種故障的典型現象是：調試串口輸出“Waiting HyperTransport bus to be up.”或“Waiting HyperTransport bus to be up again.”的字樣,隨后機器死機，再也沒有輸出。

龍芯3號與橋片的HT總線的建鏈過程是：復位時序按照硬件配置的總線頻率和總線位寬發起建鏈請求，軟件查詢建鏈完成位[10]；建鏈成功后軟件對橋片端進行接收窗口的配置；軟件重新設置CPU和橋片兩端的總線頻率和總線位寬使其工作在最高的頻率和最寬的位寬；復位HT總線等待重新建鏈；查詢建鏈完成位；建鏈完成后把總線再次配置成剛上電的狀態方便下次重啟建鏈；以當前設置的總線頻率和總線位寬進行IO讀寫通信。

調研發現，傳統的龍芯3號主板軟硬件對HT總線的建鏈失效有兩種處理機制：一是使用硬件看門狗在此處監控建鏈過程是否失敗，若失敗則看門狗因超時會發出復位信號重啟系統，一般情況下，多次重啟都能解決HT握手的問題；二是放任不管，畢竟此故障是小概率事件，對于可靠性要求不高的場合，手動重啟就可以解決問題。但對于安全應用領域，通常會面臨無人值守，長期加電的應用場景，一次啟動失敗會造成災難性的后果。另一方面，基于成本和PCB布局面積的考慮，不是所有的板卡在設計時都預留硬件看門狗電路，最好的解決辦法是在不要求硬件的前提下通過CPU內部機制實現監控“HT總線的建鏈失效”的情況，并進行重啟自我修復。

我們把BIOS階段負責啟動和初始化任務的處理器核稱作主核(core0)，其它核稱為輔核或從核。本文利用龍芯3號的多核特性，使用從核(core1)對建鏈過程進行監控，若發現建鏈過程異常，則從核(core1)發揮看門狗的作用對系統進行復位，并記錄當前復位次數至NVRAM中記為Fault，作為后期判斷主板健康狀態的依據，當重啟次數超過重啟門限時，BIOS驅動蜂鳴器報警，提示主板故障，硬件工程師進行檢修。

具體的設計流程如下：

系統冷啟動，Fault初始化為0；

當系統是熱啟動且從核沒有收到主核發出的HTok通知時，會根據Fault的值產生如下行為：

Fault++<=3, 簡單地復位重啟；

Fault++ =4, 把HT總線位寬由16位設計成8位互聯模式，重啟互聯；

Fault++ =5, 把HT總線頻率由1600 MHz降到800 MHz，重啟互聯；

Fault++ =6, 把HT總線頻率由800 MHz降到400 MHz，重啟互聯；

Fault++ =7, 把HT總線頻率由400 MHz降到200 MHz，重啟互聯；

Fault++ =8, CORE1驅動蜂鳴器報警。

這種設計方法能解決絕大多數的HT總線偶發互聯不上的問題，并且可以根據Fault的值或啟動打印信息獲取當前的HT總線配置信息，并對硬件故障進行報警指示，達到比較高的可靠性要求。

3 內存故障診斷方法

從圖2可以看到，計算機模塊啟動過程中固件最初在FLASH芯片中運行，為了加塊固件初始化速度，BIOS中增加鎖CACHE操作，通過Cache As Ram(CAR)技術將高速緩存作為臨時內存使用。在鎖CACHE期間完成了內存的初始化與內存訓練，內存故障檢測等功能。

CAR技術是把CPU的Cache作為RAM使用。龍芯3號CPU均支持鎖Cache機制，落在被鎖區域中的共享Cache塊會被鎖住，讀寫操作到cache后不會向內存傳遞，因而不會被替換出共享Cache。此外當共享 Cache收到 Direct Memeory Access(DMA) 寫請求時，如果被寫的區域在共享 Cache 中命中且被鎖住，那么 DMA 寫將直接寫入到共享 Cache而不是內存。

龍芯3A處理器提供了4組共享Cache鎖窗口寄存器，通過窗口鎖地址寄存器指定鎖存地址，鎖窗口掩碼寄存器指定鎖窗口地址的大小。

鎖Cache完成后，程序將在Cache中完成內存的初始化及內存故障檢測功能。

龍芯3A處理器的內存的組織形式，以雙路為例如圖4所示。

圖4 龍芯3A雙路計算機模塊內存(x8位寬)邏輯連接圖

在龍芯3A CPU中包含2個內存控制器(MC0、MC1)，每個內存控制器最多支持兩個PBANK，通過片選信號cs進行控制，每個PBANK可支持的數據位寬為64 bit。若我們使用X8位寬的內存顆粒，每個內存控制器都接滿內存，那么一個龍芯3號 CPU 將外接32顆內存顆粒。如果龍芯3號使用多芯片互聯模式，如雙路系統，那么板載將最多接64顆x8的內存顆粒。

對于多路互聯計算機模塊，內存顆粒故障診斷流程如圖5所示。

圖5 龍芯3號板卡多路互聯內存排查流程

圖5內存故障診斷可以歸納為以下3點：

1)當內存出現讀寫錯誤時，首先確定是哪個CPU上的內存有問題；

對于CPU多路互聯情況，BIOS通過診斷程序參數選擇單路模式啟動，若內存測試通過，說明CPU0的內存沒問題；再設置成雙路模式啟動，做內存測試有問題說明是CPU1上的內存出錯。對于四路服務器依此類推，找出內存顆粒所在的處理器編號。

2)當鎖定處理器編號后，確定是此處理器的哪個內存控制器(MC0還是MC1)的內存問題；

一個CPU上的兩個內存控制器分別進行初始化，內存初始化時，BIOS通過診斷程序參數選擇初始化成單通道MC0，然后進行內存初始化，內存測試，若內存測試錯誤，則內存顆粒在MC0控制器所接內存上。否則在MC1上。

3)最后確定是上述內存控制器中哪個片選上內存顆粒有問題；

通過片選信號，只選擇MC上的一個CS的內存進行初始化，并根據內存讀寫測試程序的測試結果，確定出錯的內存所在的組，進而定位故障顆粒。

3.1 內存診斷程序

圖5中內存讀寫測試環節是內存診斷程序的核心，內存診斷程序對內存地址空間進行反復讀寫訪問，來判斷內存是否有訪問錯誤情況。如果讀寫信息不一致，程序將會打印出該內存的地址信息，寫入和讀出的數據信息。

內存診斷程序流程如圖6所示。

圖6 內存診斷程序流程

內存診斷程序的思想：對指定內存地址空間，通過UnCached地址先寫值后讀值，比較讀出來的內容是否與寫入值一致。

內存診斷程序劃分為2個階段：簡單內存讀寫測試和復雜內存讀寫測試。簡單內存讀寫測試主要對內存物理地址0x0-0x38進行簡單的讀寫測試，用于判斷讀寫時序的正確性，其測試case為依次對上述地址以8次節為長度為單位寫入0x5555555555555555、0xaaaaaaaaaaaaaaa、0x3333333333333333、0xcccccccccccccccc、0x7777777777777777、0x8888888888888888、0x1111111111111111、0xeeeeeeeeeeeeeeee，并讀出內容與寫入內容進行比較，若一致剛通過，若不一致則優先解決時序問題。

復雜的內存測試，是對指定內存地址范圍進行讀寫測試，讀寫的數據的case分為：

Case1：寫全1；

Case2：寫全0；

Case3:逐位寫1，其余位為0；

Case4:逐位寫0，其余位為1；

Case5：對所有奇數位寫1，偶數位寫0；

Case6: 對所有偶數位寫0，奇數位寫1；

Case7: 依次每個字節寫入0x11、0x33、0x77

Case8: 依次每個字節寫入0xee、0xcc、0x88

Case9: BASE + DATA*n；

其中 DATA，BASE均是一個固定數，例如，DATA=0x200，BASE = 0x9800000090100000； 起始地址寫入的測試數據初值為0x9800000090100000，隨著地址每增加8個字節，固定寫入的測試數據值就增加DATA。

3.2 內存診斷程序試驗驗證

BIOS啟動進入內存診斷程序，首先進入內存簡單測試，測試場景包括case0，1，2，3。下面是簡單測試讀寫均正確時的結果：

The uncache data is:

00000000: 5555555555555555

00000008: aaaaaaaaaaaaaaaa

00000010: 3333333333333333

00000018: cccccccccccccccc

00000020: 7777777777777777

00000028: 8888888888888888

00000030: 1111111111111111

00000038: eeeeeeeeeeeeeeee

The cache data is:

00000000: 5555555555555555

00000008: aaaaaaaaaaaaaaaa

00000010: 3333333333333333

00000018: cccccccccccccccc

00000020: 7777777777777777

00000028: 8888888888888888

00000030: 1111111111111111

00000038: eeeeeeeeeeeeeeee

內存簡單測試包含了過cache的內存讀寫和不過cache的內存讀寫，每部分均只測試了0x38個字節范圍，主要目的完成內存讀寫時序的簡單調試與判斷，以及內存數據線通路是否有問題的判斷。

內存復雜測試在簡單測試的基礎上增加了更多、更復雜的內存讀寫場景，內存地址空間范圍更大。復雜測試程序設計了交互界面，可以指定內存的測試地址范圍。

內存復雜測試人機交互界面以及采用多種case時，案例出錯的測試結果：

Do mem test？(Input 0xf skip ):16'h //是否進入內存復雜測試界面

Default test param S1 = 0x0010000080000000

Change test param S1? (Input 0xf skip):16'h //是否修改內存測試指定地址范圍

Start Testing Memory...

Address Stuck Testing all space...

Test address range: 0x9800000090100000～0x9800000110000000

write done...

Stuck Testing done!

Pattern WalkOnes Test...

Test address range: 0x9800000090100000～0x9800000110000000 @@ address interval: 0x00000040

write done. begin to read and compare…

...

addr 0x98000000908bb0a0 expected: 1010101010101010 read: 101010ff10101010 reread: 1010101010101010 DDD

addr 0x98000000908bb0c0 expected: 0101010101010101 read: 0101010401010101 reread: 0101010101010101 DDD

addr 0x9800000090c9c180 expected: 0101010101010101 read: 0101014001010101 reread: 0101014001010101

addr 0x9800000090c9c188 expected: 0202020202020202 read: 0202028002020202 reread: 0202028002020202

addr 0x9800000090c9c190 expected: 0404040404040404 read: 0404040104040404 reread: 0404040104040404

addr 0x9800000090c9c198 expected: 0808080808080808 read: 0808080208080808 reread: 0808080208080808

addr 0x9800000090c9c1a0 expected: 1010101010101010 read: 1010100410101010 reread: 1010100410101010

4 實驗測試與結果

4.1 HT互聯故障驗證測試

針對HT互聯故障的檢測和恢復方法，我們選用5塊龍芯1500+龍芯7A的板卡進行了每塊主板500次重啟的驗證實驗，對采用本文中的方法的前后實驗情況做了對比分析。

表1中第二列表示在未采用本措施時，主板在做500次的重啟實驗過程中進行了第幾次后無法完成重啟實驗，可以觀察到主板編號為201703001S、201703007S的兩塊板卡成功完成了500次的重啟實驗，編號為：201703003S、201703011S、201703014S的主板分別在進行了127、308、

表1 HT互聯故障檢測方法比較

432次重啟后出現了系統死機，表現為HT互聯故障。表中第三列表示采用了本方法后，5塊主板都可以完成500次的重啟實驗，并且通過獲取NVRAM的Fault值(表中第四列)可以判斷編號為201703003S的主板重啟過2次，編號為201703011S的主板重啟過1次，這個數據也可以作為預警信息提示這兩塊板卡的健康狀態存在問題，主板維護人員需盡早檢修，排除故障隱患。

這種方式比傳統的重新修改HT的配置，并重新編譯燒錄固件完成故障診斷的方式節約了大量的時間成本。

4.2 內存故障的檢測測試

內存故障檢測程序考慮時效性和覆蓋性，本文中的復雜內存測試并不是全地址覆蓋測試，而是在選擇合理的地址間隔進行測試。這種測試方法可以大幅度提高內存故障檢測速度。

內存顆粒的物理設計，要求行地址線+列地址線+BANK線組合成一個物理地址后才能唯一尋址一個內存存儲單元(通常由8位或16位組成)。內存故障，通常表現為某個行/列選通的地址讀寫都有問題。內存行地址線個數一般12個以上，列地址線個數為10。因此地址選通最小覆蓋地址線的地址間隔為2^10,及1 KB。因此內存故障檢測時，我們以1K的地址范圍為步長進行間隔讀寫操作。這種檢測方法比全地址覆蓋的測試方法速率快1 024倍。

BIOS實際內存測試程序測試結果如下：

Start Testing Memory...

Address Stuck Testing all space...

Test address range: 0x9800000080100000～0x9800000088000000

write done...

addr 0x9800000080103600 expected: 9800000080103600 read: 9800000080103604 reread: 9800000080103604

addr 0x9800000080103800 expected: 9800000080103800 read: 9800000080103804 reread: 9800000080103804

addr 0x9800000080103a00 expected: 9800000080103a00 read: 9800000080103a04 reread: 9800000080103a04

…

內存測試結果解析：內存讀寫測試中期望值與讀的值不一致，證明內存確有出錯，根據數據位錯誤信息，內存讀寫錯誤固定出現數據位bit2上，也即內存的數據線DQ2

對應的內存顆粒故障。結合上述內存顆粒故障診斷方法以及板卡原理圖，我們就能唯一確定內存故障顆粒位置。

這種內存故障定位方法，對于內存模塊由于對應的數據線虛焊、PCB布線問題、內存數據線對應匹配電阻問題及內存顆粒本身故障等都能準確地定位，然后再由硬件工程師進行定點排查，最終決定是否更換內存顆粒。

5 結束語

通過BIOS中的故障診斷手段，我們實現了龍芯3號計算機板卡HT鏈路無法鏈接，內存錯誤導致程序出錯等問題的快速定位。軟件定位故障方法簡化了硬件工程師在硬件問題上的排查的工作量，完成了故障診斷的輕便化和智能化操作實現。隨著硬件智能化程度的提升，復雜主板板級故障診斷將向著故障預測及自修復方向發展，進一步提升系統可用性，為裝備智能化發展奠定基礎。