面向列的內存訪問研究綜述①

陳 瑞, 夏承遺

1(天津理工大學 天津市智能計算與軟件新技術重點實驗室, 天津 300384)

2(天津理工大學 學習型智能計算教育部工程研究中心, 天津 300384)

1 概述

隨著人工智能[1]的興起, 社會步入大數據時代, 數據成為密集應用的重要因素, 密集應用能夠在短期內產生大量的TB級(250B)甚至PB級(260B)數據, 它通過實時的數據處理和及時反饋, 動態調整應用的各個參數, 以此來優化應用性能. 它不僅可以通過分析同維度大量數據獲取最佳的數據區間, 而且還能通過分析不同維度數據, 獲取潛在的聯系[2], 例如沃爾瑪的啤酒和紙尿褲擺放位置. 在處理海量的數據方面, 存在CPU處理性能發揮不充分、數據傳輸帶寬制約問題[3],同時海量數據存儲也面臨巨大挑戰[4]. 在截至22 nm工藝之前, 根據摩爾定律CPU每18個月性能翻一番. 與此同時, 內存的封裝管腳數每6年會翻一番[5]. 在大多數應用中, 涉及到內存訪問的指令占20%-40%[6]. 因此, CPU與內存之間存在著大量的數據傳輸. 然而, CPU的執行速度和內存數據傳輸速度嚴重的不匹配[7], 難以最大化發揮CPU的性能進而影響計算機的整體性能.此外, 海量數據不同的存儲方式也對訪問的性能有著巨大的影響. 目前主流的內存訪問方式都是面向行向的. 在特定大規模密集數據應用場景下, 行向數據訪問方式已經不能夠滿足實時數據、快速訪問、特定數據高效訪問的需求, 同時行向的數據在訪問過程中還存在著數據訪問效率不高, 存儲空間開銷大的問題. 因此,傳統的內存訪問面臨著如下幾個方面的挑戰. 首先, 傳統行方向的內存訪問在獲取數據的時候, 需要行方向和列方向分別選通. 其次, 在傳統行方向的大量數據獲取中, 為了匹配CPU的高性能數據都是通過組的形式并行傳輸的(例如64 bit), 這就導致了很多數據并不是真正需要的數據, 在篩選數據的階段又會占用CPU 時間影響性能. 最后, 在基于電荷材質組成的內存中, 由于受到摩爾定律的影響, 在單元尺寸已經進入了瓶頸,無法再進一步的縮小尺寸——單元尺寸越小, 元器件間隙就越小, 產生的能耗越低, 性能越高[8].

近年來, 列的內存訪問方式應運而生. 新型存儲單元的設計不僅能夠實現列方向的內存訪問而且還兼容行方向的內存訪問, 這使得數據的訪問方式更加的完善、高效. 此外, 也可以通過多層的方式來實現行列兩種不同內存訪問方式. 另外, 不同于電荷單元的電阻式單元也相繼出現, 電阻式非易失性存儲材料具有非易失、低能耗以及相較于電容式材料能夠進一步縮小單元尺寸的特點[9], 這些優秀的性能逐漸受到研究者的關注.

動態隨機訪問存儲器[10]工作原理是利用電容內存儲電荷的多寡來代表一個二進制比特是1還是0. 面向行的內存訪問方式效率已經非常的低下, 這成為影響內存訪問效率的嚴重問題. 在繼承傳統的DRAM結構上, 通過設計新的存儲單元組成新的存儲陣列來實現列向的訪問方式. 在基于DRAM的基礎結構上設計新的存儲單元, 通過添加晶體管元器件使得DRAM不僅能夠進行面向行的內存訪問而且能夠進行面向列的內存訪問.

此外, 非易失性隨機訪問存儲器(Non-Volatile random access Memory, NVM)[11]有望可用于取代DRAM構建下一代內存體系存儲容器. 盡管在眾多材料之中存儲單元相差各異, 然而在結構布局上可以有著相同的構建方式, 運用三維空間位置實現同等行向訪問的列向訪問方式.

內存的列向訪問方式是應用于特定的情況下, 針對密集同類型數據的存儲、訪問、計算有著非常大的優勢, 能夠實現傳統行向訪問的數倍性能提升. 本文通過從內存列向訪問出發, 詳細的闡述了DRAM、NVM兩個不同的實現方式以及對應的上層設計, 并對相關應用場景進行了展望.

2 DRAM列向訪問研究

2.1 DRAM基礎單元

在DRAM的存儲結構設計中, 如圖1所示存儲單元是一個1T1C結構[12], 其中T代表晶體管(transistor),C代表電容器(capacitor), 通過電容中電荷量以及感知放大器(Sense Amplifier, SA)可以區分數據的邏輯0和1.

圖1 1T1C結構示意圖

2.2 不同的布局

由于傳統的DRAM給每個單元安排一維的線性訪問方式, 本文稱之為面向行的訪問. 在傳統的DRAM中, 不同的數據布局方式可以有效地提高數據的緩存命中率. 并且可以通過行列轉換來實現應用的列向訪問模式. 但是當轉換矩陣過大時, 性能并不理想[13]. 文獻[14]提出可以改變數據組織方式和訪問模式, 使得數據獲取性能提升了1倍. 另外, 文獻[15]提出利用方塊布局高效地收集塊數據, 并將其運用于圖形處理應用之中. 其次, Chatterjee等人[16]提出一種非線性的數據布局, 在該布局下實現了接近行布局方式下的性能[17].與此同時, Dahlgren等人[18]研究表明空間位置和訪問模式是數據獲取的重要因素.

因此, 考慮新的結構布局和空間位置能夠有效提升數據的獲取性能.

2.3 新型存儲單元

在1T1C的結構構建的陣列中, 每次獲取數據都是以行為單位進行的, 但是一些多維數據分析的應用場景下, 該訪問方式存在獲取額外無效數據, 額外篩選數據操作的情況.

為此, Chen等人[19]創造性地設計出類似于面向行的數據訪問方式, 本文稱該為面向列的訪問方式. 他們為此設計出了新的存儲單元2T1C. 如圖2所示, 在訪問一個共用電容結構中, 提供了兩個不同方向的晶體管. 相比較1T1C而言, 該結構不同的設計在于存儲單元上添加了一個用于控制列向訪問的列晶體管, 通過控制行列晶體管開關狀態, 就可以兩種方式進行切換.

圖2 2T1C結構示意圖

在該結構下, Yu等人[20]研究表明: 相比較傳統的DRAM結構, 在犧牲了2.6%的額外元器件開銷代價后, 平均內存利用提升了5.8%、內存訪問延遲降低了14.8%、能效消耗降低了4.4%.

根據不同的存儲單元, 最后結果對比結果如表1所示.

表1 兩種不同的DRAM的比較

2.4 新型單元存儲陣列

如圖3中所示, 圖3上半部分橫向的虛線框中存儲單元形成組稱之為行, 圖3右方縱向的虛線框中存儲單元形成組稱之為列. 存儲單元的晶體管控制的線組成字線, 傳輸電荷信息線組成比特線.

圖3 2T1C單元存儲陣列示意圖

2.5 DRAM內存訪問

在基于2T1C存儲單元的內存陣列結構中, 內存訪問過程如圖4中所示, CPU先向內存控制器發去訪存指令, 內存控制器通過請求, 傳輸的地址信息通過控制信號去進行判斷行列訪問類別, 然后傳輸地址信息選中對應的位置通過數據總線進行讀寫操. 過程如圖4所示.

圖4 內存訪問示意圖

2.6 小結

考慮到行列轉換過程中, 盡管可以利用行轉換成列方式, 但是數據在轉換過程中, 轉換矩陣過大會導致轉換效率不高, 從而數據訪問的效率不佳. 另外, 改變數據的組織方式雖然可以提升數據的訪問性能, 但是它結構布局沒變, 僅是轉換地址信息. 其次, 非線性的布局方式能媲美行布局方式, 有力的說明了非線性布局的有效性, 因此行列布局也是得以研究, 可以考慮不同的布局方式來實現已有的性能或者性能提升. 最后,行列布局能夠從結構出發, 通過兩種不同的路徑訪問同一存儲單元, 它不僅在數據獲取性能上超過了行布局, 并且能夠應用于更多的場景下.

另外, 非易失性材料有著許多材料性能優勢, 并且別出新意的結構排布, 使得它有著超越前者的巨大研究潛力.

3 NVM的列向訪問研究

NVM內存具有非易失、按字節存取、存儲密度高、低能耗、讀寫性能接近DRAM、就地更新等眾多優點[21], 得到了學術界和工業界的廣泛研究[22]. 大量的非易失性的存儲器如雨后春筍一般出現, 如電阻式隨機存儲器(ReRAM)[23]、自旋轉移力矩磁隨機存取存儲器(STT-MRAM)[24]和相變內存(PCM)[25]以及憶阻器(memristor)[26]等.

NVM具有的優良特性已經應用于很多領域, 包括數據庫方面[27]和科學應用[28]等.

另外, 文獻[29]通過研究NVM構建異構內存系統, 并且對其異構內存的頁面管理進行研究以解決數據遷移的問題. 通過內存分配策略, 實現多維場景的優化. 此外, 文獻[30]針對NVM 的壽命研究, 提出里內存壓縮策略, 盡量減少數據量, 降低寫入磨損, 并且通過研究數據放置策略, 提出基于輪轉的磨損均衡機制, 均勻使用資源, 延長壽命. 另外, 文獻[31]提出的混合內存存儲模型除了擁有ReRAM的優秀特性之外還有著不錯的讀寫性能. 最后, ReRAM優秀的特點不僅可以運用于構建行存儲結構, 同樣也可以運用構建與行列存儲結構之中.

3.1 ReRAM存儲單元

ReRAM的讀取延遲性能可以與DRAM相當, 并且通過優化可以將DRAM和ReRAM之間的性能橋接在10%以內, 被認為是構建下一代主存儲器的替代方案[32]. 因此, 本文選擇ReRAM來進行說明, 以下使用NVM對ReRAM統稱.

圖5展示了ReRAM單元[33-35]的金屬絕緣體金屬結構: 上電極、下電極和夾在它們之間的金屬氧化物層[36]. 通過施加外部電壓, ReRAM單元可以在高阻狀態(High Resistance State, HRS)和低電阻狀態(Low Resistance State, LRS)之間切換, 這兩個狀態分別用來表示邏輯0和1[37].

圖5 ReRAM存儲單元示意圖

3.2 交叉點結構

圖6顯示了由0T1R結構存儲單元組成的陣列, 其中T代表晶體管, R代表電阻器(resistor)[38,39]. 直接通過上端和下端的電極連接上字線和比特線, 不僅使存儲單元的特征尺寸最小化, 而且還具有良好的對稱性,稱為交叉點結構(crossbar)[40-42].

圖6 交叉點結構示意圖

圖7是該結構的放大圖[43], 在交叉點結構中存儲單元僅是一個可以改阻值的電阻器, 并且這個交叉點陣列是由眾多的字線和比特線交叉組成的, 每個存儲單元位于字線和比特線的交點處屬于一個三維的空間.從結構訪問上看, 由于行和列嚴格對稱結構, 所以在面向行和面向列的訪問上有著得天獨厚的結構優勢.

圖7 交叉點結構放大圖

3.3 NVM內存訪問

NVM的內存訪問和DRAM 類似, 由于Crossbar結構, 只需要獲取對應的訪問指令, 通過相對應的控制指令去執行行列訪問的不同的操作.

然而, 在上述的交叉點結構中, 會產生一個干擾問題, 即潛入路徑電流, 它會引起相鄰存儲單元間的串擾干擾, 從而導致誤讀, 進而嚴重影響交叉點陣列的工作.若能解決潛入路徑電流問題, 將會大大降低陣列的功耗, 提高它的可靠性和穩定性.

3.4 2D-NVM行列訪問

為了解決潛入路徑電流的問題, Chen等人[44]提出了一種基于ReRAM的多層內存架構, 該架構是由兩層ReRAM存儲單元和兩個控制晶體管組成, 可以實現行列的2D陣列的訪問. 如圖8所示, M1和M2存儲單元, N1和N2是兩個控制晶體管. N1控制行訪問模式連接iRB和iRW, N2控制列訪問模式連接iCW和iCB. 通過測試結果顯示: 提出的設計結構上相對于交叉點結構提高了5倍左右的帶寬, 降低了1.4倍左右的能耗.

圖8 存儲單元結構示意圖

3.5 小結

在非易失性存儲中, 實現行列訪問的方式不同, 表2中對兩種不同的NVM進行了對比.

表2 NVM的對比

表3顯示了從物理設計結構上DRAM和NVM在實現列向訪問的不同設計以及相關的不同特點, 并進行了比較和總結.

表3 行列訪問實現的比較

考慮到上述的結構特點, 盡管在NVM有著潛在電流的問題, 但是2D-NVM添加一倍的器件成本使得在更通用的場景下不是最好的折中選擇, 使得基于Crossbar的NVM會是研究未來行列訪問的最好選擇.

通過添加或者修改物理結構之后, 欲實現有效的行列訪問還需要與其相對應的控制器設計、配套指令集、相應地址映射方式.

4 上層設計

由于DRAM的控制協議已經非常成熟了, 而DRAM的控制協議不能夠直接用于NVM之上. 考慮到DRAM和ReRAM行列不兼容、讀寫刷新與否的技術特性存在的問題, Talati等人[45]提出了ReRAM訪問協議RDDR, 該協議的特點是通過列向訪問模式, 閉頁策略(closed-page polices). 并且通過測試ReRAM內存系統與使用DDR4在SPEC CPU2006工作負載訪問下進行比較, 結果表明: 該系統的性能提高了35%, 能耗降低了7%.

在DRAM 中針對內存訪問擁有兩個不同的訪問指令, load和store. 然而, 為了更好的使用硬件資源, 需要設計對應的列向訪問的訪問指令Cstore和Cload[46]:

reg是目標寄存器, caddr是面向列的數據地址.Cload和load指令類似, Cstore和store指令類似, 通過這兩個新添加指令來配合內存控制器進行行列訪問類型判斷, 并且和存在的load/store指令搭配一起使用.

另外, 為了與行向訪問區分開來, 需要對列向訪設計地址映射. 圖9顯示了面向行的32位地址結構, 圖10顯示了面向列的32位地址結構. 單位是bit, Rank是2個單位, Subarray是3個單位, Bank是3個單位,Channel是1個單位, Row和Column都是10個單位,IntraBus是3個單位. 行地址結構和列的地址結構基本類似, 唯一不同的點在于, 兩者之間Row和Column順序不同, 就由此來進行區分兩種不同的地址.

圖9 行地址映射

圖10 列地址映射

5 總結與展望

本文從內存訪問方式的角度進行研究, 分析了傳統行向訪問過程中存在的特定場景性能不足的問題,為了滿足特定的性能需求拓展新的列向內存訪問方式,具體總結如下:

在DRAM設計中, 由于存儲單元上添加了一個列向的晶體管, 使得存儲單元可以列向數據訪問. 但是,添加晶體管導致存儲單元的尺寸變大, 不僅增加了格外的開銷, 還會限制了性能進一步的提升. 考慮到DRAM需要定時刷新, 兩個晶體管共同訪問同一個電容器, 因此, 刷新次數也會相應的增加, 同時會增加刷新能耗.

在NVM設計中, 基于Crossbar的三維疊加結構,使得行列訪問方式可以得到統一. 得益于這個結構, 非易失性材料能夠滿足存儲單元尺寸的更小化, 同時還能降低訪問的能耗. 但是, 這種結構需要嚴格的對稱性,訪問還會對鄰居單元的造成干擾. 因此, 2D-NVM的設計就是在降低了存儲單元之間干擾的基礎上, 添加了多層的結構區分數據訪問的不同方式. 然而, 盡管2DNVM的設計解決了上述問題, 但是帶來的是更加復雜的存儲單元和更大單元開銷和能耗.

針對列向訪問的應用場景, 可在以下4個方面進一步豐富其應用:

(1)根據內存計算[47]概念, 結合內存數據庫(In-Memory DataBase, IMDB)[27]的應用, 使用列向訪問方式獲取列向數據庫[48]的列向數據, 可以很方便獲取所需的特定數據, 還能夠同時對不同列的數據可以聚合和分類[49].

(2)當列向訪問應用于大數據的挖掘[50]中, 考慮到存儲的數據基于相同的數據類型或者數據結構, 同類型數據的獲取將會更加的高效, 并且對于數據之間的關系分析, 將會更加的準確.

(3)當行列訪問應用于數據加密算法[51]中, 考慮到加密算法需要對已有數據進行大量的數學運算, 其中計算較多的是矩陣相乘, 通過列向訪問可以快速的獲取矩陣中存儲的一行或者一列數據, 然后進行大量的矩陣相乘運算得到最終的結果. 列向的訪問不僅能夠縮短數據獲取的時間, 還能提高加密算法的時效性.

(4)當列向訪問結合實時微體系結構[52]應用于實時處理時, 通過列向訪問數據并對數據進行快速處理,能夠給予其更加快速的實時反饋, 例如存儲汽車行駛中的各項參數, 通過數據實時計算能夠快速調整無人駕駛汽車的速度或方向.

當前, 傳統的行向訪問的內存獲取方式應用于通用的場景. 然而, 內存的列向訪問是針對某種特定的場景設計的優化數據獲取方式, 尤其是密集數據的存儲.由于數據行列訪問方式在一個具體的應用中有著較大的性能差距, 所以列向訪問會極大的提升特定應用場景下的訪問效率. 因此, 后續會對內存數據庫的數據存儲和訪問性能提升進行深入的研究.