基于Fabric的電網采購交易數據平臺①

李冉冉, 周少丹

(南方電網物資有限公司, 廣州 510655)

近年來, 隨著電子商務和管理信息化的迅猛發展,基于紙質標書的傳統招投標活動弊端日益凸顯. 采用傳統紙質標書投標, 不僅成本高昂、效率低下, 還存在諸如人為因素多、過程透明度低、標書存檔利用困難、不符合低碳環保要求等缺點. 為此, 電子化招投標應運而生, 成為招標采購中的主流模式.

為了貫徹國家關于電子化招投標的精神, 南方電網物資有限公司于2019年完成南方電網電子采購交易平臺建設工作. 該平臺支持各類招標及非招標采購方式, 實現發投標、開評標、費用支付、歸檔等全過程線上辦理, 且已獲得電子招標投標系統交易平臺最高等級“三星”認證. 截至2021年9月, 業務項目的采購金額已突破100億元. 與傳統招投標相比, 電子化招投標技術的應用, 在招投標效率、數據準確性、節省人力物力、提高采購過程公正性等方面帶來了巨大進步. 但是, 招投標過程涉及環節多、信息量大且信息敏感, 仍然存在一些必須解決的問題.

隨著區塊鏈技術的發展, 其有望于解決電子化招投標過程中存在的問題, 并且將區塊鏈應用于電子招投標也成為了當前電子招投標研究的熱點. 文獻[1]將智能合約應用于政府招標, 構建一個公平、透明且可審計的政府招標平臺. 文獻[2]提出一種應用在以太坊區塊鏈上進行簡潔可驗證的密封投標拍賣的智能合約協議. 文獻[3]引入了基于區塊鏈的電子投標系統, 在不需要可信第三方的情況下, 由智能合約處理所有投標交易, 確保投標過程的完整性. 文獻[4]提出了“大數據＋區塊鏈技術”在電子招投標平臺的應用方案, 保證招投標活動的“公平、公正、公開”. 文獻[5]提出了一種基于區塊鏈的可信電子投標系統(BCES), 以解決投標數據文件分發、驗證和回溯過程中的操作合規性、多方協調和網絡安全問題. 文獻[6]考慮到拍賣的隱私性和安全約束, 提出了基于區塊鏈的公開競價拍賣系統框架, 增強了拍賣人和投標人之間的安全性. 文獻[7]提出了基于以太坊區塊鏈的解決方案, 以確保數據完整性和透明度并消除中間人.

上述文獻研究了將區塊鏈技術應用于電子化招投標中. 然而, 當前在面向電力行業的電子化招投標應用較少, 區塊鏈技術未能賦能電力物資供應鏈電子化招投標, 導致在電力行業中電子化招投標過程中數據的真實性及合法性仍被質疑, 影響并阻礙了南方電網電子采購交易平臺建設工作的進一步展開. 因此在電子招采過程中, 如何將區塊鏈技術應用于電網企業的電子化招投標過程, 并且保證數據的防篡改, 將具有非常重要現實意義.

1 問題與挑戰

南方電網電子化招投標和傳統的紙質化現場招投標相比, 采購交易形式發生了較大的變化, 減少了傳統的人力、物力投入, 但存在以下兩個問題:

(1)數據真實性問題

與傳統招投標相比, 電子化招投標技術的應用, 在招投標效率、數據準確性、節省人力物力、提高采購過程公正性等方面帶來了巨大進步. 但是, 招投標過程涉及環節多, 信息量大且信息敏感, 仍然存在一些必須解決的問題. 如: 交易數據的真實性與完整性容易讓人質疑, 監管部門難以對交易數據進行有效的核驗, 平臺主體間的信任危機以及針對招投標公平性的質疑時有出現, 因數據共享不暢導致的招標投標組織工作負擔重、效率低, 以及數據驗證不好追溯等問題.

(2)中心化數據存儲易篡改問題

目前的采購及電子招投標信息都采用集中式存儲方式, 由系統管理員進行數據管理, 包括數據錄入、數據查詢、數據添加、數據刪除、數據更新等各種操作.由于系統管理員擁有數據處理的所有權限, 其可以不經授權私自篡改數據; 也可以在領導授意下篡改數據,從而無法保證招投標信息的真實性, 影響采購和招投標的公平公正, 也給廉政建設帶來隱患. 此外, 集中式的數據存儲還容易受到內/外部攻擊[8]; 有很多企業采用數據異地冗余備份技術[9,10], 但這顯然大幅度增加了數據存儲和數據維護的成本.

區塊鏈技術具有分布式共享、防篡改、數據可追溯等特點, 可以有效解決數據被篡改的問題. 區塊鏈技術是利用塊鏈式數據結構來驗證與存儲數據、利用分布式節點共識算法來生成和更新賬本數據、利用密碼學方式保證數據傳輸和訪問安全、利用智能合約來編程和操作數據的一種全新的分布式計算范式[11], 具有分布式共享、非篡改、數據可追溯的特點, 可以解決數據可信和單點故障、遭受攻擊等問題, 因此在電力行業得到了豐富的應用[12–16].

本文將結合數據分片、數據指紋、數據指紋數據庫、智能合約等技術, 設計與實現基于Fabric的電網采購交易數據平臺, 平臺面向電力物資供應鏈領域, 實現了采購交易數據不可篡改、數據隨時可驗證、數據訪問控制等功能, 從而保證在電子招標采購過程中數據的完整性、真實性, 同時減少人工參與, 從而減少人為篡改數據的風險.

2 電網采購交易數據平臺

本節介紹平臺的具體細節, 第2.1節對原型系統的總體架構進行描述, 并且對技術選型以及整個采購交易業務流程進行說明, 第2.2節、第2.3節及第2.4節對重要模塊進行說明, 其描述的模塊分別為數據訪問控制權限模塊、數據訪問控制權限模塊以及數據取證及驗證模塊.

2.1 系統總體架構

基于Fabric的電網采購交易數據平臺分為底層區塊鏈、數據存儲層、系統層以及門戶層, 如圖1所示.底層區塊鏈模塊主要負責采購交易的信息及全流程行為, 數據一旦上鏈, 無法篡改. 監管機構對智能合約進行簽名認證, 參與方通過智能合約提交中間結果, 驗證方通過智能合約驗證中間結果. 數據存儲層用于多云互聯管理系統存儲, 包含關系型數據庫、非關系型數據庫、分布式文件系統、對象存儲等. 系統層用于平臺業務實現, 包含數據管理、上鏈管理、合約管理、用戶管理、權限管理等模塊. 門戶層用于給各類不同用戶提供一致的操作體驗, 包含數據可視化門戶、服務門戶、管理門戶、運營門戶模塊.

圖1 系統架構

系統的技術選型包括界面展現技術、服務器開發技術以及架構技術, 其中界面展現技術包括HTML、JavaScript和CSS, 服務器開發技術語言為Java和PHP, 架構技術為微服務架構. 開發平臺為微服務平臺.接口包括RESTful API, 接口遵循Spring Cloud框架約定的規范.

圖2為基于區塊鏈的采購交易數據上鏈業務流程圖, 其流程描述如下: 先由需求人員提出需求, 分包人員進行項目分包, 然后經由項目承辦人員完成采購方案的制定, 之后項目經辦人員完成以下流程: 編寫采購文件, 發布采購公告, 進行項目發售, 項目發售中包含供應商購標、制作標書、投標、澄清等流程, 然后進行開標, 評標配置, 評標; 之后項目承辦人員完成定標,由項目經辦人員進行結果公示和結果公告, 在公告結束后進行結果通知, 最后完成項目歸檔.

圖2 基于區塊鏈的采購交易數據上鏈業務流程

其中, 在采購公告環節可以利用區塊鏈技術進行關鍵信息上鏈操作, 開標階段可以將供應商信息, 報價,項目信息(包括項目編號名稱), 標包的關鍵信息進行上鏈; 在結果公示和結果公告環節中可將供應商名單上鏈存證.

而在交易過程中產生的電子數據—交易電子數據,需要我們對它進行存儲并且防篡改. 交易電子數據具有易創建、易存儲、易傳輸和高利用率等特點, 是可靠、有證明力度的電子數據證據. 數據存證首先要對數據按類型進行很好的存儲保存, 并且還要對數據的可信性、完整性有很好的保障, 并且還要方便對數據進行存儲、共享、驗證等操作. 對于上鏈存證的電子化招投標項目中的關鍵信息、公示公告等內容, 通過設置訪問權限, 對不同的身份主體劃分權限.

2.2 數據指紋提取及上鏈

在區塊鏈中, 數據上鏈的流程如圖3所示, 主要包括上鏈前處理階段和上鏈處理階段. 在上鏈前處理階段, 有業務數據處理和數字簽名兩個處理步驟. 業務數據處理的業務數據可以是任意的內容, 比如供應商信息, 報價, 項目信息(包括項目編號名稱)或者對應數據的哈希值等, 這些業務數據通過服務器處理; 在上鏈處理階段, 有廣播、打包、共識等處理步驟.

圖3 數據上鏈流程圖

在業務數據處理階段, 使用類Merkle樹算法對數據進行處理, 提取業務數據的數據指紋, 具體算法步驟如算法1所示.

算法1. 類Merkle樹算法1) 從數據庫中獲取業務原始數據;2) 將業務原始數據分塊;3) 采用SHA256作為哈希函數來計算數據塊的哈希值;4) 構建Merkle樹, 提取數據指紋;5) 數據指紋簽名.

在算法1中, 數據塊的分塊大小首先由SHA256的原理確定, 同時采用GPU對數據塊哈希值的計算進行加速, 所以分塊的大小還基于GPU的性能. 通過構建Merkle樹[17]的形式, 構建數據指紋樹, 得到業務數據的數據指紋, 邏輯示意圖如圖4所示.

圖4 數據處理邏輯示意圖

在完成數據的指紋提取之后, 對數據進行簽名, 得到帶有簽名的數據指紋信息. 然后對帶有簽名的數據指紋信息打包, 放進區塊鏈交易池中, 排序節點對交易排序之后, 將帶有簽名的數據指紋信息構建默克爾哈希樹, 并將所述默克爾哈希樹的默克爾根作為所述采購交易數據文件的元數據儲存到區塊鏈的區塊頭中.

與所有區塊鏈結構相同, 區塊鏈鏈上數據包括兩部分結構, 即區塊頭和區塊體中交易數據字段. 區塊頭數據主要由系統產生和維護, 用于區塊鏈數據的保護,區塊頭數據結構如表1所列. 用戶數據主要存儲在區塊體的交易記錄中, 交易記錄以交易列表的形式存儲在區塊體中, 表2中給出與查詢相關字段的相關說明.

表1 區塊頭字段說明

表2 交易事務列表中包含的主要字段

2.3 數據訪問控制權限

由于供應需求, 不同的部門存在需要其他部門的供應商信息的情況, 對于其他部門的訪問, 則需要設置訪問權限. 此外, 對于上鏈存證的電子化招投標項目中的關鍵信息、公示公告等內容, 通過設置訪問權限, 對不同的身份主體劃分權限. 根據用戶不同角色, 提取用戶的如下信息: 用戶屬性、所屬部門, 基于這些信息,設計如下的角色、部門及權限對應規則, 如表3所示.

表3 用戶訪問權限表

面向用戶的權限訪問控制將用戶分為了3類: 部門用戶、管理員和普通用戶. 其中, 只有管理員具有存證權限; 3種用戶都具有取證權限, 只是取證的數據范圍不同: 管理員可以取證所有數據, 部門用戶只能取證所在部門的數據以及公開數據, 普通用戶只能取證公開數據(如電子招投標的公示信息).

完成用戶權限設計后, 通過智能合約的鏈碼邏輯來響應基于用戶屬性的訪問控制. 聲明GetAttributeValue()函數來獲取用戶的屬性值, 聲明GetDepartmentInfo()函數來獲取用戶所屬的部門信息. 訪問控制鏈碼偽代碼如算法2, 顯示了訪問控制邏輯, 根據不同的用戶屬性, 允許執行不同的存證和取證操作. 圖5為用戶訪問獲取鏈上數據流程圖.

算法2. 訪問控制鏈碼偽代碼1. attr := GetAttributeValue()2. departmentinfo := GetDepartmentInfo()3. switch attr{4. case “GuestUser”:5. //執行取證操作, 僅限于公開信息6. case “AdminUser”:7. //執行存證和取證操作8. case “DepartmentUser”:9. //執行取證操作, 僅限于公開信息以及屬于departmentinfo部門的信息}

圖5 用戶訪問獲取鏈上數據流程圖

2.4 數據取證及驗證

數據取證是為調取鏈下文件對應的鏈上哈希值,利用哈希函數的抗碰撞性, 將文件的鏈上數據指紋與鏈下文件生成的數據指紋進行對比, 以驗證數據在存儲前后的一致性, 確保數據在存儲和處理過程中沒有發生丟失或篡改. 區塊鏈是一種不斷增長的數據庫, 當上鏈存證信息數量較大時, 區塊鏈數據庫面臨遍歷查詢效率偏低和查詢功能有限的問題[18]. 本文基于外聯數據庫查詢思想[19], 設計鏈上數據指紋索引庫擴展鏈上數據查詢功能, 在鏈下建立關聯各上鏈存證文件的數據指紋索引表, 提高查詢取證的效率.

數據取證與驗證的流程和各數據庫之間的交互如圖6所示, 數據取證之前需要在區塊鏈數據庫和外部數據指紋索引庫之間同步關聯數據, 取證及驗證具體步驟如下.

圖6 數據取證及驗證執行流程

(1)數據關聯: 外部數據指紋索引庫通過API接口監聽鏈上狀態, 一旦區塊鏈中存儲一筆招標采購事務上鏈, 通過接口將區塊數據同步導入到緩沖區, 緩沖區的數據利用數據解析模塊將區塊中和外部數據庫的關聯數據經處理導入數據指紋索引庫, 關聯數據包括區塊ID、交易ID、項目編號、項目階段屬性和文件標識等.

(2)數據取證: 調用數據指紋索引庫API接口, 利用文件標識和項目編號作為數據庫之間的關聯值進行查詢操作, 數據庫通過API接口返回目標文件所在區塊號和交易索引號. 查詢操作調用鏈上數據獲取智能合約, 以區塊ID和交易ID作為合約觸發條件的輸入,定位目標文件哈希值所在位置, 并返回目標文件的鏈上哈希值.

(3)數據驗證: 將鏈上數據哈希值與鏈下文件哈希值進行對比, 若一致, 則證明采購交易文件在鏈下存儲過程中沒有被篡改.

3 系統展示與分析

本節實驗與分析首先對基于Fabric的電網采購交易數據平臺中數據防篡改進行理論分析, 然后對系統進行關鍵性指標分析, 最后對系統的一些模塊進行界面展示.

3.1 數據安全性分析

對于數據防篡改的理論分析從數據庫和區塊鏈兩個層面進行分析.

(1)數據庫層面

在數據處理的時候, 對業務數據進行分塊, 將容量大的業務數據分成容量小的數據塊數據, 并且將每個劃分的數據塊進行哈希運算, 采用類Merkle樹的思想,對數據塊構建一個數據指紋樹. 對業務數據的一小部分數據進行篡改, 都將得到一個不同的數據指紋.

(2)區塊鏈層面

將數據指紋上傳到區塊鏈系統中, 區塊鏈作為一個分布式、多方參與的系統, 鏈上的數據均可查詢, 通過訪問權限設置, 實現不同主體對于數據的訪問, 從鏈上獲取的數據, 能夠與鏈下的數據進行指紋比對, 進一步實現數據的防篡改.

3.2 關鍵性指標分析

針對上述系統的可用性, 本文利用Hyperledger提供的工具“Hyperledger Cliper”, 對關鍵性指標進行測試, 其關鍵指標為對存證和查詢的時間, 如表4和表5所示. 系統部署在3臺2核4 GB內存的主機中, 系統使用的版本為Ubuntu 20.04.3 LTS, Fabric版本為1.4.1, Docker版本為20.10.8, Docker-compose版本為1.26.0, Golang版本為1.14.9 Linux/amd64. Fabric部署在docker容器中, 首先下載及安裝環境必需的軟件和依賴, 包括Go、docker、docker-compose等; 其次搭建多節點環境, 環境中搭建了4個ordered節點及10個peer節點; 然后生成創世塊, 并搭建組織通道; 最后, 在通道中部署、安裝實例化鏈碼. 系統共識采用常用的PBFT共識, 該共識通信復雜度低, 且實用性強, 系統部署的4個ordered節點也符合PBFT共識的邊界條件(為了應對1個惡意節點, PBFT算法至少需要4個共識節點).

表5 數據查詢驗證平均時間

由表4所示, 通過Cliper的測試可知, 上鏈事務成功率為100%, 并且隨著發送速率的增大, 吞吐量也在增大, 寫3 000條記錄的平均延時均在0.1 s以下.

表4 上鏈存證測試結果表

對于本論文設計的基于數據指紋哈希索引庫的外部關聯查詢方法, 包括兩次查詢操作. 第1次查詢操作為通過文件ID和項目編號在數據指紋索引庫中執行,由于數據指紋哈希索引庫采用關系型數據庫的形式,因此對數據的查找可直接利用主鍵查詢的方式, 查找速度快, 且數據量的增長并不會影響數據的查詢速度.第2次查詢操作為調用智能合約以區塊號和交易索引號為查找條件進行鏈上查找, 由于已經知道數據指紋所在的區塊號和交易索引號, 因此不同于傳統區塊鏈的遍歷查找, 傳統區塊鏈的數據查找方式, 查詢的時間消耗與數據量的增長呈正比, 而本文的查找方法直接通過索引進行定位查詢, 在查詢速度上有很大提升.

由于數據量較大, 因此采用數據分片的方法, 將數據進行分片, 然后采用GPU并行計算的方法, 將數據并行計算哈希值, 提取數據指紋, 最后將數據指紋上鏈.系統采用基于CUDA的數據并行處理方法, 相對于傳統的CPU (OpenSSL)計算, 業務數據量越高, 并行計算的效果越好, 如圖7所示.

圖7 基于OpenSSl和CUDA的上鏈時間對比圖

3.3 系統展示

如圖8所示, 為業務數據指紋提取展示界面, 通過對數據分塊以及GPU計算, 采用類Merkle樹的形式,得到了業務數據的數據指紋.

圖8 業務數據的數據指紋展示圖

如圖9所示, 為用戶訪問權限控制, 可以從圖中看出沒有權限的用戶沒辦法查詢更多的數據, 會有一個彈窗顯示沒有權限訪問. 如圖10所示, 為業務數據的數據驗證示意圖, 通過數據指紋數據庫快速獲取區塊鏈中的區塊鏈中的數據, 然后與鏈下的數據進行哈希比對, 可以知道數據是否被篡改, 圖中數據因為篡改, 導致哈希值對比時出現問題, 顯示數據被篡改.

圖9 權限訪問控制展示圖

圖10 數據防篡改展示圖

4 總結

本文給出了基于Fabric的電網采購交易數據平臺的設計與實現方案, 通過指紋提取、數據訪問控制、數據指紋庫設計等手段確保了電子化招標采購過程的中數據的防篡改性和真實性驗證. 平臺采用前后端分離的模式, 保證了系統的高內聚和低耦合, 試運行表示能夠解決招標采購中的采購交易數據篡改問題. 在未來的系統優化中, 將加入合同簽約等功能模塊, 進一步提高電力物資供應鏈中各環節的業務效率.