一種基于異構集群的在線密碼破解系統*

劉 成 ，羅 杰 ，臧今宇

（1.保密通信重點實驗室，四川 成都 610041；2.新疆生產建設兵團公安局，新疆維吾爾自治區 烏魯木齊 830011）

0 引 言

隨著互聯網技術的發展，越來越多的設備和應用接入互聯網，特別是5G技術的日漸成熟，使萬物互聯[1]時代近在咫尺?；ヂ摼W使信息傳遞更為便捷，為了解決隨之而來的信息安全風險，密碼學技術也得到了空前的發展和運用。

密碼學技術與我們的生活息息相關，比如設置個人電腦登錄密碼能夠保護我們的電腦數據安全；設置網站登錄口令能夠保護我們的網站數據安全；設置數據庫訪問密碼能夠保護數據庫的數據安全等。同時，在現實生活中許多不法分子也利用密碼學技術，傳遞犯罪信息并隱藏犯罪證據，從事違法犯罪勾當，給國家安全和社會穩定帶來很大的威脅。

二戰時期德軍的Enigma密碼機與其破解過程，已成為密碼學中密碼技術與密碼破解技術相互較量的經典案例。密碼學技術與密碼破譯技術就像一對孿生兄弟一樣，在相互較量中伴隨成長?，F代密碼技術建立在求解數學難題基礎上，密碼算法公開，經過了充分的驗證，已很難從算法自身的漏洞出發進行破解。利用高性能計算對密文進行暴力破解[2]已成為密碼破解的常規手段。

暴力破解需要強大的計算能力。通用計算機大致經歷了以下發展過程：

（1）從單核到多核，再到眾核

從1971年第一塊微處理器4004在Intel公司誕生CPU的集成晶體管數和時鐘頻率逐年上升。隨著時鐘頻率超過3GHz，單核處理器開始消耗過多的功率，單核處理器的發展遇到瓶頸。2005年AMD、Intel相繼推出雙核CPU，CPU的發展步入多核心時代。2018年10月，Intel發布的最新消費級處理器——第九代酷睿i9-9900K——已有8個核心，時鐘頻率最高可達5GHz。

不同于CPU作為通用處理器存在，GPU（Graphics Processing Unit，圖形處理器）從一誕生起就專注于解決圖形渲染問題，而圖形處理所特有的并行化處理特性，使得GPU具備并行計算的潛質。本世紀初，可編程特性被引入GPU，GPGPU（GPU通用計算）時代到來，其中以NVIDIA公司推出的CUDA（Compute Unified Device Architecture，統一計算設備架構）為代表。由于一張GPGPU上往往集成了成百上千個計算核心，因此被稱為眾核處理器。比如NVIDIA公司最新發布的消費級顯卡Geforce RTX 2080集成了2944個CUDA Cores。

（2）從同構到異構

CPU和GPU各有所長：CPU適合做通用計算，如邏輯性強的算法、業務管理、任務調度、人機交互等任務；GPU適合做并行計算，如圖像處理、科學計算等大并發任務。大型的復雜計算往往需要同時使用CPU和GPU，在這種情況下CPU+GPU的異構計算機得到廣泛應用。

（3）從單機到集群

單機受限于整機設計，計算能力到達一定水平后就很難提升，且后期難以升級。計算機集群[3]能夠通過局域網或互聯網將單機能力較差的計算節點組成一個系統，具有很強的可擴展性，能夠較方便地獲得較低成本的綜合算力。

密碼破解系統需要強大的算力，而異構集群系統能夠提供性價比高、易擴展的算力。因此，基于異構集群系統構建密碼破解系統便成了很自然的選擇。當前密碼破解系統多為單機版，硬件系統、軟件系統的安裝和使用都較為復雜，通過B/S架構向用戶提供在線密碼破解服務，可讓用戶省去機房建設和維護的成本以及軟件的部署和安裝成本?；谝陨弦蛩氐目紤]，研究并實現了一種基于異構集群的在線密碼破解系統。

1 系統需求分析

與一般的高性能計算集群相比，在線密碼破解系統有其自身的特點，例如：

（1）破解算法屬于計算密集型任務。

（2）每個破解算法具備多種破解模式。

（3）以Web方式提供在線破解能力。

為了滿足以上需求，該系統應該有以下組成部分：

（1）GPGPU異構集群。

（2）并行計算編程框架。

（3）集群作業管理系統。

（4）Web管理服務。

（5）計算節點的任務執行程序。

線密碼破解系統的系統組成見圖1。

圖1 在線密碼破解系統組成圖

1.1 GPGPU異構集群

GPGPU異構集群為滿足密碼破解系統的需求，應具有以下特點：

（1）1個管理節點+N個計算節點

管理節點負責集群狀態監控和作業管理。計算節點負責執行來自管理節點的任務分片。管理節點將任務分解為任務分片隊列，以實現多個計算節點的并行計算。

（2）計算資源可擴展、可替換

通過增加計算節點上的GPU卡，或在集群系統中增加計算節點，快速增加計算資源。當發現計算節點異常后，也可通過快速更換計算節點保障破解任務的正常運行。

圖2是計算機集群系統的網絡拓撲圖。

圖2 計算機集群系統網絡拓撲圖

1.2 并行計算編程框架

為使用GPGPU進行高性能計算，應使用相應的并行計算編程框架[4]。包括NVIDIA提出的CUDA編程框架，AMD提出的Brook++編程環境，OpenCL聯盟提出的OpenCL并行編程模型。其中CUDA和OpenCL使用更為廣泛。

CUDA是NVIDIA公司推出的一種并行計算架構，它是一種高級編程語言，開發者能夠很快上手，所編寫出的程序可以在NVIDIA GPU上高速運行。

CUDA架構只支持NVIDIA公司的產品，而OpenCL并行編程框架則支持多核CPU、GPU、FPGA、多核DSP系統等多種并行計算架構。

由于本系統GPU全部為NVIDIA系列，考慮到CUDA編程語言更容易，且在NVIDIA顯卡上運行效率更高，本系統采用CUDA并行編程框架。

1.3 集群作業管理系統

為了使計算機集群的計算資源得到充分利用，需根據計算機節點情況和任務的資源需求情況對任務進行合理調度。目前有十幾種不同的作業管理系統[5]，其中LSF、LOADLEVELER、PBS、CONDOR是當今最具代表性和影響力的幾種集群作業管理系統。其中PBS、CONDOR是研究性質的軟件，LSF、LOADLEVELER是商用軟件，它們的主要功能為集群系統監控和作業調度等。表1是幾種作業管理系統的比較。

表1 作業系統比較

其中PBS和LSF綜合比分最高。LSF被公認為是市場上最成功的集群作業管理系統，在功能和可用性上有較強的優勢；PBS為開源項目，可根據項目自身特點對其進行定制化開發，其成本和可定制化更有優勢。綜合考慮，本系統使用PBS進行密碼破解集群作業管理。

1.4 WEB管理服務

WEB管理服務是集群作業管理系統與用戶間的人機交互接口，主要提供集群任務管理、資源管理、日志報表、集群監控、系統設置等功能。

（1）任務管理

任務管理提供任務管理、任務查詢功能。其中，任務管理功能包含新建任務、任務狀態管理等；任務查詢可對歷史任務進行多條件聯合檢索。

（2）資源管理

資源管理是為任務提交提供基礎數據的功能模塊。包括彩虹表管理，字典管理，算法管理等功能。

（3）日志報表

日志報表功能包括報表管理，操作日志，訪問日志等功能。

（4）集群監控功能

集群監控功能包括硬件資源監控、警報系統等功能。硬件資源監控可查看系統中CPU、GPU、內存、存儲以及網絡的使用情況；警報系統提供了當系統資源使用過高時告警功能。

（5）系統設置功能

系統設置功能包括系統設置以及用戶設置功能。系統設置提供了為集群配置、在線升級等功能；用戶設置提供了用戶管理和權限管理的功能。

1.5 任務執行程序

密碼破解任務最終會下發到各個計算節點，由計算節點的任務執行程序執行。任務執行程序包含代理程序和密碼破解程序兩個部分。以下是任務執行程序具有的功能：

（1）因為PBS未能提供對GPU的狀態監控能力，可通過代理程序將GPU狀態信息實時傳送給WEB管理服務。

（2）因為PBS可將任務分片調度到計算節點，而不能直接調度到計算節點上的GPU計算單元（一般有多個GPU計算單元），可通過代理程序將任務分片進一步分解，交給多個GPU計算單元并行處理。

（3）為了實現破解算法的可擴展性，可將破解算法設計成單個可執行程序的形式，交由代理程序調用。

2 系統設計

2.1 搭建基礎設施

基于第1節的需求分析，搭建了一套GPU集群，其配置如表2所示。

表2 集群系統配置

計算節點和管理節點通過交換機連接，形成一個高速局域網。利用NFS（Network File System，網絡文件系統）將管理節點上的字典文件、彩虹表文件、計算節點可執行程序（計算節點代理程序、密碼破解程序）共享給8個計算節點使用。

2.2 PBS系統的使用

PBS系統由Server（服務進程）、Scheduler（調度進程）和Mom（執行進程）組成，Server和Scheduler位于管理節點用于任務調度控制，Mom位于計算節點用于任務執行。PBS系統的工作流程如下：

（1）由用戶發起破解任務分片執行事件，Server開始一個調度周期。

（2）Server向Scheduler發送一個調度命令。（3）Scheduler向Mom請求可用資源信息。（4）Mom返回給Scheduler一個資源信息。（5）Scheduler得到資源信息后，向Server請求作業信息。

（6）Server收到請求后，將作業信息發給Scheduler，Scheduler根據作業信息和調度策略產生執行作業的策略。

（7）Scheduler發送執行作業請求至Server。（8）Server接收請求后，發送作業至Mom執行作業。

（9）Mom收到執行命令后將任務交給計算節點執行程序執行。（10）計算節點執行程序將結果反饋給Mom。（11）Mom將執行結果反饋給Server，完成一個調度周期。

2.3 WEB管理服務

WEB管理服務提供作業調度功能，其工作流程如下：

（1）用戶通過Web界面創建密碼破解任務，提交后存入任務數據庫中。

（2）對任務進行分割，分割后的任務分片放入任務分片隊列中。

（3）任務分片隊列周期性讀取任務分片并將任務分片提交給計算節點執行，直到任務分片隊列執行完成。

在破解任務執行過程中，計算節點將執行進度、破解速度、執行結果等數據及時反饋給管理節點，管理節點及時更新任務分片隊列。

在計算節點執行任務分片的同時，管理節點會實時監控任務分片的執行情況和計算節點的工作狀態，如發現異常，將修改任務分片狀態，在下一次任務分片輪詢過程中重新執行。

2.4 任務執行程序設計

位于計算節點上的密碼破解任務執行程序由計算節點代理程序和密碼破解程序組成。其中代理程序對管理節點的任務調度指令進行監聽和解析，調用相應密碼破解算法，在密碼破解過程中將任務信息以及GPU硬件的狀態信息及時反饋給管理節點。

3 系統實例

3.1 任務提交

用戶通過瀏覽器登錄密碼破解Web管理服務后，打開新建任務窗口，按照提示設置密碼破解任務所需的屬性、計算資源、破解任務所需文件、破解模式、任務空間等，點擊提交后完成密碼破解任務的創建，如圖3所示。

3.2 任務隊列

密碼破解任務創建成功后，將在任務列表中顯示任務信息，包括任務當前狀態、任務屬性、速度、進度等，如圖4所示。

3.3 密碼破解任務加速比

以2.1節集群為例，分別使用其中的純CPU作為計算集群和GPU作為計算集群，對幾個常用密碼破解算法的性能做出比較，見表3。

圖3 密碼破解任務提交界面

圖4 密碼破解任務列表界面

表3 密碼破解算法速度比較

4 結 語

針對密碼破解系統的現狀和需求，提出了基于異構集群系統的在線密碼破解系統的解決方案。該方案通過B/S架構向用戶提供在線密碼破解能力，讓用戶省去機房建設和維護成本以及軟件的部署和安裝成本；通過構建異構集群系統，以及異構集群系統上的軟件系統——集群作業管理系統和計算節點執行程序——實現了對異構集群系統計算資源（特別是GPU計算資源）的高效利用，實現了密碼破解任務150倍提速。后期還可通過擴大集群系統規模，通過進一步挖掘計算節點CPU的計算資源等手段為密碼破解任務提速。