一種高性能計算集群登錄節(jié)點資源限制方法

唐 金，池成悅，韋建文，周子豪

（上海交通大學(xué)網(wǎng)絡(luò)信息中心，上海 200240）

0 引言

近年來，隨著高等教育經(jīng)費投入的增加以及計算資源需求的不斷增長，國內(nèi)外很多高校和科研機構(gòu)紛紛建設(shè)了高性能計算集群［1-3］。上海交通大學(xué)于2013年建成并投入使用高性能計算集群。經(jīng)過多年的發(fā)展，目前集群算力已達(dá)到2.1PFLOPS，科研用戶數(shù)逐漸增多，日均服務(wù)機時直線上升，科研成果不斷創(chuàng)新高［4-7］。

集群和用戶規(guī)模的不斷擴大增加了集群登錄節(jié)點的負(fù)載以及管理上的難度［8］。集群登錄節(jié)點屬于共享資源，允許用戶進行一些簡單不耗資源的操作。但是，不同用戶對集群的使用操作以及相關(guān)規(guī)章制度的了解存在著一定的差異。有些用戶由于剛剛接觸高性能計算，對集群認(rèn)知比較有限，經(jīng)常會直接在登錄節(jié)點運行耗費資源的任務(wù)，導(dǎo)致登錄節(jié)點長時間負(fù)載過高［9］。隨著高性能計算集群的用戶數(shù)量逐漸增加，對集群自動化需求越來越高。因此上海交通大學(xué)高性能計算集群急需一種自動、實時的監(jiān)測技術(shù)來調(diào)節(jié)登錄節(jié)點資源使用［10］。

國外幾個HPC中心曾嘗試使用cgroup 對共享資源進行限制。由印第安納大學(xué)編寫的“cgroup_py”腳本，可以起到限制用戶資源的作用，但該腳本與CentOS 7 系統(tǒng)或基于Systemd 的系統(tǒng)不兼容；由美國普渡大學(xué)Maves和John 編寫的“cgroups_py”腳本，可以對給定用戶的Systemd user-＄ UID.slice 資源進行限制，該方法基于簡單的閾值法，只能起到靜態(tài)的限制作用，可擴展性不強。猶他大學(xué)Dylan、Robben 等在基于Cgroups和Systemd理論基礎(chǔ)上，提出了一種可以對共享資源進行監(jiān)測的方法Arbiter2，該方法不僅可以監(jiān)視用戶CPU和內(nèi)存使用率，還可以強制執(zhí)行默認(rèn)資源限制、懲罰消耗共享資源過多的用戶。

本文結(jié)合上海交通大學(xué)高性能計算集群的實際運行情況，在基于Arbiter2 的實現(xiàn)原理上，從資源和時間兩個維度限制超出閾值的用戶，并設(shè)計了多層懲罰機制，動態(tài)調(diào)整用戶可用資源。實際應(yīng)用結(jié)果表明，登錄節(jié)點上用戶違規(guī)次數(shù)大幅降低，資源利用率始終處于正常水平。

1 關(guān)鍵技術(shù)及實現(xiàn)原理

1.1 關(guān)鍵技術(shù)Cgroups和Systemd

Cgroups 全稱是Control Groups，早在2006 年由Google工程師（主要是Paul Menage 和Rohit Seth）發(fā)起，并于2007 年嵌入在linux內(nèi)核中，成為一種可以限制、記錄任務(wù)組所使用的物理資源的機制，如限制CPU、內(nèi)存、I/O 等資源的使用。Cgroups 將系統(tǒng)中的進程（任務(wù)）進行分組化管理，每組進程為一個控制族群（control group）。控制族群以層級（hierarchy）的形式組織成一顆控制族群樹，子族群繼承父族群的特性。對CPU、內(nèi)存等資源進行控制的子系統(tǒng)稱之為資源控制器，必須要附加到某個層級上才能起作用，從而對層級上的控制族群進行管理［11］。

Systemd通過提供內(nèi)在機制、默認(rèn)設(shè)置和相關(guān)的操作命令，降低了Cgroups的使用難度，提供了一種便捷的方式。在系統(tǒng)的初始化階段，Systemd會把資源控制器即子系掛載到默認(rèn)的/sys/fs/cgroup/目錄下面，并自動創(chuàng)建進程組（slice）、外部進程（scope）和系統(tǒng)服務(wù)（service unit）來為Cgroups 樹提供統(tǒng)一的層級結(jié)構(gòu)。在層級頂端Systemd 會自動創(chuàng)建4 個slice（-.slice，system.slice，user.slice，machine.slice）來監(jiān)測并限制用戶行為，在用戶登錄時自動創(chuàng)建，在會話結(jié)束后自動銷毀。默認(rèn)情況下，內(nèi)存和CPU 的控制器都未啟用，可以通過systemctl set-property user-# UID.slice 來啟用，并設(shè)置：slice CPU Accounting=true，Memory Accounting=true［12］。

1.2 實現(xiàn)原理

（1）監(jiān)測資源使用率。為了收集登錄節(jié)點用戶資源使用信息，需要從Cgroups 層次結(jié)構(gòu)/sys/fs/cgroup中提取用戶CPU 和內(nèi)存的使用率。當(dāng)用戶登錄集群時，會在每個用戶的控制器下創(chuàng)建一個slice 文件，用于記錄用戶資源使用信息，CPU 控制器下的slice 位于/sys/fs/cgroup/cpu/user.slice/user-#UID.slice，內(nèi)存控制器的slice 位于在/sys/fs/cgroup/mem/user.slice/user-#UID.slice。cpu.usage_percpu 用于記錄CPU 資源使用率，但是該使用率是指用戶自建立cgroups以來的CPU使用率，可通過提取時鐘頻率的差異來表示當(dāng)前CPU使用率。memory.usage_in_bytes 用于內(nèi)存使用率，為了準(zhǔn)確判斷當(dāng)前內(nèi)存使用率，一般是多次測量取平均值［13-14］。

（2）不良評分。設(shè)置參數(shù)badness 用于計算每個用戶的不良評分，最高分為100，最低分為0，根據(jù)不良評分大小來選擇相應(yīng)的懲罰措施。不良評分的計算公式：式中：ur是用戶使用的資源；Qr是每位用戶可使用的資源配額；Cr是設(shè)置的資源閾值。當(dāng)用戶使用的資源大于閾值，即ur≥Cr時，不良評分ΔBr會隨著時間的增加而增加，當(dāng)增加到某一值時，則啟動懲罰措施；當(dāng)用戶使用的資源在閾值以下時，即ur＜Cr時，不良評分ΔBr會逐漸減少，受到的限制也會逐步減少。α 和β為系數(shù)，通過調(diào)節(jié)這兩個系數(shù)，可以調(diào)節(jié)badness 變化快慢。最終的結(jié)果是，用戶可以在短暫時間內(nèi)運行資源消耗超過其閾值的程序，而不會受到懲罰。但是，長時間超過限定的閾值時，不良評分會逐漸增大，當(dāng)達(dá)到一定的數(shù)值后就會啟動懲罰措施來限制用戶可使用的資源。

（3）用戶狀態(tài)。狀態(tài)包含用戶所處的狀態(tài)、特殊性質(zhì)的狀態(tài)（如白名單）以及屬性狀態(tài)組。每個用戶在同一時間只能處于一種狀態(tài)，稱之為“當(dāng)前狀態(tài)”。用戶的另一種狀態(tài)是默認(rèn)狀態(tài)，該狀態(tài)主要用于用戶從處罰狀態(tài)返回時，系統(tǒng)通過默認(rèn)狀態(tài)對用戶限制資源。本文設(shè)計方法通過將用戶的uid或gid與order變量中遇到的第一個狀態(tài)進行匹配，來確定用戶的默認(rèn)狀態(tài)，若與order變量中定義的任何狀態(tài)都不匹配，則將用戶組設(shè)置為默認(rèn)狀態(tài)組即fallback_status。

（4）資源限制。當(dāng)用戶的不良評分達(dá)到懲罰值時，就會啟動相應(yīng)的懲罰措施來限制用戶可用資源。對CPU資源的限制是通過CPU層次結(jié)構(gòu)中的cpu.cfs_quota_us 文件來限制，當(dāng)用戶使用超過閾值（cpu_badness_threshold）時，短時間內(nèi)將會被限制使用資源。對用戶內(nèi)存資源的限制是通過內(nèi)存層次結(jié)構(gòu)中的memory.limit_in_bytes 文件，當(dāng)用戶使用量超過閾值（mem_badness_threshold）時，內(nèi)核會首先嘗試收回內(nèi)存，若無法實現(xiàn)，則會清理掉Cgroups 中最大的任務(wù)［15］。

2 高性能計算集群上的實踐過程

系統(tǒng)總體工作流程如圖1 所示。用戶登錄集群后，系統(tǒng)首先判斷用戶的cpu.usage _ percpu 和memory.usage_in_bytes是否超過閾值，如果超過閾值，則根據(jù)用戶違規(guī)嚴(yán)重程度采取懲罰措施，一段時間未違規(guī)，則相應(yīng)降低懲罰，逐步回歸正常狀態(tài)。接下來將詳細(xì)介紹用戶身份和狀態(tài)分類、CPU 和內(nèi)存相關(guān)設(shè)置、懲罰級別分類。

圖1 系統(tǒng)總體工作流程示意圖

首先，設(shè)置用戶身份和狀態(tài)。將用戶設(shè)置為管理員用戶和普通用戶兩種身份，管理員用戶加入白名單，可以任意使用登錄節(jié)點資源，不受限制。管理員名單目前只設(shè)置兩位，更多的賬號是普通用戶。將用戶狀態(tài)設(shè)置為正常狀態(tài)和懲罰狀態(tài)，正常狀態(tài)即默認(rèn)狀態(tài)，用戶在登錄節(jié)點上可以使用的資源是默認(rèn)值的百分百，并且允許短時間內(nèi)高負(fù)載運行；當(dāng)用戶有違規(guī)行為時，則進入懲罰狀態(tài)。

其次，分類設(shè)置系統(tǒng)資源。將正常用戶可使用的資源設(shè)置為1 核CPU，4 GB內(nèi)存，CPU閾值設(shè)置為cpu_badness_threshold=80%，內(nèi)存閾值mem_badness_threshild=50%，time_to_max_bad=5 min，time_to_min_bad=30 min，即當(dāng)用戶使用CPU超過80%或者內(nèi)存使用量超過50%，且持續(xù)時間超過5 min，則不良評分開始增加，當(dāng)用戶的CPU和內(nèi)存使用率持續(xù)30 min均在閾值以下，不良評分則會逐步減少。以內(nèi)存使用率為例，隨機統(tǒng)計了某位用戶一段時間內(nèi)資源使用率與不良評分的變化，如圖2 所示。

圖2 登錄節(jié)點上用戶資源使用率與不良評分變化

最后，設(shè)置懲罰措施。對于違規(guī)用戶，采取3 層懲罰機制動態(tài)限制用戶可用資源。不同級別的懲罰措施對應(yīng)的資源可用率和資源限制時間不同，如表1 所示。

表1 用戶狀態(tài)與其對應(yīng)的資源限制

3 結(jié)果分析

上海交通大學(xué)高性能計算集群登錄節(jié)點有3 臺主機，操作系統(tǒng)均是CentOS 7.7，且操作系統(tǒng)帶有cgroups v1 的Systemd版本，依賴的軟件主要有Python 3、toml和matplotlib。研究人員在T2、T3 兩臺登錄節(jié)點主機上進行了軟件部署和相關(guān)參數(shù)設(shè)置，T1 主機上保持原有狀態(tài)。

經(jīng)過6 個月的試運行，登錄節(jié)點的T2、T3 主機資源平均使用率顯著下降，因用戶不合理行為導(dǎo)致節(jié)點掛機的情況減少至零。隨機統(tǒng)計了一段時間內(nèi)3 臺登錄節(jié)點資源使用率，如圖3 所示，T2、T3 主機上的內(nèi)存和CPU資源使用率始終在50%以下，T1 主機上的內(nèi)存和CPU資源使用率較高，平均在80%左右。

圖3 登錄節(jié)點上用戶可用資源限制前后使用率對比

4 結(jié)語

本文分析了登錄節(jié)點的意義及重要性，討論了上海交通大學(xué)高性能計算集群登錄節(jié)點存在的問題。針對登錄節(jié)點負(fù)載過高的情況，在研究了其他HPC機構(gòu)的管理方式后，提出了一種基于Cgroups 控制組策略的可以動態(tài)限制資源的方法。實際應(yīng)用結(jié)果表明，CPU和內(nèi)存使用率始終處于正常水平，登錄節(jié)點的穩(wěn)定性和可靠性得到了提高。同時，本文提出的方法對其他機構(gòu)高性能計算集群的登錄節(jié)點管理也有一定的參考價值。