識別Z 玻色子噴注的卷積神經(jīng)網(wǎng)絡方法*

李靖 孫昊

(大連理工大學物理學院， 大連 116024)

1 引 言

在大型強子對撞機(LHC)上， 粒子在非常高的能量下進行碰撞， 研究人員可以通過各種探測器觀測到末態(tài)粒子束(噴注).因為能量如此之高， 噴注在量能器上產(chǎn)生的能量沉積有可能發(fā)生重疊， 這樣會形成一個胖噴注.胖噴注有著豐富的亞結構，可以用來研究產(chǎn)生它的相應的過程.以Z 玻色子衰變到雙噴注為例， 胖噴注含有潛在的多個亞噴注結構， 相比之下， 普通的量子色動力學(quantum chromodynamics， QCD)過程產(chǎn)生的胖噴注則沒有這樣的結構.從龐大的QCD 噴注背景下識別出特定過程產(chǎn)生的噴注對之后進行噴注研究有著重要的意義， 這就是噴注識別.大量的工作通過理解胖噴注的亞結構來提出識別的方法， 這些工作的綜述可以查看文獻[1-3].在物理學中， 傳統(tǒng)的方法是設計一些觀測量， 然后對這些觀測量的分布人為施加截斷， 全部的截斷構成了一個分辨器; 也可以單獨或者組合利用這些觀測量， 通過增強決策樹(boosted decision trees， BDTs)這種機器學習算法來進行分辨.盡管這些觀測量是人為精心構造出來的， 但是它們并不一定能充分利用到噴注所含的潛在信息.

近年來， 大量的工作嘗試將機器學習方法應用于物理中的不同任務[4-6].其中對于噴注識別的任務， 不同的機器學習模型有著不同的輸入， 于是人們構造了噴注的不同的表示方法， 例如: 圖片[7-18]、序列[19-22]、圖結構[23]、集合[24]等.通過利用模型自動提取特征的功能， 更高維度、更復雜的信息被產(chǎn)生用來識別噴注的來源.本文的識別任務是從QCD 背景下識別出由高能Z 玻色子衰變而來的噴注.區(qū)別于人為構造的觀測量， 我們直接利用了低維的四動量數(shù)據(jù)， 來探索這一原始數(shù)據(jù)所包含的有用的潛在信息.噴注被看作是一張圖片作為輸入， 然后利用卷積神經(jīng)網(wǎng)絡(convolutional neural networks， CNNs)， 通過層層相連的卷積層，來提取出不同維度的特征圖， 依次作為輸入傳入下一層， 最后通過全連接層輸出信號與背景的概率，通過相對概率的大小， 噴注圖片被識別成信號或者背景.在不同深度的CNN 進行訓練比較之后， 找出了對于這一過程， 最精簡與最高效的CNN 結構.為了對比它們與傳統(tǒng)方法的差異， 還使用了BDT來進行識別.結果顯示CNN 模型的效果遠超BDT的效果， 也說明了在未來的標注識別研究中， 這種結構及其變體蘊含的巨大潛力.

2 數(shù)據(jù)產(chǎn)生

選取Z 玻色子衰變產(chǎn)生雙噴注作為研究的信號， 選取普通并且非常龐大的QCD 噴注作為背景.利用Pythia[25]模擬了這兩種過程， 產(chǎn)生了部分子水平的數(shù)據(jù)， 它們的截面分別為 2.485×10-9mb和 2.507×10-6mb.中心能量設置為14 TeV，橫向動量 pT范圍設置為400—450 GeV， 贗快度范圍[7]設置為 | η|＜1.6 ， 方位角的范圍是 | φ|＜π/2.得到了末態(tài)粒子的四動量后， FastJet[26]用來聚集噴注.只保留橫向動量大于5 MeV 的末態(tài)粒子， 并使用Anti-kT算法[27]來聚集 Δ R ＜1 的粒子來產(chǎn)生胖噴注.Δ R=0.3 的kT算法被用來做再聚合產(chǎn)生亞噴注.為了降低潛在事件的影響， 舍棄了橫向動量不足胖噴注橫向動量5%的亞噴注， 這也叫做噴注修剪[28].

經(jīng)過篩選后每個事件剩下的末態(tài)粒子， 也就是上面保留下來的組成亞噴注的粒子， 被用來產(chǎn)生噴注圖片.粒子的橫向動量 pT作為權重來投影到由贗快度 η 和方位角 φ 組成的二維平面上.為了模擬真實的量能器， 將數(shù)據(jù)的精確度設置為Δη×Δφ=0.1×0.1， 單位小格構成噴注圖片的一個像素.位于同一像素的粒子， 它們的橫向動量之和組成該小格的像素強度.最后產(chǎn)生的噴注圖片尺寸大小為32 × 32.為了讓模型最快地學習識別信號與背景，對噴注圖片做了預處理.預處理可以大大減少訓練的時間， 并且提升模型的識別效果.圖片的產(chǎn)生和預處理步驟有: 平移、像素化、旋轉.首先將噴注數(shù)據(jù)中的首要亞噴注(有著最大的橫向動量)移動到η- φ 平面的原點， 即噴注圖片的中心， 然后再將噴注所含有的全部粒子投影到這個平面上， 最后將次要的亞噴注旋轉到中心的正下方.圖1展示了Z 玻色子與QCD 的平均噴注圖片， 次要的亞噴注清楚地顯示在信號噴注圖1(a)中， 而背景噴注在圖1(b)中， 相應區(qū)域的像素強度更加平均與發(fā)散， 沒有形成明顯的次要噴注區(qū)域.

在分別模擬了一百萬的信號與背景事件之后，最后得到的信號與背景噴注圖片的數(shù)量總共約為五十四萬， 各占其中的一半.在將它們順序打亂后，其中的30%作為測試集， 剩下的作為訓練集.驗證方法采用了三折交叉驗證， 每次將訓練集分成3 份， 選擇其中的一份作為驗證集， 其余的兩份作為訓練集.

3 研究方法

3.1 卷積神經(jīng)網(wǎng)絡(CNN)

圖1 (a)信號平均噴注圖; (b)背景平均噴注圖; 橫坐標 η 代表贗快度， 縱坐標代表方位角 φ.Fig.1.(a) Signal average jet image; (b) background average jet image.η and φ represent pseudo-rapidity and azimuth respectively.

本文卷積塊(ConvBlock)由一個卷積層， 一個批歸一化層， 一個最大池化層組成.為了保持輸入的尺寸大小不變， 卷積層的填充數(shù)設置為1， 卷積步長設置為3.在這樣的設計下， CNN 可以有更深的結構.為了防止模型過于復雜帶來的過擬合， 在卷積塊的最后添加了丟棄層， 有50%的概率丟棄與之相連的特征圖.總共探索了四種CNN 結構:所包含卷積塊的個數(shù)分別為2， 3， 4， 5， 分別命名為CNN 1， CNN 2， CNN 3， CNN 4.展示了包含4 個卷積塊的CNN 3 結構， 如圖2 所示.所有的結構都是卷積塊層層堆疊組成的， 最后加上一個全連接的分辨層得到輸出.隨著層數(shù)變深， 中間得到的特征圖通道數(shù)逐漸增多， 尺寸變小， 直到最后的單像素圖.除了這一種結構， 文獻[9， 17]還探索了不同的結構.在訓練過程中采用了Adam 優(yōu)化算法，學習率設置為0.001， 同樣為了防止過擬合采用了早停法， 在20 個周期內(nèi)如果驗證集上的損失沒有下降的話， 訓練將會終止.此外使用了交叉熵損失函數(shù).模型由Pytorch 搭建而成， 訓練使用了Pytorch 的高級封裝Skorch.

3.2 增強決策樹(BDTs)

為了衡量CNN 的分辨效果， 將增強決策樹作為基線， 聚集產(chǎn)生的胖噴注的質(zhì)量、橫向動量， 首要 和 次 要 亞 噴 注 之 間 的 Δ R ， 以 及 噴 注 形 狀Nsubjettiness 中 的 τ21作 為 它 的 輸 入， 圖3(a)—(d)分別顯示了它們的分布.我們采用的是Sklearn 中的梯度增強決策樹(gradient boosted decision tree，GBDT).其中學習率設置為0.1， 用來訓練不同樹的樣本比例設置為0.9， 每個樹的最大深度設置為3.對于樹的個數(shù)， 分別采用了100， 200， 300 來試圖找到最佳的設置.需要注意的是， 這里出現(xiàn)的并不是全部的設置， 其他的設置可能會出現(xiàn)更好的模型， 這個將在未來進行探索.

圖2 CNN 3 結構示意圖， 產(chǎn)生這張圖片的程序來自https://github.com/gwding/draw_convnetFig.2.Architecture of the CNN 3.This figure was generated by adapting the code from https://github.com/gwding/draw_convnet.

圖3 (a)胖噴注的質(zhì)量分布; (b)胖噴注的橫向動量分布; (c)胖噴注含有的首要與次要噴注的距離分布; (d) N-subjettinessτ21的分布Fig.3.(a) Mass distribution of fat jets; (b) transverse momentum distribution of fat jets; (c) distribution of distance between leading and subleading subjets; (d) distribution of N-subjettiness τ 21.

4 結果與討論

在對實驗結果進行分析之前， 先來說明一下本文用到的分析方法.我們把識別得到的信號占真實信號的比例稱作信號效率， 記為 εs， 錯誤地識別成信號的背景占真實背景的比例稱作錯誤標記率， 記為 εb.通常情況下當信號輸出的相對概率大于50%的閾值時， 模型判斷輸入的噴注圖來自信號.可以利用接受者操作特性(the receiver operating characteristic， ROC)曲線來展示隨著閾值的變化，模型判斷信號與背景的變化.這里橫坐標為 εs; 縱坐標為 1 /εb， 它也被稱為背景拒絕效率.一般來說希望模型在相同的信號效率下有更高的背景拒絕效率， 所以在ROC 曲線圖中， 曲線位于更高位置的模型， 認為它的表現(xiàn)更好.除了ROC 曲線， 還使用了其他三種參數(shù): 曲線下的面積(area under the curve， AUC)來反映不同模型的性能差異， 這里的曲線指的是分別以 εb與 εs為橫縱坐標作出的曲線，與我們利用的ROC 曲線不同; 準確度(accuracy，ACC)， 模型識別的正確率; R50， 在信號效率為50%的情況下背景拒絕效率的值.

接下來對得到的結果進行分析.圖4 展示了前面提到的所有模型的ROC 曲線， 表1 展示相對應參數(shù)的值.圖中的ROC 曲線表明了通過加深模型，CNN2， CNN 3， CNN 4 獲得了比CNN 1 更強的分辨能力， 但是CNN 3 和CNN 4 的分辨能力幾乎是一模一樣的.這也可以反映出盡管CNN 4 模型參數(shù)幾乎是CNN 3 的四倍， 但是無法再通過簡單地加深模型來提升它的表現(xiàn)， 所以CNN 3 是在這種將卷積塊層層連接的設計下最精簡的模型.對于BDT， 盡管3 個表現(xiàn)參數(shù)隨著樹的個數(shù)增多而增加， 但是它們的對于分辨能力的影響極其有限(甚至將樹的個數(shù)設置為個位數(shù)， 但是它的表現(xiàn)依舊沒有什么大的變化).這說明對于BDT， 此時限制模型分辨能力的因素已經(jīng)不再是模型的結構， 而可能與我們選擇的輸入有關， 之后的工作可以嘗試更多種類的觀測量加以驗證.需要注意并不是種類越多越好， 含有模糊信息的輸入反而可能會誤導模型使它的分辨能力下降.對于我們選取的用來衡量模型表現(xiàn)的參數(shù)， 準確度的差異非常小， CNN 3 相較于表現(xiàn)最差的CNN 1 與BDT 1， R50 分別提升了大約1 倍與1.5 倍， 準確度達到了0.8324.

圖4 不同模型的ROC 曲線Fig.4.ROC curves of different models.

表1 用來衡量不同模型表現(xiàn)的性能參數(shù)Table 1.Metrics to evaluate performance of different models.

為了進一步了解CNN 3 的分辨能力， 利用softmax 函數(shù)將模型輸出轉化為對應類別的概率， 公式為

其中， i 表示輸出神經(jīng)元所代表的輸入類別， 0 代表背景， 1 代表信號; o 代表了神經(jīng)元的本身的輸出.選取信號神經(jīng)元來查看由不同類別的輸入得到的輸出分布， 如圖5 所示.圖中信號的輸出大部分集中于1 附近， 背景集中于0 到0.3 附近， 模型可以很好地將它們區(qū)分開來.

圖5 CNN 3 信號神經(jīng)元對于信號(橘色)與背景(藍色)的輸出分布Fig.5.Distribution of the signal neuron of the CNN 3 on signal and background samples.

圖6 最優(yōu)與最差的信號噴注圖Fig.6.The best and the worst signal jet images.

圖7 最優(yōu)與最差的背景噴注圖Fig.7.The best and the worst background jet images.

為了探索神經(jīng)網(wǎng)絡學習到了噴注所含有的哪些結構， 分別作出了最優(yōu)與最差的信號與背景的噴注圖片， 如圖6 和圖7 所示.結合最優(yōu)的信號與最差的背景來看， 信號的中心是一個橫向動量很高的亞噴注， 或者具有兩個亞噴注的結構.相比之下，最優(yōu)的背景顯示出一種近乎隨機的分布， 圖7(a)具有兩個亞噴注的結構， 但從圖中來看與信號的兩個亞噴注的距離不同.圖7(b)和圖7(c)中顯示了多個亞噴注的結構并且相互各異， 圖6(d)—(f)也顯示出這種距離較為隨機的雙亞噴注結構.總體來說， 背景噴注的結構更加隨機， 不只是兩個， 多個亞噴注也可能出現(xiàn)， 并且對比亞噴注本身， 背景更加分散， 信號更加集中.除了最好與最差的噴注圖片， 將四種可能的識別情況: 正確識別成信號的信號、錯誤識別成背景的信號、正確識別成背景的背景和錯誤識別成信號的背景做成一個混淆矩陣， 來對不同類別的分辨效果進行探究.圖8 展示了我們得到的混淆矩陣， 縱坐標代表著真實的類別， 橫坐標代表著模型預測的類別.除了大部分識別正確的噴注以外， 發(fā)現(xiàn)背景識別的準確率遠大于信號， 信號中有將近23%的噴注錯誤地識別成了背景， 這意味著對于背景的QCD 噴注， 模型對于來自Z 玻色子衰變的噴注更加不確定.由圖1 與圖7 得到這樣的線索: 信號與背景的特征有很大部分是重合的， 我們訓練的模型傾向于將這樣重合的特征， 例如不固定 Δ R ， 歸為背景噴注， 而只有具有顯著的單噴注或者集中的雙噴注結構識別為信號， 這樣的模型對于信號更加“保守”.在實際的實驗中， 信號事件的數(shù)量遠遠小于無關的事件數(shù)， 這就導致了信號噴注占的只是很小的一部分， 所以這樣保守的模型可能會過濾掉少數(shù)的感興趣的信號， 相反的過于激進的模型可能會將無關的背景識別成信號， 產(chǎn)生誤導.如何設計與訓練模型才能達到在保守與激進之間的平衡， 是將來研究的重點.

圖8 CNN 3 在測試集上的混淆矩陣， 其中縱坐標代表噴注圖的真實類別， 橫坐標代表模型預測的類別Fig.8.Confusion matrix of the CNN 3 on the test set.The true label is on the vertical axis， and the predicted label in on the horizontal axis.

5 結 論

本文探索了把卷積神經(jīng)網(wǎng)絡應用于噴注識別任務上的潛力.通過把噴注投影到η- φ 平面上， 得到了噴注的圖片表示， 將它作為輸入放進不同深度的卷積神經(jīng)網(wǎng)絡中.訓練測試得到的結果顯示， 我們設計的CNN 3 具有最好的識別效果， 并且在相同的表現(xiàn)下結構是最精簡的.與之相比較的是， 將產(chǎn)生的噴注的橫向動量、質(zhì)量、亞噴注之間的距離作為特征輸入的增強決策樹， 設計的三種決策樹取得了最差的分辨能力， 并且相互之間沒有差異， 可能的原因是輸入的種類不多.通過找到最優(yōu)與最差的信號與背景噴注， 總結了信號與背景的特點.利用每個類別的識別情況， 做出了模型的混淆矩陣，發(fā)現(xiàn)訓練出的模型偏向于保守—更容易將信號錯誤地識別成為背景， 雖然它識別的結果相比于激進的模型來說更加可靠， 但是也更容易漏掉真實實驗中數(shù)量很少的信號事件.本文為之后設計模型以達到保守與激進的平衡， 貢獻了一個基準， 為以后的評估模型提供了一種思路.