深度圖注意力聚類網絡

蘇曉明，斯 琴，王海波，董建敏

（1. 內蒙古工業大學數據科學與應用學院，內蒙古 呼和浩特 010000；2. 內蒙古自治區紀檢監察大數據實驗室，內蒙古 呼和浩特 010000）

0 引言

聚類是通過學習分析數據的潛在分布，進而將相似的樣本劃入相同的簇。它是數據科學以及機器學習領域中的一個重要研究方向。傳統的聚類算法包括基于劃分的K-均值算法[6]、基于層次的 CURE算法[7]、基于概率分布的 EM 算法[8]以及基于密度的DBSCAN算法[9]。但是對于高維數據集，傳統的聚類算法很難達到理想的聚類效果，會需要很高的內存消耗。雖然目前也有相關方法對原始高維數據進行降維，但是只能進行線性降維，而不能進行非線性關系映射處理。針對該問題，基于深度學習的聚類算法引發了眾多學者的研究興趣，它使用不同的非線性函數降維，減少噪聲數據，提高數據有效性。

深度聚類算法的主要思想是將聚類目標融合進數據表達里面。例如Bo等[3]首次提出了深度聚類網絡（Deep Clustering Network，DCN），它采用棧式自動編碼器對數據進行非線性降維，使用包含K-均值原理[6]的損失函數去訓練模型，使得模型更容易對數據進行K-均值劃分。深度嵌入聚類網絡（Deep Embedding Clustering，DEC）[4]通過 KL散度損失函數使得自動編碼器生成的數據表達更接近聚類的中心，提高了內聚性。改進的深度嵌入聚類網絡（Improved Deep Embedding Clustering，IDEC）[5]在 DEC模型的基礎上添加了重建損失函數來幫助模型學習到更好的表達。但是這些方法只提取了有效的數據表達，沒有考慮到數據結構信息對聚類目標準確性的影響。

針對以上問題，一些基于圖結構的聚類算法被廣泛使用，Kip等[2]提出了圖自動編碼器和圖變分自編碼器，它們使用圖卷積網絡作為編碼器將結構信息和結點特征融合在一起，去學習結點的表征。Yang等[11]設計了一種基于圖嵌入的高斯混合變分自動編碼器，將局部數據結構添加到深度高斯混合模型中進行聚類。Bo等[1]提出結構化深度聚類網絡（Structural Deep Clustering Network，SDCN），將圖卷積網絡融入聚類網絡中，旨在捕捉數據的結構化信息，提升模型聚類性能。但是上述網絡缺少針對聚類目標更具判別性的數據表征。

為了解決上述問題，本文提出深度圖注意力聚類網絡，旨在融合數據結構信息的基礎上利用注意力機制的特點，根據預定聚類目標提取數據重要部分，從而提升整個模型的分類準確度。

1 深度圖注意力聚類網絡

本文提出了一種基于圖注意力機制的深度聚類網絡。首先利用自動編碼器模塊分層提取不同表征的全局信息。根據輸入數據特點建立圖結構數據，計算圖結構數據中鄰居結點重要度，采用多頭圖注意力模塊提取包含圖結構的特征信息，將不同層全局表達與對應圖結構信息相連，通過隨機梯度下降與反向傳播來優化重建損失與基于KL散度聚類損失的加權和，學習網絡表征及其簇分配，如下圖1所示。

圖1 深度圖注意力聚類網絡示意圖Fig.1 diagram of deep attention clustering network

1.1 圖數據的構建

1.2 自動編碼器

對于深度聚類來說，有效的數據表達是非常重要的。在這里我們為了保持一般性并使模型能適用于不同的數據格式而選擇自動編碼器（Autoencoder，AE）[9]提取全局信息。假設有L層編碼器，i代表層數。第i層編碼器或者解碼器學習到的特征表達公式為：

1.3 圖注意力機制

這里我們采用的是多頭注意力機制思想融入圖結構中形成多頭圖注意力機制[11]，選定某一結點，它的每個鄰居結點選取K個獨立的注意力機制進行計算，K個不同結果采用平均或者拼接方式作用在該結點上。如圖2所示，本圖演示了三頭注意力機制，不同顏色箭頭表示不同注意力機制的計算。

圖2 多頭注意力機制示意圖Fig.2 diagram of multi-head attention mechanism

其中Ni表示與結點i相鄰的結點，K表示注意力機制的個數，δ表示非線性函數，αi,j表示結點 j與結點i之間的注意力權重系數，其計算公式如（5）所示：

聚合鄰居信息時，需要對每個節點的所有鄰居的注意力進行歸一化。歸一化之后的注意力權重才是真正的注意力聚合系數。通過學生 t分布計算圖注意力模塊輸出zi與聚類中心ui的相似度通過高自信度計算聚類頻率目標分布pij，運用KL散度優化qij和pij得到聚類的損失函數，如公式（6）所示，通過隨機梯度下降與反向傳播優化重建損失與基于 KL散度聚類損失的加權和，學習網絡表征及其簇分配。

2 實驗及結果分析

本文實驗環境如下：

操作系統為Ubuntu1804。

硬件平臺為 Intel(R) Xeon(R) E5-2640 v4@2.40 GHz CPU，120 GB。

內存，11 GB。

高速緩存，GPU是Nvidia Geforce GTX 1080.編程環境Python3.8。

深度學習框架為Pytorch1.7.1。

2.1 數據集介紹

我們的模型在六種數據集上進行了評估，其中HHAR包含來自智能手機和手表的10 299個傳感器記錄。所有樣本分成6類：騎自行車、坐、站立、行走、上樓梯和樓梯；Reuters是一個文本數據集，包含大約 81萬標記好的英文新聞故事的分類樹，分為企業/工業、政府/社會、市場和經濟四類；ACM2是一個描述論文之間關系的數據集，包含數據庫、無線通信和數據挖掘選三類論文；DBLP是作者為結點的數據集。如果兩位作者是合作關系，那么他們之間有一個邊。作者寫作的類別為數據庫、數據挖掘、機器學習和信息檢索；Citeseer是一個描述文檔之間關系的數據庫，文檔之間有引文鏈接，那么設定一條邊。文檔的類型包括代理、商業智能、數據庫、信息檢索、機器語言和HCI。

2.2 評價指標及結果對比

為了衡量算法的聚類性能，采用如下聚類評價指標進行評價。（1）聚類準確度（Clustering Accuracy，ACC）表示的是預測為正的樣本中有多少是對的；（2）歸一化互信息（Normalized Mutual Information，NMI）是衡量2個聚類之間共享信息量的信息論度量，較可靠地評價不平衡數據集聚類效果；（3）調整蘭德指數（Adjusted Rand Index，ARI）是衡量兩個數據分布的吻合程度的，值越大意味著聚類結果與真實情況越吻合；④F1值（F1-score）是精確率和召回率的調和平均數，綜合考慮準確率和召回率的影響。從表 1的對比實驗的結果可以看出，我們的算法在其中四種數據集上的結果準確度更優。加粗的黑色數值表示該算法在當前數據集的結果最優。

表1 不同算法在數據集上的指標值對比Tab.1 model result comparison on different datasets

續表

3 結論

本文提出深度圖注意力聚類網絡，該模型全方位地抽取數據的圖結構信息、全局表達以及對聚類更有效的局部特征，具體流程如下，首先利用自動編碼器學習較好的全局特征，在原數據的基礎上構建圖結構。根據鄰居結點重要度，采用圖多頭注意力模塊提取包含圖結構的特征信息，將不同層全局表達與對應圖結構信息相連，通過隨機梯度下降與反向傳播優化重建損失與面向聚類目標的KL散度聚類損失。在5個公開的圖像數據集上的實驗表明，我們的網絡具有較優的聚類性能與良好的泛化性能。