基于數據挖掘方法的開放骨架磷酸鋁定向合成參數分析

郭羽婷　高　娜　史瑞新　齊　妙　王建中＊,(東北師范大學計算機科學與信息技術學院，長春　07)(吉林大學化學學院，長春　00)(吉林大學口腔醫學院，長春00)

基于數據挖掘方法的開放骨架磷酸鋁定向合成參數分析

郭羽婷1高娜2史瑞新3齊妙1王建中＊,1
(1東北師范大學計算機科學與信息技術學院，長春130117)
(2吉林大學化學學院，長春130012)
(3吉林大學口腔醫學院，長春130021)

開放骨架磷酸鋁化合物是多孔晶體材料的一個重要家族。然而，這類材料的合成受到反應原料、凝膠組成、溶劑、模板劑、結晶溫度和結晶時間等多個因素的影響。本文以吉林大學“無機制備與合成化學國家重點實驗室”建立的開放骨架磷酸鋁合成反應數據庫為研究對象，采用最大權重最小冗余特征選擇算法(Maximum weight and minimum redundancy，MWMR)，在充分考慮合成參數自身的重要程度和合成參數之間的相關關系的前提下，分析了溶劑、模板劑等合成參數對于合成含有(8，6)元環結構開放骨架磷酸鋁的影響。通過大量實驗驗證了該方法在開放骨架磷酸鋁合成參數分析中的有效性，分析了合成參數對產物生成的影響。實驗結果表明模板劑的幾何參數、模板劑中C原子和N原子的個數比，溶劑的偶極距等參數可能對于該類結構的合成具有較為重要的影響。

開放骨架磷酸鋁；合成參數；數據挖掘；特征選擇

開放骨架磷酸鋁材料以其豐富的孔道結構、多樣的元素組成在催化、吸附和分離等領域有著潛在的應用價值。然而，這類材料的合成受到多個合成參數的影響，其結晶機理難以理解和難以建模，給定向合成帶來巨大的挑戰[1]。為了深入理解開放骨架磷酸鋁材料的形成機理，吉林大學“無機制備與合成化學國家重點實驗室”在國際上率先建立了開放骨架磷酸鋁(AlPOs)合成反應數據庫[2-3]。

數據挖掘技術可以從大量數據中提取或“挖掘”知識，是一種基于機器學習、統計學等的決策支持過程[4-5]。通過數據挖掘方法進行數據分析，可以發現重要的信息，對各個領域的研究均做出了較大的貢獻。特征選擇是一種重要的數據挖掘技術。特征選擇是指根據某種評估標準，選擇出數量較少、評估效果較好的特征子集[6]。

通過特征選擇技術可以深入分析數據本質，挖掘隱藏在大量數據中的潛在信息。相關領域研究者以吉林大學建立的磷酸鋁合成反應數據庫為研究對象，利用特征選擇方法開展了合成參數分析相關的一系列研究。文獻[7]通過一種窮盡搜索的策略分析了11個合成參數對于含有(12，6)元環結構AlPOs生成的影響。文獻[8]采用基于決策樹的特征選擇方法分析了26個合成參數對于合成AlPO4-5的影響。文獻[9]將含有(12，6)元環結構的AlPOs作為研究對象，提出了一種基于融合學習與特征選擇的分類方法，分析合成參數對于該類結構合成的影響。文獻[10]提出了一種基于隨機子空間、Fisher得分和順序前向搜索的特征選擇模型，分析了合成參數與產物結構之間的關系。文獻[11]根據經驗知識對含有(8，6)元環結構AlPOs的合成參數進行了分析，并利用支持向量機對其結論作了驗證。

已有工作充分證明了特征選擇技術在磷酸鋁合成參數分析中應用的有效性和可行性。但存在以下局限：已有工作在特征選擇過程中沒有考慮特征之間的相互依賴關系，即相關關系。文獻[23]已驗證了考慮特征之間相關關系在特征選擇中的重要性。特征之間的相關關系一般用相關系數度量。兩個特征之間的相關系數絕對值越大，它們之間的相互依賴關系就越強。在AlPOs合成反應數據庫中，合成參數之間存在著比較嚴重的相關關系。如表1的合成參數中，F14與F20、F17與F18的相關系數分別為0.91、0.95，而F8與F10的相關系數盡高達0.99。如果在特征選擇過程中沒有考慮特征之間的相關關系，最終結果將很有可能包含冗余信息，影響最終結論。

為了進一步完善有關AlPOs合成參數的分析工作，本文在充分的考慮了特征本身重要程度與特征之間相關關系的前提下，采用最大權重最小冗余算法(Maximum Weight and Minimum Redundancy，MWMR)[12]，深入挖掘各種參數對于AlPOs定向合成的影響，為定向合成實驗設計提供指導性建議。

表1　合成參數描述Table 1 Description of the synthetic parameters*

1　方法與實驗

1.1相關方法簡介

1.1.1最大權重最小冗余特征選擇算法

假設輸入數據包含n個樣本，D個特征。W=[w1，w2，…wD]T∈RD×1表示每個特征重要程度或權重,其中，wi>0，wi越大，相應的特征越重要。特征的權重可以使用任意經典的權重度量方法獲得。R∈RD×D表示特征的相關矩陣。MWMR算法的目的是從原始特征集的D個特征中選出d個特征形成一個新的特征子集V，使V中d個特征的特征權重最大而特征之間的相關性最小。其目標函數定義為：

其中，y=[y1，y2,…，yD]T是指示向量，yi=1(或0)表示第i個特征被選擇到(或沒有被選擇到)V中。在公式(1)中，第一項表示選擇到的d個特征的平均權重，第二項表示選擇到的d個特征的平均相關系數，而約束項則用來約束選擇到的特征子集V中的特征為d個。因此，通過最大化公式(1)中的目標函數就可以保證V中所選的d個特征最為重要且冗余程度最小。

為了求解容易，放松MWMR約束條件，將公式(1)轉變成公式(2)：

公式(2)將對y取值的約束放松到[0，1]。y中元素值的大小代表其所對應的特征被選入V的概率。公式(2)中的目標公式是最大化一個二次函數，與標準二次規劃問題相似。在這里MWMR引入類似于文獻[13]的成對更新方法來求解公式(2)的最大化問題。成對更新策略是一個迭代更新的過程。在成對更新求解策略中，每次迭代更新只更新y中兩個元素(yi和yj，i≠j)的值。求解公式(2)的成對更新策略定義為:

其中，α為yi和yj更新的變化。更新后，計算更新yi和yj前后公式(2)的差值變化：

通過使用公式(3)和公式(5)迭代更新y中成對元素值，就可以求得使公式(2)中目標函數最大值的y[13]。實驗驗證[12]該求解方法的效率與精度均優于標準二次規劃。

1.1.2Fisher得分

Fisher得分[14]是一種依據Fisher準則給特征判別能力打分的特征選擇方法。Fisher準則在最大化類間離散程度的同時最小化類內離散程度。第i個特征Fi的Fisher得分定義為：

其中，T為樣本的類別總數，nj代表第j( j=1，…，T)類樣本的樣本個數，mij、σij和mi表示在第i個特征下第j類樣本的均值、方差和樣本的整體均值。公式(6)的分母和分子部分分別表示數據在第i個特征下各類的類內離散程度和類間離散程度。

1.1.3Gini得分

Gini得分[15]是一種基于Gini指數(Gini Index)的特征選擇方法。假設樣本集U屬于T個不同的類別，則U的Gini指數定義為：

其中pi是U中樣本屬于第i類的概率。Gini指數也表示集合中樣本所屬類別的“不純度”。當集合中所有樣本都屬于同一個類時，集合的“不純度”為0。對于第i個特征，遍歷特征Fi的所有取值，按其不同取值將數據集U劃分為T個子集，集合U劃分后所有子集的最小Gini指數和即是該特征的Gini得分。

1.1.4Relief-F得分

Relief-F得分[16]方法的主要思想是：一個重要的特征，可以使同類的樣本距離近，而使不同類的樣本距離遠。根據該思想，每次隨機地從原始樣本集中選擇一個樣本記為S。Relief-F得分是根據選中的樣本S與和它在同一個類別的最近的樣本H(稱為nearest hit)的距離，和與S不屬于同一類別的其它各個類中與S最近的樣本(稱為M(T))之間的距離來更新的。因此第i個特征Fi的權重更新公式如下：

其中，f(Fi，S，H)是計算樣本S與和S同類的最近樣本H在特征Fi下的距離，f(Fi，S，M(T))是計算樣本S 和S不同類的那些最近鄰樣本M(T)在特征Fi下的距離，l為隨機選擇樣本的次數。

1.1.5單邊秩和檢驗

秩和檢驗由Wilcoxon于1945年提出[17]，是一種常用的假設檢驗方法。雙邊秩和檢驗可以檢驗A、B兩組樣本是否具有明顯差異，而單邊秩和檢驗則可以檢驗A組樣本是否明顯大于或明顯小于B組樣本。將觀察值由小到大按次序排列后所編的次序號稱為秩，用秩次號代替原始數據后，所得的某些秩次之和稱為秩和，而秩和檢驗則是用統計量“秩和”進行的假設檢驗。單邊秩和檢驗的過程如下：(1)建立檢驗假設，確定檢驗水準α。原假設H0為：兩組樣本沒有明顯差異；備擇假設H1為：A樣本明顯大于(或小于)B組樣本。(2)把A組樣本和B組樣本混合起來，并按數值從小到大順序編號，每個數據的編號即為它的秩。(3)分別計算兩組樣本的秩和。n1為樣本量較小的樣本容量，n2是另一組樣本的樣本容量。Z1為樣本量較小的一組的秩和，Z2為另外一組的秩和。(4)確定統計量Z：若n1≠n2，則Z=Z1；若n1=n2，則Z=Z1或Z=Z2。(5)根據檢驗統計量Z，確定p值。如果p值小于或等于臨界值α，則原假設被拒絕。

1.2實驗數據

含有8元環結構的磷酸鋁分子篩是比較典型的小孔分子篩，孔徑尺寸大概處于0.38～0.4 nm之間，可被用于催化和氣體分離[18-19]。開放骨架磷酸鋁合成反應數據庫大約包含1 700條合成反應數據。去除數據庫中含有缺失項較多的數據后，本文使用剩余的1 279條磷酸鋁合成反應數據作為實驗樣本。其中，365條數據包含(8，6)元環結構，即該類開放骨架磷酸鋁結構既包含8元環結構又包含6元環結構，如圖1所示。本文選取21個合成參數(或特征)進行分析，如表1。

圖1　含有(8,6)元環結構的AlPOs舉例: (a)骨架結構為AEN的AlPOs; (b)骨架結構為AWO的AlPOsFig.1 Examples of (8,6)-ring-containing AlPOs: (a) AEN-zeotype AlPOs; (b) AWO-zeotype AlPOs

文獻[7]認為，凝膠組成是開放骨架磷酸鋁合成至關重要的參數，因此文獻[7]將凝膠組成參數作為分類器的默認輸入，即在考量某參數對于數據的分類效果時，凝膠組成參數默認與待考量參數一起對數據進行分類。本文沿用文獻[7]的參數取舍方法，將表1中4個凝膠組成參數作為分類模型的默認輸入，而只具體分析其它17個合成參數。

1.3實驗過程

實驗的樣本容量為1 279，樣本維數為17維。在本文中，樣本維數指描述每個合成樣本的合成參數個數，即表1中F5～F12每個參數為一個維度。使用不同特征選擇方法從原始特征集中選擇1到17維特征，即可以得到包含1到17維特征的17個特征子集。使用每個特征子集對數據進行分類，獲得最好分類效果的特征子集則是最優特征子集。由于最優特征子集達到了對含有(8，6)元環結構AlPOs樣本和其它樣本分類的最好效果，因此其包含的特征對于該類合成的影響是較大的。

實驗使用十折交叉驗證(10-fold Cross Validation)的方式，即將數據集分成10份(每份的樣本容量大約為128)，輪流將其中9份(樣本容量大約為1 152)做訓練，剩余的1份(樣本容量大約為128)做驗證，而最終根據10次結果的均值作為對算法分類精度的估計。在分類過程中，含有(8，6)元環AlPOs的樣本容量為365，其它樣本的樣本容量為914，兩類樣本的樣本容量較為懸殊。因此，本文采用對類不平衡問題較不敏感的最近鄰分類器(Nearest Neighbor，NN)[20]和支持向量機(Support Vector Machine，SVM)[21]作為分類模型。實驗中，SVM的核函數采用徑向基函數，因此需要優化的主要參數為懲罰系數C和徑向基函數參數γ。參數C和γ采用網格搜索法進行優化，即設定C∈[C1,C2]，步長為lc，γ∈[g1，g2]，步長為lg。然后使SVM遍歷每對{C′，γ′}的取值，用訓練樣本訓練SVM分類器，并用訓練好的分類器對測試集分類，獲得最好分類效果的參數被確定為最優參數。分類效果評價指標采用分類正確率(Acc-Rate)和F-measure[22]。在MWMR算法中，特征的重要程度分別采用Fisher得分、ReliefF得分和Gini得分度量，特征之間相關程度采用相關系數度量。MWMR-Fisher、MWMR-ReliefF、MWMR-Gini分別表示以Fisher得分、ReliefF得分、Gini得分度量特征權重，以相關系數度量特征之間相關程度的MWMR。

2　結果與討論

2.1實驗結果

我們將MWMR-Fisher、MWMR-ReliefF、MWMR -Gini與經典的Fisher得分、ReliefF得分、Gini得分對于含有(8，6)元環結構AlPOs特征選擇的效果進行比較，并且比較以不同權重度量方法度量特征權重的MWMR的實驗結果。

具體實驗結果如下：(1)通過比較MWMR與三種經典特征選擇方法可以發現，由于考慮了特征之間的相關性，MWMR取得了較其相應經典方法更好的分類效果；(2)通過比較以不同權重度量方法度量特征權重的MWMR可以發現，MWMR-Fisher選擇9維特征、采用最近鄰分類器達到了對數據進行分類的最高Acc-Rate 90.89%和F-measure 0.84。(3)從以上實驗結果可以看出，MWMR-Fisher在選擇9維特征時獲得的特征子集可能對該類結構的合成具有較大的影響。根據實驗結果我們得出對于含有(8，6)元環結構AlPOs合成較為重要的特征子集是：{F6，F9，F11，F12，F14，F15，F16，F17，F19}。

由于MWMR在特征選擇過程中，同時考慮了特征本身的重要程度和特征之間的相關程度，因此其取得了較好的實驗效果。為了衡量每種方法所選出的最優特征子集所包含特征的相關程度，我們計算了各方法所選最優特征子集中每對特征之間相關系數的算數平均數，即平均相關系數(如表2所示)。從表2可以看出，MWMR選擇的最優特征子集的平均相關系數均要低于其相應的經典特征選擇方法(如MWMR-Fisher和Fisher)。

表2　平均相關系數Table 2 Mean of correlations among the optimal features

2.2與文獻已有工作的比較

文獻[11]中，無機化學分子工程學研究者根據經驗知識對含有(8，6)元環結構AlPOs的合成參數做了一系列分析和驗證。我們比較了本文得出的最優特征子集與文獻[11]結論中的最優特征子集對數據的分類能力。當采用最近鄰分類器作為分類模型時，文獻[11]和MWMR-Fisher所選特征得到的Acc-Rate、F-measure分別是85.65%、0.74和90.89%、0.84；當采用支持向量機作為分類模型時，文獻[11] 和MWMR-Fisher所選特征得到的Acc-Rate、F-measure分別是84.13%、0.68和90.30%、0.82。從實驗結果可以看出，MWMR-Fisher選擇的最優特征子集可以獲得較文獻[11]更好分類效果。

為了驗證MWMR-Fisher選擇的最優特征子集對于數據進行分類的優勢，下面采用單邊秩和檢驗驗證MWMR-Fisher選出的最優特征子集在兩種分類模型下獲得的Acc-Rate和F-measure是否明顯高于文獻[11]。在這個假設檢驗中，原始假設H0為：采用MWMR-Fisher與文獻[11]選擇的最優特征子集對數據進行分類獲得的Acc-Rate或F-measure沒有明顯差異，備擇假設H1為：采用MWMR-Fisher選擇的最優特征子集對數據進行分類所獲得的Acc-Rate或F-measure明顯高于文獻[11]。實驗中，顯著性水平α設為0.05,表3列出了單邊秩和檢驗結果。

表3　秩和檢驗的p值Table 3 p-value of the rank sum test

從表3可以看出，在采用最近鄰分類器和支持向量機作為分類模型時，p都小于0.05。因此本文的結論明顯優于文獻[11]。文獻[11]僅僅從經驗知識角度研究了含有(8，6)元環結構AlPOs的合成參數，并沒有從數據本身及方法模型上做分析。因此，文獻[11]選出的特征子集中特征數量較少，并不能完全涵蓋對合成起重要作用的特征。

2.3結果分析

MWMR-Fisher選擇9維特征、采用最近鄰分類器時，可以獲得對于含(8，6)元環結構AlPOs預測的最佳效果。因此，根據實驗結果可以推斷：溶劑的熔點、溶劑的偶極距、有機模板的最長距離、有機模板的次長距離、模板劑分子空間體積、模板劑分子極性、模板劑中C原子和N原子的個數比、模板劑中N原子與C加N原子個數比以及模板劑分子Sanderson電負性可能對該類結構的合成產生較為重要的作用。

MWMR算法在選擇一維特征時，僅僅考慮特征的重要程度，因此在第一維選擇的特征是最重要的。當選擇二維特征時，MWMR同時考慮待選特征集中特征的重要性和待選特征與已選特征之間的相關關系，因此在第二維新進入最優特征子集的特征是第二重要的特征。以此類推，在遍歷的選擇1～d維特征時(d為最優子集包含的特征個數)，我們認為特征進入最優特征子集的順序代表其相應的重要程度。那么，由MWMR-Fisher獲得的最優特征子集將形成一個按由重要性從大到小降序排序的序列：F11，F16，F9，F19，F15，F6，F12，F17，F14。從這個序列可以看出，有機模板劑的最長距離(F11)是最為重要的一個合成參數。使用該參數在最近鄰分類器下對數據進行分類，Acc-Rate可達88.01%。模板劑中C原子和N原子的個數比(F16)這個參數在序列中排位第二，顯示其重要程度僅次于有機模板劑的最長距離。而在觀察MWMR-Fisher遍歷選擇1到17維特征的實驗結果時發現，當在第二維F16加入最優特征子集后，Acc-Rate曲線呈現出了非常明顯的上升(從88.01%到89.87%)。模板劑中C原子和N原子的個數比(F16)這個參數描述的是模板劑分子的親水性和疏水性，因此，可以推斷模板劑分子的親水性和疏水性對于該類結構的合成可能有較大的影響。排在重要性序列第三位的是溶劑的偶極距(F9)，由此可以看出溶劑的極性參數也是較為重要的。而在化合實驗中，溶劑極性的變化確實能導致最終產物的改變。其次，對該類結構形成影響較大的特征依次為模板劑分子Sanderson電負性(主要是分布在N原子上的電荷)(F19)、模板劑分子極性(F15)和溶劑的沸點(F6)等。從這個序列我們也可以看出，重要特征中共包含了3個模板劑的幾何參數(有機模板的最長距離(F11)，有機模板的次長距離(F12)和模板劑分子空間體積(F14))，因此，我們推斷有機模板劑的幾何屬性對于該類結構的合成可能有著至關重要的作用。

3　總　結

本文將MWMR算法應用到開放骨架磷酸鋁合成參數的分析問題當中。實驗中，首先比較了采用不同特征權重度量方法的MWMR與相應過濾式特征選擇方法對于開放骨架磷酸鋁特征選擇的效果，然后將本文的工作與有關開放骨架磷酸鋁參數分析的已有文獻工作做了對比。通過實驗和對比，充分地驗證了該算法在開放骨架磷酸鋁合成反應數據庫合成參數分析中的有效性，并挖掘了合成參數對于定向合成含有(8，6)元環結構開放骨架磷酸鋁的影響，為其定向合成提供指導。

[1] XU Ru-Ren(徐如人), PANG Wen-Qin(龐文琴), YU Ji-Hong(于吉紅), et al. Chemistry-zeolite and Porous Materials(分子篩與多孔材料化學). Beijing: Science Press, 2004:1-23

[2] YAN Yan(顏巖), LI Ji-Yang(李激揚), QI Miao(齊妙), et al. Sci. China, Ser. B Chem.(中國科學B輯:化學), 2009,39 (11):1308-1313

[3] http://zeobank.jlu.edu.cn/

[4] Han J, Kamber M. Data Mining: Concepts and Techniques. San Francisco: Morgan Kaufman, 2001.

[5] Witten H, Frank E. Data Mining: Practical Machine Learning Tools and Techniques. San Francisco: Morgan Kaufman, 2005.

[6] Cord M, Cunningham P. Machine Learning Techniques for Multimedia. Berlin Heidelberg: Springer, 2008:91-112

[7] Li J Y, Qi M, Kong J, et al. Microporous Mesoporous Mater., 2010,129:251-255

[8] HUO Wei-Feng(霍衛峰), GAO Na(高娜), YAN Yan(顏巖), et al. Acta Phys. Chim. Sin.(物理化學學報), 2011,27(9): 2111-2117

[9] Yao M H, Qi M, Li J S, et al. Microporous Mesoporous Mater., 2014,186:201-206

[10]Qi M, Li J S, Wang J Z, et al. Ind. Eng. Chem. Res., 2012, 51(51):16734-16740

[11]Gao N, Yan Y, Li J S, et al. Microporous Mesoporous Mater., 2014,195:174-179

[12]Wang J Z, Wu L S, Kong J, et al. Pattern Recognit., 2013, 46:1616-1627

[13]Liu H R, Yang X W, Latecki L J, et al. Int. J. Comput. Vision, 2012,98(1):65-82

[14]Fisher R A. Ann. Eugenics, 1936,7(2):179-188

[15]Gini C. Variabilita e mutabilita. Bologna: Tipografia di Paolo Cuppini, 1912.

[16]Kononenko I. Proceedings of the 7th European Conference in Machine Learning. Berlin: Springer, 1994:171-182

[17]Wilcoxon F. Biometrics Bulletin, 1945,1(6):80-83

[18]Lewis D W, Sankar G, Wyles J K, et al. Angew. Chem. Int. Ed. Engl., 1997,36(23):2675-2677

[19]Padin J, Rege S U, Yang R T. Chem. Eng. Sci., 2000,55 (20):4525-4535

[20]Cover T M, Hart P E. IEEE Trans. Inf. Theory, 1967,13(1): 21-27

[21]Vapnik V. The Nature of Statistical Learning Theory. New York: Springer, 1995.

[22]Rijsbergen C. Information Retrieval. London: Butterworths, 1979.

[23]Hall M. 17th International Conference on Machine Learning, San Francisco, CA: Morgan Kaufmann, 2000:359-366

Rational Synthetic Parameter Analysis of Open-framework AlPOs Based on Data Mining Method

GUO Yu-Ting1GAO Na2SHI Rui-Xin3QI Miao1WANG Jian-Zhong＊,1
(1School of Computer Science and Information Technology, Northeast Normal University, Changchun 130117, China)
(2College of Chemistry, Jilin University, Changchun 130012, China)
(3School and Hospital of Stomatology, Jilin University, Changchun 130012, China)

Open-framework aluminophosphates (AlPOs) is an important family of the porous crystal materials. However, the synthesis of the Open-framework aluminophosphates is affected by many parameters, such as reaction material, gel composition, solvent, template agent, crystallization temperature and crystallization time etc. Based on the ALPOs synthesis database, which established by the State Key Laboratory of Inorganic Synthesis and Preparative Chemistry of Jilin University, the work in this paper concentrates on analyzing the relationship between the synthetic parameters and the final product. In order to take both the importance and correlation of the features into consideration in the synthetic parameter analysis, we apply Maximum Weight and Minimum Redundancy (MWMR) to analyze the impact of solvent parameters and template parameters for the rational synthesis of (8,6)-ring-containing AlPOs. The effectiveness of the method is demonstrated by extensive experiments. Furthermore, we also make some deep analyses about the relationship between the synthetic parameters and final products.The experimental results show that the geometric parameters of the of organic template, the nC/nNand the dipole moment of the solvent etc. may impact most for the final product of this kind of open-framework aluminophosphates.

open-framework aluminophosphates; synthetic parameter; data mining; feature selection

O611.2

A

1001-4861(2016)03-0457-07

10.11862/CJIC.2016.075

2015-11-11。收修改稿日期：2015-12-23。

國家自然科學基金(No.61403078)資助項目。

＊通信聯系人。E-mail：wangjz019@nenu.edu.cn