帶混沌偵查機制的蟻獅優(yōu)化算法優(yōu)化SVM參數(shù)*

趙世杰，高雷阜，于冬梅，徒　君

?

帶混沌偵查機制的蟻獅優(yōu)化算法優(yōu)化SVM參數(shù)*

趙世杰+，高雷阜，于冬梅，徒君

遼寧工程技術(shù)大學(xué)優(yōu)化與決策研究所，遼寧阜新123000

ISSN 1673-9418 CODEN JKYTA8

Journal of Frontiers of Computer Science and Technology 1673-9418/2016/10(05)-0722-10

http://www.ceaj.org Tel: +86-10-89056056

* The Specialized Research Fund for the Doctoral Program of Higher Education of China under Grant No. 20132121110009 (高等學(xué)校博士學(xué)科點專項科研基金); the Project of Liaoning Provincial Department of Education under Grant No. No.L2015208 (遼寧省教育廳基金項目).

Received 2015-06,Accepted 2015-09.

CNKI網(wǎng)絡(luò)優(yōu)先出版: 2015-09-06, http://www.cnki.net/kcms/detail/11.5602.TP.20150906.1638.010.htm l

ZHAO Shijie, GAO Leifu,YU Dongmei, et al.Ant lion optim izer w ith chaotic investigation mechanism for optim izing SVM parameters. Journal of Frontiersof Computer Scienceand Technology, 2016, 10(5): 722-731.

摘要：蟻獅優(yōu)化算法作為一種新的仿生智能算法，有許多有待完善和發(fā)展的方面。由于在算法迭代過程中蟻獅種群存在適應(yīng)度相對較差的個體，若螞蟻選定該蟻獅進行隨機游走將會增加算法陷入局部極值的可能性，同時會影響算法的尋優(yōu)性能。針對該問題，借鑒人工蜂群算法的偵查思想，在蟻獅原有信息的基礎(chǔ)上引進混沌搜索機制，提出了一種帶混沌偵查機制的蟻獅優(yōu)化算法。該算法首先將排序蟻獅種群中適應(yīng)度較差的個體定義為偵查蟻獅，并將其原始位置信息作為Fuch混沌映射的初始值，然后通過一定次數(shù)的混沌搜索迭代獲得一個適應(yīng)度值更優(yōu)的位置再重新賦值給偵查蟻獅，以提高蟻獅種群的優(yōu)良性和算法的尋優(yōu)性能。最后將改進蟻獅優(yōu)化算法用于支持向量機參數(shù)的優(yōu)化中，以UCI標(biāo)準(zhǔn)數(shù)據(jù)庫中的數(shù)據(jù)進行數(shù)值實驗，結(jié)果表明改進算法具有較強的尋優(yōu)性能和較好的算法穩(wěn)定性。

關(guān)鍵詞：蟻獅優(yōu)化算法；混沌；偵查機制；支持向量機；參數(shù)優(yōu)化

1 引言

蟻獅優(yōu)化算法[1]（ant lion optim izer，ALO）是由澳大利亞學(xué)者Seyedali于2015年提出的一種新的仿生智能優(yōu)化算法。該算法通過螞蟻圍繞蟻獅進行隨機游走實現(xiàn)對搜索空間的探索，并向選定蟻獅和精英進行學(xué)習(xí)，以保證種群的多樣性和算法的尋優(yōu)性能；同時ALO算法具有調(diào)節(jié)參數(shù)少，易于實現(xiàn)等優(yōu)點，已被成功應(yīng)用于三桿桁架設(shè)計、船舶螺旋槳形狀優(yōu)化等工程應(yīng)用領(lǐng)域。

支持向量機[2]（support vector machine，SVM）是由Vapnik等人以統(tǒng)計學(xué)習(xí)理論為基礎(chǔ)提出的一種機器學(xué)習(xí)方法，在解決小樣本、非線性和高維數(shù)據(jù)時有效克服了過學(xué)習(xí)、欠學(xué)習(xí)和“維數(shù)災(zāi)難”等問題而得到廣泛應(yīng)用[3-5]。在利用支持向量機解決實際應(yīng)用中的分類、回歸問題時，需要對影響SVM性能的核參數(shù)和罰參數(shù)等進行優(yōu)化選擇，以提高SVM的推廣泛化性能。目前常用的支持向量機參數(shù)優(yōu)化方法主要有經(jīng)驗選擇法、網(wǎng)格搜索法[6]和群體智能優(yōu)化算法。但經(jīng)驗選擇法對人的先驗知識要求較為嚴(yán)格；網(wǎng)絡(luò)搜索法需要對有限離散參數(shù)進行一一比對，較為費時，同時隨著參數(shù)的增加，時間復(fù)雜度增加嚴(yán)重。相對而言，群體智能優(yōu)化算法通過種群中多個個體的并行尋優(yōu)以提高參數(shù)的尋優(yōu)效率，且具有對初值不敏感等特性，是一類較為理想的SVM參數(shù)優(yōu)化方法。基于群體智能算法優(yōu)化SVM參數(shù)的方法主要有遺傳算法[7]、粒子群算法[8-9]、蟻群算法[10-12]和多智能算法的融合方法[13]等。

ALO算法作為一種新的仿生智能優(yōu)化算法，有許多有待改進的方面和新的應(yīng)用領(lǐng)域。考慮到在ALO算法迭代尋優(yōu)過程中，蟻獅種群存在適應(yīng)度相對較差的個體，如果螞蟻選定該蟻獅進行學(xué)習(xí)勢必會增加陷入局部極值的可能性。同時由于該蟻獅在局部極值的鄰域進行搜索而導(dǎo)致這些蟻獅個體的資源浪費，從而在一定程度上影響了ALO算法的尋優(yōu)性能和收斂效率。為此，本文受人工蜂群算法中偵查蜂的思想啟發(fā)，將蟻獅種群中適應(yīng)度值相對較差的個體定義為偵查蟻獅，同時在原有位置信息的基礎(chǔ)上通過一定次數(shù)的混沌搜索以獲得適應(yīng)度值更優(yōu)的位置，并將其重新賦值給偵查蟻獅，從而提出了帶混沌偵查機制的蟻獅優(yōu)化算法（ant lion optimizer w ith chaos investigation mechanism，CIALO），最后將其用于SVM參數(shù)優(yōu)化中，通過對UCI標(biāo)準(zhǔn)數(shù)據(jù)庫中數(shù)據(jù)集的實例化分析來驗證CIALO算法優(yōu)化SVM參數(shù)的有效性和可行性。

2 蟻獅優(yōu)化算法及改進算法

2.1蟻獅優(yōu)化算法

蟻獅優(yōu)化算法[1]是受自然界中蟻獅獵捕螞蟻的狩獵機制啟發(fā)而提出的一種新的群體智能優(yōu)化算法。自然界中蟻獅在沙中沿圓形軌跡移動，利用下顎挖出一個誘捕螞蟻的圓錐形坑，當(dāng)隨機移動的螞蟻陷入坑中時，蟻獅便捕食之并重新修繕坑穴等待下一只獵物（螞蟻）。

ALO算法就是模仿蟻獅和螞蟻的這種相互作用來實現(xiàn)對問題的優(yōu)化：螞蟻通過圍繞蟻獅的隨機游走實現(xiàn)對搜索空間的探索，并向蟻獅和精英進行學(xué)習(xí)以保證種群的多樣性和算法的尋優(yōu)性能；蟻獅相當(dāng)于問題的解，通過獵捕適應(yīng)度高的螞蟻實現(xiàn)對近似最優(yōu)解的更新和保存。

ALO算法迭代尋優(yōu)的執(zhí)行偽碼[1]為：

A lgorithm: Basic ALO algorithm

Initialize the first population of ants and antlions random ly Calculate the fitness of ants and antlions

Find the best antlions and assume it as the elite (determined optimum)

W hile the end criterion is not satisfied

For every ant

Select an antlion using Rouletee wheel Update c and d

Create a random walk and normalize it Update the position of ant EndFor

Calculate the fitness of all ants

Replace an antlion w ith its corresponding ant if becomes fitter

Update elite if an antlion becomes fitter than the elite

EndW hile Return elite

ALO算法具有相對較好的尋優(yōu)效率和收斂精度：通過蟻獅的隨機選擇、螞蟻的隨機游走以及陷阱的自適應(yīng)縮減邊界等機制保證了算法對搜索空間的較好探索性能，實現(xiàn)了ALO算法的較快尋優(yōu)效率。同時作為一種基于群體的智能算法，ALO算法通過隨機游走和輪盤賭選擇等策略降低了算法陷入局部極值的可能性，在一定程度上提高了算法的收斂精度。文獻[1]將ALO算法與遺傳算法、蝙蝠算法、螢火蟲算法和花朵授粉算法等7種智能算法進行對比，通過對單峰函數(shù)、多峰函數(shù)和單多峰混合優(yōu)化函數(shù)的大量實驗，充分驗證了ALO算法較好的尋優(yōu)效率和收斂精度。

2.2帶混沌偵查機制的蟻獅算法

ALO算法中通過螞蟻圍繞精英和輪盤賭選定蟻獅的隨機游走實現(xiàn)對空間的搜索，但由于算法前期蟻獅種群中存在適應(yīng)度值較差的個體（即離最優(yōu)解較遠(yuǎn)的解），若螞蟻輪盤賭選定該蟻獅進行隨機游走則會陷入該局部最優(yōu)解鄰域，從而在一定程度上可能弱化種群的尋優(yōu)性能且不利于算法整體收斂效率，同時也將造成這些蟻獅資源的浪費。鑒于此，需要將這些蟻獅進行重新賦值，以提高蟻獅種群的個體優(yōu)良性和算法的整體尋優(yōu)性能。

受人工蜂群算法（artificial bee colony,ABC）中偵查蜂的啟發(fā)：偵查蜂實現(xiàn)對新蜜源的開采，有利于跳出局部極值并增強算法的尋優(yōu)性能。將ABC算法中的這種偵查機制引入到ALO算法中，即在蟻獅種群中引入“偵查蟻獅”的概念，將適應(yīng)度值較差的蟻獅定義為偵查蟻獅，通過對其位置的重新賦值實現(xiàn)對搜索空間的重新較優(yōu)搜索；但偵查蟻獅位置的重新賦值并不是采用ABC算法中舍棄原有信息而只采用隨機初始化的方式進行定義，而是在充分利用蟻獅原有位置信息的基礎(chǔ)上，通過引進具有較好遍歷性和互不相關(guān)性的混沌映射，利用一定次數(shù)的混沌迭代來獲得適應(yīng)度值相對較好的偵查蟻獅。

目前常用的混沌映射主要有Logistic映射、Tent映射等。但Logistic映射對初值設(shè)置敏感，只有在控制參數(shù)為4時才完全進入混沌狀態(tài)，且遍歷性和均勻性都相對較差（映射點邊緣處密度很高而區(qū)間中央密度較低），這將直接影響混沌搜索的遍歷性能；Tent映射雖遍歷性較好，分布也較為均勻，但存在著小周期和有理數(shù)不動點，數(shù)據(jù)一旦落入不動點周期內(nèi)勢必會造成序列趨于穩(wěn)定而使算法失效。鑒于上述分析，本文選用Fuch映射[14]作為定義偵查蟻獅的混沌映射，該映射具有對初值不依賴性、均衡遍歷性和較高收斂效率等優(yōu)點，具體定義式為：

其中，zi≠0，i∈Z+。圖1展示了Fuch映射與Logistic 和Tent映射的初值依賴性對比情況。

由圖1分析可知，F(xiàn)uch映射具有較好的初值不依賴性：在初值z0=0.483 5微小變化10-6時，F(xiàn)uch映射產(chǎn)生的混沌序列是完全不同且毫無規(guī)律的[14]，而Logistic和Tent映射則產(chǎn)生了較多的重疊點，且不重疊點處的絕大多數(shù)差距也幾乎是相對較小的，甚至出現(xiàn)了Tent映射陷入不動點周期而使算法失效的情況（見圖1（b）中60代后）。在Z+域內(nèi)，F(xiàn)uch映射均可直接代入混沌映射來產(chǎn)生有效的混沌序列，而Logistic 和Tent映射則需將初值限制在[0，1]區(qū)間內(nèi)，一旦越界將會造成算法無效。為能生成有效的混沌序列必須先通過變換將其映入混沌定義域才可代入混沌映射，而生成的混沌值也必須通過逆變換將其映入優(yōu)化變量定義域才能再代回到優(yōu)化函數(shù)中繼續(xù)進行迭代尋優(yōu)。

Fig.1 Contrast on initial-value independency for three chaotic mappings圖1 3種混沌映射的初值依賴性對比

CIALO算法可用于求解式（2）優(yōu)化問題的最優(yōu)解：

其中，N表示函數(shù)f(?)中的變量數(shù)目。

假設(shè)混沌映射中混沌變量zi的定義區(qū)間為[l,u]，且一般與優(yōu)化變量xi的約束區(qū)間[m,M]是不一致的，因此需要將混沌變量和優(yōu)化變量進行轉(zhuǎn)化變換。在將優(yōu)化變量xi代入到混沌映射進行混沌搜索時，需要先將其轉(zhuǎn)變?yōu)榛煦缱兞縵i，變換公式為：

利用混沌遍歷搜索得到的偵查蟻獅新位置zi在進行適應(yīng)度值計算時，需要將其轉(zhuǎn)變?yōu)閮?yōu)化變量xi，變換公式為：

通過混沌變量與優(yōu)化變量間的這種相互轉(zhuǎn)換以實現(xiàn)偵查蟻獅的混沌搜索和適應(yīng)度值計算間的相互跳轉(zhuǎn)。由于Fuch映射具有對初值不依賴性，可以跳過式（3）直接執(zhí)行式（4）來進行有效的混沌遍歷。而Logistic映射、Tent映射等其他混沌映射則需要首先經(jīng)過式（3）的變換才可以代入到混沌映射來進行混沌搜索，因此從算法執(zhí)行操作的角度來說，采用Fuch映射在一定程度上有利于提高算法的計算效率。

利用CIALO算法優(yōu)化最大值問題的執(zhí)行偽碼為：

A lgorithm: CIALO algorithm

Parameters: Numagent—The number of search agents

Itermax—The maximum iterations of algorithm dim—The variable dimension of continuous functions

m—The m inimum value ofvariable range

M—The maximum value ofvariable range

p0—The percentage of investigation antlions Numchaos—The number of chaotic search

Output: X*—The optimal solution (for maximum-value problem)

Set Numagent,Itermax,dim,m,M,p0,Numchaos

// Initialize the ants and antlions random ly MAnt=rand(Numagent,dim)*(ub-lb)+lb MAntlion=rand(Numagent,dim)*(ub-lb)+lb

// Calculate antlions?fitness, sort antlions descendingly and save elite

X*=E lite Iter=2 Repeat

for i=1,2,…,Numagent

// Create a random walk around selected antlion and elite // Update Ant

end for

// Calculate the fitness of all ants, sort ants and antlions descendingly according to the fitness and assign Top Numagentindividuals to antlions

// Calculate the number of substituted antlions(SAL)

NumSAL=Numagent*p0

For j=1,2,…,NumSAL

//Assign the j-th SAL?s position to chaotic variable x_chaos=Antlion(Agents*(1-p0)+j,:);

For k=1,2,…,Numchaos

// Chaotic search process

using Eq.(4)

// Calculate and compare the fitness, and update the j-th SAL

End If

EndFor

EndFor

// Sortnew antlionsdescendingly according to the fitness // Updata elite

if fitness(AntlionIter(1))>fitness(Elite)

Elite=AntlionIter(1) endif

Iter=Iter+1

Until Iter=Itermax+1

Return X*=Elite

3 CIALO優(yōu)化SVM參數(shù)

CIALO算法可用于SVM參數(shù)的優(yōu)化選擇。SVM分類模型中需要優(yōu)化的參數(shù)主要是罰參數(shù)C和核參數(shù)。罰參數(shù)C主要是對錯分樣本的懲罰，是在機器結(jié)構(gòu)風(fēng)險和泛化性能之間尋求一種折中；核參數(shù)主要影響核函數(shù)的分析性能，進而影響SVM的泛化性能。目前常見的核函數(shù)主要有多項式核、RBF核、Sigmoid核等，考慮到RBF核只有一個待優(yōu)化參數(shù)，且對低維和高維空間數(shù)據(jù)均具有較好的適用性，本文選用RBF核作為SVM核函數(shù)，其表達(dá)式為：

令g=1/2r2，則SVM中待優(yōu)化參數(shù)為罰參數(shù)C和核參數(shù)g。對分類問題，一般以SVM的分類準(zhǔn)確率最大化作為優(yōu)化原則，SVM優(yōu)化參數(shù)模型對應(yīng)的組合優(yōu)化形式為：

其中，F(xiàn)(?)為罰參數(shù)C和核參數(shù)g的二元函數(shù)。

CIALO算法優(yōu)化SVM參數(shù)(C,g)的程序流程見圖2，具體操作步驟為：

步驟1數(shù)據(jù)預(yù)處理。為消除數(shù)據(jù)集不同屬性間存在的量綱差異，一般需要對數(shù)據(jù)集進行標(biāo)準(zhǔn)化（或歸一化）等預(yù)處理。

步驟2數(shù)據(jù)集的確定。將預(yù)處理后的數(shù)據(jù)集整理為分析數(shù)據(jù)集，并確定出SVM的訓(xùn)練集Dtr和預(yù)測集Dpr。

步驟3模型參數(shù)設(shè)置。CIALO算法中需要設(shè)置的參數(shù)有：最大迭代次數(shù)Itermax、搜索體數(shù)目（種群規(guī)模）Numagent、混沌搜索次數(shù)Numchaos和偵查蟻獅比例p0；設(shè)置SVM中參數(shù)C和g的取值范圍。

步驟4種群初始化。CIALO算法中每只螞蟻和蟻獅均代表SVM二元函數(shù)F(C,g)的待優(yōu)化參數(shù)組合(C,g)；根據(jù)步驟3中罰參數(shù)C和核參數(shù)g的取值范圍隨機初始化螞蟻和蟻獅種群，以實現(xiàn)Numagent個蟻獅個體的并行搜索。

步驟5計算螞蟻和蟻獅的適應(yīng)度值，并確定蟻獅種群。計算每只螞蟻和蟻獅的適應(yīng)度值（即對Dpr集的分類準(zhǔn)確率），同時將螞蟻和蟻獅組合并按適應(yīng)度值降序排序，再將前Numagent個個體賦予給蟻獅種群。

步驟6混沌搜索過程。

（1）計算蟻獅種群中偵查蟻獅的數(shù)目Numinv= p0×Numagent；

（2）設(shè)置Fuch混沌映射的搜索次數(shù)Numchaos；

（3）根據(jù)式（1）進行混沌搜索，將得到的混沌變量再利用式（4）映射為優(yōu)化變量（參數(shù)組合(C,g)），即得到偵查蟻獅的新位置；

（4）計算Fuch映射搜索所得偵查蟻獅的適應(yīng)度值，并與被替換蟻獅的適應(yīng)度值比較，若優(yōu)于原適應(yīng)度值則替換，反之則保持不變；

（5）判斷是否達(dá)到最大搜索次數(shù)Numchaos，若是，則跳轉(zhuǎn)執(zhí)行步驟7，反之，則混沌搜索次數(shù)加1，并跳轉(zhuǎn)執(zhí)行（3）。

步驟7對蟻獅種群按適應(yīng)度值重新降序排列，并更新精英Elite：如果蟻獅種群最優(yōu)個體的適應(yīng)度值優(yōu)于精英的，則以該蟻獅替換精英，反之則精英保持不變。

步驟8判斷CIALO算法是否達(dá)到終止條件，即當(dāng)前迭代次數(shù)是否達(dá)到Itermax：若是，則輸出精英Elite對應(yīng)的最優(yōu)適應(yīng)度值和參數(shù)組合(CElite,gElite)，否則迭代次數(shù)加1，并跳轉(zhuǎn)執(zhí)行步驟5。

Fig.2 Flow chart of CIALO algorithm for optim izingSVM parameters圖2 CIALO算法優(yōu)化SVM參數(shù)的流程圖

4 實例化分析

為驗證CIALO算法優(yōu)化SVM參數(shù)的有效性和可行性，以UCI標(biāo)準(zhǔn)數(shù)據(jù)庫中的8組數(shù)據(jù)集為實驗數(shù)據(jù)分別進行兩組實驗：第一組實驗是改進算法與其他智能算法的對比實驗，以驗證CIALO算法優(yōu)化SVM參數(shù)的優(yōu)越性能；第二組實驗是改進算法與基于其他混沌映射的對比實驗，以說明基于Fuch映射的CIALO算法優(yōu)化SVM參數(shù)的較好性能。8組實驗數(shù)據(jù)集的屬性信息見表1。

Table 1 Attributes information of UCI datasets表1 UCI數(shù)據(jù)集的屬性信息

表1中，IP/YE/WD/BS/3TE/IS/PB/SF2分別表示Ionosphere/yeast/WaveformDatabase/BalanceScale/TicTac-ToeEndgame/ImageSegmentation/PageBlocks/SolarFlare-Data2數(shù)據(jù)集，訓(xùn)練樣本均采用均勻隨機選取方式[15]確定，數(shù)據(jù)集剩余樣本作為測試集。

由于數(shù)據(jù)集的不同屬性指標(biāo)間一般因量綱等差異而影響分類器性能，需要對數(shù)據(jù)集進行歸一化處理，計算公式為：

其中，xmjax和xmjin分別表示第j列的最大值和最小值；xij和Xij分別表示歸一化前后樣本值。

4.1與其他智能算法的對比實驗

本節(jié)以遺傳算法（GA）、蟻群算法（ACO）和傳統(tǒng)ALO算法作為優(yōu)化SVM參數(shù)的對比算法，以驗證CIALO算法優(yōu)化SVM參數(shù)的優(yōu)越性能。

模型中參數(shù)的設(shè)置情況為：4種算法的最大迭代次數(shù)Itermax=150，搜索體數(shù)目Numagent=5；CIALO算法中偵查蟻獅占比p0=0.2，混沌搜索次數(shù)Numchaos=100；GA算法[7]其他參數(shù)設(shè)置為：交叉概率pc=0.8，變異概率pm=0.05；ACO算法其他參數(shù)設(shè)置為：信息素增加強度Q=1，信息素?fù)]發(fā)系數(shù)Rho=0.8，螞蟻爬行速度V=0.3；SVM中參數(shù)C與g的取值范圍分別為(0,10]與(0,1]。

根據(jù)GA、ACO、ALO和CIALO算法參數(shù)設(shè)置情況和表1訓(xùn)練樣本設(shè)置情況，利用4種算法優(yōu)化SVM參數(shù)模型（分別記作GASVM、ACOSVM、ALOSVM和 CIALOSVM）分別對8組實驗數(shù)據(jù)進行30次實驗，評價指標(biāo)為30次實驗的分類準(zhǔn)確率均值（mean）、標(biāo)準(zhǔn)差（std）、最大值（max）、最小值（m in）和t-test的p-value。以30次實驗平均值作為GASVM、ACOSVM、ALOSVM和CIALOSVM等4種算法的最終結(jié)果見表2，繪制的平均分類準(zhǔn)確率柱狀對比圖見圖3。

Table 2 Contrast on experiment result of four algorithms表2 4種算法的實驗結(jié)果對比

Fig.3 Contrast on average accuracy of four algorithms圖3 4種算法的平均準(zhǔn)確率對比圖

由表2可知：GASVM、ACOSVM、ALOSVM和CIALOSVM這4種算法對8組實驗數(shù)據(jù)30次實驗的p-value均遠(yuǎn)遠(yuǎn)小于0.05，說明4種算法的實驗結(jié)果均具有較高的顯著性，且CIALOSVM算法的p-value最小，表明其具有更高的顯著性水平。8組實驗數(shù)據(jù)的統(tǒng)計結(jié)果中，CIALOSVM算法均具有最大的平均分類準(zhǔn)確率、最小的預(yù)測標(biāo)準(zhǔn)差和最大的分類準(zhǔn)確率，表明改進算法具有較高的平均預(yù)測精度、較好的算法穩(wěn)定性以及較大的最優(yōu)分類準(zhǔn)確率。同時CIALOSVM算法也具有最大的最小分類準(zhǔn)確率（m in指標(biāo)），說明改進算法即使在最壞極端情況下也具有較優(yōu)的預(yù)測性能，保證了算法在工程應(yīng)用中的較小錯判率，從而有利于降低實際應(yīng)用中的成本和損失等，具有較好的應(yīng)用前景。

由圖3可知：CIALOSVM算法對8組實驗數(shù)據(jù)的預(yù)測分析中具有不同幅度的精度提高，說明改進算法對不同數(shù)據(jù)集的優(yōu)化性能是有所差異的。改進算法與其他3種對比算法相比具有最大的平均分類準(zhǔn)確率，直觀地展示了改進算法的較好收斂精度。

4.2與其他混沌映射的對比實驗

本節(jié)以Logistic映射和Tent映射作為對比混沌映射，以驗證基于Fuch映射的CIALO算法優(yōu)化SVM參數(shù)的較好性能。

相關(guān)實驗參數(shù)設(shè)置情況同4.1節(jié)，利用基于Logistic、Tent和Fuch映射的3種CIALO算法優(yōu)化SVM參數(shù)模型（分別記作LIALOSVM、TIALOSVM和FIALOSVM）分別對8組實驗數(shù)據(jù)進行30次實驗，選用分類準(zhǔn)確率、執(zhí)行時間、達(dá)到最大分類準(zhǔn)確率的收斂代數(shù)和ttest的p-value作為評價指標(biāo)，以30次實驗的平均值作為最終實驗結(jié)果，見表3。

Table 3 Contrast on experiment result of modified ALO algorithms based on different chaotic mappings表3 基于不同混沌映射的改進ALO算法實驗結(jié)果對比

由表3可知：LIALOSVM、TIALOSVM和FIALOSVM這3種算法均具有遠(yuǎn)小于0.05的p-value，表明3種算法對8組實驗數(shù)據(jù)的30次實驗結(jié)果均具有較高的顯著性，且FIALOSVM算法對8組數(shù)據(jù)集幾乎均具有最小的p-value，表明基于Fuch映射的改進算法具有更高的顯著性水平。基于3種混沌映射的CIALOSVM算法對8組實驗數(shù)據(jù)的實驗結(jié)果中，F(xiàn)IALOSVM算法均具有最大的平均分類準(zhǔn)確率和最小的執(zhí)行時間（除IP的mean外），表明FIALOSVM算法與LIALOSVM和TIALOSVM算法相比具有較好的推廣泛化性能和較高的迭代尋優(yōu)效率。

在平均收斂代數(shù)指標(biāo)中，3種算法對8組實驗數(shù)據(jù)各具優(yōu)勢：FIALOSVM和LIALOSVM算法在3個數(shù)據(jù)集上均具有最小收斂代數(shù)，而TIALOSVM算法在2個數(shù)據(jù)集上有最小收斂代數(shù)，且3種算法的平均收斂代數(shù)都在10代以內(nèi)。因此在實際應(yīng)用中可以通過設(shè)置相對較小的最大迭代次數(shù)以減少算法的執(zhí)行時間，在一定程度上提高算法的應(yīng)用價值。

5 結(jié)束語

針對傳統(tǒng)ALO算法中存在適應(yīng)度較差的蟻獅個體，從而影響蟻獅種群的整體優(yōu)良性和算法的尋優(yōu)性能問題，通過引入偵查機制和混沌搜索策略等措施提出了帶混沌偵查機制的蟻獅優(yōu)化算法，并將其用于SVM參數(shù)的優(yōu)化選擇中。數(shù)值實驗結(jié)果表明，改進算法優(yōu)化SVM參數(shù)模型具有較高的平均分類準(zhǔn)確率和統(tǒng)計顯著性水平、較好的算法穩(wěn)定性以及最大的最優(yōu)分類準(zhǔn)確率，在一定程度上驗證了改進算法在SVM參數(shù)尋優(yōu)中的有效性和可行性。此外，ALO算法作為一種新近提出的智能優(yōu)化算法還有許多改進的方向，例如選擇蟻獅的方式，螞蟻隨機游走的策略和螞蟻學(xué)習(xí)率隨迭代次數(shù)的動態(tài)改變等。

References:

[1] M irjalili S. The ant lion optim izer[J]. Advances in Engineering Software, 2015, 83: 80-98.

[2] Vapnik V. The nature of statistical learning theory[M]. New York: Wiley, 1998.

[3] Danenas P, Garsva G. Selection of support vector machines based classifiers for credit risk domain[J]. Expert Systems w ith Applications, 2015, 42(6): 3194-3204.

[4] Jedliński ?, Jonak J. Early fault detection in gearboxes based on support vector machines and multilayer perceptron w ith a continuous wavelet transform[J]. Applied Soft Computing, 2015, 30: 636-641.

[5] Yang Dalian, Liu Yilun, Li Songbai, et al. Gear fault diagnosis based on support vector machine optim ized by artificial bee colony algorithm[J]. Mechanism and Machine Theory, 2015, 90: 219-229.

[6] Wauters M, Vanhoucke M. Support vector machine regression for project control forecasting[J]. Automation in Construction, 2014, 47: 92-106.

[7] Sajan K S, Kumar V, Tyagi B. Genetic algorithm based support vector machine for on-line voltage stability monitoring[J]. International Journal of Electrical Power & Energy Systems, 2015, 73: 200-208.

[8] Yuan Rongdi, Peng Dan, Feng Huizong, et al. Fault diagnosis for engine by support vector machine and improved particle swarm optim ization algorithm[J]. Journal of Information and Computational Science, 2014, 11(13): 4827-4835.

[9] Sun Wei, Liu Xuan. The safety assessment of power information system w ith particle swarm optim ization based support vector machine[J]. Journal of Information and Computational Science, 2014, 11(14): 4921-4929.

[10] Zhang Xiaoli, Chen Wei, Wang Baojian, et al. Intelligent fault diagnosis of rotating machinery using support vector machine w ith ant colony algorithm for synchronous feature selection and parameter optimization[J]. Neurocomputing, 2015, 167: 260-279.

[11] Acevedo J, Maldonado S, Lafuente S, et al. Model selection for support vector machines using ant colony optim ization in an electronic nose application[M]//Ant Colony Optimization and Swarm Intelligence. Berlin, Heidelberg: Springer, 2006: 468-475.

[12] Samadzadegan F, Hasani H, Schenk T. Simultaneous feature selection and SVM parameter determination in classification of hyperspectral imagery using ant colony optimization[J]. Canadian Journal of Remote Sensing, 2012, 38(2): 139-156. [13] Gham isi P, Benediktsson J A. Feature selection based on hybridization of genetic algorithm and particle swarm optimization[J]. IEEE Geoscience and Remote Sensing Letters, 2015, 12(2): 309-313.

[14] Fu Wenyuan, Ling Chaodong. An adaptive iterative chaos optimization method[J]. Journal of Xi’an Jiaotong University, 2013, 47(2): 33-38.

[15] Gao Leifu, Zhao Shijie, Gao Jing. Application of artificial fish-swarm algorithm in SVM parameter optim ization selection[J]. Computer Engineering and Applications, 2013, 49 (23): 86-90.[16] Horton P, Nakai K. A probabilistic classification system for predicting the cellular localization sites of proteins[C]// Proceeding of the 4th International Conference on Intelligent Systems for Molecular Biology, St Louis, USA, 1996. Menlo Park, USA:AAAI, 1996: 109-115.

附中文參考文獻：

[14]傅文淵,凌朝東.自適應(yīng)折疊混沌優(yōu)化方法[J].西安交通大學(xué)學(xué)報, 2013, 47(2): 33-38.

[15]高雷阜,趙世杰,高晶.人工魚群算法在SVM參數(shù)優(yōu)化選擇中的應(yīng)用[J].計算機工程與應(yīng)用, 2013, 49(23): 86-90.

ZHAO Shijie was born in 1987. He is a student w ith M.S.-Ph.D. continuous study at Liaoning Technical University, and the student member of CCF. His research interests include artificial intelligence, data mining, optimization and management decision, etc.

趙世杰（1987—），男，山東五蓮人，遼寧工程技術(shù)大學(xué)碩博連讀研究生，CCF學(xué)生會員，主要研究領(lǐng)域為人工智能，數(shù)據(jù)挖掘，優(yōu)化與管理決策等。

GAO Leifu was born in 1963. He received the Ph.D. degree in engineering mechanics from Liaoning Technical University in 2006. Now he is a professor and Ph.D. supervisor at Liaoning Technical University. His research interests include optim ization theory and application, nonlinear dynamic system, etc.

高雷阜（1963—），男，遼寧阜新人，2006年于遼寧工程技術(shù)大學(xué)工程力學(xué)專業(yè)獲得博士學(xué)位，現(xiàn)為遼寧工程技術(shù)大學(xué)理學(xué)院優(yōu)化與決策研究所教授、博士生導(dǎo)師，主要研究領(lǐng)域為最優(yōu)化理論與應(yīng)用，非線性動力系統(tǒng)等。發(fā)表學(xué)術(shù)論文80余篇，主持和參與國家自然科學(xué)基金、教育部博士點基金、遼寧省自然科學(xué)基金、遼寧省教育廳基金等項目。

YU Dongmei was born in 1986. She is a Ph.D. candidate at Liaoning Technical University. Her research interest is optimization theory and application.

于冬梅（1986—），女，遼寧鞍山人，遼寧工程技術(shù)大學(xué)博士研究生，主要研究領(lǐng)域為最優(yōu)化理論與應(yīng)用。

TU Jun was born in 1982. He received the Ph.D. degree from College of Information Science and Engineering, Northeastern University in 2014. Now he is a lecturer at College of Science, Liaoning Technical University. His research interest is intelligent algorithm.

徒君（1982—），男，安徽全椒人，2014年于東北大學(xué)信息科學(xué)與工程學(xué)院獲得博士學(xué)位，現(xiàn)為遼寧工程技術(shù)大學(xué)理學(xué)院講師，主要研究領(lǐng)域為智能算法。

Ant Lion Optim izer w ith Chaotic Investigation M echanism for Optim izing SVM Parameters?

ZHAO Shijie+, GAO Leifu, YU Dongmei, TU Jun
Institute of Optim ization and Decision, Liaoning Technical University, Fuxin, Liaoning 123000, China + Corresponding author: E-mail: zhao2008shijie@126.com

Key words:ant lion optim izer; chaos; investigation mechanism; support vector machine; parameter optimization

Abstract:As ant lion optim izer (ALO) is a new bionic intelligence algorithm, there are a number of respects on the improvement and development. Since antlion’s population (species) has some poor-fitness individuals in basic ALO algorithm, the behavior of ants selecting those antlions for random walk w ill result in increasing the possibility of its trapping into local optima and impacting on the algorithm’s optimal performance. Considering this question, this paper proposes ant lion optim izer w ith chaotic investigation mechanism (CIALO), which draws experience from the investigation idea of artificial bee colony algorithm (ABC) and brings in chaos search mechanism based on the original information of antlions. The CIALO algorithm firstly defines poor-fitness individuals of the sorted antlions’population as investigative ant lions (IAL). Meanwhile, the original position information of these antlions is regarded as the initial value of Fuch chaotic mapping. Then it can gain a better-much position by a certain number of chaos search iteration and reassigns the position to IAL, which is beneficial to improve the superiority of antlion’s population and the optimal performance of the algorithm. Eventually, the CIALO algorithm is used to optim ize the parameters of support vector machine (SVM). The public datasets from University of California Irvine (UCI) is employed for evaluating the
proffered algorithm. The experimental results imply that the CIALO algorithm for optimizing SVM parameters has stronger optimal performance and better stability of the algorithm.

doi:10.3778/j.issn.1673-9418.1506093 E-mail: fcst@vip.163.com

文獻標(biāo)志碼：A

中圖分類號：TP18