大數據與集群智能分析

陳凌子

摘 要：群體智能（Swarm Intelligence）是一種在自然界生物群體所表現出的智能現象啟發下提出的智能模式?；诋斍按髷祿畈l展的現實環境，本文在介紹群體智能模型的基礎上，對大數據和集群智能兩者間關系進行了進一步梳理，即集群智能是進行大數據分析的一個重要技術手段。

關鍵詞：大數據；群體智能

1引言

人們在很早的時候就對自然界中存在的群集行為感興趣， 如大雁在飛行時自動排成人字形， 蝙蝠在洞穴中快速飛行卻可以互不碰撞等。對于這些現象的一種解釋是， 群體中的每個個體都遵守一定的行為準則， 當它們按照這些準則相互作用時就會表現出上述的復雜行為?；谶@一思想，Craig Reynolds 在1986 年提出一個仿真生物群體行為的模型BOID[1]。一個顯著的標志是1999 年由牛津大學出版社出版的E Bonabeau 和M Dorigo 等人編寫的一本專著《群體智能：從自然到人工系統》（“Swarm Intelligence ：From Natural to Artificial System”），他認為簡單智能體（agent）涌現出來的集體智能[ 2]。

2群體智能遵循的原則

Millonas M M 在1994 年提出群體智能應該遵循五條基本原則[3]，一是鄰近原則（Proximity Principle）， 群體能夠進行簡單的空間和時間計算。計算可以理解為群體根據環境刺激所作出的行為反應，通常是為了最大化群體行為的效用。二是品質原則（Quality Principle）， 群體能夠響應環境中的品質因子，例如食物質量和居所安全性。三是多樣性反應原則（Principle of Diverse Response），群體不應將自身資源限制在很小的范圍內，而是應該廣泛分布以應對環境的劇烈變化。四是穩定性原則（Stability Principle）， 群體不應在每次環境變化時都改變自身的行為，因為改變需要消耗能量，而且未必有正收益。五是適應性原則（Adaptability Principle）， 在值得投入能量改變行為時，群體能夠在適當的時候改變自身的行為。

3大數據與群體智能

3.1傳統數據分析中存在的問題

傳統算法存在局限性。一是大規模問題，在日常的工作和生活中，人們對數據的收集越來越多，數據被儲存在不同領域的管理系統中，成爆炸式增長。 二是高維問題，在高維空間中，數據集存在數據分布稀疏、噪聲水平提高、屬性維度高等特點，當維數達到一定高度時，傳統意義上的數據距離和區域密度將會變得沒有意義，數據集上的距離差將會逐漸縮小，甚至出現“距離趨零現象”。三是多目標問題，在應用于金融、工業、生產管理等相關領域時，往往有多個需要優化的目標。對于多目標優化問題，各個優化目標之間可能存在矛盾和制約，因此要尋找一組優先級別最高的解集來達到各目標之間的平衡。 四是動態問題。傳統的數據挖掘技術只是針對靜態的數據進行分析處理，而不能很好的動態的掌握信息的發展，動態數據挖掘是綜合現在和未來于一體的知識提取過程。

3.2大數據挖掘的瓶頸

數據挖掘技術的發展存在一定的瓶頸。一是數據產生的速度和數量、應用的規模和范圍在不斷地擴大，因此產生了龐大的大規模數據集，原來的一些數據挖掘方法不能在短時間內挖掘到有用的信息、挖掘信息的質量下降甚至無法執行；二是數據挖掘研究對象的特征維數越來越高，產生了大量的具有冗余特征和噪聲特征的高維小樣本數據，直接進行數據挖掘容易造成維數災難；三是在數據挖掘的過程中，現有的挖掘方法大多缺乏指導和控制的交互性；四是對各類算法和模型還沒有形成正確的評估體系，難以對數據挖掘的實際項目起到指導作用。五是數據的復雜性。這種復雜性并不止源于數據的本身，更多體現在多源異構、多空間和多實體的交互動態性，難以用傳統的方法從大量動態甚至無法辨識的數據中提取出有用的信息。

3.3集群智能在大數據挖掘瓶頸技術的突破

一是數據的某一個維度是對樣本點某一方面特性的描述，在高維數據情況下，許多算法（比如聚類模型）失效。但局部敏感散列算法的應用能幫助尋找到高緯度空間的最近臨界點。二是在大數據涉及的數據挖掘多目標優化問題中，粒子群算法和螞蟻算法使用較多。比如利用小生境技術，同時在算法的運行過程中加入了精英集策略，提出了一種改進的多目標優化粒子群算法，這種改進方法有效地提高了算法的運行效率。三是數據的動態變化問題。大數據使用中，Web使用數據、實時交通信息。而集群智能方法已經被廣泛應用于靜態和動態優化問題中迭代策略的改進蟻群算法，從而改善了基本蟻群算法在動態優化中的性能。

3.4大數據與集群智能之間關系

經過我們查閱資料和小組成員之間進行討論，我們得出了大數據和集群智能之間的關系： 大數據是柴，獲取數據背后的價值是砍柴，而數據挖掘中對集群智能的使用則是砍柴刀。因此，兩者間本質上上是目標和工具的關系。

參考文獻：

[1] Eberhart， Russell C. Swarm intelligence =[M]. 人民郵電出版社，2009.

[2] Dorigo M， Stützle T. The Ant Colony Optimization Metaheuristic： Algorithms， Applications， and Advances[M]// Handbook of Metaheuristics. Springer US， 2003：250-285.

[3]Millonas M M， Dykman M I. Transport and current reversal in stochastically driven ratchets[J]. Physics Letters A， 1994， 185（1）： 65-69.

（作者單位：長沙民政職業技術學院）