試論大數據分析中的計算智能方法

張昊

（湖北第二師范學院計算機學院，湖北 武漢 430205）

0 引言

在互聯網和物聯網技術快速發展背景下，計算機存儲空間和計算能力都得到了明顯提高，可以實現持續獲取海量的數據，這就意味著人們正式走入了大數據時代。大數據技術的價值是真實而又巨大的，為了能夠充分發揮出其中存在的優勢，就必須要解決像數據采集和信息抽取處理以及數據分析等技術問題。在此影響下，對數據獲取、存儲和管理等數據安全服務和隱私保護工作都提出了十分嚴格的要求，各種云計算信息技術急需硬件設備支持來解決技術問題。

除此之外，計算智能代表著人工智能時代新時期，是一種綜合性問題解決方法總稱，與傳統人工智能技術不同，計算智能不需要建立符合自身問題的模型，也不只是單純的知識表達，而是在數據觀測的基礎上進行處理，這一特點很容易處理大數據當中那些傳統人工智能技術無法解決的問題。從目前實際情況來看，計算機技術和人工智能技術都在快速發展，在圖像處理以及智能控制等多個領域的應用都十分普遍，并收獲了非常理想的成果。然而在不斷更新換代的大數據背景下，計算智能方法也面臨著一定的挑戰。

1 大數據分析中計算智能方法的研究現狀與未來發展

很多不確定的復雜問題通過計算智能方法都可以輕松解決，同時也非常適合應用于多變且多樣化的大數據環境。計算智能方法也面臨著很多全新的挑戰，大多數應用于小數據層面的計算智能方法已無法適用于當前海量且高速的大數據計算中，具體問題如下：受數據規模膨脹的影響，算法時空開銷也呈現出持續增漲的趨勢，能夠被小數據集所接受的計算難度，在大數據中也變得十分困難。其次，從大數據實際應用情況來看，數據是不斷變化和更新的，它無法直接傳輸到計算機主機存儲器當中，也無法保留所有的樣本數據，更不能像批量計算那樣構建出無偏訓練集。最后，在大數據時代環境中，數據采集能力和生產能力都在與日俱增，方法也越來越多樣，這也使得屬性數量在隨著數據規模不斷擴大而明顯增加，數據信息表現出高維且系數的特征[1]。

對此，面對大數據為計算智能帶來的挑戰，未來需要重點從以下幾個方面進行研究：

一是要拓展計算智能算法，以此來更好地處理大規模業務，在問題規模持續擴增的同時，擴展算法模型也會發生相應的變化。由于大部分計算智能算法研究都是將大數據技術作為基本出發點，因此這些方法并不只是分析大數據這么簡單，而且關于大數據性能方面的分析也少之又少，如何將存在于小數據集上的計算智能算法轉移到大數據集之上，是未來需要重點研究的問題。從目前實際情況來看，加強算法的可擴展性是解決這類問題的主要手段，常見方法主要有線優化、隨機算法、以哈希為基礎的算法和規模較大的集群分布式算法等四種。因此相關研究人員需要重點分析將這些措施與計算智能算法相結合的有效方法，同時還要考慮如何才能夠發展高擴展性的計算智能新算法。在此基礎上還要將原始問題進行簡化，在此期間，大規模復雜問題的解決措施就是分而治之，其關鍵就是如何抽象劃分問題。

二是粒計算的理論與計算模型可以從不同的角度和層次來進行分析，進而使問題能夠得到有效解決，為復雜問題的處理方式提供新思路[2]。粒計算在應對大數據中復雜問題處理期間具有非常關鍵的作用，屬于一種規范化計算模式，在智能化信息發展領域十分重要，然而在后期實際應用過程中，還需要探討如何告別當前初始階段。

三是在分析大數據信息時，考慮是否會用到原數據集中的信息，如果不是，將如何豐富更加高效且豐富的手段，這是需要重點研究的問題。在一些應用中，還需要對部分數據進行采樣處理，將滿足小數據集特點的傳統方式應用于大數據集當中，通過犧牲部分精確率來減少時空開銷。除此之外，在分析大數據集前提下來探索其中所存在的規律，也是一種十分可行的策略。

除了上述幾點研究發展之外，因為在很多大數據應用環境下，數據中所蘊含的規律是不斷變化和發展的。例如，互聯網熱點新聞討論熱度會隨著時間推移而發生變化，在新聞傳播和消失等各個環節中都有不同的變化，因此大數據分析并不只對某一時段的事件進行提前預測，還要體現數據的動態發展模式，這樣才可以充分體現數據中的潛在價值。另外，因為大數據價值密度不高，因此會經常使異常模式突出較高的價值，比如日志數據的故障錯誤、輿情分析中的敏感事件以及金融業務中的敲詐行為等等。這些都需要應用發展迅速且可靠的方法來進行檢驗。

2 大數據分析中的計算智能方法

計算智能一般可以認為是人工神經網絡、模糊系統以及演化計算三方面相互融合形成的全新計算方法。計算智能算法因其自身特點決定了在大數據分析過程中的重要價值。

首先，大數據本身復雜多樣且多變的特點決定了模型驅動方法存在本質上的約束性，面對錯綜復雜的海量數據信息，通常很難建立精確模型完成演化計算[3]。同時大數據分析通常會隨著外界環境發生變化，這都是源自于系統本身和用戶的需求等方面在發生變化，傳統人工智能方式很難面對這樣的環境變化，這就導致最終算法失去了意義，而通過遺傳算法可以根據實際環境來優化種群適應程度。

其次，精度也是大數據環境下的一項重要因素，針對不確定問題的處理和管理需求都源自于數據采集措施和自然環境等其他因素的干擾，在此基礎上也有大數據不確定的特點。所以針對不確定數據的挖掘成為了當前大數據分析過程中的重要問題。

最后，大數據的規模和復雜程度也需要分析較大的時空開銷，但是可能無法在精確的時間內進行分析。計算智能方法擁有一定的啟發性，可以模擬人類和其他生物智慧來得到想要的答案，具有較高的自組織性和自適應性，能夠快速解決一些較為棘手的問題，規模龐大的問題處理也因此得到了有效手段。

2.1 人工神經網絡

人工神經網絡是一種在模仿動物神經系統前提下而實現的分布式信息處理模型，擁有良好的非線性映射能力和容錯性，是一種十分關鍵的計算智能算法。神經網絡并不需要掌握任何先驗知識，和傳統計算方式相比，約束條件相對較少。從大數據角度來看，像設備傳感器、社交網絡以及搜索引擎等，這些數據都是持續變化的，因此無法像學習算法一樣在過去數據中建立起訓練集。另外，數據規模與產生的速度也會導致數據無法實現一次性導入。面對這樣的問題，需要利用深度在線學習方法，每次分析只需要一個樣本數據來更新目標函數即可。在此基礎上，感知器也是一種十分傳統的在線學習模型，是人工神經網絡的重要結構，對于任何一種訓練樣本，感知器都可以準通過預測結果來判斷是否更新和連接權重。如果預測結果正確，那么權重將會不變。否則，就需要結合輸入樣本特征來更新。在理論方面，這樣的更新手段擁有較低的錯誤率，經過標準化之后的訓練樣本將會與最短距離平方呈反比[4]。

2.2 模糊系統

在大數據使用過程中，數據很容易受精度和隨機性等非可控因素影響，最終會導致大部分數據表現出一定的模糊性。除了在采集期間導入模糊性之外，在實際使用過程中數據也要具備固定模糊性，例如電商網站和服務點評網站等等，用戶可以根據自己的感受來發表言論，這些信息都很難用簡單邏輯來表達，重點是要表達其中的不確定性，用語言來表述更加詳細的模糊概念[5]。對于模糊系統的研究屬于一種模糊現象，這樣的模糊性通常存在于事物的差異性方面，概念外延也因此具有一定的不分明性，使推理結果的可解釋性更強，是一種應用十分廣泛的計算智能算法。從語言變量描述角度來看擁有非常明顯的應用價值。

2.3 演化計算與群體智能

以遺傳演算為基礎的演化計算和粒子群優化等為代表的群體智能計算方法，是應對復雜問題的重要手段。在實際應用期間的優點在于，它不僅可以快速解決一些十分困難的問題。同時還可以用于解決約簡問題當中，進而有效解決數據量龐大的困擾。

遺傳算法自身不需要先驗知識，目前已廣泛應用于解決復雜問題當中。此外，遺傳算法還能夠進行數據簡化，因為加強決策力和流程優化能力是大數據分析過程中的重要目標之一，所以計算智能算法擁有比傳統計算方法更廣的應用空間，差異目標優化如今已成為演化計算的重要研究方向。

3 結語

綜上所述，雖然大數據技術帶來了前所未有的發展機遇，但是對信息技術發展帶來了一定的挑戰。所以必須結合大數據技術特點進行全面分析，并總結歸納其中的計算智能方法應用措施，在分析缺陷問題的前提下，清楚了解未來主要研究方向，解決數據資源共享傳輸問題，利用豐富且開放的大數據技術最終發揮出計算智能算法的應用潛力，解決各種復雜性問題。