基于人工智能技術的大數(shù)據(jù)分析方法研究進展

蔡敏

關鍵詞：人工智能;大數(shù)據(jù);分析方法

如今大數(shù)據(jù)在社會各個方面都發(fā)揮著非常重要的作用。而且，全球信息化的趨勢也在昭示著大數(shù)據(jù)技術將會得到更加廣泛地應用。在各種工業(yè)發(fā)展中，也開始逐漸應用大數(shù)據(jù)技術，我們已經(jīng)走進了工業(yè)大數(shù)據(jù)時代，如果能夠基于人工智能技術的基礎上研究大數(shù)據(jù)分析方法，就可以從根本上優(yōu)化大數(shù)據(jù)的使用范圍。

一、基于人工智能技術的大數(shù)據(jù)分析方法概述

由于信息技術的飛速發(fā)展，大數(shù)據(jù)技術已經(jīng)逐漸被應用到人們生活的方方面面，而人工智能的廣泛使用，也為人工智能基礎下大數(shù)據(jù)分析方法提供了有效的基礎，未來對于人工智能和大數(shù)據(jù)分析技術的應用范圍只會越來越廣泛，而基于人工智能技術下大數(shù)據(jù)分析方法，主要可以分為三個部分。

（一）基于機器學習的大數(shù)據(jù)分析

在人工智能技術當中，機器學習是非常重要的一部分，也是在大數(shù)據(jù)分析當中最常用到的方法，不僅在國內，有學者著手開始研究基于機器學習的大數(shù)據(jù)分析，在國外已經(jīng)有不少學者開始對這方面進行研究，而且，部分研究成果已經(jīng)應用到了很多領域。基于機器學習的大數(shù)據(jù)分析可以主要分為四點。

1.大數(shù)據(jù)聚類

大數(shù)據(jù)聚類作為所有算法當中最難的部分，不僅需要跨學科，跨領域，而且還需要跨媒體，也就導致了這一部分的研究受到了越來越多的關注。

2.大數(shù)據(jù)關聯(lián)分析

大數(shù)據(jù)關聯(lián)分析的另一個名字叫作關聯(lián)挖掘，它的主要作用就是在眾多的數(shù)據(jù)中找到關于項目集合或者是對象之間的合適模式以及關聯(lián)性和因果結構，是目前大數(shù)據(jù)技術當中主要發(fā)掘的技術之一。

3.大數(shù)據(jù)分類

大數(shù)據(jù)分類也是大數(shù)據(jù)挖掘中的一個重要方法，而且大數(shù)據(jù)分類廣泛，存在于各種行業(yè)中，連網(wǎng)絡入侵檢測和醫(yī)療診斷當中，也有大數(shù)據(jù)分類的身影。

4.大數(shù)據(jù)預測

大數(shù)據(jù)預測是整個大數(shù)據(jù)分析技術中的核心內容，大數(shù)據(jù)預測可以在很多行業(yè)中發(fā)揮它的作用，最常見的就是價格預測元素分析以及電力負荷預測等，這都可以為行業(yè)后續(xù)的發(fā)展提供非常有利的數(shù)據(jù)支持。

（二）基于深度學習的大數(shù)據(jù)分析

深度學習是由加拿大一位教授在某期刊上所提出的。后來，基于深度學習的大數(shù)據(jù)分析，成為機器學習的一個非常矚目的研究領域，而且深度學習也是機器學習方法之一，它通過對圖像、語音以及語言等處理的應用，對人工智能的發(fā)展有著非常重要的作用。而且在人工智能當中，深度學習是需要經(jīng)過訓練的，它歸屬于計算密集型任務。

（三）基于計算智能的大數(shù)據(jù)分析

它是人工智能中一個非常受關注的分支，因為計算智能自身有著啟發(fā)式和隨機性這兩個特點，可以更好地解決大規(guī)模問題。在我國的傳統(tǒng)發(fā)展中，優(yōu)化算法主要都采用集中式設計思想，在運算的過程中，需要顧及收斂性和收斂速度，但是如果面對一些大規(guī)模數(shù)據(jù)優(yōu)化或者是處理問題，傳統(tǒng)的集中式設計就無法進行處理或者處理起來非常耗時，但是如果應用計算智能來進行大數(shù)據(jù)分析，就可以很好地解決這種大規(guī)模的數(shù)據(jù)處理問題。

二、基于人工智能技術的大數(shù)據(jù)分析應用領域

（一）生態(tài)領域

基于人工智能技術的大數(shù)據(jù)分析技術在生態(tài)領域的作用主要可以分為三個方面：第一個方面是生態(tài)保護領域的應用，第二個方面是生態(tài)修復領域的應用，第三個方面是生態(tài)災害防治領域的應用。近年來，我國的經(jīng)濟發(fā)展十分迅速，但也導致了相應的環(huán)境問題，黨中央以及相關部門也加大了對生態(tài)環(huán)境保護的重視。例如，在針對森林生態(tài)系統(tǒng)的防護過程中，需要做到的就是確保森林資源不被酸雨所影響，還要盡量注意全球變暖對于森林資源的影響。在這種情況下，可以利用人工智能和衛(wèi)星遙感技術與大數(shù)據(jù)分析相結合，針對未來的天氣情況以及氣候環(huán)境進行實時預測以及監(jiān)控。利用人工智能對環(huán)境健康進行監(jiān)測的同時，也可以利用大數(shù)據(jù)分析技術來調取森林近年來的生長數(shù)據(jù)，一旦發(fā)現(xiàn)有酸雨即將來臨，相關負責人員就可以提前采取措施，通過分析森林的生長情況來確認森林是否會被酸雨所破壞，以及相關的防護措施要做到什么程度，這樣就可以提前對森林資源進行保護。在生態(tài)修復領域的應用中，可以將人工智能技術下的大數(shù)據(jù)分析技術應用到種苗培育當中，在生態(tài)修復的過程中，不可避免地會涉及一系列的種苗，在培育時就可以利用人工智能和大數(shù)據(jù)分析技術來分析當?shù)氐纳鷳B(tài)環(huán)境，判斷適合種植什么樣的植物可以提高植物的存活率。將人工智能技術應用到生態(tài)災害防治領域，可以防止發(fā)生大面積的森林火災，利用熱成像攝像機可以隨時監(jiān)測森林當中的情況，一旦發(fā)生任何病蟲害，也可以及時發(fā)現(xiàn)。

（二）生活領域

人工智能技術在生活領域的應用主要是關于人們的生活習慣。近年來，由于大數(shù)據(jù)技術和人工智能技術的興起，我們可以切身地體會到，我們的生活便捷性有了很大的提高，以最簡單的購物為例，以前用戶在網(wǎng)上購物的過程中，想要什么東西，可能會需要自行搜索，然后再去挑選，而且每次買東西都需要重復一樣的步驟，但是現(xiàn)在只要用戶對某一類別的產(chǎn)品感興趣，計算機就會根據(jù)用戶的喜好進行大數(shù)據(jù)搜索，然后再推薦相似類別的東西，這就大大提高了人們購物的便捷性。目前在國內大部分餐廳中也開始采用機器人送餐模式，這是人工智能技術和大數(shù)據(jù)分析結合的一個主要應用，機器人在上菜過程中既定的運動軌跡以及所能承受的菜品重量，都是結合了大數(shù)據(jù)才得出的。在人們日常的生活中，人工智能技術下的大數(shù)據(jù)技術也有很廣泛地應用。例如，如果有身體不適需要就醫(yī)，人們可以直接在網(wǎng)上進行掛號，掛號成功后直接到醫(yī)院而無須等待，這就是人工智能技術下大數(shù)據(jù)分析技術的另一個應用，可以根據(jù)用戶所描述的病情來推薦合適的門診科目，再進行網(wǎng)上掛號.這樣到了醫(yī)院以后可以節(jié)省很多等待的時間，這也在一定程度上提高了醫(yī)院的運行效率。

三、基于人工智能技術的大數(shù)據(jù)分析發(fā)展進度及方向

（一）聚類研究進度及方向

目前，在我國大數(shù)據(jù)分析當中，采用的都是最傳統(tǒng)的聚類算法，但是大數(shù)據(jù)聚類由于其復雜度和困難度較高，傳統(tǒng)的聚類算法根本不能直接應用到大數(shù)據(jù)聚類當中，因此引用了Mapreduce和K-means兩種算法。以Mapreduce為基礎的大數(shù)據(jù)聚類算法，可以通過分布式來實現(xiàn)，并且應用這種算法，可以從根本上減少大數(shù)據(jù)聚類的復雜程度，并在使用的過程中，可以更好地增加數(shù)據(jù)的延展性，而且在計算時也可以將計算時間最小化，同時對計算機硬件也沒有太大的要求。而K-means作為比較經(jīng)典的一種算法，有著非常廣泛的應用范圍，可以在一定程度上提高數(shù)據(jù)的處理速度。

（二）關聯(lián)研究進度及方向

前文已經(jīng)介紹過大數(shù)據(jù)關聯(lián)分析，也被稱為關聯(lián)挖掘，它是大數(shù)據(jù)挖掘當中主要的一項發(fā)展任務。目前，我國對大數(shù)據(jù)關聯(lián)的研究進度主要著重在Apriori關聯(lián)規(guī)則和頻繁模式增長上，而且關聯(lián)規(guī)則挖掘在我國有著非常廣泛的應用領域，像我們日常生活中的數(shù)值分析以及日志分析和智能交通等，都可以運用到關聯(lián)規(guī)則挖掘，例如，在對于出租車軌跡研究上，利用關聯(lián)規(guī)則挖掘可以對汽車的故障進行實時診斷，并且還能夠在一定程度上避免因為模式數(shù)過大而導致的計算速度過慢的問題。在未來，關聯(lián)挖掘算法在我國會有更加廣泛的應用，因為它主要的作用是對已經(jīng)存在了的算法進行并行化處理，這就更能符合我國未來大數(shù)據(jù)的發(fā)展趨勢。

（三）預測研究進度及方向

大數(shù)據(jù)預測是我國目前針對人工智能技術下大數(shù)據(jù)技術的主要研究內容，它可以應用到很多行業(yè)當中，但是目前我國的大數(shù)據(jù)預測研究還面臨著兩個非常困難的挑戰(zhàn)：第一就是如何能夠在預測過程中快速獲得一個趨勢輪廓，而且還需要保證數(shù)據(jù)的精確性;第二就是有越來越多的數(shù)據(jù)呈幾何倍數(shù)增長，很難在其中找到有價值的信息。和我們日常生活中關聯(lián)性最緊密的例子就是對于監(jiān)控視頻中有用價值的尋找。在幾個小時甚至是幾天內的監(jiān)控視頻中，能夠為我們所用的數(shù)據(jù)，可能只有幾秒，那么該如何在這樣龐大的信息數(shù)據(jù)中找到我們所需要的價值，這就是我國大數(shù)據(jù)預測當中存在的主要挑戰(zhàn)。

（四）分類研究進度及方向

大數(shù)據(jù)分類是挖掘信息技術當中一項非常重要的方法，無論是何種數(shù)據(jù)，它的分類問題一直都是人們所關注的一個重點，而大數(shù)據(jù)分類也被應用在社會各個方面，近年來，我國的大數(shù)據(jù)分類研究開始逐漸由簡單的數(shù)據(jù)過渡到分布式數(shù)據(jù)集里，各種各樣的算法都需要跟隨大數(shù)據(jù)整體環(huán)境的改變而改變，所以在分類算法中，也面臨著非常嚴峻的挑戰(zhàn)。在這樣的時代背景下，一些傳統(tǒng)的分類方法已經(jīng)跟不上大數(shù)據(jù)的發(fā)展，以機器學習為基礎的大數(shù)據(jù)分類是我國目前研究的主要方面。在未來，有關數(shù)據(jù)分類的應用會越來越顯著，因此，大數(shù)據(jù)分類在各個領域中都面臨著非常嚴峻的挑戰(zhàn)。

四、基于人工智能技術的大數(shù)據(jù)分析發(fā)展需解決的問題

（一）需不斷完善各類算法

在我國，基于人工智能技術的大數(shù)據(jù)分析發(fā)展中，所需要解決的一個問題，就是需要不斷完善各類算法。因為我們的時代在發(fā)展，每天所面臨的數(shù)據(jù)量越來越大，想要從中挑選出符合我們需求的信息以及該如何確保信息的準確性，都成了大數(shù)據(jù)技術發(fā)展當中所要面臨的主要問題。如果想要解決這一問題，那么就需要應用到各類算法，但是目前針對信息提取這方面還沒有一個可以短時間內查找我們所需要數(shù)據(jù)的算法，相關負責人員必須對這個問題重視起來，不斷地完善各類算法。目前在大數(shù)據(jù)分類以及預測中已經(jīng)有了很多合適的算法，但是這些算法的應用范圍有限，在部分細節(jié)上也需要完善。算法是基于人工智能技術的大數(shù)據(jù)分析發(fā)展所需要的基礎，如果沒有一套完善的算法，那么大數(shù)據(jù)分析也發(fā)揮不出自身應有的作用，例如，前文中所提到的兩種算法，雖然能夠解決各類的數(shù)據(jù)分析事件，但是從細節(jié)上來看，它的應用范圍還受到一定的限制，只有研發(fā)出新式算法，或者是在原來的算法基礎上進行優(yōu)化，才能更符合未來的大數(shù)據(jù)技術發(fā)展趨勢。

（二）需不斷降低時間成本

大數(shù)據(jù)分析需要降低時間成本。誠然，在各種信息當中，利用一些算法確實可以查找到我們所需要的數(shù)據(jù)，但是花費的時間也很多，如果這些數(shù)據(jù)不是急需的，那么我們確實可以利用這些算法慢慢地找出我們所需要的數(shù)據(jù)。但是如果這些數(shù)據(jù)需要加急，那么在短時間內我們根本就沒有辦法獲得有效的數(shù)據(jù)，例如，在警察偵破一系列的案件過程中，需要運用到監(jiān)控錄像來作為證據(jù)和斷案線索，但是該如何在長達幾天甚至是幾個星期的監(jiān)控視頻中找到所需要的線索，只能需要人力去一點一點觀察識別，這就會浪費大量的時間。因此，必須盡量降低大數(shù)據(jù)分析過程中所需要的時間，人工智能技術雖然在一定程度上優(yōu)化了大數(shù)據(jù)分析，但是對于時間成本問題，一直以來都沒有太大的突破。只有真正地突破了時間成本問題，才能夠讓大數(shù)據(jù)技術在社會各行各業(yè)有更加廣泛應用。因此，在人工智能技術和大數(shù)據(jù)分析結合的過程中，除了算法問題之外，對于降低時間成本問題，也必須要重視起來。

結語

在當下必須要對人工智能技術基礎上的大數(shù)據(jù)分析方法提高重視，并且充分理解人工智能技術下大數(shù)據(jù)分析的應用領域，大數(shù)據(jù)分析、聚類關聯(lián)以及預測和分類都會朝著更加智能、更加前景化的方向發(fā)展。雖然目前還需要不斷完善各類算法以及降低時間和成本等，但是只要能夠真正地提高對這一方面的重視程度，并且充分認識到人工智能技術基礎上的大數(shù)據(jù)分析方法的主要作用，就能夠更好地將二者結合起來。