基于人工智能技術的大數據分析方法研究進展

費一鳴

（香港恒生大學，香港，999077）

1 大數據分析方法問題的提出

1.1 大數據分析的重要性

大數據是人類發展過程中的重要資源，使我們必不可少的重要內容。關注大數據技術的研究工作，可以充分挖掘大數據的內在價值和科學知識，認識工業經濟的快速發展。當下數據無所不在：在我國經濟發展中，可以科學控制工業生產過程[1]，從而實現產業經濟結構的調整，為我國經濟發展注入新的活力。此外，大數據技術的應用有效結合人工智能技術，將智能制造應用于社會制造，為制造業轉型做出巨大貢獻。

1.2 技術路線

基于人工智能技術的大數據分析，智能是前提，離不開高端的技術支持。利用大數據、人工智能等技術和硬件，實現信息的實時動態采集，整合分析社會的需求，為社會決策作出最優解。從收集數據到分析需求，再到數據整合、數據清洗、數據分析、深度培訓、設計合適的方案，整個過程涉及大數據、人工智能等相關技術。

1.2.1 大數據與Hadoop

根據麥肯錫全球研究院的定義，大數據一般是指大到足以捕獲、存儲、分析和處理超出傳統數據管理工具能力的非結構化數據的集合。大數據只是為了實現某些公司或其他利益相關者的某些目標或運營策略而收集的大量數據。大數據技術在于將這些海里數據專業化處理成有價值的信息。

必須處理大量數據才能提取信息。首先要解決的問題是數據存儲問題。Hadoop工具具有分布式HDFS文件系統。初衷是在數百臺計算機上存儲大量數據。HDFS是提供的管理解決數據存儲問題。

1.2.2 人工智能與Python

人工智能，英文縮寫是AI，研究的重點是人類的思維和意識，這種人類的行為是通過機器模擬，通過數學計算和分析來實現的。人工智能包括兩個非常重要的模塊：常用的機器學習和深度學習。

創建模型需要使用Python爬蟲技術從互聯網上獲取企業數據以外的數據，這就需要用到Python中的Requests、Scrapy、Selenium、BeautifulSoup等庫。機器學習和深度學習只有在數據被抓取后才能進行。機器學習和深度學習以及整個人工智能領域中的大多數模型和算法都使用Python作為基礎語言。

2 基于人工智能的大數據發現網絡技術設計

2.1 大數據的網絡掃描處理

網絡掃描是使用電子系統識別、讀取和記錄數據的過程，以便未經授權的數據可以通過檢查。其作用是加快數據驗證，保證數據安全，但對于人工智能技術平臺人員來說[2]，查找數據存在難度，所以要解決這個問題，首先要對數據進行網絡掃描。

數據采用大數據掃描處理，它是對瀏覽量數據進行分類和定性分類的過程。這個過程中用到的參數叫做分辨率，是掃描的關鍵。

2.2 大數據信息的提取

大數據信息的提取旨在從人工智能技術平臺的頁面瀏覽數據中獲取有價值的信息。現在數字處理應用于構建基于人工智能的大數據識別網絡。其基本思路如下：首先對提取的客戶瀏覽量數據進行預處理，然后確定大數據識別屬性，以便過濾他們出來。

2.3 數據分析方法

2.3.1 聚類分析法

聚類分析方法的主要特點是對通過相似性收集到的信息進行分組和分類，使信息以分段的形式呈現。這種方法論對看似雜亂無章的數據進行深入研究，根據分析的目標將數據劃分為不同的組。然后利用數據之間的聯系提取有價值的信息，發現信息的潛在價值。聚類分析方法有一定的缺點，因為數據信息本身的個性化，使得在計算統計時難以進行數據分析，也難以識別數據。

2.3.2 人工神經網絡分析方法

人工神經網絡法是指試圖通過模擬大腦神經網絡處理和存儲信息的方式，分析和抽象復雜而廣泛的數據，接收和使用計算結果的方式來處理信息的方法。例如：人工神經網絡法主要是在數學模型上建立算法，輸入神經網絡的研究值都是數值型的。在收集相關數據時需要根據自身實際需要對相關數據進行分析。最好是進行數據分析，確保人工智能技術的應用。

2.3.3 相關性分析方法

相關性分析法是一種利用大數據揭示數據庫中不同信息之間關系的分析技術。相關性分析方法可以對采集到的數據和不能直接應用的信息進行相關性分析，實現隱藏信息的挖掘和相應的處理，識別數據的唯一性。這類分析方法具有更好的準確性和目的性，因此這類分析方法更常用于數據的精確分析，例如：在管理文件信息方面。

2.3.4 特征數據分析方法

數據特征分析是一種基于數據質量分析結果的數據分析方法.利用計算數據的特定相關特征集等方法，得到的人工智能結果可能更接近先前預期的數據分析結果或一致。所以使用這種方法進行數據分析可以更好地實現大規模數據分析。大數據時代，海量數據和信息呈現快速增長趨勢，給數據整理和分析帶來信息的使用困難。

2.4 確定大數據發現的屬性

為了使大數據更容易識別，需要在識別描述中盡可能完整地描述大數據信息，但同時對大數據識別網絡本身的描述也很重要。另外，由于大數據的輸出結果是一個數據集，需要定義很多操作來滿足用戶的不同需求。因此，有必要明確大數據識別應涵蓋的數據來源。

2.5 實現大數據檢測網絡的建設

在基于人工智能的大數據發現中，網絡發現處理可以加快數據驗證速度，保證數據安全，然后根據大數據信息的提取確定大數據發現的屬性。

基于大數據發現完成大數據信息提取；依靠大數據檢測屬性的確定，使大數據檢測成為現實。完成關于構建基于人工智能的大數據發現網絡的擬議研究。

3 基于人工智能技術的大數據分析方法研究方向

3.1 機器學習的大數據分析

機器學習是人工智能技術的組成部分之一，在當前大數據分析技術的研究階段[3]，應用機器學習已經成為大數據分析技術中最重要的部分。技術人員利用機器學習技術有效討論當前大數據分析技術，提高當前工作質量，將大數據技術應用到日常生活中。研究人員對大數據的分析從四個主要方面開始：大數據聚類、大數據關聯分析、大數據分類和大數據預測。研究人員在使用機器學習分析大數據技術時，需要結合現階段機器學習技術的實際情況[4]，才能有效地將機器學習技術應用到日常生活中。

例如，當研究人員使用機器學習分析大數據時，他們使用傳統的聚類算法對現階段的大量數據進行阻塞和簡化，然后將這些計算結果重新組合以實現大數據分析。其中，MapReduce是目前分布式計算的主流框架之一，研究人員可以使用該框架通過機器學習來實現數據分析。在研究傳統聚類算法時，由于現階段數據量較大，所有的研究工作都比較繁瑣。它是一種并行聚類算法，可以有效提高計算機處理速度來分析經典大數據。

3.2 深度學習的大數據分析

當前的大數據研究強調使用深度學習技術，并為提高計算機操作質量做出相應貢獻。深度學習代表了這一階段人工智能技術的關鍵技術，它要求公司員工在模型訓練過程中注意對各種閾值和參數的迭代計算[5]，以實現這一階段的計算機智能并構建為這些隱藏階段構建深度網絡，逐漸適應當前的工作質量，并為大數據分析指明方向。

目前，深度學習技術研究取得了一定的進展，有力地支撐了我國經濟和產業的發展。基于Spark的分布式平臺可以利用內存計算訓練模型參數，逐步構建深度網絡，提高大數據分析效率，為當前階段大數據探索指明方向。在深度神經網絡分析中，研究人員重視算法工作，并借助信息論逐漸適應當前工作的發展，明確整體數據中隱藏神經元的數量。然后將大數據劃分為塊，并根據深度學習-訓練步驟實現對各種數據的迭代計算，從而改變當前的工作質量[6]，提高深度學習模型的學習速度，提高相應大數據分析技術的準確性，從而實現大數據的構建。

3.3 大數據分析的計算智能

在當前人工智能的發展中，計算智能是計算機研究的一個重要分支，借助現有的計算智能研究方法，可以高效處理大數據。研究人員重視傳統優化算法的使用，有效利用計算智能技術實現大數據的高效處理。

基于群體智能的大數據分析技術是這一階段實現具有動態特性的大數據分析的重要手段。群體智能的大數據分析方法是這一階段分布式計算的一個重要分支，常用于大數據分析。目前的技術人員能夠基于粒子群優化技術有效地處理大數據。該階段的研究人員基于數據拆分合并策略，實現了不同樣本的拆分，保持了原始數據之間的信息傳遞，有效地整合了不同的子集，從而提高了大數據分析的效率。目前，利用計算智能技術，可以逐步建立起由數據存儲和并行計算組成的高效管理機制，為大數據技術的應用做出重大貢獻。

4 結束語

本文研究的基于人工智能技術的大數據檢測網絡技術是在網絡掃描處理大數據的基礎上，提取瀏覽量數據，確定大數據檢測的屬性，構建大數據實現基于大數據的檢測網絡。最后，經過驗證，本文檢驗的技術識別數據量與原始數據集匹配，證明了本文技術研究的有效性。希望本文的研究能為數據識別提供有效的技術幫助。