AI在大數據技術中的創新與應用

基金項目：福州外語外貿學院2023年教育教學研究項目（JF2023016）

第一作者簡介：張宏展（1974-），男，博士，副教授。研究方向為大數據分析技術、網絡與分布式軟件。

DOI：10.19981/j.CN23-1581/G3.2024.21.004

摘" 要：當前我國正在經歷著數字化轉型，大數據受到各行各業的重點關注，對大數據技術人才的需求正在不斷增長。AI技術的突破和發展使得傳統大數據處理技術的不足和局限性進一步被放大，探討AI在大數據技術中的創新與應用勢在必行。針對這一問題，該文首先在分析使用大數據技術面臨的問題時提出使用AI的解決方案，然后從大數據處理流程出發，提出增加AI數據感知階段，最后展望AI的優勢和存在的不足之處。

關鍵詞：AI；大數據；ChatGPT；數據處理；模型

中圖分類號：TP319" " " 文獻標志碼：A" " " " " 文章編號：2095-2945（2024）21-0016-04

Abstract： Currently， China is undergoing digital transformation， and big data is receiving significant attention from various industries. The demand for big data technology talents is constantly increasing. The breakthrough and development of AI technology have further magnified the shortcomings and limitations of traditional big data processing technologies， so it is imperative to explore the innovation and application of AI in big data technology. To address this issue， this paper first proposes a solution of using AI when analyzing the problems existing in using big data technology. Then， starting with the big data processing process， it is proposed to add an AI data perception stage. Finally， the advantages and shortcomings of AI are discussed.

Keywords： AI; big data; ChatGPT; data processing; model

當前，我國正在經歷數字化的轉型[1]，“數字化”這一名詞術語鋪天蓋地，成了經濟與科技領域最熱門的話題。作為數字化時代的數據要素，大數據正受到各行各業的重點關注。2023年3月，中共中央、國務院明確提出組建國家數據局，并于2023年10月正式成立。數據作為一種新型的生產要素，由中央部委來管理，預示著在數字經濟和社會發展中的作用越來越強，在未來很長一段時間內，大數據技術人才需求會持續增長，發展前景十分廣闊[2]。

2023年，大模型技術取得的突破使得人工智能技術發生了深刻的變革[3]，以ChatGPT為代表的新一代生成式人工智能技術應用火遍全球。AI技術主要是通過大量訓練樣本數據的深度機器學習得出算法模型實現的，AI技術的突破和發展離不開高質量大數據的支撐和基礎。……