大數據技術的研究應用

綦文彬，侯宗潤

（山東省青島市第二中學 山東 青島 6856158）

1 引言

所謂大數據，從狹義上講就是難以用現有的一般技術管理的大量的數據的集合，具有大規模，多樣性，高效性、準確性和價值性。隨著計算機技術的發展，云計算的興起，使得大數據的獲取、存儲、處理成為可能。大數據技術是基于網絡信息技術存在的，能夠利用計算機工具進行搜索、提取和共享的海量數據集合，企業利用好大數據能夠幫助提升企業發展規模和發展質量，政府利用大數據信息能夠提升決策的針對性和準確性，更好地服務民眾。

2 大數據技術重要性

社會科學技術的不斷發展，帶動了計算機信息技術和互聯網技術的應用，在計算機和互聯網有機結合應用之后，產生了大量的數據信息，大數據概念也隨之出現。大數據處于一種抽象的名詞，跟傳統的數據不同，大數據依存于互聯網信息技術，同時規模大、類型多、價值較高。作為一門新興的技術，大數據技術的出現為社會不同領域的發展提供了新的發展方向[1]。例如說可以利用社會中產生的大數據來分析民生，進行輿情監控等工作，能夠提升政府部門工作質量，加強政府部門跟人民群眾的溝通和交流。

3 大數據應用現狀和面對的挑戰

3.1 大數據技術應用現狀

目前大數據技術主要應用于我國的社會企業和政府部門管理工作中，針對電子商務行業、交通管理工作以及醫療保障行業進行有效應用[2]。在電商領域當中，隨著大數據信息技術的應用，電商領域的運營模式也發生了很大的變化，目前的網絡電商平臺主要是研究各種數據，通過數據的支持來分析出顧客的購買能力和購買需求，通過詳細的數據分析預測出未來電商的銷售情況，并根據預測的解決調整自己的經營決策，提升企業的銷售利潤。例如說目前淘寶購物就退出了一個個性化推薦模塊、廣告投放系統，能夠根據淘寶用戶在平時的搜索和購買產品類型，搜索顧客的相關消費數據，分析用戶的行為和喜好，并作出相對應的廣告推薦，能夠讓推薦更加符合顧客消費口味。目前我國大部分城市都在使用“智慧城市”的城市管理系統，能夠利用大數據分析技術，來幫助政府部門更好的協助管理城市建設，促進城市管理工作的智能化發展[3]。例如說可以在系統當中建立出每個人的健康監測系統，然后在個人移動設備中上傳健康信息，能夠讓系統針對個人進行有效的分析，及時發現身體健康問題，提升社會群眾的健康發展。

3.2 大數據技術面對的挑戰

大數據技術的主要應用流程分成為三個部分，數據獲取、數據存儲和數據分析，在這三個階段也有三種不同的挑戰。在數據獲取過程中，大數據的數據主要是從互聯網和物聯網進行采集，不同的來源自然也在成了數據形式的不一致，面對不同樣式的數據，怎么才能夠提升利用效率呢。首先需要針對不同的數據類型建立不同的數據格式，并能夠實現不同格式的相互轉化。例如說如果該數據是網絡文本數據，可以轉化成為json結構數據，然后再轉化為結構化數據，能夠讓數據的存儲和分析變得更加方便。目前在大數據存儲技術上Google和Facebook等互聯網企業都走在了世界前沿，建立起了新興的數據庫來滿足大規模的數據存儲[4]，我們要根據我國大數據的類型和特點，建立符合我國大數據技術應用要求的數據庫，滿足大數據技術應用要求。基于大數據的復雜性、多樣性，大數據的分析方法在大數據領域顯得尤為重要，可以說是決定最終信息是否有價值的決定性因素。數據分析包括數據連接與集成、數據挖掘、數據可視化、數據報告等。建立一個集成性智能平臺，能夠將相關所有的數據，加載到諸如hadoop,spark平臺，進行數據的自助交互分析，并形成可視化數據分析結果，讓人人都能夠快速從數據獲得決策智慧。可見簡化大數據分析的過程，是大數據技術的發展趨勢和挑戰。

4 大數據技術的應用舉例

4.1 新聞業的應用

大數據技術的應用能夠幫助模擬顯示真實環境，發掘出新的市場需求，同時也能夠幫助促進單位部門之間的練習，提升工作效率。在新聞生產行業應用大數據技術，能夠進一步幫助提升社會受眾的反饋價值。新聞行業應用大數據技術，可以詳細的根據受眾需求調整發展方向，例如說趨勢預測性新聞還有數據驅動型深度報道等，能夠提升新聞的數據呈現和分析能力，幫助促進新聞事業的發展。

4.2 公共交通行業中的應用

在交通運輸行業應用大數據技術，能夠促進交通行業的智能化和發展。首先是在系統當中輸入收集到的交通數據，針對交通數據進行有效的提取，然后數據中心會在數據交換中心針對已經提取的數據進行處理和交換。利用計算機進行云儲存、云計算，把大數據集成起來進行存儲。最終利用控制中心把集成起來的大數據利用不同的色彩呈現出數據地圖，能夠更加明確的看出數據變化。

4.3 商務管理的應用

現代社會科學技術發展對于企業的生產管理和商務決策提出了更高的要求。現代化企業市場競爭在很大程度上都已經是智能化、網絡化水平競爭，逐漸依賴于社會網民群體、社會媒體以及社會中逐漸形成的網絡生態系統。在市場運行過程中會產生大量的數據，企業很難及時的收集其中的有利信息調整營銷決策，因此在商務管理中應用大數據技術，能夠有效促進企業營銷的發展。

5 結語

應用大數據技術能夠有效促進我國各行各業的創新發展，提升社會發展的時效性。在未來的發展過程中，大數據的應用會更加多樣化，滿足更多高層次應用要求，跟其他領域技術的交融也會越來越頻繁，因此加強大數據技術的研究應用很有現實意義。然而大數據也有局限性，大數據只是對過去和現實的歸納和總結，其本身并不具有趨勢和方向性的特征；大數據本身及其采集、使用過程都極有可能會涉及個人隱私、商業機密、公眾權益和國家信息安全，因此，要注意做好作重要信息的安全保密。