大數據的發展及應用

【摘 要】近些年以來，信息技術在以肉眼可及的速度發展著，世界各國都在對現代化的建設積極的進行中，對信息技術的廣泛應用，都是能夠讓社會整體的每日運作產生出海量的數據。這個標志著人類文明跨入的新時代就是大數據時代。大數據時代讓社會的更多崗位和領域出現了無數的發展機遇和可能性，帶來了更多的挑戰性。本文在對大數據的產生和興起做一個簡單介紹，在這個范圍內，從關聯性上、數據可視化的角度對經濟性和社會學的角度出發去對大數據的興起和應用展開一定的研究。

【關鍵詞】大數據;發展;應用

引言：

隨著社會信息技術的高速發展以及網絡、云計算在現代人們的日常生活中應用的普及，大量的非結構化的數據就隨之產生了出來。這些非結構化的數據就成為了我們了解、認知、改造世界提供了重要的依據。不管是企業還是個人在通過計算機、移動設備或者網絡等工具制造出對應的數據并且傳輸產生了大量的信息，這些信息中不僅包括了企業的數據，還包括了個人以及其他事物的數據，這個信息量還在不斷的繁衍并且增大。大數據在潛移默化中就悄悄的融入到我們的生活中來，并且在不停地影響著我們。如何利用、組織這些種類繁雜的數據并且要保證在傳遞和使用過程中的安全就成了我們要重視的問題。

一、大數據的概念以及定義

對大量結構化數據或非結構化數據進行分析和處理，從中獲得新的信息價值，其特點有數據量巨大，數據類型眾多、處理要求快以及價值密度低等明顯的特點，這就需要用到大量的存貯設備和分析計算力。

隨著IOT、SNS、移動網絡以及云計算等技術的不斷應用和更新，在當今這個高速發展的信息數據化的社會中，大量可視化數據給我們的現有生活帶來了極大的便利性[1]。不僅在提高我們的工作效率和日常生活的便利的同時，還對著科學發展模式的變革起到了重要的作用，但是在這些好處的背后，我們也看到了一些大數據時代的一些問題，比如數據安全、數據存儲、數據處理等一些還存在一定隱患的部分。在大數據在給我們的生活和工作提供便利性，提高生產力帶來更多財富的同時，我們也要去關注它的隱患風險點，更好的去控制它才能讓大數據更好的為我們服務。

大數據即big data一詞是描述以電子的方式傳輸和存儲巨量的信息，也是形容不斷被人類創造的非結構化巨量數據，是指不能在可承受的時間范圍內用普通的軟件工具盡心搜集、管理和處理的體量巨大的數據集合體。這種技術可以在不同的種類、體量巨大的數據中，高效且方便的篩選出有效的高價值數據資源。在我們一般的認知里大數據是包括了搜集數據的設備、系統和數據的分析平臺組成的。

二、大數據的特點以及應用

大數據一般就是指大量非結構和半結構化的數據，它一般是指那些遠超過正常的數據庫處理系統和管理系統所能夠承載的數據[2]。所以不是所有信息技術產生的數據都會屬于大數據，在Forrester提出的數據源分類四大特征中，大數據有4個非常明顯的公認特征，即數據容量大、數據涌入快、數據種類多、數據價值密度低。

（一）數據容量大

大數據必然是巨量的，在目前按照維基百科的定義來說，當前的大數據的字節規模是幾十個太字節到數個柏字節的，這個“大”是和數據類型有關的大，在預測中，這個數據量的大小，在隨著計算機領域的技術發展，有可能向艾字節發展。就目前的大數據規模，數據庫能夠存貯這么大的數據，成本的昂貴也是無法想象的。

（二）數據涌入快

大數據會非?？斓幕蛘邔崟r的將數據傳輸進來，就需要對大數據流來進行及時有效的分析處理，甚至會出現因為數據傳輸太快太多，就需要舍棄一部分數據。

（三）數據種類多

作為結構性、非結構性以及半結構性數據三大類組成的大數據，在類別的不同上有著不同的處理方法，目前全球的大數據里，80%是非結構性和半結構性的數據，這兩種是不符合標準關系數據庫管理系統的，不是屬于可以直接進行處理的數據類型，所以無法使用傳統模式進行處理，只能使用固定格式的數據庫工作來進行分析。

（四）數據價值密度低

大數據中的大多數數據是重復的，如果涌入數據過快，忽略其中一部分重復內容是不會影響分析結構的[3]。這些大數據在被匯總和分析之前都是一些低價值的數據，或者說是價值密度低的數據，只有匯總后處理、分析才能讓這些數據具有價值。所以，大數據的價值就像淘金一樣，需要把雜質過濾掉之后，剩下的才是有價值的信息。雖然大數據的容量大，價值的絕對值可能很大，但是和數據的總量來性對比的話，相對值是很低的。

在應用方面，大數據的使用對企業來說可以在對大數據的挖掘和利用以后，整合系統的大量數據進行分析有效的價值，不僅可以提高企業的競爭力度，改善企業營銷的策略，對客戶的定位和產品創新的方面也能對比大數據的信息進行篩選處理，在工作流程優化、人力資源管理等方面的管控也是可以通過系統分析后將每個方面進行細致規劃進行統籌處理。目前，不僅是計算機和電子產品，在制造、零食、能源方面，更多的企業會采用大數據的分析和應用結果進行著營銷的決策，并且都能獲得更高的利潤。在交通、醫療等民生的領域，間接的推動了社會信息化服務水平，不僅也是提高了行政部門的辦事效率，也同時保證了人民群眾的生活便利。筆者所在城市的醫療保險繳納，已經從排隊等號人工繳納到現在的刷身份證就可以辦理，也就說明現代政府部門也在朝著大數據的便利性上轉變，不僅是方便了民眾的便捷，也讓工作人員的勞作壓力變小。

信息是具備著兩個屬性的，物理屬性和內容屬性，在信息革命60年，一直在邊緣，從未觸及它的核心。在如今的大數據應用分析理，讓我們看到和處理的不再是信息的物理屬性，二是信息的內容屬性。使得信息成為了和材料、能源同列的現代人類社會發展的三大基本資源。

三、大數據應用方面的挑戰

大數據在提供了便捷性的今天，也在應用方面讓我們看到一部分隱患。這些隱患是包含了提高數據計算模型的計算力、保護數據的安全隱私和計算機的硬件更新換代等。

上文已知，大數據的巨量化特性，且目前的存貯成本十分高昂。在隨著社交網絡不斷的升級擴容，里面的數據將會變得更多[4]。再加上處理大量低價值數據的及時性上需要更高效信息分析處理設備，這就使得在計算機的軟件、硬件方面進行革命性的升級，才能滿足當下大數據的整合、處理需求。在網絡病毒泛濫、黑客的無孔不入、以及一些相關利益鏈之間的數據買賣就成了我們面臨的一個問題點，我們在生活中的所有信息都會被記錄，并且被倒賣，既有可能對我們日后的生活中帶來一定的風險，這就需要政府制定一系列的政策和法律法規來去約束、管理不法的個人、機構和團體。從而避免數據的濫用和保護公民隱私安全的暴露。

結語：

在大數據應用的今天，大數據的應用已然滲透了我們的生活并且完美的融入了社會中的各行業之中。大數據的分析和數據的處理地位已經被廣泛的應用，借助云計算平臺對這些數據的分析，在變革的新方面推動了工業和商業的創新，并且在生產創造力的提升上發揮了自己的重大作用。在大數據的使用中，不僅要看到其帶來的價值，也要看到大數據目前受到的硬件、軟件等系統資源上的挑戰，還要看到在使用大數據的過程中，還有著一些數據風險和威脅性，如何更好的利用好大數據，并且控制好數據的安全，降低數據的風險性方面，也是我們要時刻關注著的。

參考文獻：

[1]董子萱. 試論大數據時代計算機軟件技術的發展及應用[J]. 數字通信世界，2019（03）：174.

[2]閔銳. 人工智能、大數據和云計算的融合發展及應用[J]. 中國高新科技，2019（17）：79-81.

[3]范應勝. 大數據技術與金融業的融合發展及應用研究[J]. 中國產經，2020（14）：41-42.

[4]中國社科院財經院研究室副主任、清華大學研究員 馮煦明. 深化平臺企業定價行為研究，加強對“大數據殺熟”監管與治理[N]. 21世紀經濟報道，2021-05-11（004）.

作者簡介：

張雪媛（2001.06-），女，青海，專科，大數據技術與應用。

（作者單位：西南科技大學城市學院）