大數據的問題與挑戰

韓佩佩

摘 要

大數據在社會政治、經濟、文化等人類生活的各方面產生了深遠影響，可謂是“得數據者得天下”。然而大數據技術還是不成熟的，面臨許多問題，解決這些技術上的難題對我們而言無疑是巨大的挑戰。文章主要介紹了大數據面臨的問題以及解決問題需要應對的挑戰，為大數據的發展起到了一定的推動作用。

【關鍵詞】大數據 問題 挑戰

如今，我們正處在一個數據爆炸性增長的“大數據”時代，收集海量的各種類型的數據，并快速獲取影響未來的信息的能力，這正是大數據技術的魅力所在。大數據從產生至今，一直在不斷的發展進步，整個社會對大數據技術的關注程度非常高。大數據技術對人類社會具有巨大的價值，在社會經濟、政治、文化等人類生活的各方面產生了深遠影響。但是目前大數據技術還是不成熟的，技術發展面臨許多問題，解決這些技術上的難題對我們而言無疑是巨大的挑戰。

1 大數據所面臨的問題

1.1 數據存儲難題

爆發式的數據增長不僅讓數據量大大增加，數據的類型也在變得更加復雜。不同類型的數據如何有效的存儲在同一個系統內。這對存儲系統的結構和性能提出了新的問題。當今，數據中心使用的傳統引導驅動器不僅故障率高，而且具有較高的維修和更換成本。這使得數據的存儲成本居高不下。僅僅提高硬件的性能不能滿足復雜數據對存儲系統的要求。如何提高存儲系統的性價比，令數據存儲更加便利更加有效，為以后的數據處理分析做好基礎工作，是大數據技術的一大問題。

1.2 數據分析結果未合理利用

運用大數據的預測判斷來影響人類的潛在行為，雖說在很大程度上可以幫助政府企業做出更好的決策決定，更好的管理社會。但從某些方面來說，這是對自由意志的一種褻瀆，是對公平公正的一種損害，同時也輕視了決策過程中個人深思熟慮的重要性。

1.2.1 數據分析影響人們的選擇

大數據的預測通過對用戶數據的深度分析，可以了解獲知用戶的行為喜好，個人習慣，潛在行為等。企業通過這種分析預測，對用戶加以引導以實現自己的目的，這在一定程度上違背了人類的自由意志，人們的行為變成了一種人為地操控。企業利用發達的數據挖掘技術正日益精準地揣摩著消費者心態，并運用各種手段對我們進行“循循善誘”。例如，我們在上網購物時，輸入自己想買的商品，很多商家都彈出了相關的推薦商品，更可怕的是，有的企業利用人們的搜索記錄和地理位置，在我們瀏覽網頁時植入符合我們需求的精準廣告。這無疑在很大程度上影響了人們的選擇，左右了人們的決定。

1.2.2 數據分析影響政府決策

政府對數據的分析利用與企業相比，有過之而無不及，政府需要通過分析收集上來的數據，制定政策，法律法規。問題隨之而來，用時如果得當，大數據分析應用，會是政府合理決策過程中的有力武器；倘若運用不當，它就可能會變成政府統治約束民眾的工具，輕則傷害公民的利益，重則損害公民的人身安全。

1.3 分析處理能力不足

從龐雜無章的數據中獲取有價值的信息，無疑是一項非常具有挑戰性的工作，人類社會很早就開始利用數據，使用數據，但是從來沒有像今天這樣，需要面對如此龐大復雜的數據。分析利用數據，首先需要技術上的支持。在進行大數據分析之前，還需對數據先進行預處理，包括處理無效值和缺失值、刪除重復值等，對大數據來說，這些都是海量數據的“噪聲數據”，利用傳統的數據分析軟件來清理這些“噪聲”，處理分析數據，難度較大。除此之外，還需要快速把大數據中的核心數據提取出來，要想高效快速的準確分析這些核心數據，就需要建立高級的分析模型，只有對核心數據進行準確分析，發現數據中的趨勢和隱藏的信息，使大數據真正發揮作用。大數據處理分析需要軟硬件結合，這對軟件、硬件的性能和人才知識水平的都提出了更高的要求。這也是人們不得不面對的一個大問題。

2 大數據所面臨的挑戰

大數據給我們帶了許多不得不面對的問題，如何解決這些問題，對我們而言是一個個巨大的挑戰，突破這些挑戰將會把大數據技術推上一個新的高度，給人類社會帶來的效益不可估量。本節針對上文提出的諸多問題，介紹了相應的解決方法，并總結解決過程中遇到的挑戰。

2.1 數據儲存

巨量數據存儲所耗費的成本，會給企業造成巨大的負擔，甚至令許多企業望而卻步。數據量的爆發式增長，對存儲技術提出了巨大的挑戰，急需設計新型數據庫與性能更高的存儲硬件。

2.1.1 開發高效率、低成本的大數據存儲系統

重復數據刪除技術已經進入到存儲市場，而且該技術還可以處理更多更復雜的數據類型，這都可以為大數據的存儲應用帶來更多的價值，提升了存儲效率。在數據量不斷增長的信息化的大環境下，通過減少后端存儲的消耗，哪怕僅僅是降低幾個百分點，都能夠獲得非常明顯的投資回報。刪除冗余信息，提高存儲效率，創新存儲模式，降低存儲成本，開發成本更低的存儲硬件，效率更高的存儲系統，才能真正做到了節省成本。才能為大數據的發展提供動力。但是數據刪除技術難以保證有效信息不被刪除，我們有時候也無法鑒別哪些信息是有效的，如何高效的鑒別信息的有效性，對我們來說是一個巨大挑戰。

2.1.2 提高數據存儲系統的靈活性

大數據存儲系統的基礎設施規模通常都很大，因此必須經過仔細設計，才能保證存儲系統的靈活性，使其能夠隨著應用分析軟件一起擴容及擴展。在大數據存儲環境中，已經沒有必要再做數據遷移了，因為數據會同時保存在多個部署站點。一個大型的數據存儲基礎設施一旦開始投入使用，就很難再調整了，因此它必須能夠適應各種不同的應用類型和數據場景。存儲系統的穩定性靈活性的提升是數據存儲重要的一個改革點。應該建立高效新型的存儲結構，以適應復雜的數據類型，巨量的數據。

但是，如此大型的數據存儲系統一是難以設計，二是價格肯定會非常昂貴，難以普及。如何保證大型系統的故障率不會隨著系統的復雜性的提高而提高，這對我們來說是一個難以解決的挑戰。

2.2 科學利用數據分析結果

2.2.1 對于數據分析結果，理性看待

企業商家利用大數據的分析結果對人們消費行為進行干預引導，這對企業商家來講，絕對是有利的，但是對我們消費者而言，可能會做出一些跟風消費的現象，購買自己不需要的東西，但自己的渾然不知。自由人的行為選擇竟然在很大程度上由他人決定，這就衍生了一些問題。對于商家企業的引導宣傳，我們應理性看待。由此，我們應該想到，大數據的分析結果正確與否，我們暫且不論，其結果肯定會對我們的行為產生影響，這種影響可能是正面的也可能是負面的。所以，作為普通公民的我們，需要提高自己的警惕，不能隨波逐流，要有自己的理性判斷，不能過分依賴數據。

2.2.2 預防預測偏差

對于政府企業，大數據無疑是一件極好的工具，但是，該技術畢竟是一門新生技術，原數據的正確與否都很難確定，更不用說分析結果的正確性了。一旦政府企業利用錯誤的數據進行分析，或者分析方法不當，得到的結果必定是有偏差的，這種偏差會影響政府企業的決策，錯誤的決策所帶的損失必定是巨大的。

為了避免或減少這種由數據利用不當帶來的損失，政府企業應規范自己利用大數據分析結果做決策的流程，建立一套完整的機制，避免盲目決策，錯誤決策。提高政府企業工作人員的科學素養，保證對該技術的理性認識，不迷信大數據技術，堅持實事求是。

思維的轉變是非常重要的一點。確定好大數據技術為人類服務的定位，不是“奴役”人類的工具。這一轉變對我們來說，也是一個巨大的挑戰。

2.3 強化數據分析工具

數據的分析、處理涵蓋了許多方面，這也使得大數據的分析、處理技術面臨巨大的挑戰。

2.3.1 急需強大的數據分析工具。

目前，我國的數據處理技術基礎薄弱，篩選與分析大數據的能力遠遠不及理想中水平。對低密度有價值的數據快速分析和處理能力不足，難以滿足大數據大規模應用的需求。如果把大數據比作石油，那數據分析工具就是進行石油勘探、油田鉆井、原油提煉、加工等環節必須的東西。所以，必須研發新的大數據分析技術！擁有強大的數據分析工具，才能將大數據資源轉化為價值。在短時間內研發出高端的新技術，是對我們的大挑戰。

2.3.2 如何令云計算更好的服務于大數據

無處不在的信息感知設備和信息采集終端設備為我們采集了海量的數據，而以云計算為代表的計算技術的不斷進步和發展，為我們提供了強大的計算能力，這就圍繞個人以及組織的行為構建起了一個與物質世界相平行的數字世界。借助云計算等有效工具，深度挖掘數據的價值，可幫助政府企業更好的運作。但是云計算技術還不是非常成熟，如何令云計算高效的與大數據結合，更好的完成數據分析處理工作，這將是提升大數據技術的一個重要突破點。快速發展云計算技術，并順利將其應用與大數據中，是大數據發展中重要的一個環節。

3 結束語

本文主要介紹了目前大數據技術存在的問題，并針對這些問題提出了解決方案，以及解決問題時面臨的挑戰，為大數據的發展起到了一定的推動作用。

參考文獻

[1] 維克托·邁爾·舍恩伯格.大數據時代[M].浙江：浙江人民出版社，2012：1-135.

[3] 維克托·舍恩伯格.刪除：大數據取舍之道[M].浙江：浙江人民出版社，2013：27-103.

[4] 徐繼華，馮啟娜.智慧政府：大數據治國時代的來臨[M].北京：中信出版社，2014：18-89.

[5] 李金勝.大數據時代的挑戰、價值與應對策略[J].數字化用戶，2014：10-72.

[6] 許小樂.“大數據”與政府統計改革[J].調研世界，2013：56-93.