大數據技術的應用分析

◆孫發友

(南京機電職業技術學院 江蘇 210000)

大數據技術的應用分析

◆孫發友

(南京機電職業技術學院 江蘇 210000)

大數據需要專業化的技術和管理人才。大數據解決方案的設計和實施，需要專業化分析復雜數據集的工具和技術。大數據的有效應用需要解決大容量、多類別和高時效數據處理的問題。傳統數據庫處理不了數TB級別的數據，也不能很好支持高級別的數據分析數據。大數據時代，數據價值越來越大，面對海量數據的收集、存儲、管理、分析和共享，信息安全問題成為重中之重。

大數據；數據挖掘；數據分析

1 大數據時代的時代特征

1.1 大數據的特點

大數據(Big Data)是指“無法用現有的軟件工具提取、存儲、搜索、共享、分析和處理的海量的、復雜的數據集合。”業界通常用4個V(即Volume、Variety、Value、Velocity)來概括大數據的特征。

1.2 大數據存在的問題

為企業打開這一“金礦”的鑰匙.然而傳統的IT基礎架構和數據管理分析方法已經不能適應大數據的快速增長.大數據的爆發是我們在信息化和社會發展中遇到的棘手問題，需要我們采用新的數據管理模式，研究和發展新一代的信息技術才能解決。

2 大數據技術

2.1 大數據量遙感圖像的薄云去除

大數據量圖像重采樣，抽樣就是從總體中合理抽取一定量的樣本 ，并依據這些樣本對總體數據進行合理地推斷。樣本必須與總體盡可能一樣，兩者保持大致相同的分布。薄云識別，對于一個大數據量的遙感圖像，為了提高圖像處理的速度 ，一個有效的方法就是僅僅對有云的區域進行薄云去除 ，不改變無云區域的性質。

2,2 基于格網劃分的大數據集 DEM 三維可視化

在 GIS 中 TIN 被看作為表達 DEM 的最佳方式， 原因在于TIN不僅數據量小， 且表達了一定的拓撲結構. 但TIN需要消耗較大的內存空間， 計算量大， 且需要較多的預處理工作。規則格網結構則要簡單得多， 且在實際生產中 DEM 往往使用規則格網表達，常見的是基于點陣的柵格表達方式， 一般使用位圖格式進行存儲. 但規則格網所占存儲量較TIN 大， 且不具有拓撲結構。

3 大數據的應用

大數據的類型大致可分為三類：（1）傳統企業數據（Traditional enterprise data）：包括 CRM systems的消費者數據，傳統的 ERP數據，庫存數據以及賬目數據等。（2）機器和傳感器數據（Machine-generated /sensor data）：包括呼叫記錄（Call Detail Records），智能儀表，工業設備傳感器，設備日志（通常是Digital exhaust），交易數據等。（3）社交數據（Social data）：包括用戶行為記錄，反饋數據等。如Twitter，Facebook這樣的社交媒體平臺。

大數據挖掘商業價值的方法主要分為四種：（1）客戶群體細分，然后為每個群體量定制特別的服務。（2）模擬現實環境，發掘新的需求同時提高投資的回報率。（3）加強部門聯系，提高整條管理鏈條和產業鏈條的效率。（4）降低服務成本，發現隱藏線索進行產品和服務的創新。

3.1 大數據時代新聞業面臨的新震蕩

大數據技術滲透到新聞生產的核心環節，大數據技術重樹新聞質量標桿，大數據技術進一步提升受眾反饋的價值，大數據技術拓展用戶分析廣度與深度。在大數據技術等因素的推動下，新聞業務將實現一些方向性調整，如趨勢預測性新聞和數據驅動型深度報道分量的增加，數據呈現、分析與解讀能力的提高，新聞生產中跨界合作的增強。

3.2 大數據在公共交通中的應用

基于大數據的智能交通數據處理體系流程依次為：（1）輸入交通數據。（2）數據中心對實時交通流數據進行提取，促進數據交換中心之間對數據進行交換和處理。（3）通過基于云計算的云存儲來對數據進行儲存， 將大數據集成起來。（4）控制中心將這些大數據在電腦地圖上以不同色彩來呈現。

3.3 大數據背景下商務管理

現代企業的生產管理與商務決策在很大程度上依賴于社會媒體、網民群體、上下游合作企業以及競爭對手所構成的“網絡生態系統”，并逐漸呈現出縱向整合和橫向聯合的兩種新發展趨勢．快速積累的海量數據使企業難以及時洞察出有用的信息來作出營銷決策，但同時也為企業營銷帶來前所未有的機遇。

4 大數據的機遇和挑戰

4.1 大數據分析機遇

關系數據庫和 MapReduce 混合技術研究：關系數據庫和MapReduce 技術各有優缺點， 如何融合關系數據庫和MapReduce 技術， 設計同時具備兩者優點的技術架構 也是大數據分析技術的研究趨勢。繼續改進 MapReduce 的性能， 提供數據分析的實時性： MapReduce 是面向批處理的并行計算模型， 其性能與關系數據庫相比仍然有一定的差距。

4.2 大數據時代的挑戰

“大數據”時代同時提供了挑戰。除了諸如計算機病毒、盜版軟件以及對服務器的惡意攻擊等這些熟悉的問題之外。這也就意味著，在一個給定的很短的時間內，把公眾的真正看法與網絡上各個群體恰好正在表達的觀點區分開來，將會變得更加困難。另外網絡“大眾性”的特點可能是不合時宜的，因而需要重新進行定位。

5 大數據的前景展望

我們要在大數據環境下面向技術創新管理的雙向決策模型，整合傳統的“目標驅動決策”與大數據環境下的“數據驅動決策”理念及方法，分別從“技術評估與預測”及“技術監測與預警”兩個方面構建適用于我國技術創新管理的新方案，應對大數據環境，有效并快速提取知識與觀點的能力，并最終促進我國核心技術創新與升級。

[1]曹磊，陳薇娜，繆其浩，陳超．大數據：數字世界的智慧基因[J]．上海：文匯報，2011．

[2]陳憲宇．大數據的商業價值[J]．浙江：企業管理，2013．

[3]嚴霄鳳，張德馨．大數據研究[D]．工業和信息化部計算機與微電子發展研究中心(中國軟件評測中心)．北京，2013．

[4]2013RSA信息交全大會傳真，大數據作為革命性的解決方案應對信息安全的全面挑戰[J]，2013．

[5]夏欣．電子商務潮流下大數據的應用及發展[J]．武漢：決策信息，2013．

[6]謝華美，李榮艷，田艷琴，別榮芳．基于大數據量遙感圖像的薄云去除[J]．北京：北京師范大學學報，2006．