復雜性將影響大數據部署

楊光

日前發布的《2017～2022年中國大數據產業發展前景與投資戰略規劃分析報告》顯示，中國大數據產業市場在未來五年內，仍將保持著高速增長。預計2016年年末，市場規模將達到2485億元，而隨著各項政策的配套落實及推進，到2020年，中國大數據產業規模或達13626億元。

管理數據的效率需提升

有專家認為，通過大數據技術使人們可以利用以前不能有效利用的多種數據類型，抓住被忽略的機遇，使企業機構變得更加智能和高效。大數據的重心將從數據的存儲和傳輸過渡到數據的挖掘與應用，這將深刻地影響企業的商業模式，既可直接為企業帶來利潤，也可通過正反饋為企業帶來難以復制的競爭優勢。據麥肯錫測算，大數據的應用每年潛在可為美國醫療健康業和歐洲政府分別節省3000億美元和1000億歐元，利用個人位置信息潛在可創造出6000億美元的消費者剩余。因此大數據應用有遠超萬億美元的市場。

大數據產業鏈參與者眾多，覆蓋面廣。按照產品形態，主要分為硬件、基礎軟件和應用軟件三大領域。綜合各領域國內外競爭態勢，商業智能、信息安全和云計算將是數據挖掘和應用環節國內相對受益的三駕馬車。中國智能市場已步入成長期，“十三五”期間潛在空間將超過300億元；信息安全“十三五”期間潛在空間將超過4000億元；云計算剛進入成長期。

據測算，到2020年，全球需要管理的數據量將達到35ZB，相較于2011年將增長50倍，而同期IT從業人員將僅增加1.5倍，意味著人均管理數據量將膨脹近33倍。雖然目前看來，人力資源的配給與現有的數據庫管理技術基本是匹配的，但是未來，如果人類管理數據的效率不能保持同步提升，在大數據時代將無法對數據進行有效管理。

傳統數據庫的管理能力無法應付大數據體量的數據。人們和機器制造越來越多的業務數據對IT系統帶來了更大的挑戰，數據的存儲和安全以及在未來訪問和使用這些數據已成為難點。目前成熟的經典數據庫技術——結構化數據查詢語言SQL，在設計的一開始是沒有考慮非結構化數據的，也就是說以前計算機人員討論數據的時候，數據的范圍限定在結構化數據范疇以內。

真正的挑戰是洞察

大數據和分析法的質量，不如分析的目的來得重要。最有趣的緊張態勢和爭論，始終圍繞著組織是否會因使用分析法而獲得最大報酬，以使既有的流程行為更完善，或者改變公司人員的行為。

許多企業投下數百萬美元用于大數據、大數據分析，并雇用數據分析家，但卻感到很受挫。無可否認，他們現在得到了更多、更好的數據。他們的分析師和分析法也是一流的。但經理人對業務的想法和爭論，似乎與過去的類型仍一樣，只是他們使用的數據與分析法都比以前好得多。最終的決定可能更加由數據驅動，但組織文化給人的感覺仍然相同。正如一位CIO最所言，“我們現在可以做實時的分析，那是我在五年前根本無法想象的，但這樣所帶來的影響力，仍與我的預期差距很遠”。

“要等到管理階層確認想要改變、并清楚知道影響的行為是什么之后，我們才會去做分析或商業情報的工作”，一位金融服務公司的CIO說，“提高合乎法規的情況和改善財務報告，是很容易獲得的成果。但是，這只意味著我們使用分析法去做我們已經做得比以前好的事情。”

真正的挑戰是洞察，利用大數據和分析法，以改善解決問題和決策的方式，會掩蓋組織里一個現實情況，那就是新的分析法往往需要新的行為。公司人員可能需要作更多分享和協力合作；各部門可能需要設置不同的或互補的業務流程；經理人和高級主管可能需要確保，現有的激勵措施不會破壞分析帶來的成長機會和效率。

例如，一家醫療用品供貨商整合有關“能帶來最多利潤的客戶”和“最賺錢產品”的分析，必須對業務人員與技術支持團隊進行完整的再教育，兩者都是為了“打擾”并“教育”客戶有關附加價值較高的產品。這家公司了解，這些分析法不應該只是被用來支持現有的銷售和服務實務，而應該被視為一種契機，可推動新型的促進式和顧問式銷售及支持組織。

諷刺的是，大數據和分析法的質量，不如分析的目的來得重要。最有趣的緊張態勢和爭論，始終圍繞著組織是否會因使用分析法而獲得最大報酬，以使既有的流程行為更完善，或者改變公司人員的行為。但大致的共識是，最有成效的對話聚焦于分析如何改變行為，而非解決問題。

得到正確的答案，甚至是問正確的問題，原來不是擁有高ROA企業的主要關切點。無可否認，數據與分析法的問題、答案，都是重要的。但更重要的是，這些問題、答案及分析法，如何與個人與機構的行為協調一致（或彼此沖突）。有時候，即使是最好的分析法也可能引發適得其反的行為。

大數據實現空間化表達

對于國民經濟的發展，測繪地理信息技術發揮的作用越來越大。測繪行業的人不要固步自封，要跳出測繪看測繪，把測繪技術用到國民經濟的發展當中才能發揮真正的價值。

地圖服務模式創新如今已進入大數據思維模式的成熟發展階段，大數據分析方法融入測繪地理信息行業，強調了數據、業務、空間三個維度的結合，能夠真正解決問題。中科宇圖大地圖可以提升大數據的宏觀定性，也是微觀定量分析的基礎。如何把大數據從定性到定量發展，空間數據、地圖能夠發揮作用。通過大地圖的創新模式，大數據的分析方法從平面走向了立體這樣的一個思維模式，這種空間位置的動態演變與時間序列的動態演變過程相結合的模式，這才是地圖與大數據真正的結合點。

實際上，地圖技術應用存在著四大痛點，即地圖專業技術壁壘、解決了地圖經費的高投入、地圖數據使用保密、地圖行業數據共享的難題。基于此，中國測繪地理信息學會創立了地圖大數據的創新工作委員會，通過在政府、科研機構、行業及從事大數據的公司之間架設起交流的橋梁，促進大數據技術與測繪技術融合，并通過非營利的運作，物聯網技術、云計算技術、大數據挖掘的技術、空間技術、物聯網、移動互聯網、智能化采集技術、模型技術等核心技術的共同研究，搭建基于數據采集、運行管理以及應用的科學決策不同的相關的體系，建立并完善一個基于地圖與大數據真正整合的不同的資源體系。大數據應用層面，障礙重重。

無獨有偶，大數據應用過程中也同樣存在諸多問題。清華大學教授黨安榮指出，大數據應用并未深入到各行各業的應用中去，而基于大數據的服務體系也并未建立起來，如何聚合大數據服務還是個難題。與此同時，如何將含有人本信息的信息以及反映的過程和他的實時的交互結合在一起，形成動態化的相關應用模式，并最終形成流程化應用，值得探討。

大數據的應用范圍之廣，黨安榮教授大數據以人居環境研究中的應用實踐揭示了大數據應用的重要意義。隨著GPS數據日益增多，國內北斗衛星系統的逐步完善，智慧城市的大規模建設，物聯網的發展，大數據也逐漸多起來，并進入到了遙感大數據新時代。在宏觀應用方面，夜光遙感數據能夠直接反映城鎮化的水平，而人口遷徙則反映了城鎮建設的系統或者經濟系統的發展水平；在微觀應用方面，通過各樣的傳感器形成物聯網，進一步形成云計算，可以用來了解小區的氣候環境以及動態變化。

如果用地圖可視化的方式來進行大數據表達，只需要在數據其他的屬性等等這些緯度之上再加一個空間的緯度，再加一個時間的緯度即可。只有用專業的分析工具進行分析，打造出各種各樣的呈現方式，才能夠便于公眾的決策，利于廣泛應用。

如今，大數據應用程序比常規應用程序復雜10倍，開發人員通常需要了解大量的技術，以使大數據能夠正常工作。

大數據的應用仍然太難了。盡管有很多的炒作的成分，但大多數企業仍然努力從他們的數據中獲得價值。而Dresner咨詢服務公司得出結論：“盡管長時間的意識培養和炒作，大數據分析的實際部署目前并不廣泛適用于大多數組織。”