喬朝飛
(國家測繪地理信息局測繪發展研究中心,北京 100830)
最近一段時間,“大數據(big data)”一詞快速升溫,逐漸成為IT領域的熱門詞匯,受到越來越多的關注,影響力甚至超過了云計算、物聯網等。一些業內專家預測,大數據時代即將到來。那么,究竟什么是大數據,它的出現將給測繪地理信息行業帶來什么影響?測繪地理信息工作應該如何應對?筆者在此不揣簡陋,談一些粗淺的看法。
2011年3 月29 日,奧巴馬政府在白宮網站發布了《大數據研究和發展倡議》(Big Data Research and Development Initiative)(以下簡稱《倡儀》),旨在提升利用大量復雜數據集合獲取知識和洞見的能力,并將為此投入兩億美元以上資金。《倡議》提出,將提升美國利用收集的龐大而復雜的數字資料提煉真知灼見的能力,協助加速科學、工程領域創新步伐,強化美國國土安全,轉變教育和學習模式。《倡議》還承諾將在科學研究、環境保護、生物醫藥研究、教育及國家安全等領域利用大數據技術進行突破[1]。
2011年10 月,全球知名咨詢公司麥肯錫公司的季刊刊登的一篇文章指出:數據已經滲透到每一個行業和業務職能領域,逐漸成為重要的生產因素,大數據將成為企業的新興資產,形成企業競爭力的重要基礎;企業需要開始認真思考,是否能夠充分利用海量數據的潛力,并設法應對可能的威脅;人們對于海量數據的運用將預示著新一波生產率增長和消費者盈余浪潮的到來。
維基百科對大數據的定義是:“指無法在一定時間內用常規軟件工具對其內容進行抓取、管理和處理的數據集合”。大數據具有數據量大(volume)、種類多(variety)和速度快(velocity)等特點,涉及互聯網、經濟、生物、醫學、天文、氣象、物理等眾多領域。
大數據與以前的數據的區別在于:以往的數據多是結構化的,是非個性化的數據。而進入2012年,非結構化數據的比例將達到互聯網整個數據量的75%以上。大數據通常與數據分析與挖掘、數據倉庫、商業智能及開源云計算架構等諸多熱點話題聯系在一起[2]。
全球著名的信息技術咨詢商國際數據公司(IDC)的研究表明,數字領域存在著1.8萬億GB的數據。企業數據正在以55%的速度逐年增長。科技博客網站表示,如今只需兩天就能創造出自文明誕生以來到2003年所產生的數據總量。現代企業正在經歷規模化、多樣化、高速化的數據挑戰,大數據已成為重要的時代特征[3]。
筆者認為,大數據并非是一個突然冒出的新鮮事物,其與以前的數據爆炸、數據挖掘等是一脈相承的。大數據與其說是一項技術,不如說是由于不斷增長的數據量和數據種類而逐漸衍生出來的一種現象[3]。
大數據的出現有其歷史的必然。今天,數據成本下降促使數據量急劇增長,而新的數據源和數據采集技術的出現使數據類型增多,各種非結構化的數據又增加了大數據的復雜性。如今,各種電子商務、社交網站層出不窮,不同性別、年齡的用戶有著各種喜好、需求,由此產生了大量非結構化的數據。如淘寶網目前每天活躍數據量已經超過50 TB,共有4億條產品信息和2億多名注冊用戶在上面活動,每天超過4000萬人次訪問[2]。全球最流行的社交網站Facebook已經擁有8億個用戶,每天用戶之間溝通、交流的信息的數量之大可想而知。面對如此龐大的數據量,有眼光的企業開始對數據進行深加工,挖掘數據中蘊含的豐富信息。
事實上,大數據的應用離大眾生活并不遠。如一些用戶經常在一些電子商務網站上購書,隨著購買記錄的增多,網站會根據用戶的購買記錄,向用戶推薦一些可能感興趣的圖書。事實上,這些網站利用的是一種所謂推薦引擎的技術[4],這種技術能夠綜合利用用戶的行為、屬性,對象的屬性、內容、分類,以及用戶之間的社交關系等,挖掘用戶的喜好和需求,主動向用戶推薦其感興趣或者需要的對象。數據表明,這種主動服務的效果是顯而易見的,那些在電子商務網站被推薦過商品的用戶,有三分之一的人會根據這些推薦購買商品[4]。
大數據時代的來臨,對政府、企業、公眾帶來的影響是深遠的。
對于政府來說,應用大數據技術,可以建設相關的智慧工程,提升應急處理能力和安全防范能力,提升各部門的服務效率。奧巴馬政府發布大數據研發倡議后,美國國家科學基金會(NSF)、國家衛生研究院(NIH)、國防部(DOD)、能源部(DOE)、國防部高級研究局(DARPA)、地質調查局(USGS)等6個聯邦部門和機構承諾,將投入超過2億美元資金用于研發“從海量數據信息中獲取知識所必需的工具和技能”,并披露了多項正在進行中的聯邦政府計劃。如地質調查局通過給科學家提供深入分析的場所和時間、最高水平的計算能力和理解大數據集的協作工具,催化在地理系統科學的創新思維[1]。
對于企業來說,大數據在推動企業變革的同時,也產生了新的商機。在大數據時代,企業需要重新思考已有的IT模式,并將推動企業進行又一次基于信息革命的業務轉型,將有關技術與企業運營管理實踐相結合,使企業能夠借助大數據帶來的大洞察,獲取更多的商業價值和發展機會,在激烈的市場競爭中脫穎而出[3]。
對于公眾來說,可以通過大數據技術享受到方便快捷的服務,如網上購物、餐飲和旅游咨詢等。電子商務網站利用大數據技術,如推薦引擎技術,通過分析用戶在網上的消費習慣,能夠“讀懂”消費者的心理,及時向消費者提供其可能會感興趣的產品和服務。
全球互聯網巨頭都已意識到大數據時代數據的重要意義。包括EMC、惠普、IBM、微軟在內的全球IT巨頭紛紛通過收購大數據相關廠商來實現技術整合,可見其對大數據的重視。2012年5月17日,在北京召開的“智慧的分析洞察”論壇上,IBM正式發布了基于業務分析洞察(BAO)理論基礎之上的IBM智慧的分析洞察(smarter analytics)戰略,以幫助企業將洞察力轉化為行動力[3]。IBM在此時提出大數據平臺戰略,其目的顯而易見,它正在以自己的優勢瓜分這塊龐大而誘人的蛋糕。
如今,大數據在IT領域風生水起,其核心思想對于測繪地理信息工作發展有很多啟示,提供了新的機遇。
長期以來,測繪地理信息部門的主要任務是生產基礎地理信息數據。西部測圖工程、1∶5萬基礎地理信息數據庫更新的完成,標志著數字中國地理空間框架初步建成;海島(礁)測繪工程的開展,彌補了海洋基礎地理信息數據的不足;資源三號衛星的發射成功,突破了高分辨率衛星影像的瓶頸;通過基礎航空攝影獲取了大量遙感影像資料。可以說,當前基礎地理信息數據已極大豐富。然而,問題在于,守著這樣一座數據金山,測繪地理信息部門卻沒有很好地加以利用。
毋庸置疑的是,測繪地理信息部門擁有的是名副其實的大數據,僅西部測圖工程的成果,數據量就達到13.4 TB。大數據時代的到來,對于測繪地理信息部門具有重要意義,某種程度上講,能否使用好手中的大數據,盤活這些數據資產,直接關系到測繪地理信息部門未來發展的成與敗。
令人高興的是,國家測繪地理信息局已認識到充分利用基礎地理信息數據加強公共服務的重要性,正在加快開展地理國情監測,不斷完善地理信息公共平臺天地圖的功能,加快推進地理信息大數據的應用。
今后,測繪地理信息部門應在不斷更新現有基礎地理信息數據的基礎上,著力加強數據的應用。
數據挖掘技術的發展水平,直接關系到基礎地理信息數據開發利用程度的好壞。目前,地理信息數據挖掘技術遠遠不能適應開發應用的需要。因此,國家測繪地理信息局應組織有關科研力量,大力開展地理信息數據挖掘基礎理論和應用研究。特別是如今測繪地理信息部門掌握著豐富的遙感影像資料,應加大從影像中獲取有用信息的研究。
在重大測繪地理信息工程建設中注重開展數據應用。在開展地理國情監測時,選取若干事關大局、事關民生的領域,創建若干典型應用范例,進而帶動全國范圍內地理國情監測的開展。應加強天地圖的開發應用,在有關部門廣泛開展調研,了解部門實際需求,開發相應的應用系統。
測繪地理信息部門作為重要參與者的智慧城市建設,與大數據關系緊密。智慧城市是數字城市發展的更高階段,是城市發展的新范式,從城市中每個人的生活方式到每個產業的生產方式,以及城市的運營和管理方式都將智慧化。建設智慧城市,只有利用大數據,才能獲得突破性改善。智慧城市中,存在著大量傳感器,只有利用大數據技術,結合地理位置數據,才能進行深層次分析和應用。
大數據時代的來臨,可能預示著新的、甚至是破壞性業務模式的誕生,即所謂“破壞式”創新。大數據意味著大商機,對于地理信息企業而言,誰能抓住大數據帶來的商機,誰就能在激烈的競爭中立于不敗之地。這里僅以基于位置的服務(location based service,LBS)為例,說明大數據給地理信息企業帶來的機遇。
LBS曾經一度被業界寄予厚望,然而,最近其發展卻離大家的預想有較大距離。大數據時代的來臨,有可能使LBS重新煥發活力。
LBS與移動互聯網聯系緊密。移動互聯網目前發展迅猛,過不了多久,使用移動互聯網的用戶數量將會超過使用個人電腦上網的用戶。PPLive公司首席執行官,前微軟虛擬地球創始人陶闖博士認為:“移動互聯網+LBS”的商業模式未來將呈爆炸性增長。
大數據與LBS結合,將給精準營銷帶來良好機遇[5]。越來越多的用戶通過手機上網看新聞、看視頻、娛樂或者購物,通過對用戶所在位置的周邊信息進行多層次分類,如詳細匯總餐飲、培訓、娛樂、購物等信息,把有效的廣告推送給用戶,向不同需求的用戶提供個性化的服務。這種商業模式下,LBS服務商需要和擁有大量用戶信息的網站(如社交網站)進行合作,共同開發實用系統,同時要注意保護用戶隱私。
大數據時代的到來,給測繪地理信息創新發展帶來了良好機遇。當前,海量的地理信息數據遠未被充分利用,測繪地理信息部門、地理信息企業要認識到大數據技術帶來的深刻影響,未雨綢繆,盡早制定有關規劃,加大對地理信息數據開發應用的研究,充分挖掘地理信息數據這一金礦,促進數據的廣泛、深入應用。
[1] 王忠.美國推動大數據技術發展的戰略價值及啟示[J].中國發展觀察,2012(6):44-45.
[2] 姜其平.大數據時代到來[J].互聯網周刊,2012(2):6.
[3] 耿秋,孟劍.大數據時代:機遇?挑戰?[J].中國新時代,2012(6):60-61.
[4] 袁楚.推薦引擎:經常在使用卻很難被關注[J].互聯網天地,2011(9):50-51.
[5] 薛雯漪.營銷大數據挖掘,拷問數據分析硬實力[J].聲屏世界·廣告人,2012(8):44-45.