張永民
隨著現代信息技術的飛速發展,大數據(Big data)浪潮正以浩浩蕩蕩、銳不可當之勢向我們襲來。美國麥肯錫公司的報告指出數據是一種生產資料,大數據是下一個創新、競爭、生產力提高的前沿。世界經濟論壇的報告認定大數據為新財富,價值堪比石油。聯合國曾發布報告稱:大數據將成為“改變世界的第一科學技術”,必將推動世界經濟的發展。對此,國外IT行業巨頭爭先恐后的搶奪大數據創新研發的領頭羊,美國、英國、日本等發達國家紛紛將開發利用大數據作為奪取新一輪競爭制高點的重要抓手。我國國家有關部委及時出臺了發展大數據產業的政策文件,北京、南京、廣州、深圳、杭州、寧波、無錫等許多城市都將物聯網、云計算、大數據作為智慧城市的三大核心技術,投入大量資金予以開發應用,上海、秦皇島、重慶、西咸新區等一批大數據產業園已投入大規模建設。
“智慧中國(Smarter China)”是以信息化為龍頭,以科技為支撐,以創新為驅動,以環境為載體,以智慧為本位,涵蓋城鄉管理生產、生活、環境、文化等方面的智能化。“智慧中國(Smarter China)”是“數字中國(Digital China)”發展的高級階段。形象地講:數字中國+物聯網+云計算+大數據+……=智慧中國。因之,智慧中國離不開大數據技術,我們必須用大數據技術來建設智慧中國。
大數據的定義及特征
聯合國資料顯示,全球互聯網流量累計達到1EB(即10億GB或1000PB)的時間在2001年是一年,在2004年是一個月,在2007年是一周,而2013年僅需一天。未來10年里預計數字信息總量將從2009年到2020年增長44倍,全球數據使用量將達到大約35.2ZB(1ZB=10億TB)。
大數據(Big data)泛指P(1000個T)級以上的數據(包括E(100萬個T)、Z(10億個T)級大數據)。維基百科把大數據定義為一個大而復雜的、難以用現有數據庫管理工具處理的數據集。廣義上,大數據有三層內涵:一是數據量巨大、來源多樣和類型多樣的數據集;二是新型的數據處理和分析技術;三是運用數據分析形成價值。因之,業界將大數據的特征概括為4V:Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價值)和“1秒定律”。
大數據技術包括信息的采集技術、整理加工技術、存儲技術、管理技術、傳輸技術、搜索技術等各個方面,涉及到數據庫、網絡、人工智能、通信、地理信息系統、多媒體、仿真等信息技術的各個專業領域,其核心技術是數據挖掘(DM)和數據分析技術,其本質是知識發現(KDD)。
物聯網、云計算、移動互聯網、車聯網、手機、平板電腦、PC以及遍布地球各個角落的各種各樣的傳感器,無一不是數據來源或者承載的方式。在智慧中國建設中,大數據將會如基礎設施一樣,有數據提供方、管理者、監管者,數據的交叉復用將大數據變成智慧中國的一大產業。據統計,目前大數據所形成的市場規模在51億美元左右,而到2017年,此數據預計會上漲到530億美元
大數據對智慧中國建設的推動作用
大數據將對智慧中國的科學研究、經濟建設、社會發展和文化生活等各個領域產生革命性的影響;對培育數據產業,服務智慧中國,促進經濟結構調整和產業轉型,將產生巨大的推動作用。
大數據將改變智慧中國的治理模式、企業業務流程和個人生活方式。大數據時代網民和消費者的界限正在消弭,企業的疆界變得模糊,數據成為核心的資產,并將深刻影響企業的業務模式,甚至重構其文化和組織。因此,利用大數據更加貼近消費者、深刻理解需求、高效分析信息并作出預判,將對智慧中國治理模式、對企業的決策、組織和業務流程、對個人生活方式都將產生巨大的影響。
大數據將引發智慧中國新一輪信息化投資和建設熱潮。據麥肯錫預測未來智慧中國大數據產品的潛在市場規模有望達到1.57萬億元,給IT行業開拓了一個新的黃金時代。數據處理技術和設備提供商、IT系統咨詢和ERP/CRM/BI改造服務商、智能化和人機交互應用以及信息安全提供商將獲巨大需求,相應公司將獲得機會。
大數據為智慧中國擁有數據資產的企業提供發展機遇。預計今明兩年將是大數據市場的培育期,2015年以后大數據產品將會形成業績。由于國際巨頭在硬件層和基礎軟件層壟斷優勢明顯,本土企業將主要依靠對客戶需求的了解和客戶資源優勢,以及本地化服務的優勢,在應用軟件層分得蛋糕,擁有大數據處理、挖掘技術、數據分析人才以及數據資產的公司值得看好,將在智慧中國建設中迎來難得的發展機遇。
大數據反映智慧中國的輿情和民意。網民在網上產生的海量數據,記錄著他們的思想、行為乃至情感,這是信息時代現實社會與網絡空間深度融合的產物,蘊含著豐富的內涵和很多規律性信息。根據中國互聯網絡信息中心統計,2013年底我國網民數已超過8億,手機網民已超過6億,通過分析相關數據,可以了解智慧中國的大眾需求、訴求和意見。
大數據將對智慧中國社會發展帶來巨大推動作用。企業和政府的信息系統每天源源不斷產生大量數據,根據賽門鐵克公司的調研報告,全球企業的信息存儲總量年增67%。醫院、學校和銀行等也都會收集和存儲大量信息。政府可以部署傳感器等感知單元,收集環境和社會管理所需的信息。智慧中國倘若能夠更有效地組織和使用大數據,國家將得到更多的機會發揮科學技術對社會發展的巨大推動作用。
選擇八大重點領域推進智慧中國大數據建設。
用大數據技術建設智慧中國要重點選擇以下八個具有大數據基礎的領域和具有迫切需求的行業,探索“數據、平臺、應用、終端”四位一體的新型商業模式,推進大數據產業發展,促進大數據技術成果惠及廣大民眾。
城市規劃。根據全國城鎮化建設工作會議的戰略部署,重新搞好各地的城鎮建設規劃;通過對城鄉地理、氣象等自然數據和經濟、社會、文化、人口等人文社會信息的挖掘,為城鎮規劃提供強大的決策支持,強化城鎮規劃的科學性和前瞻性;盡快實施數字化城市管理新模式,使城市管理實現快捷有序科學化。
智慧交通。針對交通規劃、綜合交通決策、跨部門協同管理、個性化的公眾信息服務等需求,建設全方位交通大數據服務平臺。整合城鄉道路交通、公共交通的大數據資源,匯聚氣象、環境、人口、土地等行業數據,逐步建設交通大數據庫,提供道路交通狀況判別及預測,輔助交通決策管理,支撐智慧出行服務,加快交通大數據服務模式創新。針對現代物流業務的需求,建設物流大數據平臺。匯聚整合城鄉貨物、運輸車輛等數據,融合多源物聯網、北斗導航等數據,實現貨運數據共享服務,建立基于大數據的現代貨運物流服務體系。
醫療衛生。針對臨床質量分析、醫療資源分配、醫療輔助決策、科研數據服務、個性化健康引導的需求,建設全民醫療健康公共服務平臺。在健康信息網已有數據的基礎上,匯聚整合醫療、藥品、氣象和社交網絡等大數據資源,形成智能臨床診治模式、自助就醫模式等服務模式創新,為民眾、醫生、政府提供醫療資源配置、流行病跟蹤與分析、臨床診療精細決策、疫情監測及處置、疾病就醫導航、健康自我檢查等服務。建設完善涵蓋城鄉所有患者的電子診療檔案庫,形成PB級的醫療健康大數據資源,實現支撐城鄉主治醫生同時在線診療的輔助能力。
食品安全。針對食品安全和管理的需求,建設食品安全大數據服務平臺。匯聚政府各部門的食品安全監管數據、食品檢驗監測數據、食品生產經營企業索證索票數據、食品安全投訴舉報數據,建成食品安全大數據資源庫,進行食品安全預警,發現潛在的食品安全問題,促進政府部門間聯合監管,為企業、第三方機構、公眾提供食品安全大數據服務。
數字生活。針對日益增長的現代化生活需求,建設數字生活大數據服務系統。收集整合流行時尚、行業發展指數、用戶消費習慣、收視記錄、社交媒體、地理位置等大數據,充分挖掘用戶的消費習慣和興趣偏好,提升企業輔助決策能力,形成有市場競爭力的創新商業模式,面向所有消費者提供個性化衣食住行生活互動信息。
制造業。針對科學評價生產系統規劃、降低產品缺陷率等需求,建立制造業大數據系統。整合已有的車間制造、質量體系、工序數據、成本核算等建模數據,為工廠生產、實際建設提供決策依據。收集產品生產過程各環節的實時質量數據,實現敏捷的一體化質量監測和管控,并支持產品質量追溯,形成基于大數據的一貫過程質量控制及分析系統,并向第三方提供服務。
公共安全。針對治安防控、反恐維穩、情報研判、案情偵破等實戰需求,建設基于大數據的公共安全管理和應用平臺。匯聚融合涉及公共安全的人口、警情、網吧、賓館、視頻、人臉、指紋等海量業務數據,建設公共安全領域的大數據資源庫,全面提升公共安全突發事件監測預警、快速響應和高效打擊犯罪等能力。
科技服務。針對科技服務數據整合、交互式服務、發展趨勢預測、戰略決策支持等需求,探索科技服務鏈整合、眾包分包、供需對接的交互式平臺型服務模式,建立科技服務業資源共享體系,建設跨領域科技服務與工程創新平臺。匯聚科技成果、項目、人才、服務、互聯網創新創意等大數據資源,支撐研發設計、技術轉化、創新創業、科技咨詢等方面的科技服務。打造“科聯工程”,形成跨領域的大數據服務模式。
依托統計部門為全國大數據采集應用探索新路。
統計部門是城鄉大數據采集應用的主導部門,在業務工作中要不斷明確工作重點,有條不紊地落實和推進大數據應用工作,為全國大數據采集應用探索新路。一在專業突破方面,以價格統計和貿易統計為例,逐步研究采集互聯網信息特別是電商交易數據和價格數據以補充完善調查樣本,研究建立商場、超市和電商企業向統計部門提供完整電子化交易記錄的制度。二在企業電子化記錄應用方面,要與有關高校和科研部門協作,積極研究開發企業電子化生產經營記錄自動導入統計聯網直報系統的技術,爭取2014年在聯網直報平臺正式加載自動導入軟件。三在應用政府部門電子化行政記錄方面,進一步加強與民政、工商等部門的協作配合,推進電子化行政記錄和統計信息的共享。在居民收入、勞動工資等統計中,要不斷研究通過對稅務、銀行等部門行政記錄的分析,評估公民收入、工資、家庭資產等統計數據,特別是評估與校驗高收入階層的相關數據。四在利用大數據開展經濟走勢預測方面,各級統計部門要與網絡公司、科研單位和咨詢機構等開展合作,探索利用網絡搜索數據建立相關統計分析和計量模型,進行經濟形勢分析預測,為各級政府決策提供服務。
用大數據建設智慧中國應采取的對策
大數據的應用與分析對做出科學決策具有重要意義,我們從現在開始就應該為數據收集和數據分析做好充分準備,以確保智慧中國快速建設。
建設“大數據”寬帶高速通道。大數據如同節假日高速公路上的汽車,如果路面狹窄就會發生嚴重擁堵。該文原載于中國社會科學院文獻信息中心主辦的《環球市場信息導報》雜志http://www.ems86.com總第535期2014年第03期-----轉載須注名來源對此,我國電信、移動、聯通、廣電等電信企業要積極落實“國家寬帶工程戰略”,爭取在“十二五”末建成融合3G(第三代移動通信)、4G(第四代移動通信)、WLAN(無線局域網)、寬帶固網及NGB(下一代廣播電視網)等城域高速網絡,實現高速安全、多層次、立體化網絡覆蓋;實施“寬帶中國”戰略,全面實現“百兆到戶,千兆到企”的寬帶接入能力,城域網全面支持IPv6(國際互聯網協議第6版)訪問與解析;WLAN熱點覆蓋廣泛,城鄉無線寬帶網絡覆蓋率達到90%;力爭實現TD-LTE(分時長期演進)網絡全面商用,極大滿足智慧中國建設的需求,為大數據的廣泛應用拓寬通道。
實施“三網融合”和數字家庭試點。推動基于互聯網、通信網、廣播電視網的產業轉型和資源融合,重點發展基于廣電網的電信增值業務、互聯網接入業務和電信運營商的IPTV(交互式網絡電視)業務;開展“三網融合”數字家庭試點示范,普及家庭高清互動娛樂、視頻通信、節能管理、安全監控、遠程教育、家庭醫療保健等智能化信息應用。到“十二五”末,形成全國統一有線廣播電視網,建成IPTV、手機電視集成播控平臺和綜合業務管理平臺,全面實現廣電和電信業務雙向進入,使數字、圖像、視頻等大數據公開使用,暢通無阻。
構建各級政府大數據中心。建設和完善人口、法人、空間地理和宏觀經濟等基礎信息數據庫,以及市場監管、社會信用等專題信息數據庫,制定管理辦法,完善信息動態更新機制,依托各級云計算中心建設政府大數據中心,提高從大量數據中采集、訪問、組織、分析和可視化處理信息的水平。到“十二五”末,各級要建成多層次的空間信息云服務體系,建成宏觀經濟數據庫,為貯存、計算、處理、分析大數據,滿足城鄉管理、企業生產經營、公民生活需求和政府智慧決策提供服務。
建立政府和社會聯動的大數據形成和應用機制。各級政府部門和各行業要全面實施信息公開制度,推動公共數據資源的開發利用,提高信息資源社會價值和經濟價值。積極推行政府網上辦事,收集分析挖掘社會政務服務需求,推進公共服務個性化和政府決策智能化。支持公共服務機構和商業機構開放與社會民生密切相關的公共數據。推進國民經濟各行業和企業數據開發,發展商業智能。鼓勵開展服務大眾的大數據應用,提升智慧生活品質。
制定實施大數據的有關政策措施。大數據就是資源,建設智慧中國離不開大數據的開發應用,必須制定有關政策措施,確保大數據這一科技生產力發揮作用,以推動智慧中國建設。
創新體系建設。各省市要成立“大數據產業技術創新戰略聯盟”,設立“大數據科學實驗室”、建設“數據工程技術研究中心”等,以大數據技術創新及產業應用為目標、以聯盟為紐帶促進形成若干引領大數據產業技術創新的企業聯合實體;以合同契約為保障有效整合產、學、研、用等各方資源,以技術創新為驅動力、市場剛性需求為推動力,發展擁有自主知識產權且符合國內外產業發展需求的共性應用技術、產業標準和產品規范。
培養專業人才。開展數據專業領域人才的培養,培訓一批資深數據工程師,培育跨界復合型人才,與國內外數據專家形成持續穩定的協作關系。鼓勵高等院校和企業合作,開展數據科學和大數據專業學歷教育,依托社會化教育資源,提高大數據產業人員的業務水平,發揮大數據高層次引進人才的重要作用,開展大數據專業培訓,形成人才梯隊。
完善制度法規。研究大數據產業相關的政策法規,提出數據資源權益、隱私保護等方面的法規細則建議,制定大數據相關標準,并提出技術解決手段,在保護數據資源的同時,促進數據資源合理有序地開發利用。在人才、財稅、科技金融等方面設計有利于數據人才和數據產業發展的政策,逐步建立有利于各地大數據研究與發展、并保障大數據安全的制度法規體系。
推動協同合作。推動數據資源、數據技術、數據應用等方面企業開展深入合作,形成數據共享、數據流通、數據分析的機制和模式,提升數據開發、使用的效率和效能。圍繞大數據技術鏈、產業創新鏈,運用市場機制集聚創新資源,實現企業、大學和研究院所等機構在戰略層面的有效結合,通過資源共享、協同開發和集成創新,形成智慧中國大數據的核心競爭力。
搞好服務支持。各級政府要搞好大數據服務。鼓勵開展基于信息資源的數據挖掘和知識加工等大數據服務,構建新型信息服務運營平臺,為科學研究、規劃設計、生產管理、商務民生等提供支持;加強基于云計算的大數據開發與利用,創新大數據商業模式,推進社會各領域與信息技術深度融合。要組織大數據沙龍、講座、競賽等活動,在全社會營造數據研究和開發的氛圍,形成整合行業數據、探索數據背后價值和制定精確行動綱領、進行快速反應實時行動的三種能力,以促進智慧中國建設快速發展。