聶芊冰
2020年的春運即將到來。而回顧2019年的春運大數據,將會對新春運的運營帶來很大的啟示作用:2019年春運的旅客發行量超過30億人次,其中道路客運、鐵路和民航的旅客發行量位列前三,而鐵路和民航的人數均有大幅度增長。從2019年的數據來看,“反向春運”已經成為越來越多旅客的選擇。所謂“反向春運”,即節前從沿海流動到內陸、從城市流動到農村,而節后再反向流動。“北上深”和天津、南京、廈門等一線、二線城市成為了反向春運的目的地。2019年的反向春運主要體現在父母到子女的城市探親。以上數據均是由大數據統計分析得來的。那么大數據的發展趨勢如何,有哪些應用場景,又會給我們的日常生活帶來怎樣的影響呢?
回顧人工智能的發展歷程,可大致分為四大時期:1956年以前為孕育期,圖靈提出“機器也能思維”的觀點。1956年夏天,在美國的達特茅斯舉辦的研討會,討論了用機器模擬人腦進行運算和分析的可能性,史稱“達特茅斯會議”。會議的召開標志著人工智能的誕生。隨著專家系統等技術的提出,人工智能由孕育期進入了第一次飛速發展。而20世紀70年代,由于經濟形勢下滑所導致的政府和科研機構對人工智能的投入降低,使得人工智能的發展進入了黯淡期。而近十幾年來,大數據、計算機視覺、深度學習等新興技術的誕生,以及谷歌、蘋果、阿里巴巴、騰訊等互聯網公司在人工智能領域的深耕,使得人工智能進入了新的飛速發展時期。
2005年,Hadoop 項目誕生,其本身由多個共同實現全面功能和靈活的大數據分析的軟件產品組成。這一事件也標志著大數據分析技術的誕生。隨后,大數據技術進入了飛速發展的“快車道”:從2012年阿里巴巴設立“首席數據官”,到2014年“大數據”寫入中國《政府工作報告》,從2016年大數據成為“十三五”重點規劃項目,到2018年大數據已經進入應用階段。
隨著科學水平的日益提高,海量數據不斷產生,并具有數據量大、種類繁多、價值密度低、速度快、時效高等特點,這就要求深入研究大數據,并從中找出隱藏著巨大的價值。而現如今,大數據已經成為國家和各大企業發展、運營的重要資產,在各行各業的重要性逐漸顯現。
隨著大數據的發展,數據挖掘技術也在不斷成熟。數據挖掘由數據的選取、預處理、轉化、建模、分析結果并改進幾個部分組成,是分析并提取重要數據的有效技術,能挖掘感興趣對象間的結構關系、分析非關系型數據并推理,實現數據挖掘和移動計算的結合。數據挖掘的方法包括決策樹法、CART 算法、K-Means 算法和SVM 算法,滿足了不同的數據要求。同時,如何在保證信息安全、保護個人隱私的同時又不破壞數據的一致性,為數據挖掘提供真實可靠的原材料并挖掘出有價值的結果也成為數據挖掘研究人員面臨的重要問題。
通過圖像處理技術,計算機可將數據轉換成圖表、圖形或者圖像,在交互界面上直觀地呈現出來,這一過程就是數據可視化。通過數據可視化技術,可以直觀地對數據進行分析和理解,進而綜合運用大數據。
而數據可視化可以根據空間維度、面向領域、可視化對象、方法論角度等不同原則進行分類。其主要技術包括數據信息的符號表達技術、數據可視化渲染技術、數據可視化交互技術、數據可視化表達模型技術、可視化設計與開發模型。
虛擬化技術將計算機的軟硬件、數據、網絡等都相互隔開,幫助數據網絡構架實現動態化,對物理資源、虛擬資源都可以進行一體化管理與使用。存儲虛擬化技術的運用主要通過3個層次完成:以主機為基礎進行虛擬化,該系統主要應用于做數據鏡像保護,但存在應用和操作系統的兼容問題且占據主機的大量資源;以存儲設備為基礎進行虛擬化,多用于高端點的存儲設備,便于管理但成本過高,中小型企業難以普及;以網絡為基礎進行虛擬化,利于數據的統一化管理,且不占用主機資源但成熟性較低,仍需完善。虛擬化技術為企業進一步發展提供安全保障,因此在與企業相互促進的過程中發展迅猛。
2015年,隨著“互聯網+”戰略的提出,大數據在教育方面的應用越來越廣泛。“互聯網+大數據”的教育模式主要指在未來一到五年有潛在使用價值的新興技術。它要實現的主要是利用教育技術對獲得的大數據進行分析整理,并據此調整教育計劃。基于“互聯網+大數據”的教育技術主要可分為5類:自適應技術、增強現實以及虛擬現實技術、機器人技術、自然用戶界面以及人工智能。這5類技術旨在幫助學生更好的體驗課程。激發學生學習興趣、更好的幫助老師了解學生學習水平及制定教學計劃,從而有效提升教學效果。
醫療大數據的來源主要分為3類:制藥企業或從事生命科學研究的單位、臨床醫療以及實驗數據、費用報銷以及費用信息的利用率。而在未來,醫療大數據的發展與普及將進一步提高臨床診斷的準確率,這將會使醫務人員的決策變得更加科學而不是依靠經驗彌補不足。醫務工作者也許能夠進一步挖掘病癥的特點、患者的喜好,基于此便能夠對治療方案進行優化調整,實現個性化的治療。而在新藥研發工作中,借助大數據能夠對藥品需求進行精確分析,實現優化資源配置的目標。然而,目前數據的存儲與處理、醫務人員對于醫療大數據的應用等問題仍需解決。所以,在醫療大數據的發展過程中,我們應重視信息孤島問題并優化人才培養模式,從而使大數據在醫療方面得到更廣泛的應用。
隨著互聯網技術的不斷發展,大數據為互聯網經濟帶了許多方面的影響。首先,它降低了互聯網經濟的交易成本。對于賣家來說,網上交易省去了開實體店所需要的水電費、房租等費用,而對于買家來說,商品的評價、價格一目了然,既方便又省時。其次,它拓寬了互聯網經濟的交易空間。它打破了傳統交易的地域限制,擴寬了信息傳播的范圍。企業可以將產品銷往全國各地甚至全世界,而消費者也有了更多的選擇而不是被動接受產品。最后,它改善了互聯網經濟中的用戶交易體驗。商家可以通過大數據的整理與分析掌握客戶的興趣所在,從而向顧客推送產品。而顧客對于這些推送信息往往也比較感興趣,而不是把它們當作廣告而感到厭煩。當然,這其中也存在著陷阱和隱患,需要我們去不斷改進。因此在利用大數據的過程中要更為謹慎小心,才能使其長久發展下去。
人工智能經歷及幾十年的發展,涌現了以大數據為代表的可賦予計算機“智能”的技術。隨著計算機技術的進步以及設備運算和存儲能力的提高,海量數據的處理和運算,需要用到常規數學手段之外的處理方式。數據可視化使得大數據分析可呈現出一種直觀可見的形式。而大數據在醫療和教育等領域的應用,也讓大數據的實際價值得以凸顯。但是隨著海量數據的產生和存儲,不可忽視的就是數據安全問題,如何在充分利用數據價值的同時,維護數據的安全性,成為大數據技術的新難點。