基于大數據的文化旅游分析管理系統研究

蔡紹博，潘 壇，鮑玲玲，蔡同建

（1.武漢市春曉曲農業科技有限公司，武漢 430211；2.武漢建春科技有限公司，武漢 430070；3.武漢市中城事大數據有限責任公司，武漢 430074）

隨著旅游業的不斷發展，傳統產業的調整及多種技術的創新應用，旅游業呈現出多元化發展，作為一個綜合性的產業，涉及到吃、住、行等多個領域。在全球化的今天，文化旅游產業甚至上升至國家層面的戰略高度，促進經濟文化交流，實現旅游資源共享。在形式上，要充分了解游客偏好，是文化旅游推出產品和服務的必要前提；提供新的產品形態，是不斷實現經濟價值轉化的關鍵；降低運營成本是文化旅游業得以持久運轉的重要保障，因此，需要在大量的數據中將用戶的需求進行分析了解并進行及時推送，利用現有數據獲取其規律及價值，全面整合區域的文化旅游信息。依托大數據技術，提供社會化信息基礎設施建設，對景區資源進行數字化和虛擬空間的全面提升和完善，加強資源共建共享，建全旅游資源信息處理機制，優化資源配置，加深游客和景區的互動體驗和深度學習，還可以通過智能導覽系統、物聯網全局控制，在最大限度之內節省人力和物質資源。

1 大數據技術在系統中的應用

在信息爆炸的時代，數據產生由被動、主動到自動，數據的迅速增長導致了信息的爆炸式增長，傳統的信息處理技術已經不適用于現在大規模的數據空間，大數據因此而來。大數據分析的觀點是指數據規模巨大且復雜即數據不止是單一的類型，具有5 V特點（Volume、Velocity、Variety、Value、Veracity），以上種種特點使得在現行標準下的數據管理工具處理數據變得異常苦難。在大數據的加持背景下，需要收集、預處理和存儲大量的文化旅游數據。各種不同結構的海量數據不僅需要收集、存儲和資源數據共享，還需要進行分析、對比或者數據挖掘其特點，找出其內在規律和實用價值。如何獲取有價值的信息就需要依靠根據不同應用的需求選擇性分析，這也是大數據處理的核心。

大數據與云計算的關系是密不可分的，作為大數據的基礎平臺與支持技術，大數據具有更好的發布擴展、調整補充迭代等特點，對于用戶在云平臺上運行的應用，不同的應用需要不同的服務器資源作為依托，為特定的應用分析匹配從而推薦合適的存儲架構和數據組織，選擇和拼裝合適的功能模塊，并根據工作負載定制系統規模和高效可靠的負載分配策略。根據不同用戶的需求理解應用，提取特征，定義模型，實現靈活、可擴展的調整。其中，作為上層應用基礎的文件系統也需要進行改變。大數據背景下的許多應用在大量數據的管理上出現問題，于是開始研制適合自己運營場景的大數據系統，GFS是一個可以應用于廉價普通硬件設備上的提供容錯功能的可擴展分布式文件系統，其廣泛應用于分布式、大型的處理海量數據的場景。其可以給大量的用戶提供總體性能較高的服務，針對大文件而設計。而TFS是一個高可伸縮性、高效、面向互聯網服務的分布式文件系統，主要針對復雜的非結構化數據，其構建在普通的Linux服務集群上，可為外部提供高效和并發的存儲訪問功能。

大數據背景下的數據庫相較于以前的數據庫而言，在數據規模與數據類型上有所不同，大數據背景下的數據往往雜亂無章，以非結構化和半結構化為主要類型，異構居多，同時，結構化數據往往是輔助角色。在此基礎上，不同的數據源之間交錯復雜，不同類型的數據內容的檢索也有交叉。Hadoop是一個支持對海量數據進行操作處理的軟件框架，其以并行的方式工作，通過并行處理加快處理速度。此外，其是基于社區服務構建的，任何人都能夠使用，這些特點使得Hadoop成為了一個高效、易用、人性化的分布式計算平臺。

大數據管理系統是一個容量大、類型多、變化快速、真實且低質量數據管理的系統應用，是面向分析型的大數據應用，以數據操作為主，所以要對數據的分析性能進行提高，其中，大數據管理系統的價值之一在于知識和信息的管理，在大數據中發現規律，獲取數據價值，所以文化旅游分析系統不僅要滿足對資源的獲取和智能化的分析運用，還要依托大數據平臺，將文化旅游發展到新的高度，推動文化旅游的跨界融合，形成政府、市場、企業和社會等多元主體的共建共享治理格局。將人文景觀和當地特色，以及周邊養生、保健等服務行業相結合，開發不同層次的復合商業發展模式，同時為用戶提供合理旅游規劃和路線，隨時掌握旅游相關資訊。

2 文化旅游分析管理系統框架構建

2.1 文化旅游相關數據庫建設

目前，旅游行業在我國仍未建成資源基礎數據庫，信息的發布和更新缺乏時效性。文化旅游數據要創新智慧旅游公共服務模式，所以文化旅游數據包含多項，要將海量多種類型多種模式的數據資源進行整合貫通，在設計之初就要嚴格規范，高標準去研究制定。在創新過程中要有效地把旅游、交通、氣象和測繪等信息整合到數據庫。綜合運用地理位置信息、門票信息管理和周邊服務業等信息，存儲形式可以為文本、報表、圖片、XML、HTML、圖像、視頻和音頻等。與政府各級職能部門、社會組織等建立廣泛密切的聯系，加大資源管理的整合力度，形成大數據信息共享方式下的全覆蓋、多元治理模式的文化旅游大數據庫綜合應用5G、大數據和云計算等技術，加強旅游預約平臺建設，推進分時段預約游覽、流量監測監控、科學引導分流等服務，例如“云上貴州·智慧旅游云”大數據平臺系統。

2.2 文化旅游分析管理系統重要技術

大數據索引技術：數據庫最重要的應用之一是數據查詢，提高數據庫查詢效率的重要機制是索引，海量數據在索引過程中會影響到大數據應用的檢索和處理效率，所以可以在基于高效的索引結構上提高檢索的效率，例如以有并發索引結構為核心的高效檢索技術，而本文采用基于Elasticsearch的HBase大數據二級索引，采取存儲并查詢二級索引的方式，是一種多網絡的倒排索引技術的特殊形式，加上基于Lucene的分布式搜索引擎Elasticsearch，提高HBase的檢索效率。是在Elasticsearch傳輸數據過程中配置了BulkProcessor，進行批量傳輸機制的設置和時間機制，在速度傳輸上有所提升；HBase在內置的索引是基于行鍵（RowKey）設計的，HBase搜索關鍵詞能力較差，但在RowKey情況下查詢效率具有顯著的提高。此時系統在滿足海量數據的寫入需求的同時，也滿足快速檢索的需求。

大數據壓縮技術：數據在采集之后會不可避免地出現數據冗余的情況，對數據進行緊縮處理，可以減少數據的存儲，設計高效快捷、高壓縮率且快速易懂的算法可以使數據在傳輸、計算、分析得到提高。

大數據可視化分析技術：可視化是分析和挖掘時空數據的重要手段。借助于圖形手段，可以清晰有效地傳達和交流信息。在此系統中，可以利用三維可視化技術，讓用戶感受到三維交互的體驗效果。三維可視化技術結合了數據的三維特征分割和重建技術，將采集到的三維數據的紋理和材質渲染到視覺場景中，以提高數據的三維表達能力，然后通過網絡數據信息管理系統中的三維VR虛擬現實設計，提高繪制場景的智能性和逼真度。在基于三維虛擬的海量數據信息管理系統中，使用可視化仿真渲染技術工具Vega Prime實現三維建模和可視化分析，通過可視化應用實現交叉編譯，并利用Multigen Creator建立了三維虛擬網絡數據設計和大型場景模型設計的靜態圖像處理功能，在Vega Prime系統下對視覺信息進行分析，實現了三維虛擬現實的可視化仿真。

2.3 文化旅游分析管理系統設計

該系統采用Hadoop進行構建，分為數據采集、存儲、分析和呈現4層構架，形成大數據數據層、傳輸層、分析層和呈現層4個層次，有大數據采集、大數據存儲、數據傳輸、大數據智能分析和大數據呈現5個分布于4個層的功能，如上功能綜合對系統中各用戶的互動數據進行整理和管理分析，在大數據技術的支持下為用戶提供完整的旅游信息，形成智慧旅游模式。如圖1所示。

圖1 基于文化旅游的大數據技術框架

大數據采集系統：從各種來源采集海量結構化和非結構化數據。通過網絡進行爬蟲或者網站公開APⅠ進行數據批量有效采集的方式，并將數據通過內存與磁盤兩種形式存儲在客戶端，同時，數據被簡單地處理并寫入各種數據接收器（例如文本、HDFS、HBase等）。然后對采集到的數據進行清洗、脫密等環節預處理，包括數據精細化清理、數據中心化集成、數據轉換和數據規范。解決了數據遺漏、不一致、數據冗余和數值沖突等問題。在最大限度保持數據原始外觀的基礎上，簡化數據量，獲得較小數據集的操作，從而提高數據質量。

大數據存儲系統：HDFS是基于磁盤的分布式系統，面向的對象主要是大文件的存儲管理，以HDFS等為代表的開源系統已成為目前大數據存儲的主要標準之一。HDFS以流式數據訪問模式來存儲超大文件，運行于商業硬件集群上。HDFS集群分為2大角色，分別為Namenode、Datanode（非HA模式會存在Secondary Namenode）。在存儲過程中，數據以3種方式存儲包括實時、批處理和流式。數據集群主機發起指令并與HBase結合，實現添加、刪除、查詢和修改等基本操作。在使用數據時，與Hive相結合，通過ETL工具將數據源提取到HDFS進行存儲。Hive對原始數據進行清理、處理和計算，并通過與HBase配合,將表結構以配置文件的形式存放在云服務器中，最后結合Hive在利用被過濾分組后數據時，可以使用SQL語句查詢和檢索數據，方便編程和檢索。如圖2所示。

圖2 大數據層

大數據智能分析系統：研究數據挖掘算法是大數據技術的核心。數據源和格式來源不同，格式不同，所以基于不同的格式和屬性，數據挖掘的算法也應當做出調整，如此才能夠更加科學地展現數據本身的特點和屬性。常用的計算模型包括批處理計算、流計算和迭代計算等，每種計算類型都有相應的抽象接口和相應的響應組件，如Map-Reduce提供的Map和Reduce接口和相應的響應組件。根據數據庫中存儲的數據，可以使用“批處理+流處理”模式。“批處理+流處理”的混合處理模式已經發展迅速，Spark便是建立在HDFS之上，通過結合配置、算法進行內存計算模型和執行優化，極大地提高了數據處理能力，形成“批處理+流處理”的混合處理高效模式。Spark適用于交互式數據查詢。可以通過Spark框架分析數據并輸出結果。除了數據挖掘算法外，大數據可視化分析還為用戶提供了清晰的旅游信息視圖和理解。大數據預測分析結合多種先進的分析功能（包括統計、預測、數據挖掘和文本對比等），為用戶提供新的旅游方案策略和安全預警判斷，達到預測不確定事件的目的。如圖3所示。

圖3 傳輸層和分析層

大數據呈現系統：對應不同的設備，可分為在Web應用、桌面應用、手機應用和微信端等的相應用戶端實現數據檢索結果的輸出呈現。

3 結束語

文化產業和旅游業的結合，不僅可以弘揚民族文化，加強文化自信，還可以以歷史文脈作為依托，打造特色文化旅游，推動相關旅游景點的周邊商品銷售，進一步推動藝術表演、文化館和博物館等文化產業鏈相關經濟的發展。利用多網格數據倒排索引、多維度大數據場景建模、多層次細節LOD模型展示等大數據技術，建立文化旅游分析管理系統，對文化旅游信息進一步分析獲得相應的價值與規律，為用戶提供高價值服務。