基于Hadoop的云計算數據安全性研究

徐嘉誠 郭曉娜

作者簡介：徐嘉誠（1992— ），男，江蘇南京人，工程師，學士；研究方向：網絡安全。

*通信作者：郭曉娜（1980— ），女，江蘇淮安人，工程師，學士；研究方向：網絡安全。

摘要：隨著計算機技術的發展，云計算逐漸成為一種新型且重要的商業模式，在現代社會中扮演著越來越關鍵的角色。文章主要介紹了基于Hadoop數據安全的研究，首先概述了云計算技術和Hadoop技術；其次對云數據和安全情況進行了分析；最后就安全性問題及解決辦法進行了論述。

關鍵詞：Hadoop；云計算；數據安全

中圖分類號：TP 399 文獻標志碼：A

0 引言

當今社會，云計算技術的發展已經十分迅速，其應用也越來越廣泛。企業面臨著海量數據的處理和分析任務，這些數據需要高效、安全的存儲和處理。基于Hadoop的云計算平臺提供了一種高效、可靠、可擴展的分布式計算和存儲解決方案，可以幫助企業解決這些問題。當企業使用基于Hadoop的云計算平臺來存儲和處理數據時，其系統業務的數據安全性就顯得尤為重要，因此，保障基于Hadoop的云計算平臺數據安全性具有重要的意義，這也正是本文所要探討的云計算平臺的安全問題和安全性實現。

1 云計算平臺

1.1 云計算技術

云計算是一種以互聯網為基礎的虛擬化技術，可以把大量與計算機有關的信息（包括硬件）集合起來存儲在一個網絡上［1］，在使用這種方式時，需要將數據進行加密處理。云安全也稱為可信訪問控制或密鑰管理，其作用主要是保護用戶的服務器資源以及系統中其他人、設備和物品所提供的信息不被泄露或者篡改，保證整個互聯網交易過程不會受到影響，并且可以有效地避免不必要的損失和風險發生。云計算是一種虛擬化的資源，不需要儲存硬件設施，但是可以在計算機系統中進行運算和存儲。

云計算是一種基于虛擬化的信息處理技術，利用計算機硬件、軟件和服務等實現對用戶數據的存儲，通過網絡連接完成資源共享。20世紀80年代，隨著計算機性能的提高和網絡技術的發展，分布式計算開始受到人們的重視，它是一種將計算任務分配給多個計算機節點并協同工作的方式，以提高計算效率。21世紀初，隨著Internet的普及和大規模分布式計算的發展，網格計算成為分布式計算的一種重要形式，網格計算是將全球計算機資源組織起來，形成一個超級計算機網絡，以完成大規模的計算任務。目前，全球已經開發了許多云計算服務，包括基于網絡的服務器、基于分布式數據庫和面向應用領域的。其中最成功的是谷歌公司，在2008年就推出了Web瀏覽器系統來實現資源共享，它將一個或多個用戶按需分配到各個節點上使用該客戶端部署過的數據流，并把所有信息存儲起來為其他服務需要時提供便利，最終達到服務的目的［2］。

云計算作為一種基于互聯網的新型計算模式，具有以下特點。云計算系統能夠根據實際需求動態調整計算和存儲資源，從而實現彈性伸縮；云計算系統能夠將計算和存儲資源在多個用戶之間共享，從而提高資源的利用率和效率；云計算技術是基于多租戶的環境設計的，多個用戶可以在同一個云平臺上共享計算資源。通過對資源進行虛擬化和隔離，云計算技術可以提供高效的資源共享和利用，并且可以保證用戶的數據和應用程序的安全性；云計算系統能夠提供高可用性的服務，通過多副本備份機制、冗余存儲機制等保證服務的可靠性；云計算技術具有強大的網絡化管理能力，通過云平臺的管理界面可以輕松地管理和監控計算資源的使用情況，包括服務器的狀態、存儲空間、網絡帶寬等。同時，云計算平臺還可以提供自動化的管理和故障排除功能，以降低管理成本和提高系統的可靠性。

1.2 Hadoop技術

Hadoop技術是一種高效、可靠、可擴展的分布式計算平臺，適用于處理大規模的數據集，具有可靠性、擴展性、高效性、易用性、兼容性等特點。

Hadoop是基于分布式系統的技術，數據被分布存儲在多臺服務器上，避免了單點故障，保證了數據的可靠性和可用性；Hadoop可以在集群中添加新的節點，以應對不斷增長的數據量和計算需求，具有良好的橫向擴展性；Hadoop采用MapReduce并行計算模型，可以并行處理大規模數據，提高數據處理效率；Hadoop提供簡單易用的API和工具，使得開發人員可以方便地進行數據處理和分析；Hadoop兼容各種不同的數據格式和存儲方式，可以處理不同類型的數據，包括結構化數據和非結構化數據。

基于Hadoop的云計算平臺，可以根據需求動態調整計算資源，實現彈性伸縮，提高計算效率和成本效益。云計算平臺提供高可靠性和可用性的基礎設施，可以保證Hadoop集群的穩定運行，減少單點故障和數據丟失的風險；云計算平臺提供多種計算實例類型和配置選項，用戶可以根據自己的需求和預算選擇合適的實例和配置，提高靈活性和可配置性；將Hadoop部署在云計算平臺上，可以根據實際的使用情況靈活地選擇計算資源和存儲資源，避免資源浪費，降低總體成本。

總的來說，將Hadoop技術和云計算技術相結合，可以實現資源的高效利用、成本的降低和安全的保障，為云計算企業提供更好的數據處理和分析服務。

2 云計算系統中的Hadoop技術安全分析

2.1 云計算平臺安全問題

基于Hadoop的云計算平臺提供了一種高效、可靠、可擴展的分布式計算和存儲解決方案，但是隨著云計算平臺的普及，數據安全問題也日益凸顯。基于云計算技術的特點，其自身可能存在以下安全問題。

（1）由于云計算服務通常是公共云服務，可能存在惡意用戶冒充他人身份進行訪問或使用，或者未授權的用戶或程序通過弱口令或漏洞等方式訪問云計算服務中心的數據和資源。

（2）云計算服務商需要處理大量用戶數據，可能存在隱私泄露和數據保護的問題。例如，云計算服務商可能會在未經授權的情況下訪問用戶的數據，或者在數據存儲和傳輸過程中存在數據泄露的風險。

（3）云計算服務可能會受到各種網絡安全攻擊，如DDoS攻擊、網絡釣魚攻擊等。此外，云計算服務商的網絡安全設施可能存在漏洞或者配置錯誤，導致出現安全漏洞。

（4）云計算服務的使用需要遵守相關的法律和法規，如數據隱私保護法規，如果服務商不遵守，將可能出現合規問題。

（5）云計算服務通常依賴于供應商和第三方服務，如果其中某一個環節存在安全問題，可能會對整個云計算生態系統造成威脅。

2.2 Hadoop安全措施

Hadoop提供了許多安全措施，如訪問控制、數據加密、身份驗證等，確保數據的安全性和機密性，故而，基于Hadoop的云數據安全性需要綜合考慮以下幾個方面：身份驗證、訪問控制、數據保護、安全審計和合規性要求。

（1）身份驗證。Hadoop集群中的節點和用戶必須經過身份驗證，以確保只有授權的用戶才能訪問集群。Hadoop支持基于Kerberos的身份驗證機制，可以通過Kerberos服務器驗證用戶身份。

（2）訪問控制。Hadoop集群中的每個節點都須具有訪問控制機制，以確保只有授權的用戶才能訪問敏感數據。Hadoop提供了基于用戶、組和角色的訪問控制機制，可以通過配置文件和ACLs（訪問控制列表）來管理用戶訪問權限。

（3）安全審計。Hadoop集群中的操作應該進行記錄和審計，以便跟蹤故障、調查安全事件和滿足法規要求。Hadoop通過提供日志記錄和審計機制，記錄用戶操作、系統事件和安全事件，并滿足保留6個月以上日志的法律要求。

（4）數據保護。在Hadoop集群中，敏感數據應該加密存儲，以確保未經授權的訪問者無法查看和竊取數據。通過Hadoop提供的數據加密和數據脫敏機制，來保護敏感數據的安全。

（5）合規性和監管要求。在處理敏感數據時，Hadoop集群必須符合適用的合規性和監管要求，包括《中華人民共和國網絡安全法》《中華人民共和國個人信息保護法》《中華人民共和國數據安全法》等的具體規定。

2.3 云計算平臺安全性實現

云計算框架是一個完整的系統框架，包含物理層、傳輸層和應用服務3層［3］，通過這3層技術能夠提供非常豐富的云計算能力和友好的用戶界面。云計算的安全性取決于各種因素，包括云服務提供商的安全措施、客戶使用云服務的方式以及數據的敏感程度。作為云服務提供商需要考慮以下幾個安全方面的內容。

（1）身份驗證和訪問控制。云服務提供商應該實施身份驗證和訪問控制機制，以確保只有授權用戶才能訪問客戶數據，可以采用基于角色的訪問控制模型，通過用戶組和角色來管理用戶的訪問權限，限制非法用戶的訪問。此外，還可以采用訪問控制列表和網絡隔離等技術來加強訪問控制策略。

（2）數據保護。云服務提供商應采取適當的技術措施，以確保存儲在其服務器上的數據不會被未經授權的人員訪問、竊取或破壞，通過使用數據加密算法，如AES、DES、國密SM4等，對數據進行加密，從而防止數據在傳輸和存儲過程中被竊取或篡改。此外，還可以采用分布式密鑰管理系統來管理密鑰，確保密鑰的安全性。

（3）合規性和監管要求。云服務提供商應遵守相關法規和監管要求，包括《中華人民共和國網絡安全法》《中華人民共和國個人信息保護法》《中華人民共和國數據安全法》等的具體規定，并應提供相應的合規性證明。

（4）安全審計。云服務提供商應定期進行安全審計，并向客戶提供相應的安全審計報告，通過采用成熟的日志管理和監控工具，如ELK，Splunk等組件，對系統進行實時監控和數據收集，對系統行為進行分析和監控，及時發現系統中的安全問題。

（5）災難恢復和備份。云服務提供商應該實施恢復和備份策略，通過分布式存儲的多副本模式進行冗余備份，以確保客戶數據的可用性和完整性。

作為云計算用戶可以采取以下措施來保護云上系統的安全。

選擇信譽良好、擁有豐富經驗和完善安全措施的云服務提供商；根據用戶的職責和權限設置訪問控制，確保只有授權的人才能訪問敏感數據；采用雙因素身份驗證，例如使用密碼和手機驗證碼等，防止密碼泄露和黑客攻擊；在數據傳輸和存儲過程中使用加密技術，防止數據被截獲或竊取；定期監控和審計用戶的云計算使用情況，及時發現異常行為和安全威脅；定期本地備份數據，并采取災備措施，確保數據不會因為自然災害、硬件故障或人為錯誤等原因丟失或損壞；定期更新軟件和安全補丁，確保系統和應用程序的安全性和穩定性；對管理用戶進行安全意識教育和培訓，提高用戶的安全意識和防范能力，防止因為用戶疏忽導致的安全事故。

3 結語

云計算作為一種新興的服務模式，具有廣泛的應用前景，國內外很多人都已經意識到了其重要性和必要性。然而，由于技術、安全等問題，現在還未能實現對它所有方面數據的全面保護。本文主要是針對基于Hadoop的安全性研究做了探索及分析，介紹了云計算的概念以及相關理論知識；根據實際情況提出了新的思路來解決云計算環境下存在的信息泄露風險，并為云計算在大數據網絡安全方面的應用提供了一定參考；對云計算中所涉及的概念進行了研究，包括安全性原則以及如何實現這些目標。

參考文獻

［1］李杰.大數據和云計算技術在智慧城市建設中的應用［J］.網絡安全技術與應用，2023（2）：102-103.

［2］張文明.基于云計算的Hadoop大數據平臺挖掘算法及實現研究［J］.無線互聯科技，2021（19）：110-111.

［3］蘇俊堅.云計算高校數據中心建設及安全性研究［J］.電子技術與軟件工程，2020（24）：251-252.

（編輯 沈 強）

Abstract： With the development of computer technology， cloud computing has gradually become a new and important business model， playing an increasingly crucial role in modern society. The article mainly introduces research on data security based on Hadoop. Firstly， it provides an overview of cloud computing technology and Hadoop technology; Secondly， an analysis was conducted on cloud data and security situation; Finally， the security issues and solutions were discussed.

Key words： Hadoop; cloud computing; data security