一種基于Hadoop架構和Django框架的圖像存儲系統設計與實現

楊龍 胡錦華 陳婷

摘要：Hadoop是一個可用于調度、處理、計算大數據的開源分布式架構。它提供了一整套涵蓋數據預處理、數據存儲及數據可視化等多階段的數據解決方案。Hadoop架構的分布式存儲優勢和Django框架的Web開發能力相結合，可實現高效的圖像存儲和訪問。文章以圖像存儲系統的設計與實現為主線，針對如何依托優質的Django前端框架在代碼層對數據進行高效管理以及如何使用Django Web框架構建Hadoop計算模式下的數據可視化Web系統，提出了一種解決方案可供參考。

關鍵詞：數據存儲；Hadoop架構；Django框架

中圖分類號：TP311? ? ? 文獻標識碼：A

文章編號：1009-3044（2024）07-0057-03

開放科學（資源服務）標識碼（OSID）

0 引言

隨著計算機應用領域的不斷深入發展，大容量數據存儲面臨著存儲成本高、性能低、可擴展性差、訪問延遲等諸多問題，其中數據訪問和處理性能的挑戰主要來自于數據處理任務的復雜性[1]。尤其以大容量圖像和視頻為代表，數據的安全存儲與有效管理成為亟待解決的問題。本課題主要研究一種基于Hadoop架構和Django框架的圖像存儲系統設計與實現，以期發揮Hadoop架構的分布式存儲優勢和Django框架的Web開發能力，為用戶提供良好體驗效果。

1 理論技術背景分析

1.1 Hadoop數據核心處理技術

Hadoop是一個開源分布式數據計算框架，其核心技術HDFS（Hadoop Distributed File System） 和MapReduce是優勢所在。HDFS采用Master/Slave的體系結構，集群中有一個NameNode的主控服務器管理文件的元數據[2]。可以將圖像數據存儲在NameNode中，使用Python語言寫入并且支持一次寫入多次讀寫。在HDFS的基礎上配合上層的Map Reduce 的計算框架可實現對目標存儲數據進行海量處理和完整保存。

1.2 Django架構設計優勢分析

Django是由Python編寫的一個開源Web應用框架，它提供了大量的特性和工具且具有完善的在線文檔，使得開發人員只需較少的代碼即可完成網站開發的大部分內容[3]。Django采用了MTV（Model-Template-View） 的軟件設計模式，Model本質是定義了大量的數據庫可操作API封裝到ORM系統技術人員只需要調用就可以對大量數據進行增、刪、改、查等操作，這樣也方便用戶高效管理圖像數據。Template 可將后端的動態數據填充至HTML進行快速渲染，因此該框架也非常適合周期較短的項目。View 主要作用于數據間的邏輯運算和操作。Django框架原理如圖1所示。

1.3 MVT 設計模式的設定

本系統采用Django中的MVT（Model-View-Template） 模式。MVT模式主要由三個模塊組成，模型層主要是對數據的讀取和數據庫事務的處理；視圖層主要是處理用戶發的請求和發出響應；模板層主要負責Web頁面的布局和數據渲染。MVT的設計模式更加適合Web應用程序，分層劃分使得代碼更加清晰和可維護，MVT模式的高靈活性和可重用性都非常適合存儲系統的設計開發。

1.4 數據管理系統的選擇

數據庫作為一種重要的倉庫，主要用于存儲數據[4]。本系統就采用開源的關系型數據庫管理系統MySQL作為后臺數據庫。其一些關鍵特點和功能被廣泛應用于Web開發領域。該DBMS體積較小、響應速度快、可用性高，都非常適配本系統的需求定位，首先由Hadoop集群在處理計算完原始數據后會將一部分數據存儲在Mysql中進行持久化數據存儲，以便將數據提供給存儲系統調用。

2 系統設計

2.1 架構設計

Hadoop是現在大部分企業都在使用的分布式計算框架，其本身是一個比較寬泛的概念是為了處理計算海量的數據而誕生的生態圈，它的核心是用多個機器組件計算集群，將問題先拆分再匯總提高計算速度也不浪費計算資源。恰好圖像數據正是其中的經典，Hadoop本質上是處理海量的小文件，這也是HDFS存儲模型所不擅長的，在處理圖像數據時可能會因為HDFS存儲文件占用較小的情況可自定義函數對文件進行合并和切割，便于后期對數據的處理和可視化。

Django Web 框架在數據庫操作和Web應用開發方面有自己獨有的優勢，契合優秀的Hadoop的數據存儲模型。首先框架中有非常優秀的ORM系統，其本質就是封裝了大量的數據庫操作Api，便于對圖像數據的維護和調度，這也是選擇Django框架的原因，其中的URL層、Model層、View層、Template層可更快配合Web應用的開發。

2.2 功能模塊設計

圖像存儲系統是基于用戶靜態信息數據和數據計算技術平臺并結合存儲的相關理論和技術架構搭建，主要是用于對用戶的大量圖像數據存儲使用，采用模塊功能進行權限控制，對用戶進行分析精準化營銷一方面監控業務數據、核心數據，將用戶數據價值最大化。系統功能模塊設計如圖2所示。

本系統分為兩個模塊，分別是存儲模塊和服務模塊，用戶本身使用系統只開放存儲管理模塊，服務模塊需要用戶向聯系管理員申請進行激活，一方面用戶可最大程度地對自己的數據進行存儲和管理，另一方面用戶可將數據一鍵自動分類管理，用戶只需要上傳數據，大大節省了時間，這樣可對用戶的數據進行最大化的整理和美化。

2.3 存儲模塊設計

用戶上傳原始數據，可選擇多種格式數據進行批量上傳，系統可自動對數據類型進行識別并添加至對應分類中，也可以自定義進行分類存儲。設置圖像上傳接口，支持用戶上傳圖像文件，并對上傳的圖像進行預處理、格式轉換、壓縮等操作，以節省存儲空間和提高訪問效率。設置圖像數據管理權限確保只有授權用戶能夠訪問和使用特定的圖像數據，以保障圖像數據的安全性和隱私性。根據存儲圖像的存儲數據信息，如上傳時間、地點、相關標簽等信息進行圖像檢索，用戶可對檢索出的數據進行導出、刪除等操作。

2.4 服務模塊設計

服務模塊分為兩類別，一種是用戶對數據的處理包括對圖像的裁剪、美化、旋轉、格式轉化等操作，用戶對圖像的自定義管理服務可對圖像進行分類、分享、查詢等操作。用戶可對每次上傳至系統的數據進行管理分類，數據可自動生成縮略圖。原始數據上傳后，再刪除的數據系統會進行自動備份，保存一周后數據庫事務進行自動刪除，在此期間，用戶可通過回收站對數據進行永久刪除或恢復至存儲系統中。另一種是用戶可將數據交予系統制作成個人主頁，個人主頁可直接分享。根據用戶個人需求可單獨為用戶拍攝個人主頁的影片并定制主題，為用戶打造屬于自己的獨一無二的主題風格，當然用戶也可直接在論壇分享自己的主頁，在論壇分享的主頁也可評論留言。

3 系統實現

3.1 運行環境及工具選擇

根據系統的需求，最終決定將系統搭建在較為穩定的Ubuntu系統上[5]，將開發環境搭建在Windows系統上，運行環境搭建在Ubuntu系統上包括Hadoop 分布式架構、MySQL數據庫、Django 框架等，開發語言選擇與Django契合的Python，開發工具選擇企業開發人員都在使用的Pycharm 和Notepad++。Pycharm是一款集成開發工具是一款非常人性化的開發工具，擁有頁面風格版式調整、代碼補全、支持各種豐富的插件、版本控制及單元測試等。Notepad++是一款開源的編輯器，支持多窗口化、多種語言的語法編輯高亮顯示和檢視，非常適合用作代碼走查的工具。因為本系統在性能上有一定要求，故選擇Notepad++增加代碼可讀性。

3.2 用戶及管理員登錄注冊功能實現

普通用戶在注冊頁面輸入用戶名、密碼、郵箱等信息進行登錄注冊，管理員賬號通過系統管理后臺添加，普通用戶和管理員都可以在登錄頁面選擇輸入郵箱和密碼進行登錄。

3.3 圖像分類管理功能實現

用戶在上傳原始數據時即可對圖像數據進行分類，圖像分類種類都是由用戶自定義的，以此來增加數據存儲的多樣性，同一分類下可存儲大量的數據。圖像分類管理界面如圖3所示。

3.4 用戶管理界面實現

系統管理員登錄系統后，點擊系統左側工具欄中的用戶管理，即可進入用戶管理界面，管理員可對用戶永久刪除的數據進行恢復，注意永久刪除的數據只可在系統中存儲一年，之后數據將在數據節點中永久刪除。管理也可對用戶進行權限提升，方便后續為用戶提供服務模塊中的主頁定制服務。用戶管理界面如圖4所示。

3.5 回收站功能實現

回收站旨在為用戶提供誤刪除數據恢復功能，對誤刪除的數據，用戶可自行在7天內進行恢復，當然用戶也可對需要永久刪除的數據進行永久刪除。

4 系統測試

4.1 系統使用效果測試

本節主要是對系統的功能進行了測試，查看系統功能是否正常和符合設計。測試主要采用黑盒測試與白盒測試。黑盒測試主要測試系統的各個功能模塊是否符合系統的設計需求以及能否返回正確的結果，黑盒測試不考慮系統的內部構造和邏輯處理等問題。白盒測試則與之相反，只考慮系統內部結構和邏輯實現等問題，而不考慮系統的功能實現。以登錄進入首頁為例進行黑盒測試與白盒測試。登錄進入系統的首頁如圖5所示。

用戶可根據首頁圖表更加直觀地查看所存儲的圖像，更加直觀地查看圖像類別及種類數量。首次登錄后首頁統計圖加載慢的情況，這是因為初次登錄時數據量較大，需要一定的查詢時間。對于單個圖像的檢索幾乎不存在查詢緩慢的情況，同時對檢索出的圖像也可進行一系列操作，比如圖像編輯、查看此圖像再分享后的評論、移除單個圖像等操作。在批量上傳方面支持圖片與視頻混合上傳，系統會自動識別圖像類別進行分類。

4.2 系統性能測試

性能測試時評估系統是否達到用戶主觀感受的一個標準，根據表1可以看到數據在批量上傳處理時性能的各項指標，這里列出數據的最大值和最小值可更加直觀感受到存儲系統對數據的處理能力和對系統的評估。可以看到接口響應和事務響應的最大值都達到了7 000ms，這里的接口耗時并不是單個接口而是多個接口的響應時間，這里的接口是單個系列的接口，比如上傳的接口會回調數據加載、數據存儲等接口。

根據系統性能的最關鍵指標探尋性能瓶頸[6]。系統都有一個相對極限，在訪問壓力下，TPS會上升到一個最大值，如果壓力繼續增大，TPS反而會下降。這個峰值就是系統的最大性能，并發數－性能測試（LoadRuner/ab）中特定術語，為模擬現實中的實際用戶，測試軟件使用虛擬用戶代替真實的用戶[7]。系統性能測試后各項指標表如表1所示。

5 結束語

本文首先介紹了用戶圖像存儲系統實現的各個功能模塊，基于Hadoop和Django 的圖像系統隨著圖像數據的快速增長，圖像存儲系統需要具備更強大的存儲和處理能力。未來的圖像存儲系統將繼續優化不斷迭代，通過橫向擴展和并行處理，實現對PB級甚至EB級規模的圖像數據的高效管理和處理。未來圖像存儲系統將不再局限于圖像存儲而是多模數據進行發展比如：音頻、三模數據等，在多模數據的存儲同時支持違規圖像的在線線程檢測，而不是一味地只存儲不檢測。

參考文獻：

[1] 岳茹.云計算環境下的數據存儲與管理技術研究[J].科技資訊，2023，21（21）：29-32.

[2] 陳新房，趙晗清，劉義卿.Hadoop核心技術與實戰課程教材建設的思考[J].電腦與電信，2022（12）：40-43.

[3] 郭鶴楠.基于Django和Python技術的網站設計與實現[J].數字通信世界，2023（6）：60-62.

[4] 趙停停.基于MySQL數據庫技術的Web動態網頁設計研究[J].信息與電腦（理論版），2023，35（17）：174-176.

[5] 王春程，田羽，方譽，等.Linux系統容器兼容性應用研究[J].自動化應用，2023，64（20）：224-226，230.

[6] 付豪.面向大數據分析應用平臺的性能分析系統[D].貴陽：貴州大學，2022.

[7] 劉東旭.基于LoadRunner的性能測試技術研究——以某系統登錄模塊為例[J].滁州職業技術學院學報，2023，22（2）：43-48.

【通聯編輯：朱寶貴】