基于云存儲的教學資源共享系統的設計

蘇葉健

摘 要

教學資源共享系統具有較大的數據存儲量和網絡傳輸量，本文探討探討教學資源共享系統的框架設計及技術問題，研究如何構建私有云存儲技術解決教學資源共享系統數據傳輸效率和存儲效率，并就重復數據刪除技術、文件格式轉碼等重要技術問題進行探討。

【關鍵詞】云存儲 重復刪除 資源共享 系統設計

1 引言

隨著云計算技術的快速發展和網絡教育的興起，微課、Mooc等多種教學形態的出現，越來越多的大學院校需要搭建教學資源共享系統。教學資源包含課件、教案、教學案例、教學視頻、歷屆學生課程考試作品、參考資料等內容，文件數量、數據容量非常龐大，對服務器的存儲容量、網絡帶寬提出很高的要求。

以一所在校師生人數為2萬人的高校為例，按照15%的日活躍用戶計算，教學資源共享系統如果采用一般的CMS網站的模式快速建站，是難以支撐3000名的日活躍用戶的教學資源共享、文件上傳下載、教學視頻播放等應用的，一方面首網絡帶寬瓶頸的制約，另一方面學生賬號共享資源需要耗費大量的存儲空間，為此我們需要尋求方法解決這些問題。

2 云存儲服務的構建

云計算服務通常有公有云、私有云、混合云、社區云等形態存在，由于教學資源共享系統主要面向校內用戶使用，考慮到教學資源數據量較大，公網網絡帶寬成本問題、網絡傳輸速率問題，而且在校學生都接入了校園內部網絡，綜合考慮，采用了私有云。

2.1 云存儲架構

云存儲是云計算當中的一項服務，常見的云存儲架構可劃分為訪問層、應用接口層、基礎管理層、存儲層，教學資源共享系統劃分視圖層、業務層、數據層，而數據層將與云存儲的訪問層進行對接，如圖1所示。

2.2 云存儲服務的重要問題

在教學資源共享系統解決方案當中，云存儲服務負責教學資源文件的數據上下行傳輸和存儲服務。云存儲服務由分發服務器、存儲服務器構成，所有存儲服務被虛擬化為一個存儲對象并作為訪問層與教學資源共享系統數據層進行對接。

2.2.1 文件級重復數據刪除處理的性能

當用戶上傳各類教學資源文件時，文件級重復數據刪除處理模塊將文件的散列值作為特征碼存入搜索列表，后續其他用戶上傳相同文件時，系統根據文件特征碼發現和剔除相同文件。文件級重復數據刪除處理的核心問題是特征碼搜索性能，可以根據多種文件特種建立多級搜索，包括以文件類型、特征碼等重要標識構成圖2所示的搜索樹，搜索樹的兩級特征碼分布采用Checksum和SHA-1算法。

Checksum被稱為總和檢驗碼，用于數據通訊傳輸過程中高效率校驗數據完整性，其算法是將數據源的十六進制編碼累加得到校驗和，若校驗和超過24則使用其補碼作為校驗和。在本解決方案中，Checksum在本案例中用于實現將校驗和當作重復文件搜索的一級篩選特征碼，允許不同文件的特征碼出現重碼，為了提高運算效率，只對上傳文件的一段數據執行Checksum算法。

SHA-1是一種安全散列算法，本案例將SHA-1算法用于實現對用戶上傳的文件生成SHA-1特征碼作為文件的唯一標識，用于判斷用戶上傳的文件在存儲服務器中是否重復存在。雖然SHA-1算法運算效率比較低，特別是對視頻等大容量文件執行該算法需要耗費較多運算資源，但相對網絡數據傳輸速度而言仍是可以忽略的。為了堅固效率和安全性，本案例采用表1所示方式執行上述校驗算法。

2.2.2 數據傳輸

數據傳輸的主要問題是網絡瓶頸問題，3000名日活躍用戶對視頻等大容量資源的訪問，采用單一服務器難以承載資源共享訪問量，為此需要建立CDN內容分發網絡，CDN服務器根據網絡負載狀況對用戶教學資源訪問請求轉發到不同的存儲服務器，以分解校園網帶寬數據流量。

3 教學資源共享系統的設計

3.1 系統模塊設計

本系統由教學資源展示模塊、個人空間模塊、后臺管理模塊等業務模塊，以及文件格式轉換模塊、視頻資源轉碼模塊等數據格式處理模塊構成。功能模塊構成如圖3所示。

上述模塊當中，教學資源展示模塊、個人空間模塊、后臺管理模塊主要用于教學資源共享相關業務邏輯的實現，包括教師在線備課、發布資源、微課、Mooc等各類課程網站建設、學生在線學習、分享資源等功能的實現。

3.2 數據格式處理模塊的設計

用戶上傳的視頻資源考慮到文件容量、視頻格式等因素，并不適合直接應用到網站在線播放，需要進行視頻轉碼處理。視頻轉碼的流程如圖4所示。

文件格式轉換與視頻轉碼的處理流程類似，文件格式轉換模塊、視頻資源轉碼模塊被封裝為系統的子項目，獨立運行于轉碼服務器，如果系統用戶規模比較小，也可以與主項目合并在同一臺應用服務器上運行。

4 小結

構建基于云存儲技術的教學資源共享系統，在實現常規業務邏輯實現的同時，受存儲容量、網絡基礎設施等制約，需要考慮數據網絡傳輸瓶頸、數據冗余處理等問題，當然，內容分發網絡服務的分發算法、重復數據刪除處理算法影響著存儲效率，數據冗余率與存儲效率是一個矛盾體，需根據實際項目實施情況權衡兩者關系，根據實際需求調整處理算法。

參考文獻

[1]毛波，葉閣焰，藍琰佳，張楊松，吳素貞.一種基于重復數據刪除技術的云中云存儲系統[J].計算機研究與發展，2015（06）：1278-1287.

[2]宋雨，易璐，王鳳霞.基于云存儲的重復數據刪除架構的研究與設計[J].計算機系統應用，2013（01）：208-211.

[3]畢朝國，徐小龍.一種云存儲系統中重復數據刪除機制[J].計算機應用研究，2014（10）：3052-3055+3060.

[4]劉貝，湯斌.云存儲原理及發展趨勢[J].科技信息，2011（05）：470-471.

[5]張龍立.云存儲技術探討[J].電信科學，2010，S1：71-74.

[6]劉金芝，余丹，朱率率.一種新的云存儲服務模型研究[J].計算機應用研究，2011（05）：1869-1872.

[7]比特網.文件級別和數據塊級別重復數據刪除的差異[OL].http：//storage.chinabyte.com/80/11351580.shtml，2010/5.

[8]曾旭，高獻偉，路而紅，陳運.HASH算法MD5的高速實現[J].成都信息工程學院學報，2009（02）：129-132.

[9]敖莉，舒繼武，李明強.重復數據刪除技術[J].軟件學報，2010（05）：916-929.

作者單位

1.廣西大學計算機與電子信息學院 廣西壯族自治區南寧市 530004

2.南寧職業技術學院 廣西壯族自治區南寧市 530008