基于大數(shù)據(jù)分析的海量信息軟件系統(tǒng)設(shè)計與開發(fā)

摘 要：基于大數(shù)據(jù)分析前提下所開展的海量信息處理任務(wù)，在保障效率的同時更要確定準(zhǔn)確程度。在此基礎(chǔ)上本文重點分析了基于大數(shù)據(jù)環(huán)境下的海量信息軟件系統(tǒng)邏輯構(gòu)成，以及設(shè)計過程中的具體軟件、硬件結(jié)構(gòu)組成模式，為系統(tǒng)設(shè)計開發(fā)和任務(wù)進(jìn)行建立適合的環(huán)境，全面提升數(shù)據(jù)信息處理速度，實現(xiàn)大數(shù)據(jù)分析環(huán)境下更高效穩(wěn)定的功能。

關(guān)鍵詞：大數(shù)據(jù)分析；海量信息；信息處理；軟件設(shè)計；系統(tǒng)構(gòu)建

中圖分類號：TP391 文獻(xiàn)標(biāo)識碼：A

Abstract：Based on big data analysis，the information processing tasks should be more determined and accurate in the process of ensuring efficiency.On this basis，this article focuses on analyzing the logical construction of the mass information software system based on the big data environment，and the specific structure model of software and hardware in the process of design.The suitable environment is established for system design and development tasks.The system greatly raises the data information processing speed，and implements functions with better efficiency and stability in the big data analysis environment.

Keywords：big data analysis；mass information；information processing；software design；system construction

1 引言（Introduction）

大數(shù)據(jù)分析是一種商業(yè)計算模式，其來源于分布式計算、并行計算和網(wǎng)格計算。Hadoop作為云計算的核心技術(shù)，目前在工業(yè)界得到了廣泛的應(yīng)用。Hadoop是Apache開源組織按照MapReduce的工作原理設(shè)計的一種開源的分布式處理框架，也是云計算環(huán)境下最著名的開源軟件。在Hadoop系統(tǒng)中，應(yīng)用程序可以并行運行在由大規(guī)模廉價硬件構(gòu)成的分布式系統(tǒng)中。Hadoop在內(nèi)部實現(xiàn)了容錯和擴(kuò)展機(jī)制，可以構(gòu)建成高可靠性和高擴(kuò)展性的分布式系統(tǒng)。在集群中運行分布式應(yīng)用程序時，MapReduce編程模型簡單易用。Hadoop提供的MapReduce編程模型是谷歌MapReduce的開源實現(xiàn)。在MapReduce編程模型中，開發(fā)者只需要編寫Map和Reduce函數(shù)，而任務(wù)調(diào)度、容錯等機(jī)制由底層實現(xiàn)。因此，即使開發(fā)者沒有分布式系統(tǒng)的經(jīng)驗也能編寫出高效的分布式應(yīng)用程序。下文將以此為例進(jìn)行重點論述。

2 基于大數(shù)據(jù)環(huán)境下的海量信息軟件系統(tǒng)邏輯構(gòu)

成（The logical construction of the mass

information software system based on the big data

environment）

2.1 邏輯分層

根據(jù)海量信息軟件的處理需求，將大數(shù)據(jù)環(huán)境下的軟件信息傳輸劃分為三個層次，依次進(jìn)行邏輯數(shù)據(jù)劃分。首先對數(shù)據(jù)進(jìn)行分隔，使不同功能層數(shù)據(jù)在傳輸中通過分隔來達(dá)到相互獨立的狀態(tài)，避免數(shù)據(jù)之間產(chǎn)生干擾。分層后產(chǎn)生多個區(qū)域，在區(qū)域基礎(chǔ)上對相關(guān)的軟件控制程序進(jìn)行補充完善，從而達(dá)到最佳使用效果。針對運行使用期間可能會產(chǎn)生的相關(guān)技術(shù)隱患問題，更應(yīng)該探討出控制方案，并在系統(tǒng)內(nèi)深入完善，了解系統(tǒng)對運行環(huán)境的控制需求，以及現(xiàn)場可能會產(chǎn)生的相關(guān)隱患問題。邏輯分層與控制系統(tǒng)軟件分隔是相互聯(lián)系的，當(dāng)分隔軟件所傳輸?shù)臄?shù)據(jù)可以達(dá)到精準(zhǔn)度標(biāo)準(zhǔn)，海量信息處理任務(wù)也能高效完成[1]。進(jìn)行海量信息處理，需要同時進(jìn)行多項任務(wù)。進(jìn)行相互控制并觀察彼此之間的影響能力，同時完成多項數(shù)據(jù)任務(wù)還需要在邏輯分層中體現(xiàn)出系統(tǒng)控制程序分層。根據(jù)所得到的處理信息進(jìn)行相關(guān)指令控制，從而達(dá)到最佳控制管理效果。最后是數(shù)據(jù)庫分層，用來與所處理的信息進(jìn)行對接，避免信息傳輸期間受到數(shù)據(jù)庫連接干擾影響。

2.2 海量信息處理中的數(shù)據(jù)抽取

基于大數(shù)據(jù)環(huán)境下所開展的海量信息處理，首先要針對數(shù)據(jù)進(jìn)行抽取，控制其中所存在的安全隱患，并結(jié)合技術(shù)性方法從更深層次探討需要完善的內(nèi)容。數(shù)據(jù)抽取需要在程序控制環(huán)境下來進(jìn)行，并觀察各項數(shù)據(jù)傳輸中所面臨的具體環(huán)境，通過系統(tǒng)程序加密控制來降低環(huán)境因素造成的干擾。數(shù)據(jù)抽取同樣是建立在大數(shù)據(jù)處理結(jié)構(gòu)基礎(chǔ)上，通過各個系統(tǒng)程序之間進(jìn)行相互控制。大數(shù)據(jù)分析系統(tǒng)結(jié)構(gòu)示意圖如圖1所示。

圖1中的信息抽取構(gòu)建模式，可以形成多種方案，并在現(xiàn)場建立起更適合的環(huán)境。關(guān)于設(shè)計期間可能會產(chǎn)生的相關(guān)問題，充分探討優(yōu)化解決方案，最終應(yīng)用效果也能得到明顯提升，通過結(jié)構(gòu)之間高效配合來實現(xiàn)最終的程序控制和信息方案提取。信息提取任務(wù)完成后，接下來的分析任務(wù)也能得到高效開展，并不會造成彼此之間的干擾影響。

2.3 數(shù)據(jù)跟蹤定位

大數(shù)據(jù)處理環(huán)境下信息獲取需要針對位置進(jìn)行定位，這樣才能發(fā)現(xiàn)其中是否存在影響數(shù)據(jù)運行的相關(guān)因素，為技術(shù)性方案開展建立適合的環(huán)境。數(shù)據(jù)跟蹤定位后可確定數(shù)據(jù)信息獲取的主要部分，并在此基礎(chǔ)上進(jìn)行信息海量處理，在系統(tǒng)內(nèi)部同時完成多項信息處理任務(wù)，為最終的管理任務(wù)開展建立適合的環(huán)境。系統(tǒng)運行期間數(shù)據(jù)信息處理速度還會受到網(wǎng)絡(luò)環(huán)境的影響。利用大數(shù)據(jù)分析技術(shù)會結(jié)合網(wǎng)絡(luò)平臺來進(jìn)行，數(shù)據(jù)跟蹤期間能夠同時完成多項處理任務(wù)之間的對接。通過數(shù)據(jù)準(zhǔn)確跟蹤定位來提升海量信息處理的整體效率，從而達(dá)到最佳處理效果，并為各項管理控制計劃開展打下穩(wěn)定基礎(chǔ)。數(shù)據(jù)分析處理不僅僅體現(xiàn)在方案自身控制方面，更與平臺運行穩(wěn)定性之間存在必然聯(lián)系，數(shù)據(jù)跟蹤定位可幫助快速判斷請求合法性，避免非法請求進(jìn)入到系統(tǒng)中，影響到最終的功能實現(xiàn)。endprint

3 海量信息存儲處理軟件的綜合設(shè)計（Comprehensive

design of the mass information storage and

processing software）

3.1 文件系統(tǒng)設(shè)計中的節(jié)點選擇

對于文件系統(tǒng)設(shè)計需要判斷節(jié)點選擇模式，觀察在系統(tǒng)中是否存在可能會影響到數(shù)據(jù)信息處理效率的因素。根據(jù)數(shù)據(jù)處理信息需求，將節(jié)點劃分成為數(shù)據(jù)節(jié)點、管理節(jié)點與監(jiān)控節(jié)點，可以根據(jù)數(shù)據(jù)信息處理方向以及使用需求來對內(nèi)部信息進(jìn)行選擇，從而達(dá)到最佳處理效果。系統(tǒng)設(shè)計中的節(jié)點選擇可幫助區(qū)分文件，對文件內(nèi)部所存儲的信息進(jìn)行高效識別處理，從而達(dá)到最佳處理控制效果。面對海量且分布的文件系統(tǒng)，首先針對其節(jié)點部分進(jìn)行設(shè)計構(gòu)建，基于節(jié)點基礎(chǔ)上實現(xiàn)對數(shù)據(jù)的來源識別以及處理對接，避免在最終控制能力上受到影響。為確保海量信息處理任務(wù)能夠安全穩(wěn)定實現(xiàn)，可以增加設(shè)計DataNode節(jié)點，實現(xiàn)海量數(shù)據(jù)的存儲和查詢?nèi)蝿?wù)。處于網(wǎng)絡(luò)環(huán)境下的數(shù)據(jù)存儲以及傳輸均存在安全隱患，很容易受到黑客或病毒攻擊而出現(xiàn)損壞或丟失的現(xiàn)象，設(shè)計DataNode節(jié)點后相鄰區(qū)域的數(shù)據(jù)會共同參與到搜索中，從而實現(xiàn)數(shù)據(jù)節(jié)點更高效的反饋，最大程度提升數(shù)據(jù)處理反應(yīng)速度。

3.2 文件存儲及副本設(shè)計

文件存儲部分設(shè)計需要確定不同文件的主副本，對文件的查看以及數(shù)據(jù)存儲權(quán)限范圍進(jìn)行控制設(shè)計。文件存儲信息后搜索路徑也隨之得到確定，接下來進(jìn)行的副本讀取也要在此路徑內(nèi)進(jìn)行，避免出現(xiàn)信息獲取后的誤差問題。文件內(nèi)部數(shù)據(jù)信息存儲以及副本讀取需要遠(yuǎn)程控制功能來實現(xiàn)，在此基礎(chǔ)上重點探討提升優(yōu)化方案的有效措施，具體系統(tǒng)結(jié)構(gòu)模式如圖2所示。處于信息讀取環(huán)境可能會產(chǎn)生的各項綜合處理模式，會直接將數(shù)據(jù)傳輸?shù)綄?yīng)的數(shù)據(jù)庫中，從而實現(xiàn)數(shù)據(jù)信息之間的轉(zhuǎn)變，為接下來所開展的各項數(shù)據(jù)信息建立穩(wěn)定的現(xiàn)場環(huán)境。圖2中顯示的內(nèi)容可以發(fā)現(xiàn)，這種安全隱患環(huán)境中可能會產(chǎn)生的問題，要綜合多方面因素來探討并探究。客戶端產(chǎn)生請求后通過服務(wù)器會傳導(dǎo)到相應(yīng)的文件模塊中，在此范圍內(nèi)進(jìn)行信息資源獲取。對于副本部分的讀取控制，需要對副本進(jìn)行結(jié)合文件夾的信息讀取控制，觀察其中所存在的問題，并在此基礎(chǔ)上充分探討優(yōu)化解決方案，全面提升綜合控制效果，完成副本與文件夾之間更穩(wěn)定的對接任務(wù)[2]。

3.3 海量信息恢復(fù)系統(tǒng)設(shè)計

處于大數(shù)據(jù)分析環(huán)境下，針對海量信息進(jìn)行存儲控制，一旦發(fā)生信息丟失問題，將會影響到接下來的各項處理功能的實現(xiàn)。因此設(shè)計中的一項重點任務(wù)是針對軟件內(nèi)容進(jìn)行設(shè)計和開發(fā)，觀察系統(tǒng)構(gòu)建中需要繼續(xù)深入解決的內(nèi)容，并結(jié)合技術(shù)性方法來綜合解決，構(gòu)建恢復(fù)系統(tǒng)，建立數(shù)據(jù)庫記憶功能，能夠自動或者根據(jù)操作者對軟件系統(tǒng)的使用需求來備份數(shù)據(jù)，并對其中的重要數(shù)據(jù)進(jìn)行自動加密保存，當(dāng)使用期間受到網(wǎng)絡(luò)病毒攻擊出現(xiàn)數(shù)據(jù)丟失現(xiàn)象后，也能通過海量信息恢復(fù)系統(tǒng)來自動完成恢復(fù)，確保文件信息正常使用功能不會受到影響。針對數(shù)據(jù)信息處理期間可能會產(chǎn)生的相關(guān)問題，更應(yīng)該探討出有效解決方案，結(jié)合內(nèi)部信息處理模式來進(jìn)行方案構(gòu)建[3]。建立數(shù)據(jù)信息處理自動恢復(fù)模式，并在系統(tǒng)內(nèi)自動完成備份處理任務(wù)，恢復(fù)系統(tǒng)設(shè)計期間還需要考慮大數(shù)據(jù)處理環(huán)境下的存儲能力，避免在功能實現(xiàn)上出現(xiàn)干擾，并通過各個結(jié)構(gòu)之間的相互配合來綜合提升處理速度。大數(shù)據(jù)處理模式下的海量信息恢復(fù)系統(tǒng)結(jié)構(gòu)如圖3所示。

3.4 目錄存儲與負(fù)載均衡設(shè)計

海量信息處理不僅是針對文件夾內(nèi)部數(shù)據(jù)來進(jìn)行，其中更為重要的是對數(shù)據(jù)進(jìn)行均衡分析，對其內(nèi)部所包含的目錄進(jìn)行快速掃描記錄。目錄檢索完成后接下來進(jìn)行的內(nèi)部數(shù)據(jù)處理分析效率也更高，并且能夠根據(jù)所進(jìn)行的各項目錄掃描來完成負(fù)載數(shù)據(jù)的劃分，實現(xiàn)數(shù)據(jù)之間的對接[4]。負(fù)載均衡設(shè)計同樣需要建立在節(jié)點基礎(chǔ)上，以節(jié)點為分界衡量對象，實現(xiàn)目錄與其內(nèi)部文件之間的對接，并在此基礎(chǔ)上充分構(gòu)建適合數(shù)據(jù)分析處理的軟件，綜合提升目錄掃描處理效果。設(shè)計訪問用戶的分區(qū)，直接進(jìn)行訪問請求與文件夾之間的對接，任務(wù)得到高效處理后，接下來的各項處理分析任務(wù)也能更加理想，建立起綜合聯(lián)系系統(tǒng)。根據(jù)不同IP用戶來進(jìn)行DNS分流設(shè)計，從而構(gòu)建出內(nèi)部控制體系，綜合提升海量數(shù)據(jù)信息存儲速度，并在達(dá)到處理對接速度標(biāo)準(zhǔn)的前提下降低誤差產(chǎn)生幾率，為構(gòu)建綜合指標(biāo)建立穩(wěn)定的現(xiàn)場環(huán)境。處于數(shù)據(jù)信息分析模式下的目錄存儲，更應(yīng)該體現(xiàn)出變化性，觀察是否在信息內(nèi)存在需要繼續(xù)強化完善的內(nèi)容，并建立起適合的現(xiàn)場環(huán)境，為管理任務(wù)進(jìn)行建立有效的環(huán)境[5]。目錄在檢索過程中自動更新，也能夠避免在檢索內(nèi)容上受到影響，文件夾內(nèi)部信息處理效率也會得到明顯提升。

4 大數(shù)據(jù)分析環(huán)境下的海量信息軟件系統(tǒng)開發(fā)實

現(xiàn)（Development and implementation of the mass

information software system in the big data

analysis environment）

4.1 腳本測試代碼構(gòu)建

對于腳本測試過程中的代碼構(gòu)建和實現(xiàn)，更應(yīng)該體現(xiàn)出系統(tǒng)內(nèi)部程序控制。根據(jù)硬件結(jié)構(gòu)劃分模式來進(jìn)行軟件程序匯編，對海量數(shù)據(jù)軟件系統(tǒng)的功能腳本進(jìn)行檢驗，觀察其功能實現(xiàn)是否可以達(dá)到預(yù)先設(shè)計的標(biāo)準(zhǔn)。Tomcat為腳本檢驗代碼構(gòu)建的服務(wù)器載體，分析系統(tǒng)運行使用中所面對的處理環(huán)境，以及信息內(nèi)部是否存在影響最終功能實現(xiàn)的因素，有關(guān)于設(shè)計期間比較常見的運行功能實現(xiàn)檢驗，同樣可以在此服務(wù)器支持下來實現(xiàn)。采用Windows 10操作系統(tǒng)作為運行載體，面對文件夾中的信息進(jìn)行處理檢索，對所設(shè)計構(gòu)建的方案可行性進(jìn)行檢驗，有關(guān)于設(shè)計期間確定的重點功能，在此范圍內(nèi)更應(yīng)該體現(xiàn)出積極性，并深入觀察其中可能會造成隱患的因素，同樣采用規(guī)避措施解決[5]。代碼構(gòu)建需要借助SAT模型來實現(xiàn)，面對不同的文件夾更應(yīng)該體現(xiàn)出其中的功能差異性，從而避免數(shù)據(jù)傳輸出現(xiàn)彼此干擾的現(xiàn)象。endprint

4.2 海量信息處理系統(tǒng)模擬

確定海量信息軟件構(gòu)成模式后，為提升設(shè)計方案可行性，可以首先針對其中的設(shè)計方案進(jìn)行模擬，檢驗所設(shè)計系統(tǒng)中存在的漏洞，并通過程序優(yōu)化設(shè)計的方法來統(tǒng)計漏洞數(shù)量和所在位置，從而通過程序設(shè)計來將其優(yōu)化處理。確定一個模擬數(shù)據(jù)庫，其中的信息數(shù)量要達(dá)到標(biāo)準(zhǔn)，這樣接下來所開展的各項設(shè)計方案才不會因此受到影響。利用軟件來對模擬數(shù)據(jù)庫中所存儲的內(nèi)容進(jìn)行檢驗，判斷是否在數(shù)據(jù)傳輸和存儲過程中出現(xiàn)過錯誤情況。在檢驗系統(tǒng)內(nèi)自動記錄這部分錯誤參數(shù)，有關(guān)于數(shù)據(jù)傳輸中受網(wǎng)絡(luò)病毒影響所受到的攻擊，更應(yīng)該體現(xiàn)出其中的深層次控制方案，實現(xiàn)控制方案與系統(tǒng)數(shù)據(jù)效率提升方面的相互連接，并構(gòu)建出更合理的設(shè)計模式。系統(tǒng)模擬中可以對文件夾安全程度進(jìn)行檢驗，模擬黑客攻擊過程，體現(xiàn)出內(nèi)部控制，并構(gòu)建出合理的現(xiàn)場控制環(huán)境，了解軟件系統(tǒng)運行中的風(fēng)險類型后，接下來所開展的各項風(fēng)險控制任務(wù)也能更高效完成[6]。通過設(shè)計方案強化的方法來幫助降低軟件系統(tǒng)運行風(fēng)險性，效率提升也更科學(xué)穩(wěn)定。

5 結(jié)論（Conclusion）

綜上所述，云計算和物聯(lián)網(wǎng)的迅速發(fā)展，越來越多的個人和企業(yè)選擇將自己的業(yè)務(wù)遷移到大規(guī)模的數(shù)據(jù)中心，以此來降低本地的硬件成本和系統(tǒng)維護(hù)費用。數(shù)據(jù)中心存儲的數(shù)據(jù)量十分龐大，管理系統(tǒng)的復(fù)雜性較高。從存儲設(shè)備級別上看，數(shù)據(jù)中心為了控制成本，大量采用廉價存儲設(shè)備，致使數(shù)據(jù)極易因硬件設(shè)備故障而丟失。這些都對海量數(shù)據(jù)存儲性能、可靠性等方面帶來了挑戰(zhàn)。云存儲是解決海量數(shù)據(jù)存儲的最有效手段。本文提出的一種海量大數(shù)據(jù)云存儲系統(tǒng)設(shè)計，是應(yīng)用系統(tǒng)需要實現(xiàn)的關(guān)鍵技術(shù)。

參考文獻(xiàn)（References）

[1] 史金梅，夏偉.基于大數(shù)據(jù)分析的學(xué)生最優(yōu)選課方案模型的設(shè)計與實現(xiàn)[J].現(xiàn)代電子技術(shù)，2017，40（14）：30-32.

[2] 馬蓮姑，杜鋒，黃壽孟.基于大數(shù)據(jù)分析的MOOC智能自主學(xué)習(xí)系統(tǒng)設(shè)計[J].現(xiàn)代電子技術(shù)，2017，40（20）：12-13.

[3] 楊玉新，馬偉，趙陽.基于大數(shù)據(jù)分析的電網(wǎng)精準(zhǔn)規(guī)劃信息系統(tǒng)設(shè)計[J].現(xiàn)代電子技術(shù)，2017，40（7）：155-158.

[4] 龔為綱，張嚴(yán)，蔡恒進(jìn).海外自媒體中涉華輿情傳播機(jī)制的大數(shù)據(jù)分析——基于Reddit平臺的海量輿情信息[J].學(xué)術(shù)論壇，2017，40（3）：21-31.

[5] 張斌，彭其淵.基于大數(shù)據(jù)的鐵路客戶關(guān)系管理系統(tǒng)設(shè)計研究[J].鐵道運輸與經(jīng)濟(jì)，2017，39（6）：42-48.

[6] 楊宗亮，張玉茜，李建飛.一種基于地理空間大數(shù)據(jù)的網(wǎng)絡(luò)輿情監(jiān)測軟件架構(gòu)[J].測繪通報，2017（3）：96-100.

作者簡介：

李錦華（1979-），女，碩士，講師.研究領(lǐng)域：計算機(jī)應(yīng)用技術(shù).endprint