基于大數(shù)據(jù)的應用體系架構(gòu)設計方法

生力軍

摘 要：隨著計算機技術(shù)的不斷更新與發(fā)展，大數(shù)據(jù)技術(shù)應運而生，應用優(yōu)勢逐步凸顯。而企業(yè)在發(fā)展過程中，具備著豐富的客戶資源和海量的數(shù)據(jù)積累，倘若沒有做好對數(shù)據(jù)的高效化管理，就會給企業(yè)的發(fā)展帶來一定的經(jīng)濟損失。因此，如何合理的挖掘數(shù)據(jù)價值，最大化的實現(xiàn)對數(shù)據(jù)的保護，成為當前企業(yè)所要解決的主要問題。而基于大數(shù)據(jù)應用體系架構(gòu)的設計，就能基于數(shù)據(jù)的特性，構(gòu)建相應的數(shù)據(jù)模型，以此提高對數(shù)據(jù)的處理能力，進而滿足用戶的個性化需求。

關(guān)鍵詞：大數(shù)據(jù);應用體系;架構(gòu)設計

0 引言

信息化時代下，人們無時無刻不在產(chǎn)生數(shù)據(jù)，而數(shù)據(jù)的來源也是多種多樣。大數(shù)據(jù)應用系統(tǒng)，主要就是建立在龐大的數(shù)據(jù)來源上產(chǎn)生的應用系統(tǒng)，通過高效化的管理模式，使數(shù)據(jù)發(fā)揮出其強大的決策力、洞察力以及高流程的優(yōu)化能力，以此給系統(tǒng)使用者提供重要的數(shù)據(jù)信息參考依據(jù)。因此，應基于大數(shù)據(jù)技術(shù)合理的設計并構(gòu)建應用體系架構(gòu)，確保最大化的挖掘出數(shù)據(jù)所具備的價值和能力。本文就針對基于大數(shù)據(jù)的應用體系架構(gòu)設計方法展開具體的分析與討論。

1 大數(shù)據(jù)應用體系的架構(gòu)設計

1.1? 總體架構(gòu)的設計原則

大數(shù)據(jù)技術(shù)的出現(xiàn)，給我國傳統(tǒng)數(shù)據(jù)應用架構(gòu)帶來了一定的挑戰(zhàn)。而基于大數(shù)據(jù)背景下，對于應用體系架構(gòu)的設計，就應遵循相應的設計原則，以此確保整個體系設計的合理性。首先，體系架構(gòu)的設計應具備較大的數(shù)據(jù)儲存能力，并且能夠存儲多種類型的數(shù)據(jù)。而傳統(tǒng)的數(shù)據(jù)體系架構(gòu)，對于數(shù)據(jù)的分析方面還稍有欠缺，無論是技術(shù)方面還是方法方面，都無法滿足當前對龐大數(shù)據(jù)的分析。因此，在進行具體的體系架構(gòu)設計時，就應確保整個體系架構(gòu)能夠更加可用、可靠并且還具備較大的空間擴展性，這樣既能完成對數(shù)據(jù)信息的高質(zhì)量存儲，而且還能實現(xiàn)對數(shù)據(jù)的合理化保護。此外，大數(shù)據(jù)背景下，對于數(shù)據(jù)應用體系架構(gòu)的設計還應始終堅持3個統(tǒng)一原則，即：第一，具備較大的數(shù)據(jù)加載和處理分析能力，能夠應對爆炸式的數(shù)據(jù)信息。第二，具備較強的應用擴展性，確保滿足多種數(shù)據(jù)應用場景。第三，具備分析原始數(shù)據(jù)格式的能力，以此就能完成對各類型數(shù)據(jù)的精準分類[1]。

1.2? 大數(shù)據(jù)應用體系的結(jié)構(gòu)設計

數(shù)據(jù)來源的多樣化，導致數(shù)據(jù)類型也更加豐富。因此，大數(shù)據(jù)體系應用結(jié)構(gòu)應主要包含：結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)以及非結(jié)構(gòu)化數(shù)據(jù)3種。其中，對于結(jié)構(gòu)化數(shù)據(jù)而言，其有明確的數(shù)據(jù)信息格式，而半結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)信息和邏輯比較容易處理，但是數(shù)據(jù)類型往往摻雜在一塊，這樣就增大了對數(shù)據(jù)信息挖掘的難度。而非結(jié)構(gòu)化數(shù)據(jù)主要就是指視頻、音頻等相關(guān)數(shù)據(jù)信息，由于其缺乏完整的體系架構(gòu)，故對于數(shù)據(jù)的處理就顯得更為混亂。因此，要想最大化地發(fā)揮出數(shù)據(jù)的應用價值，深度挖掘其所具備的能力，就應基于大數(shù)據(jù)技術(shù)，構(gòu)建一個更加完善且科學的數(shù)據(jù)應用體系架構(gòu)。

2 大數(shù)據(jù)應用體系架構(gòu)的具體設計

2.1? 數(shù)據(jù)管理

數(shù)據(jù)管理應主要包含3個方面，即：數(shù)據(jù)導入、數(shù)據(jù)清洗和數(shù)據(jù)治理。

其中，數(shù)據(jù)導入是管理數(shù)據(jù)的第一步，也是保證數(shù)據(jù)質(zhì)量的基礎。其中，數(shù)據(jù)的收集可以通過不同的數(shù)據(jù)源完成對指定規(guī)則數(shù)據(jù)的收取，待數(shù)據(jù)抽取完成之后，還應實現(xiàn)對其的高效化存儲。對于數(shù)據(jù)的收集，一般使用多樣化的接口方式，不僅可以支持傳統(tǒng)的FTP文件接口，還可以支持實時性分析，以此就能更好地滿足對多樣化格式數(shù)據(jù)的收集[2]。數(shù)據(jù)收集完畢之后，需要對數(shù)據(jù)進行加載，目的是能夠?qū)?shù)據(jù)源文件合理的保存至數(shù)據(jù)庫。通過提交相應的參數(shù)設置，來規(guī)范化數(shù)據(jù)文件輸入路徑，加載文件能夠更好地匹配相關(guān)信息，以此完成對文件的發(fā)現(xiàn)、獲取以及對數(shù)據(jù)的加載和校驗，最終促進數(shù)據(jù)的高質(zhì)量入庫。此外，無論是數(shù)據(jù)加載的結(jié)束或者失敗，都應在系統(tǒng)的數(shù)據(jù)日志中完成對操作日志的記錄，這樣可為后續(xù)數(shù)據(jù)問題的排查以及數(shù)據(jù)的稽核提供重要的參考性依據(jù)。

數(shù)據(jù)清洗主要就是指：根據(jù)數(shù)據(jù)價值、數(shù)據(jù)質(zhì)量的衡量依據(jù)，通過多個維度和多個視角完成對數(shù)據(jù)的全面排查，確保及時的發(fā)現(xiàn)數(shù)據(jù)中的不良數(shù)據(jù)。其中，在具體實施時，可根據(jù)實體分析數(shù)據(jù)評估指標，完成對存有數(shù)據(jù)質(zhì)量問題的數(shù)據(jù)的定位，進而根據(jù)相關(guān)規(guī)則，實現(xiàn)對存有問題字段的探查，以此就能明確的找出存有問題的數(shù)據(jù)。

數(shù)據(jù)清洗主要定位數(shù)據(jù)問題存在位置，而數(shù)據(jù)治理則主要確定數(shù)據(jù)存在問題的原因，從而使得數(shù)據(jù)質(zhì)量能夠得到顯著的提高。其中，數(shù)據(jù)質(zhì)量一般包含：數(shù)據(jù)結(jié)構(gòu)復雜、數(shù)據(jù)質(zhì)量低以及缺乏數(shù)據(jù)字典等多個問題。因此，在構(gòu)建大數(shù)據(jù)應用體系架構(gòu)時，就可創(chuàng)建相應的數(shù)據(jù)分析平臺，加大對數(shù)據(jù)分析的力度，并實現(xiàn)對問題數(shù)據(jù)的篩查，確保形成一個統(tǒng)一且高質(zhì)量的數(shù)據(jù)源，以此給后續(xù)工作的開展提供重要的數(shù)據(jù)支撐。而在具體分析數(shù)據(jù)源時，就可重點排查數(shù)據(jù)重復的原因，并創(chuàng)建相應的策略模型，來獲取空值數(shù)據(jù)和缺失的數(shù)據(jù)，并讓其進入到所創(chuàng)建的數(shù)據(jù)分析平臺中，以此也就有助于分析出數(shù)據(jù)重復的原因[3]。

2.2? 對數(shù)據(jù)進行標準化建設

各數(shù)據(jù)之間都是相互獨立的，但是數(shù)據(jù)格式的不統(tǒng)一、數(shù)據(jù)建設的不規(guī)范，就在一定程度上給數(shù)據(jù)間的共享帶來了較大問題。倘若不對此問題進行合理化解決，就會增大數(shù)據(jù)的錄入成本，還會造成資源的浪費。因此，在設計數(shù)據(jù)應用體系架構(gòu)時，還應注重對數(shù)據(jù)的標準化建設，確保實現(xiàn)數(shù)據(jù)信息的規(guī)范性和統(tǒng)一性。在收集數(shù)據(jù)時，應在統(tǒng)一的數(shù)據(jù)平臺上完成收集，這樣就能保證數(shù)據(jù)的來源一致。收集完數(shù)據(jù)后，還需要根據(jù)相關(guān)業(yè)務需求，將數(shù)據(jù)轉(zhuǎn)換為所要求的目的數(shù)據(jù)。最后，再對不符合規(guī)定的數(shù)據(jù)進行清洗，以此就能保證數(shù)據(jù)的存儲質(zhì)量[4]。

2.3? 數(shù)據(jù)安全性設計

保障數(shù)據(jù)的安全性，是大數(shù)據(jù)應用體系架構(gòu)的基礎。因此，在具體設計時，就可根據(jù)安全態(tài)勢感知模型，完成對整個系統(tǒng)安全性的分析。而安全態(tài)勢感知模型，可完成對數(shù)據(jù)收集方面的監(jiān)控，一旦發(fā)現(xiàn)所收集的數(shù)據(jù)信息不滿足相關(guān)要求時，就會發(fā)出告警信息，并且還會出具相應的審計報告，這樣也就避免了不合格數(shù)據(jù)入庫，進而也就提升了整個數(shù)據(jù)信息的安全性。

2.4? 平臺數(shù)據(jù)的存儲

數(shù)據(jù)的存儲，一般可采用云存儲技術(shù)，該種技術(shù)主要由多種設備軟件構(gòu)成。而為了實現(xiàn)對其的高效維護，一般會將數(shù)據(jù)存儲在存儲層中，并且還應讓其兼容多種不同類型的協(xié)議，這樣就能更好的實現(xiàn)數(shù)據(jù)的高效化存儲。此外，云存儲主要利用流的方式完成對數(shù)據(jù)的傳輸，這樣就能實現(xiàn)對流媒體結(jié)構(gòu)的限制，以此也就大大地提升了整個系統(tǒng)的運行性能[5]。

3 結(jié)語

不斷地研究與分析基于大數(shù)據(jù)的應用體系架構(gòu)設計，對于有效的提升大數(shù)據(jù)應用體系架構(gòu)設計的合理性，最大化的挖掘出數(shù)據(jù)信息的應用價值以及實現(xiàn)對數(shù)據(jù)的合理化保護都具有至關(guān)重要的作用。因此，應首先認識與了解大數(shù)據(jù)應用體系的架構(gòu)設計，進而從數(shù)據(jù)管理、對數(shù)據(jù)進行標準化建設、數(shù)據(jù)安全性設計以及平臺數(shù)據(jù)的存儲4個方面完成對大數(shù)據(jù)應用體系架構(gòu)的高質(zhì)量設計，確保最大化地發(fā)揮出體系架構(gòu)的應用價值，滿足企業(yè)的個性化需求，以此推動我國經(jīng)濟建設的可持續(xù)發(fā)展。

[參考文獻]

[1]劉菱琳，周祖斌，楊志清，等.基于大數(shù)據(jù)的應用體系架構(gòu)設計研究[J].電子設計工程，2020（23）：25-28，33.

[2]李進.試驗數(shù)據(jù)應用體系架構(gòu)設計[J].電子技術(shù)與軟件工程，2019（15）：123-124.

[3]葉挺.大數(shù)據(jù)平臺安全架構(gòu)體系研究與應用[D].杭州：浙江工業(yè)大學，2019.

[4]呂登龍，朱詩兵.大數(shù)據(jù)及其體系架構(gòu)與關(guān)鍵技術(shù)綜述[J].裝備學院學報，2017（1）：86-96.

[5]王強，李俊杰，陳小軍，等.大數(shù)據(jù)分析平臺建設與應用綜述[J].集成技術(shù)，2016（2）：2-18.

（編輯 何 琳）