基于大數(shù)據(jù)的信息系統(tǒng)關(guān)鍵技術(shù)

李俊杰

摘要：大數(shù)據(jù)信息技術(shù)與我們的生活密切相關(guān)，無論是物聯(lián)物流領(lǐng)域、網(wǎng)絡(luò)社交領(lǐng)域、電子商務(wù)領(lǐng)域、遠(yuǎn)程醫(yī)療領(lǐng)域等都可以看到大數(shù)據(jù)信息技術(shù)的縮影。為了滿足現(xiàn)階段互聯(lián)網(wǎng)企業(yè)發(fā)展的要求，進(jìn)行大數(shù)據(jù)技術(shù)方案的更新是必要的，這就需要進(jìn)行分布式文件管理模塊、數(shù)據(jù)處理模塊、數(shù)據(jù)庫技術(shù)模塊等的分析，實(shí)現(xiàn)大數(shù)據(jù)技術(shù)問題的解決，滿足現(xiàn)階段工作的要求。

關(guān)鍵詞：大數(shù)據(jù)；信息系統(tǒng)；關(guān)鍵技術(shù)；數(shù)據(jù)存儲(chǔ)；數(shù)據(jù)處理

中圖分類號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2017）03-0118-01

1 大數(shù)據(jù)信息技術(shù)的應(yīng)用內(nèi)容

大數(shù)據(jù)技術(shù)是一種先進(jìn)的數(shù)據(jù)信息選取技術(shù)，大數(shù)據(jù)信息系統(tǒng)是一個(gè)比較復(fù)雜的體系，其內(nèi)部包括數(shù)據(jù)采集環(huán)節(jié)、數(shù)據(jù)處理環(huán)節(jié)、基礎(chǔ)架構(gòu)環(huán)節(jié)等。

1.1 數(shù)據(jù)采集模塊

數(shù)據(jù)采集技術(shù)實(shí)現(xiàn)了對不同數(shù)據(jù)庫信息的接收，比如產(chǎn)品客戶端、網(wǎng)絡(luò)站點(diǎn)、傳感器等，在數(shù)據(jù)的采集過程中，高并發(fā)數(shù)問題是常見的數(shù)據(jù)收集問題，比如在雙11活動(dòng)中，淘寶網(wǎng)站達(dá)到一個(gè)巨大的峰值訪問量。為了提升大數(shù)據(jù)的分析效率，需要進(jìn)行分布式數(shù)據(jù)庫的導(dǎo)入，在導(dǎo)入模塊中，需要實(shí)現(xiàn)清洗環(huán)節(jié)及預(yù)處理環(huán)節(jié)的協(xié)調(diào)。

在現(xiàn)代互聯(lián)網(wǎng)企業(yè)的發(fā)展過程中，每個(gè)企業(yè)都有屬于自己的數(shù)據(jù)采集工具，這些采集工具實(shí)現(xiàn)了分布式架構(gòu)的應(yīng)用，能夠滿足不同數(shù)據(jù)模塊的采集及傳輸要求。在網(wǎng)頁數(shù)據(jù)的采集過程中，一般利用網(wǎng)站的公開API，進(jìn)行音頻、視頻、圖片等數(shù)據(jù)的抽取，這種模式屬于非結(jié)構(gòu)化數(shù)據(jù)抽取模式，做好這一環(huán)節(jié)，再進(jìn)行結(jié)構(gòu)化模式的應(yīng)用，進(jìn)行本地?cái)?shù)據(jù)文件的存儲(chǔ)。

1.2 數(shù)據(jù)存儲(chǔ)模塊

在數(shù)據(jù)存取過程中，現(xiàn)代化信息企業(yè)主要進(jìn)行Pastgre SQL模式的應(yīng)用，這種模式以滿足人機(jī)互動(dòng)為目標(biāo)，滿足使用者的交易需求。有些企業(yè)進(jìn)行傳統(tǒng)式關(guān)系型數(shù)據(jù)庫的使用，比如SQL Server，其屬于行存儲(chǔ)格式，適應(yīng)于數(shù)據(jù)庫的刪、改、增等操作，但不具備良好的統(tǒng)計(jì)分析效率。目前來說，比較成熟的數(shù)據(jù)庫產(chǎn)品有adata，其是一種先進(jìn)的決策分析系統(tǒng)，具備良好的數(shù)據(jù)分析及應(yīng)用效益。

1.3 基礎(chǔ)架構(gòu)應(yīng)用模塊

為了進(jìn)行橫向擴(kuò)展架構(gòu)信息的有效性計(jì)算，進(jìn)行網(wǎng)絡(luò)節(jié)點(diǎn)服務(wù)器的添加是必要的，這種計(jì)算應(yīng)用模式區(qū)別于縱向擴(kuò)展架構(gòu)。根據(jù)相關(guān)權(quán)威測試，數(shù)據(jù)信息具備高重復(fù)率，備份及歸檔存儲(chǔ)系統(tǒng)內(nèi)的數(shù)據(jù)冗余率高于90%，為了滿足現(xiàn)階段大數(shù)據(jù)信息的管理要求，進(jìn)行大數(shù)據(jù)重復(fù)數(shù)據(jù)信息的高效化刪除是必要的。

數(shù)據(jù)服務(wù)器、架構(gòu)客戶端、元數(shù)據(jù)服務(wù)器是分布式重復(fù)數(shù)據(jù)刪除系統(tǒng)的重要構(gòu)成模塊，在這個(gè)過程中，客戶端模塊具備數(shù)據(jù)的預(yù)處理功能，進(jìn)行對外交互接口的提供，進(jìn)行數(shù)據(jù)庫的劃分。元數(shù)據(jù)服務(wù)器主要進(jìn)行元數(shù)據(jù)的維護(hù)管理，實(shí)現(xiàn)負(fù)載的有效性均衡。數(shù)據(jù)服務(wù)器主要進(jìn)行數(shù)據(jù)的存儲(chǔ)及其管理。

1.4 數(shù)據(jù)處理的其他模塊

為了適應(yīng)現(xiàn)階段大數(shù)據(jù)技術(shù)的研究要求，按照業(yè)務(wù)需求進(jìn)行大數(shù)據(jù)信息的積極性處理是必要的，實(shí)現(xiàn)數(shù)據(jù)的科學(xué)性建模，確保數(shù)據(jù)信息的有效性預(yù)測。通過對數(shù)據(jù)挖掘模塊的應(yīng)用，可以進(jìn)行現(xiàn)有數(shù)據(jù)信息的精細(xì)性計(jì)算，滿足數(shù)據(jù)預(yù)測工作的要求，提升數(shù)據(jù)分析的綜合性效益。在大數(shù)據(jù)分析過程中，數(shù)據(jù)挖掘算法是其重要的理論基礎(chǔ)，挖掘算法的復(fù)雜性、計(jì)算過程中的大數(shù)據(jù)量是其分析過程中的主要問題。

2 大數(shù)據(jù)信息系統(tǒng)關(guān)鍵技術(shù)方案的優(yōu)化

2.1 優(yōu)化文件管理模塊

大數(shù)據(jù)信息主要包括音頻、視頻、文本等模式，通過對各種信息的利用及處理，可以實(shí)現(xiàn)信息處理系統(tǒng)的有效性應(yīng)用。信息具備各種類型的屬性特點(diǎn)，為了滿足現(xiàn)階段信息企業(yè)的工作要求，進(jìn)行數(shù)據(jù)信息性質(zhì)的深入分析是必要的。

大數(shù)據(jù)的信息系統(tǒng)具備復(fù)雜性的特點(diǎn)，其內(nèi)部功能豐富多變，其內(nèi)部結(jié)構(gòu)具備復(fù)雜多變性的特點(diǎn)，大數(shù)據(jù)存儲(chǔ)模塊、大數(shù)據(jù)處理模塊、大數(shù)據(jù)運(yùn)算模塊等是其重要的技術(shù)應(yīng)用模塊。大數(shù)據(jù)信息核心技術(shù)主要分為處理模塊及分析模塊。大數(shù)據(jù)信息技術(shù)包含了各種類型的數(shù)據(jù)技術(shù)，比如信息處理技術(shù)、數(shù)據(jù)挖掘技術(shù)、云計(jì)算技術(shù)、數(shù)據(jù)庫技術(shù)。

通過對數(shù)據(jù)存儲(chǔ)環(huán)節(jié)及管理環(huán)節(jié)的協(xié)調(diào)性控制，有利于提升大數(shù)據(jù)信息技術(shù)的應(yīng)用效益，分布式文件管理模式是大數(shù)據(jù)的重要應(yīng)用技術(shù)，其在互聯(lián)網(wǎng)應(yīng)用過程中扮演著重要的角色地位。

2.2 健全數(shù)據(jù)庫技術(shù)

為了適應(yīng)現(xiàn)階段互聯(lián)網(wǎng)工作的要求，進(jìn)行數(shù)據(jù)庫大數(shù)據(jù)價(jià)值密度的提升是必要的，這就需要進(jìn)行分布式數(shù)據(jù)庫系統(tǒng)的應(yīng)用，做好數(shù)據(jù)信息的管理工作，實(shí)現(xiàn)數(shù)據(jù)庫系統(tǒng)的有效性簡化，確實(shí)管理數(shù)據(jù)綜合應(yīng)用效益的提升。

3 結(jié)語

為了適應(yīng)現(xiàn)階段信息化工作的要求，企業(yè)需要做好相關(guān)大數(shù)據(jù)的分析及挖掘工作，進(jìn)行高效率決策的提出，保證為消費(fèi)者提供精準(zhǔn)化的個(gè)性服務(wù)，實(shí)現(xiàn)大數(shù)據(jù)信息系統(tǒng)關(guān)鍵技術(shù)方案的更新應(yīng)用。

參考文獻(xiàn)

[1]馮勇，喬書芳，蘭文杰.檢企信息服務(wù)系統(tǒng)關(guān)鍵技術(shù)研究[J].檢驗(yàn)檢疫學(xué)刊，2012（06）.

[2]方世敏.基于大數(shù)據(jù)的信息系統(tǒng)關(guān)鍵技術(shù)研究[J].無線互聯(lián)科技，2013（10）.

[3]何翔，任曉瑞.支持多核的嵌入式操作系統(tǒng)關(guān)鍵技術(shù)研究[J].航空計(jì)算技術(shù)，2013（04）.