基于大數據的智能高校信息綜合處理平臺設計

李慧

摘 ?要： 基于Pentaho BI的信息綜合處理平臺未對高校信息進行有效抽取和轉換，存在高校信息處理速率低和錯誤率高的弊端，為此設計基于大數據的智能高校信息綜合處理平臺。硬件設計中，ETL管理模塊將高校信息數據從來源端進行抽取、交互轉換和加載，加快高校信息抽取速率，實現源數據到目標數據的變換;智能信息處理模塊采用數據挖掘技術對高校信息進行大數據分析，實現對高校信息的有效處理。軟件設計采用嵌入式Linux內核技術設計平臺的軟件開發流程，實現智能高校信息的綜合處理。實驗結果表明，所設計平臺在提升高校信息處理效率方面有較強的應用效果，且平臺可將信息處理錯誤率控制在5%以下，對高校信息的處理結果可靠性高。

關鍵詞： 大數據; 高校信息; 綜合處理平臺; 智能信息處理; 數據挖掘技術; 軟件開發

中圖分類號： TN919?34; TP311.13 ? ? ? ? ? ? ?文獻標識碼： A ? ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2019）10?0031?04

Design of intelligent university information integrated processing

platform based on big data

LI Hui

（Yancheng Teachers University， Yancheng 224007， China）

Abstract： The information integrated processing platform based on Pentaho BI cannot conduct effective extraction and conversion of university information， and has the disadvantages of low processing rate and high error rate of university information. Therefore， an intelligent university information integrated processing platform based on big data is designed. In the hardware design， the ETL management module is used to extract， interconvert and load the university information data from the source terminal， so as to accelerate the university information extraction rate and realize transformation of source data to target data. In the intelligent information processing module， the data mining technology is used to conduct big data analysis of university information， so as to realize effective processing of university information. In the software design， the software development process of the embedded Linux kernel technology design platform is adopted to realize comprehensive processing of intelligent university information. The experimental results show that the designed platform has a strong application effect in improving the processing efficiency of university information， can control the error rate of information processing below 5%， and has a high reliability for university information processing results.

Keywords： big data; university information; comprehensive processing platform; intelligent information processing; data mining technology; software development

0 ?引 ?言

隨著計算機技術的不斷發展，高校的信息化發展進程也逐漸加快，隨之產生海量的信息數據。信息類型由過去的單一化的結構數據轉變為包括視頻信息在內的非結構化數據，因此傳統的信息處理平臺無法高效處理現有的非結構化數據。此外，采用以業務為管控核心、數據為驅動的管理模式容易導致信息處理平臺與數據間的耦合性加強，無法體現出高校信息的價值意義。

以往相關人員研究出的高校信息處理方法，如文獻[1]中信息處理平臺著重于業務忽視了高校信息的價值，對信息的深度加工和解讀不足，因此平臺處理結果不具有代表意義;文獻[2]中信息平臺利用Pentaho BI的集成工具來收集和分析來自高校的各個學科不同管理部門的信息，從而構建高校信息綜合處理平臺，但該平臺由于缺少綜合的信息抽取與轉換過程，無法直接利用學科建設信息，信息處理過程較復雜。為解決上述問題，設計基于大數據的智能高校信息綜合處理平臺。實驗結果表明，所設計平臺的高校信息處理效率較高，錯誤處理率得到有效降低。

1 ?基于大數據的智能高校信息綜合處理平臺設計

基于大數據的智能高校信息綜合處理平臺，核心在于將大數據的應用效果與機器學習以及人工智能等先進技術結合[3]，使信息處理平臺在智能處理高校信息的同時實現自我學習，并在運行過程中對故障進行自我檢測，打破傳統高校信息管理的壁壘，視數據和業務為一個單獨整體[4]。圖1為平臺的總體結構圖。

圖1 ?平臺總體結構圖

1.1 ?硬件設計

1.1.1 ?ETL管理模塊設計

ETL用來描述將高校信息數據從來源端經過抽取、交互轉換和加載至目的端的過程。任意一個信息處理平臺的核心均為數據抽取和轉換[5]，尤其是在海量數據的處理中，數據抽取和轉換的好壞決定處理平臺的成敗。圖2為ETL技術體系結構圖。

圖2 ?ETL技術體系結構

ETL管理模塊作為平臺的核心，其功能主要分為數據處理和業務控制兩部分，負責進行數據的清洗以及實現源數據與目標數據間的映射轉換。ETL模塊在功能設計上分為控制、服務以及應用三部分，功能間相互銜接，結構劃分清楚，能夠完全實現平臺的需求[6]。其應用架構邏輯結構如圖3所示。

圖3所示的邏輯結構能夠在高校信息的數據抽取過程中，依照不同的抽取條件實現動態配置，提升ETL的靈活性和實用性，以滿足不同平臺使用者的需求，降低平臺的再次開發工作量。數據抽取環節主要進行增量抽取[7]，其次進行全量抽取，提升對高校信息的抽取速率，實現源數據到目標數據的變換。

圖3 ?ETL應用架構邏輯結構圖

1.1.2 ?智能信息處理模塊設計

智能信息處理模塊作為主控模塊，實現高校信息的智能分析。該模塊采用大數據挖掘技術對高校信息進行大數據分析和信息處理，采用安卓操作系統將信息處理指令發送給相關的I/O引腳，同時采用字節為單位與上層ETL管理模塊進行無線信息包交互[8]，與此同時在MVB的總線控制下完成進程管理與文件配置過程。通過在TinyOS 2.x中調用Task Basic.posTask（）任務的某個事件來激發智能高校信息管理平臺的Task Basic接口程序，確保語義生命網絡協議數據庫開發的過程在標準TinyOS調用程序下完成。智能信息處理模塊體系結構包括高校信息資源庫、核心庫、協議庫以及通信庫[9]。智能信息處理模塊邏輯結構如圖4所示。

圖4 ?智能信息處理模塊邏輯結構

1.2 ?軟件設計

在上述平臺硬件模塊設計的基礎上，進行智能高校信息綜合處理平臺的軟件設計。智能高校信息綜合處理軟件建立在嵌入式Linux內核技術上，包括網絡通信模塊、交叉編譯模塊、數據存儲模塊以及程序加載模塊的設計。構建通信信息數據庫，得到rootfs.yaffs文件，通過對s3c2440_adc_read（）函數進行調用，實現程序的加載和高校信息的嵌入式控制。設計程序加載模塊時，在Linux內核中的引導加載程序按照地址指針指向VIX的數據，連續不斷地將數據傳輸到中央計算機中，實現對高校信息的特征采集[10]。將FLASH設備中的文件發送至數據硬盤并有效保存的過程是通過VISA接口實現。圖5為智能高校信息綜合處理平臺的軟件開發實現流程。

圖5 ?智能高校信息綜合處理平臺的軟件開發實現流程

2 ?實驗分析

為了驗證本文基于大數據的智能高校信息綜合處理平臺的有效性，對本文平臺進行仿真實驗。將該平臺用于南方某高校的教務系統中，驗證所設計平臺的有效性。對本文平臺進行測試的環境為Windows 8操作平臺，平臺測試人員的移動網絡終端的帶寬最低為20 Mb/s。平臺有效性的評價項目包括信息綜合處理效率、平臺的穩定性以及平臺進行信息交互的成功幾率。

實驗時對本文平臺在不同并發人數使用下的反應時間進行測量。為使測試的時間具有較強的代表意義，在某天8：00—9：00進行多次平臺反應時間測試，測試結果如表1所示。

為突出比較本文設計平臺在處理高校教務信息的用時長短，以傳統基于正交分解大數據的信息綜合處理平臺（方法1）和基于Pentaho BI的信息綜合處理平臺（方法2）對教務信息的處理結果作為實驗參照，結果分別如表2和表3所示。

表1 ?本文平臺反應用時

表2 ?基于正交分解大數據的信息綜合處理平臺反應用時

表3 ?基于Pentaho BI的信息綜合處理平臺反應用時

分析表1～表3可知，本文平臺在不同人數使用下的反應用時均少于方法1和方法2。從表2可以看出，方法1反應用時較本文平臺的用時要長一些，在不同平臺使用人數下，本文平臺的用時均低一些;而方法2在不同的使用人數下的反應用時最長，該平臺的高校信息綜合后處理效率最低;本文平臺在0～50，51～100，101～150以及151～200人的使用情形下的平均用時為1.42 s，2.94 s，5.04 s以及6.37 s，對應的方法1的信息處理平臺反應用時分別為2.67 s，4.66 s，7.57 s以及9.38 s，對比說明本文平臺在智能處理高校信息時具有較高的效率。

使用人數在200～300之間時，本文平臺的反應用時幾乎沒有發生變動，因此得出本文平臺的穩定性較強，而方法1和方法2在使用人數逐漸提升時，平臺反應時間不斷提升，平臺穩定性較差。

實驗在比較3種平臺的反應用時的基礎上，通過比較3種平臺處理教務信息結果的錯誤率的高低來驗證本文平臺信息處理結果具有精度高的優勢。高校信息包括多種類別，實驗同樣以該高校為例，以該校管理營銷系專業課的期末成績為處理對象，對學生成績的綜合處理包括課堂成績和期末卷面成績兩部分，要求平臺對兩部分的信息綜合處理結果的錯誤率低于5%，即說明該平臺是可以進行智能高校信息綜合處理的。3種平臺對學生成績處理結果的錯誤率如表4所示。

表4 ?三種平臺對學生成績的綜合處理結果錯誤率

綜合分析表4數據可以看出，3種平臺在綜合處理不同科目成績時均有成績處理錯誤的現象。本文平臺對不同科目的成績處理錯誤率變化區間在0～5%之間，該數值符合平臺對高校信息綜合處理的錯誤率區間，說明本文平臺可以應用到智能處理高校信息中;而方法1平臺對各科成績的綜合處理錯誤率在9%以下，超出正常平臺的錯誤率要求，因此該平臺不適用在高校信息的綜合處理中;方法2平臺對不同科目的成績處理結果錯誤率最高，最高在11%，說明該平臺最不適宜進行高校信息的綜合處理。

3 ?結 ?論

本文基于大數據的智能高校信息綜合處理平臺，設計ETL管理模塊和智能信息處理模塊。通過將高校信息進行抽取、交互轉換和加載至目的端的過程，實現對高校數據的高效抽取;智能信息處理模塊采用大數據挖掘技術對高校信息進行大數據分析和信息處理，實現對高校信息的智能分析。根據實驗結果分析可知，所設計平臺在提升高校信息處理效率方面有較強應用性，處理高校信息的錯誤率始終低于5%，因此說明所設計平臺是一種高質量的智能高校信息綜合處理平臺。

參考文獻

[1] 向小佳，趙曉芳，劉洋，等.一種正交分解大數據處理系統設計方法及實現[J].計算機研究與發展，2017，54（5）：1097?1108.

XIANG Xiaojia， ZHAO Xiaofang， LIU Yang， et al. An orthogonal decomposition based design method and implementation for big data processing system [J]. Journal of computer research and development， 2017， 54（5）： 1097?1108.

[2] 張長恒，黃芳.高校學科建設數據信息平臺的設計與實現[J].圖書情報工作，2015，59（8）：111?117.

ZHANG Changheng， HUANG Fang. Design and research of university data platform for discipline construction [J]. Library and information service， 2015， 59（8）： 111?117.

[3] 張倩.高校檔案物聯網大數據處理平臺的構建方案研究[J].檔案與建設，2016，33（2）：39?43.

ZHANG Qian. Research on the construction scheme of IoT big data archival processing platform in colleges and universities [J]. Archives & construction， 2016， 33（2）： 39?43.

[4] 鄧炳光，張林霞，張治中，等.基于數據倉庫的旅游服務平臺的設計與實現[J].電視技術，2015，39（20）：26?30.

DENG Bingguang， ZHANG Linxia， ZHANG Zhizhong， et al. Research and implementation of travel services platform based on data warehouse [J]. Video engineering， 2015， 39（20）： 26?30.

[5] 李建斌，劉小勇，王偉，等.企業安全生產大數據應急平臺設計[J].武漢理工大學學報（信息與管理工程版），2017，39（6）：679?682.

LI Jianbin， LIU Xiaoyong， WANG Wei， et al. Design of big data emergency platform for safety production in enterprises [J]. Journal of Wuhan University of Technology （Information & management engineering）， 2017， 39（6）： 679?682.

[6] 金瑤，時明明，周潔，等.平面度誤差檢測平臺設計與數據處理[J].工具技術，2016，50（11）：103?106.

JIN Yao， SHI Mingming， ZHOU Jie， et al. Flatness error detection and data processing platform [J]. Tool engineering， 2016， 50（11）： 103?106.

[7] 宋杰，孫宗哲，毛克明，等.MapReduce大數據處理平臺與算法研究進展[J].軟件學報，2017，28（3）：514?543.

SONG Jie， SUN Zongzhe， MAO Keming， et al. Research advance on MapReduce based big data processing platforms and algorithms [J]. Journal of software， 2017， 28（3）： 514?543.

[8] 趙玉聰，鐘志農，景寧，等.多維實體關聯信息綜合處理平臺[J].計算機應用，2016，36（z1）：213?216.

ZHAO Yucong， ZHONG Zhinong， JING Ning， et al. Multi?dimensional and comprehensive platform for entity?relation information managing [J]. Journal of computer applications， 2016， 36（S1）： 213?216.

[9] 潘梅勇，宋偉奇.基于大數據的高職院校信息資源庫建設[J].職業技術教育，2016，37（5）：24?26.

PAN Meiyong， SONG Weiqi. Construction of information resource database based on the big data in higher vocational colleges [J]. Vocational and technical education， 2016， 37（5）： 24?26.

[10] 王永坤，羅萱，金耀輝.基于私有云和物理機的混合型大數據平臺設計及實現[J].計算機工程與科學，2018，40（2）：191?199.

WANG Yongkun， LUO Xuan， JIN Yaohui. A hybrid big data platform based on private cloud VMs and bare metals [J]. Computer engineering & science， 2018， 40（2）： 191?199.