大數據技術在高校實驗室管理系統中的應用

晁妍 陳文龍 王浩

摘要：高校實驗室是大學生實踐創新、開闊眼界的場所，傳統的實驗室存在著不能及時反映實驗設備的利用和損壞等情況。論文旨在研究大數據技術在實驗室管理系統中的作用與意義。論文介紹大數據技術的一些概念和基本體系架構，結合實驗室管理系統，重點闡述大數據技術在實驗室管理系統中的應用。對Python數據分析與數據可視化進行介紹，分析數據挖掘技術和遺傳算法在實驗室管理系統中的應用前景，將大數據技術應用在實驗室管理系統中來提高實驗室的管理水平，做出科學決策，促進學生學習的主動性與效率。

關鍵詞：大數據;實驗室管理系統;Python;數據挖掘;遺傳算法

中圖分類號：TP3 文獻標識碼：A

文章編號：1009-3044（2020）18-0031-03

開放科學（資源服務）標識碼（OSID）：

在現實生活中，大數據已經與我們的生活息息相關，例如網上購物時的個性化推薦。本文將闡述大數據的定義、特征和關鍵技術，結合高校實驗室管理信息系統，分析大數據在高校實驗室管理信息系統中的實際應用。

1 大數據簡介

1.1大數據的概念

“大數據”，現在主流的說法有研究機構麥肯錫研究所等提出的定義，總結就是大數據是海量數據需要進行加工處理的信息資產，海量的數據的采集和存儲都需要新的處理模式。

1.2大數據的特點

1.2.1體量大[1-3]

從上圖中可以分析得出，2015年全球數據產生量是2005年的66.08倍，預計在2020年將會產生40ZB。

1.2.2速度快

大數據產生的速度遠遠超出我們得想象，2013年，有數據顯示淘寶網每分鐘成交8300多筆訂單，這些訂單會產生大量的信息，例如訂單雙方的個人信息，訂單成交號，訂單成交時間等。早在2017年，淘寶網每天產生的數據就達到了7T。

1.2.3種類多

現在大數據可以大致分為三類。第一類是傳統企業數據。第二類是機器和傳感器數據，工業中的各種儀器設備產生的數據。第三類是社交產生的數據，像現在比較流向的抖音、微博、微信等產生的數據。

1.2.4價值密度低

數據只是信息的表現形式和載體，對于我們有價值的是數據背后的某種關系或者知識。需要我們自己去采用高效的方式探索。大數據的體量龐大，種類繁雜，其中的價值就被其體量的龐大和復雜性所沖淡。

1.3大數據的幾種基本體系架構

1.3.1商業智能（Business Intelligence）系統架構[4][5]

商業系統簡稱BI，商業系統架構首先需要數據源，數據源來自企業的歷史業務數據，它是企業運行時的狀態的記錄。傳統關系型數據庫中數據轉換服務（DTS）中有強大的工具可以使用，可以從多種數據源中提取和轉換數據。

1）工業大數據系統技術[6]

采集交換層：采集交換層是將各個傳感器獲取到的數據以及企業內部的各個管理系統中的數據進行收集，在這個過程中，需要一些數據搜集的工具以及初步數據預處理的工具。

集成處理層：集成處理層在功能上將建立不同主題的數據模型進而產生不同主題的數據庫，此外，還進行數據清洗。

建模分析層：建模分析層在功能上是將現實生活中的實體進行抽象，然后進行分析建模，最終得到一個可以給決策者提供參考的結果。技術層面上在這一層將會涉及機器學習、統計規劃等知識以及工具。

決策控制層：在建模分析層的基礎上，將產生一個可信的結果，形成對工業系統決策產生影響。這將在工業的智能化生產等方面產生積極影響。

2）Lambda架構[7]

Lambda架構是由Apache Storm（-種分布式實時大數據處理系統）的設計者Nathan Marz提出，其特點是：批處理計算、實時計算、讀寫分離、復雜性隔離、高容錯、低時延和可擴展性。

2 大數據在高校實驗室管理系統中的應用

近年來，高校實驗室發生意外的新聞報道屢見不鮮，據統計2010年到2015年我國發生高校實驗室事故高達66起，意外帶來了嚴重的損失。

2.1 實驗室管理系統

2.1.1系統開發技術[8][9]

系統采用的是Java和Tomcat后臺服務器技術，設計中采用了HTML和JSP技術完成頁面設計的過程。

2.1.2 JavaScript

JavaScript可以增加HTML網頁動態功能，例如反饋用戶的所有操作。JavaScript的一個關鍵作用是向對象的功能，根據以對象為基礎的程序開發，能夠用更直接、系統化和能夠反復利用的方法設計程序。根據HTML程序，可以采用JavaScript對交互式Web網頁進行設計。

2.1.3 MySQL數據庫

MySQL是一種常用的關系數據庫管理系統。它包括電子商務、數據倉庫和業務流解決方案所需的基本功能。

2.1.4 S2SH框架

主流的S2SH的技術架構有很多優點，例如：可以降低程序員面對問題的手忙腳亂的概率以及給程序員比較清晰的思維框架S2SH框架有很好的抵抗風險的能力并且具有良好的解耦性。

2.2 實驗室管理系統中的大數據技術

2.2.1 Python語言[10]

Python是現在主流的數據分析語言，其具有代碼量小、豐富的類庫、便捷性強的特點。其中有三大庫Numpy、Pandas、Matplotlib和Seaborn廣為人知。下面是導人這些庫的代碼。

使用餅圖能夠比較直觀地顯示學生平均每周在實驗室學習的頻率，matplotlib提供了pie函數，我們可以給pie -些參數，使它能夠清晰地顯示我們的信息。

2.2.2數據挖掘技術[11][12]

數據挖掘是從大量可能不完整的數據或者隨機的數據中獲取有用知識的過程。現在Fayyad等人設計的多階段模型被大家廣為認可。從原始雜亂無章的數據經過數據初步選擇成為任務數據，然后經過數據處理成為已經進化的數據，再將數據轉換成事物數據，從事物數據中提取出我們需要的模式，最后經過分析評估得到我們具有價值的知識。

分析學生在做實驗的時候產生的問題。在實驗過程中，學生可能會遇到棘手的問題，在系統中學生可以記錄下問題。在教師端可以查看到學生的問題所在，有效的改善學生遇到難題就退縮的習慣。每學期結束之后，系統將會統計全班學生遇到的難題分布表，有利于教師在傳授知識時具有一定的針對性。

實驗室每天都會產生大量的數據，實驗室人員流通情況，實驗設備流通情況，實驗時間，實驗人員信息等等[13]。將實驗數據分類然后進行實體之間的關聯，運用統計分析的方法來探討實驗設備的使用情況、實驗人員的任務完成情況等。結果將會對實驗室管理人員采購實驗設備以及分析學生的學習情況提供依據。

3 大數據在實驗室管理系統中面臨的挑戰

隨著時代技術的發展，信息世界將會產生越來越多的數據，如何建立有效的數據存儲模型成為一大難題。隨著智能終端應用的多樣化，挖掘信息世界的有效數據成為一個挑戰，數據挖掘算法還需要進一步改進。在個人信息如此寶貴的時代，保護好用戶的個人隱私又是一個及其重要的挑戰。

4 結論

本文從大數據的特征和概念開始介紹，隨后分析了一些常見的大數據架構，明確闡述了大數據技術在實驗室管理系統中應用的可行性。之后探究大數據技術在實驗室管理系統中的應用，主要體現在數據挖掘方面。最后分析了大數據在未來的實驗室管理系統中的機遇，希望越來越多的學者能夠參與到實驗室管理系統的研究。

參考文獻：

[1]程學旗，靳小龍，王元卓，等.大數據系統和分析技術綜述[Jl.軟件學報，2014.25（9）：1889-1908.

[2]呂登龍，朱詩兵，大數據及其體系架構與關鍵技術綜述[J].裝備學院學報，2017，28（1）：86-96.

[3]陶雪嬌，胡曉峰，劉洋.大數據研究綜述[Jl.系統仿真學報，2013，25（S1）：142-146.

[4]陶禮亮.基于云計算的Bl處理技術研究[Dl.長春：吉林大學，2013.

[5]惠瑜，商業智能關鍵技術的研究與實現[Dl.成都：電子科技大學，2008.

[6]王妙瓊，馬鵬瑋，魏凱，等.工業大數據架構分析[J].信息通信技術，2018，12（3）：49-57.

[7]羅琦芳.一種基于Lambda架構的電信數據平臺解決方案[J].電子技術與軟件工程，2017（11）：182.

[8]雅娟.實驗室管理系統的設計與實現[D].長春：吉林大學， 2016.

[9]杜朋，基于“互聯網+”的高校開放實驗室管理系統研究[D].淮南：安徽理工大學，2018.

[10]李俊華.基于Python的數據分析[Jl-電子技術與軟件工程，2018（17）：167.

[11]馬永杰，云文霞.遺傳算法研究進展[J].計算機應用研究，2012，29（4）：1201-1206+1210.

[12]李成，楊淑媛，劉芳，等，神經網絡七十年：回顧與展望[Jl_計算機學報，2016，39（8）：1697-1716.

[13]石軍，數據挖掘在高校圖書館的應用[J].江西圖書館學刊，2005（3）：94-96.

【通聯編輯：張薇】

基金項目：安徽省大學生創新創業項目：基于大數據的高校實驗室管理系統的應用研究（編號：201810371022）;阜陽師范大學一阜陽市政府橫向合作項目：阜陽市“平安城市”項目監控設備故障智能診斷系統的開發與應用（編號：XDHX201732）

作者簡介：晁妍（1986-），女，青海人，碩士，講師，研究方向：信息安全、數字圖像處理;陳文龍（1998-），男，安徽人，本科，研究方向：大數據、計算機應用;王浩（1976-），男，安徽人，碩士，副教授，研究方向：數據挖掘、信息處理。