基于大數據挖掘的高校知識管理系統①

李景奇,卞藝杰,2

1(河海大學 商學院,南京 210098)2(江蘇省“世界水谷”與水生態文明協同創新中心,南京 211100)

基于大數據挖掘的高校知識管理系統①

李景奇1,卞藝杰1,2

1(河海大學 商學院,南京 210098)2(江蘇省“世界水谷”與水生態文明協同創新中心,南京 211100)

當前高校大數據應用面臨數據集成困難、成果難以應用、知識難以管理等問題,急需加以解決.本文結合知識管理與軟件工程方法,首先設計了基于CRISP-DM的高校大數據挖掘流程;在此基礎上,設計了高校知識管理系統的總體架構和功能模型;然后對主要功能模型進行了詳細設計,并對其關鍵技術——數據集成方法、大數據挖掘技術進行了分析和設計;最后給出了該系統的開發環境及測試情況.該系統設計方案對高校大數據應用提供了參考和借鑒.

大數據挖掘;知識管理;高校知識管理系統;數據集成;知識審核

1 引言

1.1 高校大數據應用及其不足

隨著高校數字校園的建設,業務管理信息系統日益增多,使用日益頻繁,產生的業務數據及日志數據指數級增加.另一方面,大數據技術在社會經濟各領域取得的成果顯示出其巨大的應用價值.如何應用大數據技術,分析高校數字校園中產生的巨量數據,發現其中蘊藏的規律,服務于廣大的師生,成為高校大數據應用的主要問題.

大數據技術在高校中有很多的應用場景,無論高校管理者還是信息管理部門,亦或是普通教師和學生,都希望能夠及時從數據中獲取到更加精細、更加準確的決策信息.但后前來看,高校大數據應用存在著許多不足,主要表現在:

(1)數據集成困難.高校大數據存在于各個業務系統之中,在管理上,各部門之間數據管理各自為政,共享困難;在技術上,數據集成要處理各種各樣的數據接口,這些接口或為數據庫接口、或為消息,不一而足.

(2)成果難以應用.大數據挖掘的成果如何應用,如何把成果傳遞給更多的校內用戶,如何評價應用效果,這些都是高校大數據應用面臨的最直接的問題.

(3)知識難以管理.大數據挖掘產生的知識如果不能直接應用于高校工作實踐中,如何進行保存和管理,誰來負責,放在哪里.這些問題都需要加以解決.

因此,數據集成、知識管理及應用是高校大數據應用的關鍵.高校大數據應用需要從知識管理的角度,從知識發現、知識存儲、知識遷移、知識應用四個方面,結合大數據技術,來實現對高校大數據的挖掘和應用.

1.2 知識管理系統及其應用

知識管理系統有許多定義,美國學者阿肖克基于一種集成的觀點,認為用于管理機構知識流程的系統稱為知識管理系統(Knowledge Management System,KMS)[1],KMS支持機構流程包括知識創造、知識存儲/檢索、知識轉移和知識應用.組織中的知識管理系統的核心驅動力來源于那些與改善質量管理過程相關聯的組織獲取、分享和運用知識的能力.

知識管理系統在社會組織中的應用非常廣泛.Witold Staniszkis等[2]為歐盟構建了“結構化基金項后知識門戶”.該知識門戶的目標是支持組織和個人參與到項后建議書的起草過程中,以獲得盡可能多的符合歐洲委員會標準的高質量的合格建議書.該門戶支持并實現專家交互的部分自動化功能,同時提供對項后建議書的起草過程中產生的知識進行記錄、檢驗和傳播的工具.Hind Benbya 等[3]認為企業門戶最重要的功能是支持知識管理應用.在門戶技術的支持下,再結合社會文化和管理方法,才能取得知識管理在企業中應用的成功.楊曉明等[4]從知識管理的過程出發提出了學校教育知識管理模型,認為用戶可以從教育資源、實踐知識或經驗知識中獲得知識,并借助一定的工具技術進行開發挖掘,使知識存儲到知識庫中,然后再借助共享平臺(如實時交流、知識評估、微博、博客和論壇等)使知識得到共享應用,最后運用激勵機制,借助知識整合系統進行知識創新.

高校是一個復雜的社會運行組織,知識是其最核心的基因.科研是知識的創造,教學是知識的傳承,管理和社會服務是知識的應用.因此知識管理系統在高校中具有特殊的意義.但在實踐中,由于知識的定義過于廣泛,在高校中所需要管理的知識遠遠大于其管理能力.正因為如此,大數據技術為高校的知識管理帶來了新的動力.

基于大數據挖掘的高校知識管理系統(Big data mining-based University Knowledge Management System,BUKMS)是基于大數據技術,集成各種數據挖掘算法,通過數據挖掘項后管理,支持高校知識管理的信息系統.該系統基于CRISP-DM(Cross-Industry Standard Process for Data Mining)數據挖掘過程模型,通過J2EE技術實現.該系統能夠供高校教育管理人員、教師及教育研究人員直接使用,提供實時或離線大數據挖掘服務.

2 高校知識管理系統設計

2.1 BUKMS流程設計

在數據挖掘領域,CRISP-DM是應用最廣泛的、事實上的工業標準[5].CRISP-DM模型提供了一個數據挖掘項后的生命周期的總體描述.它描述了一個項后的各個階段、各階段的任務以及這些任務之間的關系.它把數據挖掘項后的生命周期分為六個階段組成,分別為業務理解、數據理解、數據準備、建模、評價和部署[6].

基于CRISP-DM模型,高校大數據挖掘流程根據業務功能分為四個階段:背景評估、數據采集、模型探究、知識應用.每一階段都有相應的功能模塊來實現.具體業務功能流程如圖1所示.

背景評估主要包括價值描述、目標設定、數據來源和算法分析.價值描述用于確定項后本身的應用價值;目標設定確定大數據挖掘目標;數據來源分析數據可能從何處獲得;算法分析則確定為實現目標所需要使用的算法.

數據采集包括三種方式:人工采集、數據集成、Web數據.人工采集的方式包括問卷調查、檔案調查以及文獻調研.數據集成方式則是從關系型數據庫中獲取數據.Web數據則是從管理系統、網絡平臺及系統日志中主動下載或抓取數據.

模型探究時,首先選擇算法,對數據進行處理、建模,得出相應的結論,然后進行評估,如果不滿意,就要重新選擇算法,直至得到滿意的結果.

圖1 BUKMS 業務功能流程圖

知識應用主要包括知識展示、知識審核、知識入庫、管理流程優化、管理流程再造、教學改進.知識應用根據輸出結果,進行意義描述,并以知識的形式展示出來,或存儲于知識管理系統中,供他人利用;或直接應用于高校管理業務流程中;或直接應用于教學設計之中,發揮其作用.然后根據應用效果,作進一步的數據挖掘.

2.2 BUKMS總體架構

BUKMS以大數據挖掘平臺為基礎,以知識門戶為核心,搭建支持高校核心業務的綜合型知識管理系統.其總體架構主要包括高校知識門戶、大數據挖掘平臺、高校知識庫和知識管理服務.具體如圖2所示.

在總體架構中,大數據挖掘平臺是高校知識管理系統的數據處理基礎平臺.它有三個數據來源,即業務數據庫、數據倉庫和日志文檔.業務數據庫存放的是各個管理業務系統數據,可以通過接口協議直接連接.數據倉庫則是依據時間線建立的主題式數據庫,用于存儲各類統計性數據.日志文檔包括應用服務器、網絡服務器、系統服務器、業務系統的運行和訪問日志.

大數據挖掘平臺包括六個模塊:數據挖掘工具、數據挖掘模型、數據挖掘算法、數據挖掘項后管理、數據集成工具、Hadoop軟件系統.各個模塊相互獨立,數據項后管理對其余模塊進行管理.數據集成工具、數據挖掘工具、模型、算法既可以自主開發,也可以選擇既有產品.Hadoop軟件系統是大數據處理平臺,可以通過自主編程,實現對大數據的分布式處理.

圖2 BUKMS 系統總體架構圖

大數據挖掘平臺的輸出結果轉化為知識,與外部知識一起支撐了上層知識庫,知識庫向外提供知識門戶服務.知識門戶在高校知識庫的支撐下,提供知識操作臺和知識服務臺.

知識操作臺是對知識的審核及入庫提供功能支撐,包括知識審核、知識分類、知識入庫等功能.知識操作臺的知識來源是大數據挖掘平臺以及外部知識,外部知識分為三類:結構化知識、陳述性知識、程序性知識.結構化知識是指各類知識模型,能夠表達相互因果關系,能夠對業務進行決策支持的知識.陳述性知識是指規則、規范類文檔,用于說明業務的類型、功能等.程序性知識是對業務過程的解釋,包括業務流程、設計案例等.

知識服務臺向用戶提供知識管理服務,包括業務流程優化分析、教學過程優化分析、學習效果優化分析、辦事效率分析、學生選課建議、學生就業建議等個性化知識、業務知識和教學知識.

2.3 BUKMS功能模型

BUKMS功能目標包括兩個方面的內容:大數據挖掘與知識管理.大數據挖掘可以看作是知識管理過程中的知識發現過程,但在大數據時代,大數據挖掘的地位日益重要.因此系統設計的核心是實現大數據挖掘,并在此基礎上推進知識存儲、轉移與應用.BUKMS包括系統管理、知識發現、知識存儲、知識呈現、知識應用五大模塊.其業務功能結構如圖3所示.

圖3 BUKMS 平臺業務功能結構圖

系統管理包括用戶管理、角色管理、元數據管理、日志管理等功能.主要任務是平臺系統功能的支持及用戶管理.

知識發現包括背景評估、數據采集、模型探究、知識輸出、數據挖掘向導等功能.這一部分功能是該平臺的核心.知識發現模塊實現大數據挖掘的全過程.從功能上來看,知識發現模塊實現大數據挖掘項后管理的全過程,即對于一個高校大數據挖掘項后,從背景評估一直到知識應用這一整個流程,平臺提供一個向導性的管理功能.用戶通過這一向導功能,實現對自己所采集的數據進行挖掘分析工作.

知識存儲包括審核人管理、審核任務分配、知識審核、自動審核配置、知識分類等功能.其主要任務是實現知識入庫,能夠判斷知識,并以良好的分類形式保存起來.知識存儲是高校知識管理系統的重要功能,其核心是構建知識庫,圍繞知識庫的入庫、出庫管理,實現知識的有效存儲.

知識呈現包括知識查詢、個性化知識、知識圖表、儀表盤、知識分析等功能.其主要任務是為用戶提供個性化的查詢界面,使用戶很方便地管理數據、執行數據挖掘、查看結果.知識呈現以知識門戶的形式,將與用戶相關的知識自動集中到用戶界面,幫助用戶確定數據所包含的知識內涵,也為其提供相關的知識,供其決策參考.

知識應用是高校知識管理系統的主要模塊.如何把大數據挖掘成果應用于高校各項管理和教學工作中,是其根本的價值所在.在高校大數據挖掘中,知識應用主要包括業務流程管理、學習型組織管理和教學設計管理等功能.業務流程管理支持用戶建立業務流程,管理流程中存在的問題.學習型組織管理支持用戶管理學習型組織,分析組織問題.教學設計管理功能則支持教師在教學過程中發現教學問題,加以分析,并形成新的教學策略.

3 知識應用模塊功能設計

3.1 業務流程管理

業務流程管理包括業務流程圖展示、業務流程圖管理、業務流程跟蹤、業務庫管理功能.業務流程圖展示將高校中的各個業務流程以圖形化的方式展現出來,便于管理和理解.業務流程圖中各個業務均來源于業務庫.業務流程跟蹤功能則根據業務功能所對應的數據庫及服務器,通過調用大數據挖掘服務從業務數據庫中提取數據,分析處理,為業務流程的再造和優化提供數據支持.業務庫管理則是把各個細分業務添加保存到業務庫中,供業務流程圖構建時使用,如圖4所示.

圖4 業務流程管理模型功能結構圖

3.2 學習型組織管理

學習型組織管理功能主要包括學習型組織建設、組織問題定義、問題決策支持、以及問題基模管理.

David A.Garvin[7]提出了“學習型組織”的快速判定標準.這一判定標準以5個問題的形式出現,用以識別不同的行為.(1)組織有沒有明確的學習行動計劃? (2)組織能否自由地討論不和諧的信息? (3)組織能否避免不犯同樣的錯誤? (4)當關鍵員工離開時,組織是否失去了重要的知識? (5)組織是否基于自己的知識采取行動?

因此一個學習型組織可以歸納為5方面的要求:學習行動計劃、組織保障制度、知識管理制度、經驗交流制度、知識轉化制度.學習行動計劃用于描述組織當前的知識基礎以及學習的目標;組織保障制度則是要保障組織能夠自由地討論各種信息,包括不利信息;經驗交流制度則有利于使組織能夠對成功的經驗和失敗的教訓進行總結討論,使其成為組織記憶的一部分,從而避免同樣錯誤的發生;知識管理制度則有利于隨時收集關鍵員工的知識,避免因員工流失造成的知識流失;知識轉化制度則應鼓勵員工應用知識采取行動,提高工作效率.

因此學習型組織建設主要是圍繞學習型組織的五個方面進行.組織問題定義就是要把組織中存在的問題歸納出來,并將其歸為某類問題基模.問題基模是依據彼得·圣吉所定義的八種基模為基礎,并可以自定義添加.問題決策支持是根據預先定義好的問題基模分析步驟,通過調用大數據挖掘程序,對相關數據進行挖掘分析,以支持更好的解決問題.如圖5所示.

圖5 學習型組織管理功能結構圖

3.3 教學設計管理

教學設計管理的任務是對數據挖掘知識在教學過程中加以應用.教學設計管理從教學模式出發,通過構建教學模式庫,提供對教學的支持.教師在教學中,通過參考相應的教學模式,可以構建自己獨特的教學過程模型.同時,通過教學過程跟蹤,收集學生網上學習行為,然后對此進行大數據挖掘,則能發現學習問題和學習規律,協調雙方行為,提高教學效果.具體如圖6所示.

圖6 教學設計管理功能結構圖

4 關鍵技術

4.1 數據集成技術

高校大數據來源復雜,如何能夠對各種數據進行有效集成,將大數據挖掘所需要數據歸集到系統中來,是高校知識管理系統所面臨的基本問題.數據集成的關鍵是其易用性,能夠很方便地使用集成各種數據.基于此,必須對數據集成進行分類設計.首先,對于用戶缺乏相關數據,可以提供網絡調查工具,通過網絡問卷的形式,收集數據;其次,對于文件型數據,可以通過文件導入方式,直接將數據導入到系統數據庫中,然后進行分析;再次,對于能夠提供數據庫接口,則通過 ETL工具(如ODI/kettle)或java/nodejs等程序設計語言,實現數據集成.特別是nodejs,能夠使用戶簡單地通過第三方組件庫,很方便地實現數據庫之間的數據交換,也能實現數據文件的讀寫.最后,對于需要通過Hadoop大數據平臺進行處理的,則可以通過sqoop工具將關系型數據庫(如MySQL,Oracle等)中的數據導入到Hadoop的HDFS中,也可以將HDFS的數據導出到關系型數據庫中.

通過調研,當前數據集成的主流工具包括以下產品:ODI、KETTLE、Sqoop、Nodejs[8-11].

ODI能夠實現關系型數據庫的實時及定時集成操作,能夠進行全量集成及增量集成,數據集成效率高,處理數據量大,常用于基于Oracle數據庫的數據集成.但數據轉換過程中對復雜業務較難實現.Kettle是一款開源數據集成工具,能夠實現關系數據庫的實時及定時集成操作,能夠在不同類型數據庫間實現數據共享,數據集成高效穩定.但同樣它在數據轉換過程中也難以實現復雜業務.Sqoop是基于 Hadoop平臺,實現Hadoop平臺與關系數據庫的數據交換的開源工具,但不適用于關系數據庫之間數據共享.Nodejs是基于Chrome V8 擎的 JavaScript運行環境和工具,基于擴展庫,nodejs可以輕松實現數據庫及文件之間的數據共享.通過簡單編程,可以插入復雜業務,能夠實現數據集成過程的可視化.但其性能不太穩定,對大批量數據處理不夠理想.

基于高校大數據挖掘平臺的數據集成需求,通過對數據集成工具的分析,這些工具均可在實際中應用.具體數據集成方式的選擇示意圖如圖7.

圖7 數據集成工具選擇示意圖

4.2 大數據挖掘技術

對于大數據挖掘,該系統采用在線和離線兩種方式.在線方式中,用戶在提交數據文件后,系統自動調用大數據挖掘方法,完成數據挖掘工作,返回數據挖掘結果.離線方式下,需要在系統中提交相關項后資料,而在線下利用大數據挖掘工具來完成數據挖掘工作.后前的大數據挖掘平臺主要包括兩大類平臺:Hadoop與Spark.

Hadoop平臺生態完善,支持資源豐富.不足之處在于數據處理編程復雜,并且大數據的算法、呈現都需要基于Hadoop的第三方軟件支持.Spark包括四大模塊:Spark SQL-RDD(數據執行的基本單元)、MLlib(機器學習)、Graphx(圖計算)、Spark Streaming(實時處理)[12].Spark是基于內存的編程模型,它可以把中間的迭代過程不放在磁盤中,數據直接在內存中執行,極大地提高了執行速度.但它沒有底層數據存儲平臺,一般仍要基于Hadoop平臺來實現.

通過簡單對比,可以發現Hadoop生態較Spark為完整,并且可用資源較多,有利于編程人員開發構建.不過Spark近年來發展也很快,可以視需要在Hadoop平臺上進一步擴展.

BUKMS系統基于Hadoop平臺進行開發部署,具體技術架構如圖8所示.BUKMS系統技術架構可以分為五個層次,分別為展示層、業務層、數據建模層、數據處理層和數據存儲層.

圖8 BUKMS 系統技術架構圖

數據存儲層負責數據的底層存儲,存儲采用關系數據庫和NoSQL數據庫兩種類型,分別用于處理不同的業務需求.數據存儲層包括多種存儲技術,主要有HDFS、Hbase、Oracle 以及 Mysql.HDFS 是 Hadoop平臺的文件存儲系統,Hbase主要用于存儲大規模的日志數據.Oracle 用于業務數據存儲.Mysql用于構建J2EE平臺,承擔BUKMS系統的數據管理.

數據處理層是負責所有數據的持久存儲、處理.它從各個數據源獲取數據,數據經過抽取、清洗、加載等轉換操作后,進入數據倉庫.該層包括Hadoop、Pig、Sqoop、Hive、ETL、Data Warehouse 等支撐軟件.

數據建模層的任務是執行挖掘算法進行數據挖掘.數據建模任務主要包括聚類、分類、關聯規則與預測四種.

業務層負責具體的事務處理.業務層主要包括大數據挖掘項后的業務處理過程,根據大數據處理業務處理流程來進行.

展示層是將數據挖掘結果以圖形、報表等形式進行展示的功能.展示層主要從數據展現上,為用戶提供詳細的、個性化的、可視化的數據分析信息,使用戶能夠容易地理解數據挖掘所帶來的成果.

5 系統開發環境及測試

5.1 系統開發環境

該研究基于IBM V7000 存儲及VMWARE5.1軟件,搭建了如圖9所示的大數據挖掘平臺.WEB服務器提供J2EE知識管理門戶服務,Hadoop集群提供大數據處理環境.WEB服務器使用windows2008 R2系統,mysql5.0數據庫.Hadoop集群采用一主三輔架構,即一臺MASTER命名節點,三臺SLAVE數據節點,通過 MASTER,分配 Map-Reduce 任務,由 SLAVE 數據節點執行.四臺服務器均采用centOS6.0 64位系統,4G內存,100G硬盤空間.數據庫服務器提供數據倉庫支持,其它業務系統數據庫通過ETL工具集成到數據庫服務器中.行為日志服務器用于存儲業務服務器的日志文件,通過工具將文件調入到大數據平臺中.

圖9 BUKMS 系統硬件平臺結構圖

5.2 實驗案例:遠程教育管理信息系統訪問次數與校外學習點應用情況分析

該實驗基于遠程教育管理信息系統進行,通過分析其訪問數據,獲取訪問量較大的地區信息,然后有針對性地對該地區學習點進行培訓和意見征集,改進遠程教育線上管理流程.

首先,在知識管理門戶中,建立遠程教育管理流程,主要包括學藉管理和教學管理兩大類.學籍管理主要包括學生錄取信息、注冊信息、學籍信息、學籍異動信息的管理.教學管理主要包括課程信息和成績信息的管理.這些管理流程都與學習點有著直接關系.

然后,根據業務流程問題,建立大數據挖掘項后.根據大數據挖掘流程,從背景評估、數據采集、模型探究、知識應用四個方面進行設計和實施.

5.2.1 背景評估

(1)項后價值:希望通過本項后,從中可以發現各地區管理員及學生的訪問特征,以針對性地進行調研,改進遠程教育管理流程.

(2)項后目標:根據應用服務器日志,發現各地區學習點的訪問特征.

(3)數據來源:從應用服務器中獲取日志文件.

(4)算法選擇:K-MEANS.

(5)工具選擇:Hadoop 集群,WEKA3.6.

5.2.2 數據采集

本例從應用服務器中獲取日志文件,該日志文件大小 660 M,日志記錄為 620 萬條,記錄了該系統自2011年11月至2014年11月近3年的訪問記錄.

5.2.3 模型探究

步驟 1.數據預處理.將日志文件傳輸到Hadoop 集群,然后執行 map-reduce 過程,統計每個IP地址的訪問數量,輸出到MYSQL數據庫,共統計出44152個IP地址,最高訪問數量127961,最低為1.然后再通過程序將IP地址對應的地區查詢出來,輸出到對應的字段.數據表結構包括訪問IP、訪問數量、所在地區(即IP登記地址).然后按地區進行分類匯總,共獲得有效記錄1476條,地區訪問量最高為361479,最低為10.

步驟2.選擇算法.使用k-means算法進行聚類.

步驟3.設置聚類參數numClusters分別為2、3、5、10,參數形式如:

weka.clusterers.SimpleKMeans -N 2-A "weka.core.EuclideanDistance -R first-last" -I 500 -S 100.

步驟 4.執行算法.結果(聚為 10類時)如圖 10所示.

圖10 訪問次數聚類結果圖

5.2.4 知識應用

(1)知識展示:根據實驗情況,形成實驗報告,并在知識管理門戶中可以查看.

(2)知識評估:從本次挖掘結果看,聚為 10 類實例分布較為合理,對于學習點的選擇有一定的參考價值.

(3)管理流程優化建議:選取訪問次數在2789次以上(即前7類)的地區學習點進行應用系統的使用意見和建議征集,而加強在cluster8與cluster9中的學習點進行應用系統使用培訓.

6 結語

基于大數據挖掘的高校知識管理系統將大數據技術與高校知識管理有效地結合起來,解決了高校數據集成困難、成果難以應用、知識難以管理的問題.這些問題的解決有利于提高高校知識發現能力和知識應用水平,提高校園管理和教學的智慧化水平.在應用層面,它有效地結合了業務流程管理、學習型組織管理、教學設計管理等高校核心業務應用,具體而針對性地提出了問題解決方案,為高校的管理人員和教師利用大數據挖掘帶來便利,使他們能夠自主挖掘數據信息,提高管理水平,提高教學效率.阿肖克·賈夏帕拉.知識管理:一種集成方法.安小米譯.北

1 京:中國人民大學出版社,2013:222–226.

2 Staniszkis W,Staniszkis E.Intelligent agent-based expert interactions in a knowledge management portal.Traunmüller R.Electronic Government.Berlin,Heidelberg,Germany.Springer.2003.296–299.

3 Benbya H,Passiante G,Belbaly N A.Corporate portal:A tool for knowledge management synchronization.International Journal of Information Management,2004,24(3):201–220.[doi:10.1016/j.ijinfomgt.2003.12.012]

4 楊曉明,李小聰,王時進.學校教育知識管理系統框架設計及其實現思路.中國教育信息化·高教職教,2010,(6):47–49.

5 Shearer C.The CRISP-DM model:The new blueprint for data mining.Journal of Data Warehousing,2000,5(4):13–22.

6 Azevedo A,Santos MF.KDD,semma and CRISP-DM:A parallel overview.IADIS European Conference Data Mining 2008.Amsterdam,the Netherlands.2008.182–185.

7 戴維 A.加爾文.學習型組織行動綱領.邱昭良譯.北京:機械工業出版社,2004.

8 崔有文,周金海.基于 KETTLE 的數據集成研究.計算機技術與發展,2015,25(4):153–157.

9 于金良,朱志祥,梁小江.一種基于 Sqoop 的數據交換系統.物聯網技術,2016,6(3):35–37.

10 林瑤.web 實時數據同步研究[碩士學位論文].北京:北京郵電大學,2015.

11 孫瑋.基于ODI技術搭建高校數字化校園公共數據平臺.軟件工程師,2014,17(7):56–57,44.

12 李文棟.基于Spark的大數據挖掘技術的研究與實現[碩士學位論文].濟南:山東大學,2015.

Big Data Mining-Based University Knowledge Management System

LI Jing-Qi1,BIAN Yi-Jie1,2

1(Business School,Hohai University,Nanjing 210098,China)2(Jiangsu Provincial Collaborative Innovation Center of World Water Valley and Water Ecological civilization,Nanjing 211100,China)

The current application of big data in universities is facing many problems such as difficulties in data integration,results application and knowledge management,which need to be resolved urgently.Combined with the method of knowledge management and software engineering,this paper firstly designs the process of university big data mining based on CRISP-DM.On this basis,it designs the overall structure of the university knowledge management system and the function models,and then it designs the main function models in detail.Next,it analyzes the key technologies of data integration and big data mining.Finally,it gives the development environment and test of the system.The design scheme of the system provides a reference for the application of big data in universities.

big data mining;knowledge management;university knowledge management system;data integration;knowledge audit

李景奇,卞藝杰.基于大數據挖掘的高校知識管理系統.計算機系統應用,2017,26(9):54–61.http://www.c-s-a.org.cn/1003-3254/5984.html

①基金項后:河海大學高等教育科學研究項后(201612010)

2017-01-03;采用時間:2017-02-15