大數據環境下上網行為分析管理系統

陳先浪　孫新杰　文中芳

摘要：近幾年來，國家不僅開始著重教育發展，同時也開始關注信息變化的各種形式。如今信息時代逐漸形成以大數據、云計算等新型方式為主流的發展。與此同時各大高校早幾年便開始著重網上學習的新型學習方式，觸及到網上學習自然也離不開校園網的利用，于是我們便在校園網上下功夫，通過對六盤水師范學院校園網產生日志數據的如下指標：上線總數的分布、連接時長統計、在線人數統計、流量使用統計、工作日和周末的網絡活動對比、學生異常網絡行為統計等，進行上網行為趨勢、行為定位分析、上網行為等分析。給網絡管理者提供一個合理管理網絡資源和規范上網行為的分析系統。通過監制和管理校園網環境等措施，讓學生自覺通過網絡實現新時代下的學習形式，從而實現網絡環境下自我約束與提升。

關鍵詞：校園網;上網行為;統計分析;數據分析;管理系統

1大數據環境下的院校

眾所周知，現在大學生的課外活動時間相對于高中封閉式學習要自由得多，但是由此，也造成了大部分學生對于時間上的要求過于懶散，大部分時間花在網絡上，生活作息不規律，學習效率大幅度降低。那么我們通過對六盤水師范學院的校園網數據的收集研究，對學生們在校園網絡下的此類行為作出具有針對性且以實際理論數據為支撐的解決方案。

現如今全國高校均已全面進入信息化教育環境，校園網絡因此早已成為各大高校的標配，甚至升級成校園管理工作中的考核項目。校園網為教師、學生、管理人員構建了以大寬帶為基礎的多媒體網絡溝通平臺，以方便對教學資源、科研數據、綜合管理信息的相互傳輸與交流。由此可見，校園網是一種寬帶拓撲網絡。

對于我校的多媒體網絡資源管理、網絡教學實驗室、電子圖書館、教學教務系統管理系統、考試數據庫等，皆是以網絡為基礎，以此產生各司其職的小型VLAN網絡，然后再通過介質傳輸或者無線傳輸進而搭建整個校園網絡。這樣可以可以使管理人員在極短時間內產生用戶的校園網絡行為報告，觀察校園網行為報告并加以挖掘和探究，最后分析大學生上網的行為，監制高發用網時段和晚上熄燈后網絡的使用規范。由此做到提升校園網絡質量，加強學生生活作息規律，提高學生學習效率等目的。

同時通過對我校學生的上網行為分析，我們由此可以進一步了解到大學生對于網絡學習是產生的理念與要求，強調一個適合自己高效率的學習方式，并且做到分析教師講解課程時方式方法的不足之處，而后加以改善，并制定大學生自我學習能力培養方法即對策。由此制定網絡學習報告，在提升我校教學方面的質量的同時，也更加充實學生們的大學生活。

除此之外，對于部分大學生的思想尚且還存在一些年輕化的狀態，個人自律能力和事件識別能力還需有待提高，對于類似校園網的開放式網絡有些許迷茫。所以可由此對于學生上網行為做一個調查，利用對校園網的測量與觀察，將數據收集并且進行分析，可以避免從以下幾方面的產生的危害：

關于網絡信息的安全問題，我們可以從網址這一類開始探究，我們需要做到的就是對于網址的篩選。近年來，還未進行相關技術認證的網址和非法網站逐漸增多，學生極其容易無意點擊進入，對此我們將屏蔽危險網絡，并做到防止釣魚網出現，減少學生進入此類網站的情況，也避免給學生造成非積極影響。

其次就是對于文件管理安全的要求，通過數據分析，我們了解到，文件可能會出現的問題，部分網絡會導致內部文件外發審計的情況發生，由此我們也可對應相關問題采用文件后綴識別，封IP、端口的方式也盡可能避免此類情況發生，同時也要做到，在接受外部文件向內部文件發送時帶來的外來病毒，導致文件中毒或文件丟失的情況。

最后前面提到的關于安全的問題，還應著重在應用APP上，手機現已成為上網的使用多頻率重點工具，對于手機應用的安全問題，也可從中獲取相關數據信息，由此來確保應用APP使用時的安全問題。綜合上述所說的情況，以此達到對于網絡安全的審計，防止各類信息危害。

與此同時通過此次分析以及數據收集形成相關網絡數據報表，由此報表對于學生上網行為在深入探究，由此加強對于管理層方面的更深更全面控制，也為管理層決策提供相應的更好更符合依據。以便于使我校校園網絡，達到一個更高更安全的層次，也方便為同學們帶來更好的校園網的體驗效果。

2分析方法及技術

2.1基于回歸分析的數據分析

在傳統的分析方法中主要采用強制關聯去分析具備依存關系的數據表的字符屬性關聯，這種分析方法利于單位用戶的個人行為的獨立整合，但是對于用戶群體的非相關聯用戶分析存在單一局限性，不利與分析系統的結果的普遍性、公共性、切實性，所以引入回歸分析法進行數據分析。

回歸分析法是是研究兩個及兩個以上的相同等級的變量間的相關關系的數據分析和統計的方法。在這種分析中變量與變量間的相關聯系存在非強制性關聯，寬松的依存關系。如用相關系數R來描述X與Y之間的相關性，公式如圖1回歸公式：

透過圖2在2018-12-1至2018-12-7這七天的部分數據可以看出每天的pc與手機訪問呈現出強相關的趨勢，并且直觀的到手機端的用戶遠遠多于pc的用戶。（以上數據其演示作用，最終數據以產生的實際數據為主）

2.2基于Hadoop生態圈的數據處理

在傳統的基于日志的上網行為管理系統中，必須得面臨一天十幾G的日志數據處理量，日志數據抽取分析的快速時效，難以排除的數據日志異常。

Hadoop生態系統具備大型分布式文件系統HDFS，以及對底層文件系統進行數據驅動的MapReduce引擎。同時解決了分布式日志文件的大量儲存管理問題和接近實實時運算的高效工具，對于開發人員來說，他是一個更容易開發的和運行大數據處理的開源軟件的平臺，能夠輕松的處理TB級的數據量。

2.3基于于Excel、js的web數據呈現

Web的數據分析呈現較傳統的數據分析呈現還是有所差異的。報表、條形圖、扇形圖、折現圖等傳統的展現方式雖然可以表達分析內容與情況趨勢，但是卻不能形象生動的表現出管理者需求的用戶的上網行為和網絡內容，因此引用了在傳統的基礎上加以優化的網絡熱力圖、時段雷達圖等更加鮮明生動的符合視覺直觀需求的呈現方式：

（1）硬性需求內容采用傳統的圖表表現手法，使用Excel自動繪制生成，以節約開發時間縮短系統開發周期，然后利用js將Excel生成的數據報表導入到web前端界面上進行呈現，部分實現效果如下圖：

（2）網絡熱力圖：通過表現顏色的冷暖深淺程度，直接反映出熱點信息的分布，相關區域的聚集等數據信息。網絡熱力圖主要運用在網絡高峰熱點、直觀視覺沖擊、高呈現對比度等等很多以控制變量法為基礎的的多維度分析中。在本分析管理系統中通過分析網絡時段和對應的在線人數，表現出網絡高發時段，其顏色越熱，表示在線人數越多。

（3）網絡雷達圖：雷達圖是指對多個變量的全面分析。網絡雷達圖將變量之間的不確定關聯形象化，從而可以使我們在對用數值無法表現的傾向性和印象性進行把握的時候，將之清晰的實現，并且達到為擬定網絡分流限時計劃提供信息分析的數據協助。由于實行方法可以通過Excel直接生成，所以我們依舊采用js實現對數據表的引入。

（4）動態詞云：是結合關鍵詞標簽的特征，如字體的大小、顏色等方式，表達重點信息程度，分析關鍵詞標簽的大片詞圖。字體若是越明顯越突出，則說明關鍵詞標簽對應的內容出現的次數也就越頻繁，由此便可以了解到用戶通過網絡對應用的使用頻數以及應用的使用情況。動態詞云就是通過做到關鍵詞標簽的各種各樣的視覺特效，從而產生出各種各樣的可視化表現效果。

3總結

經過我國現代信息科技化的長時間演變與進步，當下對于數據的處理也已經變得越來越成熟，大數據（BigData）已經可以做到在一定的時間內用普通數據處理工具做不到的對數據的集合上的一系列海量操作。由于信息科技的逐步成熟與完善，現如今各大院校大學生上網的行為多種多樣，例如：信息瀏覽、購物數據、消費記錄、資料查詢、游戲娛樂等等都會構成比較龐大的數據集。這樣的數據集由各式各樣的數據形成，處理方面難以下手，由此我們則可使用大數據技術對此進行一系列操作獲取其中的內在數據價值并加以利用，并由分析出的結果，加以探究，用于為高效提供各種新形勢的教學方法做出貢獻，也為高校的信息化管理提供新的輔助參考與思路，同時也可以使高效信息化管理逐步走向越來越高的層次。