基于Scrapy 爬蟲框架+數(shù)據(jù)可視化的第三方網(wǎng)課評價平臺設(shè)計

陳濤 陳志遠

（安徽大學(xué)互聯(lián)網(wǎng)學(xué)院 安徽省合肥市 230000）

1 引言

據(jù)中國互聯(lián)網(wǎng)絡(luò)信息中心（CNNIC）2021 年8 月27 日在京公布的第48 次《中國互聯(lián)網(wǎng)絡(luò)發(fā)展狀況統(tǒng)計報告》統(tǒng)計，我國在線教育用戶規(guī)模截至2021 年6 月已達3.25 億。在線教育用戶規(guī)模在2020 年迎來爆發(fā)式的增長，眾多機構(gòu)及資本進入在線教育領(lǐng)域，各種在線教育平臺層出不窮，然而由于資本的介入，虛假宣傳，低價獲客等現(xiàn)象尤為明顯。

在當下的在線教育平臺模式下用戶難以在眾多平臺中的同類課程中做出選擇，部分平臺的課程信息對用戶的透明度較低，使得用戶不能夠直觀的了解課程質(zhì)量。如何在快速發(fā)展在線教育的同時對在線教育平臺和網(wǎng)絡(luò)課程進行監(jiān)管，是維護在線教育環(huán)境不可忽視的問題。

隨著大數(shù)據(jù)技術(shù)的發(fā)展，使得收集并應(yīng)用零散的互聯(lián)網(wǎng)在線課程信息變成了可能。使用大數(shù)據(jù)技術(shù)對互聯(lián)網(wǎng)上分散在各個在線教育平臺的課程基本信息進行數(shù)據(jù)采集，對采集結(jié)果進行數(shù)據(jù)分析與可視化，并以此為基礎(chǔ)構(gòu)建一個第三方評價平臺，以便于用戶快速獲取感興趣的課程以及真實的學(xué)習(xí)體驗與評價信息[1]。本文詳細介紹了如何基于Scrapy 爬蟲框架+數(shù)據(jù)可視化構(gòu)建一個第三方網(wǎng)課評價平臺。

2 設(shè)計方案

2.1 設(shè)計思路

目前，在線教育資源大多分布在各個在線教育平臺上，對于普通用戶來說很難去收集大量的課程信息進行對比，而作為第三方的網(wǎng)課評價平臺，首先要做到的就是將互聯(lián)網(wǎng)上零散分布的大量在線課程信息收集，清洗，并經(jīng)過一定的數(shù)據(jù)分析后提供給用戶。……