以爬蟲為興趣牽引的Python教學方案探索與實踐

王 芳，肖皇培

?

以爬蟲為興趣牽引的Python教學方案探索與實踐

王 芳，肖皇培

（華南理工大學廣州學院 計算機工程學院，廣東 廣州 510800）

本文從Python程序設計語言課程教學方案設計、案例設計展開研究，給出一套可行的“爬蟲牽引興趣，案例驅動學習”的Python教學方案，該教學方案適用于計算機或軟件類專業(yè)(方向)的本科Python語言課程教學。

爬蟲；Python；教學模式；案例教學

0 引言

Python是當今最受歡迎的語言之一，它的PYPL指數[1]（Popularity of Programming Language Index）在今年5月已超過Java，躍居第一位，如圖一。Python 語言是最接近自然語言的語言，是最接近人工智能的語言。人類天才棋手被人工智能打敗表明計算機技術已進入人工智能階段。AlphaGo背后的程序，有部分是用Python編寫的。AlphaGo在全球產生巨大影響力的同時，其背后的 TensorFlow技術開源并快速應用于機器翻譯、自動駕駛、唇語識別等多個領域。Python在網絡爬蟲、數據分析、AI、機器學習、Web開發(fā)、金融、運維、測試等多個領域都有不俗的表現(xiàn)。教育部考試中心也于2017年10月11日發(fā)布了“關于全國計算機等級考試（NCRE）體系調整”的通知，決定自2018年3月起，在計算機二級考試加入了“Python語言程序設計”科目。近幾年來國內也有不少學校陸續(xù)開設了Python程序設計課程。程序設計課程教學改革不僅僅是選擇一種語言，更應該是建立一種易于理解、提升興趣的教學形式[2]。Python語言符合計算機技術發(fā)展階段。在新工科建設背景下，只有面向未來的教學內容才值得進行大范圍、深刻的教學改革[3]。

在以往的程序設計語言類課程中，往往將大量學時用于編程語言的語法和所附加功能的教學上，而并未訓練學生解決實際問題的思維邏輯，難以引發(fā)學生學習興趣，難以保持學習熱情。Python 語法簡潔，程序邏輯設計純粹，易上手，有助于保護學生的學習熱情。Python 語言有十萬余第三方庫，其中部分庫適合初學者進行程序設計探索，其易調用性和實用性也容易引發(fā)學習興趣。

圖1 PYPY指數

1 以爬蟲為興趣牽引

1.1 Python爬蟲簡介

爬蟲[4]通常指的是網絡爬蟲，就是一種按照一定的規(guī)則，自動地抓取萬維網信息的程序或者腳本。一般是根據定義的行為自動進行抓取，更智能的爬蟲會自動分析目標網站結構。它還有一些不常使用的名字，如：網絡蜘蛛（Web spider）、螞蟻（ant）、自動檢索工具（automatic indexer）、網絡疾走（WEB scutter）、網絡機器人等。很多人將Python和爬蟲綁在一起。與Java、Php等靜態(tài)編程語言相比，Python 擁有更豐富的第三方庫，寫一個簡單的爬蟲只需要十幾行代碼。

學習爬蟲是一件很有趣的事。我們想從互聯(lián)網中獲取一些自己感興趣或需要的東西，就可以利用爬蟲技術。我們使用爬蟲獲取更多的數據源，這些數據源可以按我們的目的進行采集，去掉無關數據，保留感興趣的數據。興趣是最好的老師，我們學習跟興趣有關的知識不但學的快記的牢，而且有成就感。簡單來說，我們學會了爬蟲編寫之后，就可以利用爬蟲自動地從互聯(lián)網中采集我們感興趣的信息，采集回來后進行相應的存儲或處理，在需要檢索某些信息的時候，只需在采集回來的信息中進行檢索，就像實現(xiàn)了個人的搜索引擎。我們還可以對這些爬取到的數據進行更深層次的數據分析，獲取更多有價值的信息。當然，信息的爬取、存儲、分析、相關性計算等方法，都是需要我們進行設計的，而爬蟲技術主要解決信息獲取的問題。

隨著大數據時代的來臨，爬蟲技術的應用越來越廣泛，各行業(yè)對爬蟲工程師的需求量越來越大，爬蟲工程師成為緊缺型高薪人才，并且擁有很好的發(fā)展空間。所以掌握爬蟲技術對學生來說是非常有吸引力的。

1.2 爬蟲的自我修養(yǎng)

學習Python爬蟲需要具備一定的網絡基礎和前端基礎。我校將《Python語言》作為專業(yè)選修課程開設在軟件工程專業(yè)大三學生的第一學期，本專業(yè)的學生已經在大二學習過網絡和前端基礎的相關課程，已經基本掌握了http協(xié)議、request/response流程、html網頁結構、JS/Ajax請求過程、css定位/選擇器等知識。我們將在本課程中教授Python基礎知識以及爬蟲技術常用的如scrapy、requests、beau-tifulsoap、re等第三方庫的使用。通過具體案例學習和體會爬取靜態(tài)網站和動態(tài)網站的過程。

2 爬蟲牽引的Python語言課程教學方案

2.1 Python課程教學方案

我校軟件工程專業(yè)是在學生已經先修了C和Java之后再開設的Python課程，除了簡要介紹Python作為程序設計語言的基本知識點外，更多要考慮讓學生了解Python語言的特點。而Python作為專業(yè)選修課開設在大三，更應該注重Python的實踐應用。針對我校軟件工程專業(yè)學生，結合Python語言的特點，我們在教學過程中輕語法、重實踐，加強實際問題求解能力的培養(yǎng)，選擇以網絡爬蟲技術為應用目標來開展Python課程教學，適當增加實踐學時和實踐訓練量，從而達到提升學生解決實際問題能力的目的[5]。

我校軟件工程專業(yè)選修課《Python語言》的課程教學方案分為兩個部分：第一部分是Python編程基礎。主要講解Python語言基本語法，包括基礎數據類型、基本運算、控制流、高級數據類型、函數、類與對象等內容。重點講解對列表、元組、字典的操作，列表推導式，文件讀寫。第二部分是面向能力培養(yǎng)的網絡爬蟲技術。圍繞一系列第三方庫培養(yǎng)學生掌握網絡爬蟲的實戰(zhàn)能力。通過講解 requests庫、beautifulsoup庫和re庫，培養(yǎng)學生Web爬取和信息提取的能力；通過講解numpy庫、matplotlib庫和pandas庫，培養(yǎng)學生數據處理和展示的能力[3]。

圖2 Python課程教學方案

如圖2所示，從第一堂課就開始介紹并展示爬蟲，以牽引學生的學習興趣。第一部分“Python編程基礎”講解過程中要配合一定的基礎練習，以讓學生熟悉Python語言的語法特點。在高級數據類型、數據存儲章節(jié)主要講解的知識點都是為第二部分“網絡爬蟲技術”的內容服務的。開始第二部分“網絡爬蟲技術”之前，要求學生復習網絡和前端相關知識點，也可以設計2個學時帶領學生有針對性地復習。第二部分“網絡爬蟲技術”采用案例教學法，以抓取“豆瓣電影”分類頁面內容為例來講解數據的爬取、提取、整理及展示過程。最后給學生布置課后實戰(zhàn)練習：仿照課堂上的案例抓取并分析招聘網站數據。

2.2 爬蟲技術詳細教學方案

網絡爬蟲技術講解過程中，偏重講解網絡爬蟲技術的原理和第三方庫的使用。引導學生在理解不同網站和頁面的爬取原理后，對案例進行消化和吸收，復習和補充各種學生認為有必要掌握的理論知識，在主動學習的過程中進一步加深了對知識的理解。下圖展示了爬取數據時分析數據源的詳細流程。

如圖3所示，在完成數據爬取后，是對數據的分析、整理和展示。此時，第三方庫的引入可以極大地簡化問題求解和學生學習的難度，培養(yǎng)和引導學生盡可能利用第三方庫進行編程，用最簡單的方法快速解決問題[6]。除了圖3中提到的庫外，常用的還有selenium庫用于模擬瀏覽器、lxml庫用于xpath、scrapy庫已發(fā)展成一個成熟的爬蟲框架。

圖3 爬取過程分析

3 結語

經過兩輪的探索和實踐，以及對課程內容和授課方式的不斷細化和調整，我校軟件工程專業(yè)已初步形成了以爬蟲為興趣牽引的Python教學模式。從課程評價、學生項目質量等方面看，實施效果較好，可作為同類院校計算機或軟件類專業(yè)高年級Python課程的教學方案。

Python在良好的開源生態(tài)下競爭激烈且發(fā)展迅速[3]。例如，urllib、requests、scrapy 等第三方庫都提供網絡爬蟲功能，隨著競爭深入，requests 庫成為簡單頁面爬取的主流工具，scrapy庫成為可靠爬蟲框架，urllib 被逐步淘汰。以此為縮影，面向能力培養(yǎng)的案例教學形式對教師也提出了更高的要求，要求教師不斷吸收新技術新知識，不斷更新教學案例，不斷補充教學內容。

[1] Popularity of Programming Language Index[EB/OL]. [2018-09- 30]. http://pypl.github.io/PYPL.html.

[2] 黃天羽, 嵩天. 以圖形牽引興趣的Python案例教學方法與實踐[J]. 計算機教育, 2017(8): 32-37.

[3] 嵩天, 黃天羽, 禮欣. 面向計算生態(tài)的Python語言入門課程教學方案[J]. 計算機教育, 2017(8): 7-12.

[4] 網絡爬蟲[EB/OL]. [2018-11-13]. https://baike.baidu.com/ item/網絡爬蟲/5162711.

[5] 趙廣輝. 面向新工科的Python程序設計交叉融合案例教學[J]. 計算機教育, 2017(8):23-27.

[6] 張莉, 金瑩, 張潔. 多樣化可擴展的Python教學體系探索與實踐[J]. 計算機教育, 2017, 8, 18-22.

Exploration and Practice on the Python Teaching Scheme of Attracted by Web Crawler

WANG Fang, XIAO Huang-pei

(Guangzhou College of South China University of Technology, Guangzhou 510800, Guangdong, China)

This article, with respect to design of the teaching plan, teaching method, teaching case, etc, systematically studies and thoroughly designs the education mode of Python courses. In teaching of Python, the adoption of interest-driving teaching method combined with detailed case projects of Web Crawler can both stimulate students interest in learning and enhance teaching quality, and very practical and has strong promotional value in simiar majors.

Web Crawler; Python; Teaching scheme; Case teaching

TP311

A

10.3969/j.issn.1003-6970.2018.12.007

華南理工大學廣州學院2018“創(chuàng)新強校工程”(JY181401)

王芳(1986-)，女，碩士研究生，助教，主要研究方向：軟件工程?大數據技術；肖皇培(1979-)，男，博士，副研究員，主要研究方向：信息安全?密碼學。

王芳，肖皇培. 以爬蟲為興趣牽引的Python教學方案探索與實踐[J]. 軟件，2018，39（12）：28-31