基于爬蟲算法提升遷改及時率的研究

姜昊

中國移動通信集團(tuán)江蘇有限公司 江蘇 南京 210012

引言

隨著我國城市化、工業(yè)化進(jìn)程的發(fā)展，道路施工愈發(fā)普遍，平均每年影響業(yè)務(wù)故障上萬次，其中99%以上發(fā)生在末梢段落，所有故障中，61%因為市政施工引起，對運營商通信設(shè)施穩(wěn)定運行產(chǎn)生了一定影響，重復(fù)故障易對用戶滿意度形成負(fù)面影響。主要體現(xiàn)在以下兩個方面：第一，政府臨時通知遷改時間緊迫、難度大：每次施工都是政府召開臨時通知會，給予遷改的時間短，一次遷改無法根本性解決問題，遷改難度大大提升；第二，靠線路巡線員按照傳統(tǒng)的以天/周/月為周期的巡線辦法，巡檢不全面，成本高，無法及時了解到市政施工項目的相關(guān)信息，目前江蘇線路代維人均巡線長度達(dá)140公里，已遠(yuǎn)遠(yuǎn)超過能力范圍。

本研究借助爬蟲技術(shù)及時獲取全省建設(shè)項目立項信息，通過提取其中關(guān)鍵的施工道路信息，實時通知線路代維有針對性的現(xiàn)場巡檢，及時設(shè)計遷改方案并立項，如：施工項目招標(biāo)官網(wǎng)發(fā)布招標(biāo)信息，通過爬蟲技術(shù)獲取招標(biāo)的相關(guān)信息，經(jīng)郵件，短信提醒地市管理員和區(qū)縣線路代維，及時安排處理現(xiàn)場巡檢勘察，仔細(xì)斟酌遷改方案，優(yōu)化立項成本，從而提升遷改及時率，解決立項時間短，遷改強(qiáng)度大等難題，達(dá)到一次性完成遷改，有效降低故障率的同時降低了遷改成本。

1 爬蟲算法簡介

互聯(lián)網(wǎng)時代網(wǎng)絡(luò)快速發(fā)展，如何有效地提取并利用高價值信息成為一個巨大的挑戰(zhàn)。傳統(tǒng)方式是利用搜索引擎檢索信息。但是通用性的搜索引擎也存在著一定的局限性，例如通用搜索引擎大多基于關(guān)鍵字的檢索，難以支持根據(jù)語義信息提取并查詢（例如施工涉及的危險段落、施工的具體時間周期等）。為了解決上述問題，爬蟲應(yīng)運而生。爬蟲可根據(jù)抓取目標(biāo)，有選擇地對網(wǎng)頁及相關(guān)的鏈接進(jìn)行訪問，獲取所需信息[1]。

網(wǎng)頁的抓取策略可以分為深度優(yōu)先、廣度優(yōu)先和最佳優(yōu)先三種。

方案一廣度優(yōu)先搜索策略：在抓取過程中分層搜索，當(dāng)完成當(dāng)前層次的搜索之后再進(jìn)行下一層次的搜索。

方案二最佳優(yōu)先搜索策略：根據(jù)網(wǎng)頁分析算法，預(yù)測待選URL與目標(biāo)主題的關(guān)聯(lián)性，或與目標(biāo)網(wǎng)頁的相似程度，選擇評價最好的URL進(jìn)行抓取。

考慮遷改工作有明確的主題相關(guān)性，采用方案二最佳有限搜索策略。

市政施工信息獲取采用基于網(wǎng)頁內(nèi)容的分析算法，利用網(wǎng)頁內(nèi)容特征進(jìn)行的網(wǎng)頁評價。網(wǎng)頁內(nèi)容以超文本和動態(tài)頁面數(shù)據(jù)為主。隨著各類網(wǎng)絡(luò)資源形式（如Web、Service、多媒體等）日益豐富，基于網(wǎng)頁內(nèi)容的分析算法也由原來的單純的文本檢索方法，演進(jìn)為包括網(wǎng)頁數(shù)據(jù)提取、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、語義理解等多種方法的綜合應(yīng)用。

2 爬蟲算法在遷改工作中的應(yīng)用

設(shè)計基于模塊requests的爬蟲技術(shù)，實時獲得全面的建設(shè)施工項目數(shù)據(jù)。依靠模塊beautiful soup對獲取的信息進(jìn)行精準(zhǔn)提取，并通過郵件發(fā)送至線路管理員郵箱，在由管理員通過代維管理系統(tǒng)下發(fā)，通知線路代維現(xiàn)場勘察，設(shè)計遷改方案，解決問題。

該算法的基本流程如下所示：

第一步：post請求方式：post請求方式中分頁靠入?yún)⒌母淖兌淖儯瑢θ雲(yún)⑦M(jìn)行自增循環(huán)而獲取全面的建設(shè)施工項目數(shù)據(jù)。利用lxml通過xpath解析隱藏域。聲明一個字典，存儲獲取的信息，繼續(xù)爬取，由于該網(wǎng)站post請求的入?yún)ⅲ哂袆討B(tài)變化的特征和反爬功能，采用模擬登陸操作方案，使用selenium進(jìn)行web自動化操作，通過findxpath路徑的方式實現(xiàn)點擊、下載。不斷循環(huán)上述步驟，即可獲取所有建設(shè)施工項目明細(xì)。

第二步：模塊beautiful soup：采用Beautiful Soup庫，選擇最合適的解析器來解析這段文檔，利用bsobj將文件中的重點信息提取出來作為預(yù)警內(nèi)容。

第三步：預(yù)警：預(yù)警內(nèi)容通過利用smtplib模塊郵件發(fā)送至線路管理員郵箱里。由管理員通過代維管理系統(tǒng)下發(fā)現(xiàn)場巡線工單，現(xiàn)場巡檢核查實情，確定是否需要遷改，最后設(shè)計遷改方案，同步安排看護(hù)、賠補(bǔ)事宜，完成隱患處理[2]。

3 實際案例

以揚州為例，已試點完成武堅-聯(lián)合光纜，京滬高速江都段和百祥路北延工程等一系列的遷改項目。以下以揚州為例進(jìn)行基于爬蟲獲取施工信息及時遷改：

第一步：通過爬蟲獲取揚州一周后的施工立項工程。

第二步：利用smtplib模塊，自動郵件發(fā)送至線路管理員郵箱，提取重要信息，如區(qū)縣和路段信息、時間計劃等。

第三步，管理員現(xiàn)場核查，派發(fā)現(xiàn)場巡線工單。

工單中包含了施工方信息、施工周期要求，由線路代維結(jié)合具體情況，制定巡線計劃，對于危險段落制定遷改方案。

4 創(chuàng)新點及可復(fù)制性

該研究方案具有極強(qiáng)的創(chuàng)新新，第一，選擇了多個主流招標(biāo)網(wǎng)站（如千里馬），資源互補(bǔ)，運行一年以來，涵蓋了95%以上的市政工程招標(biāo)信息，確保重要市政施工信息無遺漏。第二，每天2次自動循環(huán)，不間斷遍歷招標(biāo)網(wǎng)站，不遺漏任何關(guān)鍵施工信息。第三，利用模塊beautiful soup對所需的關(guān)鍵信息進(jìn)行精準(zhǔn)提取，新增市政施工信息的抓取、郵件通知管理員，均為PYTHON自動運行，無須人工參與。新增市政施工信息，分鐘級抓取，并按預(yù)設(shè)郵箱和電話，實時通知各區(qū)域線路管理員和代維人員，確保實時響應(yīng)。第四，該項目符合國家規(guī)定的中華人民共和國數(shù)據(jù)安全法和中華人民共和國網(wǎng)絡(luò)安全法，每日運行2次，不會造成DDos網(wǎng)站攻擊以及其他危害網(wǎng)站的網(wǎng)絡(luò)攻擊。

該方案部署成本極低，可復(fù)制性極強(qiáng)，僅需PC機(jī)上部署python和Chrome瀏覽器，采用通用程序，適用于全國光纜維護(hù)場景，僅需修改招標(biāo)網(wǎng)站網(wǎng)址和接口方式，錄入全省線路維護(hù)人員郵箱和手機(jī)號即可使用。

具體部署步驟如下：

第一步，完成python運行腳本的更改，這里采用的是“千里馬”招標(biāo)網(wǎng)站，如使用其他招標(biāo)網(wǎng)站，只需要更換網(wǎng)址即可。各省份的地市可以通過判斷篩選自己當(dāng)?shù)氐氖┕ば畔ⅲ恍韪某勺约罕臼〉南嚓P(guān)地區(qū)名稱即可，還有線路代維郵箱更改。

第二步，運行環(huán)境的搭建，這里只需要搭建python的腳本運行環(huán)境PyCharm社區(qū)版即可（百度上可免費下載），運行環(huán)建的搭建可以裝在普通PC機(jī)上。

第三步，該運行腳本采用的是Web Driver模擬登入，這里使用的是Chrome瀏覽器，還需要下載一個驅(qū)動器（chromedriver.exe），版本必須和Chrome瀏覽器的版本一致，最后只需將修改后的運行腳本復(fù)制到PyCharm社區(qū)版里點擊運行即可（File-Open）。

5 結(jié)束語

通過爬蟲技術(shù)的應(yīng)用，線路代維人員根據(jù)收取的信息有針對性地進(jìn)行線路巡檢，大大壓降了傳輸末梢光纜故障，影響滿意度的問題，同時解決了以往全面覆蓋性線路巡檢出現(xiàn)的范圍大，人手少等問題，極大地提升了工作效率，節(jié)約人力資源；其次，通過爬蟲技術(shù)可以實時的獲取全省的建設(shè)施工項目招標(biāo)信息，信息全面無遺漏，及時遷改、賠補(bǔ)，實現(xiàn)高效科學(xué)的管理。

該研究高效優(yōu)化了遷改流程，有利于電信運營商降本增效。通過爬蟲技術(shù)，末梢光纜故障大幅降低，網(wǎng)絡(luò)質(zhì)量得到了提升，家寬PON口群障次數(shù)從月均526次下降至358次，無線上網(wǎng)質(zhì)量滿意度領(lǐng)先值由0.93上升至2.73，集客月均投訴量由19次下降至11次。其次，市政施工信息獲取時間，從傳統(tǒng)的平均35天，降低至0.5天，避免了緊急狀態(tài)下的臨時遷改，有效減少了二次遷改，全年節(jié)省遷改成本2000萬元。最后，施工信息無遺漏，及時與施工單位溝通，賠補(bǔ)金額從2.3億上升至3.6億。