基于Airtest爬蟲與智能中簽潮鞋系統設計

應國慶

（北京源石云科技有限公司(上海分公司) 上海市 200000）

為了提高鞋友的中簽率,以及能中到想要的尺碼,我們整合平臺,為潮鞋朋友選擇,以及入駐搶鞋功能，NIKE 鞋不同的國家發布時間是不一樣的，款式也不一樣，官網隔幾日就有幾款鞋發售，官網發售鞋是不定時的,有突襲模式，有預售模式，有抽簽模式，隨時登錄官網查看發售情況，一點也不智能。所以設計一套智能提醒,智能代搶,智能推介等系統，借助我們開發好的工具進行搶鞋，為潮友中簽帶來希望。

1 系統爬蟲架構及功能

1.1 爬蟲架構

爬蟲架構如圖1所示。

（1）用Tornado 框架搭建。Tornado 本身就是異步框架，其中包括兩個方面：服務端和客戶端。無論服務端和客戶端，具體的異步模型又可以分為回調（callback）和協程（coroutine）,所以爬取效率將大大提高。另外整個過程需要頁面解析，增加日志，超時重啟，使用代理以及大量User-Agent 進行偽裝成普通用戶。

（2）App 端和PC 端商品數據采集：爬取NIKE 大陸官網商品詳情信息(鞋的spu,sku)以及商品發售日歷，發售價格。

（3）部署在阿里云服務器定時任務，每天上午8 點40 分更新數據。

（4）數據上報：數據清洗之后通過json 格式上報業務端存儲。

1.2 功能實現

（1）主要實現數據持久化，因為數據與日俱增。

（2）為業務端提供數據上報接口，方便拉取數據。

2 用戶注冊系統

首先要用到Airtest 自動化測試框架，該工具主要是面向游戲UI 測試基于圖像識別,如游戲框架unity, Cocos-js 以及網易內部的游戲框架，同時也支持原生Android App 的基于元素識別的UI 自動化測試。主要目的是通過Airtest 腳本模擬人為去操作云手機并注冊大量用戶，并與真實用戶賬號一起加入搶鞋隊列中。……