應國慶
(北京源石云科技有限公司(上海分公司) 上海市 200000)
為了提高鞋友的中簽率,以及能中到想要的尺碼,我們整合平臺,為潮鞋朋友選擇,以及入駐搶鞋功能,NIKE 鞋不同的國家發布時間是不一樣的,款式也不一樣,官網隔幾日就有幾款鞋發售,官網發售鞋是不定時的,有突襲模式,有預售模式,有抽簽模式,隨時登錄官網查看發售情況,一點也不智能。所以設計一套智能提醒,智能代搶,智能推介等系統,借助我們開發好的工具進行搶鞋,為潮友中簽帶來希望。
爬蟲架構如圖1所示。
(1)用Tornado 框架搭建。Tornado 本身就是異步框架,其中包括兩個方面:服務端和客戶端。無論服務端和客戶端,具體的異步模型又可以分為回調(callback)和協程(coroutine),所以爬取效率將大大提高。另外整個過程需要頁面解析,增加日志,超時重啟,使用代理以及大量User-Agent 進行偽裝成普通用戶。
(2)App 端和PC 端商品數據采集:爬取NIKE 大陸官網商品詳情信息(鞋的spu,sku)以及商品發售日歷,發售價格。
(3)部署在阿里云服務器定時任務,每天上午8 點40 分更新數據。
(4)數據上報:數據清洗之后通過json 格式上報業務端存儲。
(1)主要實現數據持久化,因為數據與日俱增。
(2)為業務端提供數據上報接口,方便拉取數據。
首先要用到Airtest 自動化測試框架,該工具主要是面向游戲UI 測試基于圖像識別,如游戲框架unity, Cocos-js 以及網易內部的游戲框架,同時也支持原生Android App 的基于元素識別的UI 自動化測試。主要目的是通過Airtest 腳本模擬人為去操作云手機并注冊大量用戶,并與真實用戶賬號一起加入搶鞋隊列中。……