孟繁疆,姬祥,袁琦,劉東,侯哲鵬
(東北農業大學電氣與信息學院,哈爾濱 150030)
農產品價格主題搜索引擎的研究與實現
孟繁疆,姬祥,袁琦,劉東,侯哲鵬
(東北農業大學電氣與信息學院,哈爾濱150030)
當前農業垂直搜索引擎無法預測農產品價格趨勢,難以滿足農業生產者行情分析需要。文章設計農產品價格主題搜索引擎。首先網絡爬蟲從農業綜合網站搜集網頁,對網頁進行轉碼、去重、提取內容等處理;使用主題相關度算法計算網頁的主題相關度,用分類器對網頁分類,將與主題相關的網頁解析、存儲;最后提取農產品價格及其影響因素信息。結果表明,系統可搜集農產品價格信息及影響農產品價格因素信息,為后續農產品價格預測提供數據支持。
網絡爬蟲;信息抓取;農產品價格;農業搜索引擎
孟繁疆,姬祥,袁琦,等.農產品價格主題搜索引擎的研究與實現[J].東北農業大學學報,2016,47(9):64-71.
Meng Fanjiang,Ji Xiang,Yuan Qi,et al.Research and implementation of agricultural prices subject search engine[J].Journal of Northeast Agricultural University,2016,47(9):64-71.(in Chinese with English abstract)
隨著農業信息化迅速發展,國外農業搜索引擎起步較早,美國農業網絡信息中心、WEB AgriSeareh、Agriscape Search等應用廣泛[1-3]。我國農業搜索引擎起步較晚,但發展較快,自2007年首個農業搜索引擎上線以來,已建成“中國搜農”“農搜”等多個較為成熟農業垂直搜索引擎。
現有農業垂直搜索引擎對農產品價格主題搜索時,返回信息總量大、數據不直觀,存在大量重復和無用信息,用戶無法快速準確定位所需信息,不便于分析行情,無法為農業生產提供參考。
本文從新農網、富農網等知名農業綜合網站搜集農產品價格信息設計垂直搜索引擎,為用戶提供農產品價格趨勢圖,方便農業生產者準確、及時了解不同農產品價格趨勢,為農產品價格預測提供參考。……