Promomart网信息采集

Storm讨论 | 贡献2016年9月19日 (一) 14:08的版本 演示

(差异) ←上一版本 | 最后版本 (差异) | 下一版本→ (差异)
Storm讨论 | 贡献2016年9月19日 (一) 14:08的版本 演示

(差异) ←上一版本 | 最后版本 (差异) | 下一版本→ (差异)

简介

    采集电子商务热卖商品类帖子

功能

   采集目标
   http://promomart.espwebsite.com/ProductResults/?SearchTerms=Lanyards&referrerPage=ProductDetails&refPgId=506928109&referrerModule=QKSCHB
   采集要求
   采集200个商品的数据(采集页数设置9页,一页24个数据)
   采集每个商品的详情页数据
  

演示

   Promomart.gif

数据

   数据样例:Promomart.rar

备注

   采集有两个必要条件:
   采集前搜索一下,refPgId=506928109会变,导致网址变化,然后复制网址到任务框,运行软件。
   采集页数设置9页,一页24个数据。
   采集的同时自动下载图片,放在img文件夹下。