美团商户信息采集

来自JsRobot
Storm讨论 | 贡献2017年4月17日 (一) 10:16的版本

跳转至: 导航搜索

简介

   美团上的商户信息是很有价值的。

功能

  输出字段如下
  [采集时间]:2017-04-17 13:35:51
  [店铺网址]:http://www.meituan.com/shop/74361
  [店铺编号]:74361
  [店铺名称]:云海肴云南菜(欧美汇购物中心店)
  [店铺类型]:美食团购
  [城市]:北京
  [地址]:中关村丹棱街甲1号欧美汇购物中心5楼(近新中关购物中心)
  [联系电话]:4000727000
  [经度]:116.314134
  [纬度]:39.979378

演示

  MeiTuanShangHuXinXiCaiJi Ui.png

使用

  默认处理
  根据指定的城市的指定分类采集店铺信息
  MeiTuanShangHuXinXiCaiJi Setting.png
  网址清单里支持多行任务。
  具体的任务信息可以从附件里的文档里获取。
  你也可以自己从浏览器的地址栏里去取,注意把网址?号右边的内容都删除掉。
  测试的时候,请将测试模式设置为1,正式使用的时候请设置为0.
  测试模式可以快速验证软件功能的正确性。
  按编号采集
  根据指定的店铺编号范围采集店铺信息。
  MeiTuanShangHuXinXiCaiJi Setting2.png
  使用时建议使用默认处理的方式。
  虽然按照编号扫店铺可以不漏,但是比默认处理的方式采集获取数据慢。
  采集的时候,不要一次性的在任务列表那里输入太多的网址,如果那样做了,会很长时间都看不到数据出来。

说明

   分组大小默认为30
   如果采集不出问题,就不要修改这个值。
   我们做了反复的测试,一个IP最多采集30多个网址就会锁IP。
   按城市分类排序的任务列表
   文件:City Class TaskList.rar
   按分类城市排序的任务列表
   文件:Class City TaskList.rar
   采集前下载任务列表文件
   采集前把你要采集的任务复制到任务列表
   采集时要换ip采集,需要一个秒换ip的vps服务器。
   美团有反采集措施
   一个IP处理30个网址就需要换IP
   所以必须用可以快速换IP的VPS采集
   软件的换IP设置如下图
   MeiTuanShangHuXinXiCaiJi Adsl.png