“美团商户信息采集”的版本间的差异
来自JsRobot
第38行: | 第38行: | ||
==说明== | ==说明== | ||
+ | 分组大小默认为30 | ||
+ | 如果采集不出问题,就不要修改这个值。 | ||
+ | 我们做了反复的测试,一个IP最多采集30多个网址就会锁IP。 | ||
+ | |||
按城市分类排序的任务列表 | 按城市分类排序的任务列表 | ||
[[File:City_Class_TaskList.rar]] | [[File:City_Class_TaskList.rar]] |
2017年4月17日 (一) 10:16的版本
简介
美团上的商户信息是很有价值的。
功能
输出字段如下 [采集时间]:2017-04-17 13:35:51 [店铺网址]:http://www.meituan.com/shop/74361 [店铺编号]:74361 [店铺名称]:云海肴云南菜(欧美汇购物中心店) [店铺类型]:美食团购 [城市]:北京 [地址]:中关村丹棱街甲1号欧美汇购物中心5楼(近新中关购物中心) [联系电话]:4000727000 [经度]:116.314134 [纬度]:39.979378
演示
使用
默认处理 根据指定的城市的指定分类采集店铺信息网址清单里支持多行任务。 具体的任务信息可以从附件里的文档里获取。 你也可以自己从浏览器的地址栏里去取,注意把网址?号右边的内容都删除掉。 测试的时候,请将测试模式设置为1,正式使用的时候请设置为0. 测试模式可以快速验证软件功能的正确性。
按编号采集 根据指定的店铺编号范围采集店铺信息。![]()
使用时建议使用默认处理的方式。 虽然按照编号扫店铺可以不漏,但是比默认处理的方式采集获取数据慢。 采集的时候,不要一次性的在任务列表那里输入太多的网址,如果那样做了,会很长时间都看不到数据出来。
说明
分组大小默认为30 如果采集不出问题,就不要修改这个值。 我们做了反复的测试,一个IP最多采集30多个网址就会锁IP。
按城市分类排序的任务列表 文件:City Class TaskList.rar
按分类城市排序的任务列表 文件:Class City TaskList.rar
采集前下载任务列表文件 采集前把你要采集的任务复制到任务列表 采集时要换ip采集,需要一个秒换ip的vps服务器。
美团有反采集措施 一个IP处理30个网址就需要换IP 所以必须用可以快速换IP的VPS采集
软件的换IP设置如下图![]()