“美团商户产品采集”的版本间的差异
来自JsRobot
(创建页面,内容为“==简介== ==背景== ==使用== ==数据==”) |
|||
第3行: | 第3行: | ||
==使用== | ==使用== | ||
==数据== | ==数据== | ||
+ | ==说明== | ||
+ | 美团有锁定IP机制的反采集措施。 | ||
+ | 采集一定数目的数据后,美团会弹出验证码,要求用户输入验证码后再运行采集。 | ||
+ | 我们采用的是动态IP VPS的方式绕过这个锁定IP的反采集措施。 | ||
+ | 我们设定一个“任务分组”参数,当软件执行了这么多任务后,就执行一次换IP操作。 | ||
+ | 当然你也可以其他换IP的方式换IP. | ||
+ | 如VPN自动换IP, ADSL拨号自动换IP,路由器拨号换IP的方式)。 | ||
+ | 如果是企业环境下使用推荐使用动态换IP的VPS的方式换IP。 | ||
+ | 这个是所有换IP里的方法效果最好的。 | ||
+ | 我们都试过其他几种换IP的方式,可以用,但是会有一些这样那样的问题。 |
2016年9月19日 (一) 12:13的版本
简介
背景
使用
数据
说明
美团有锁定IP机制的反采集措施。 采集一定数目的数据后,美团会弹出验证码,要求用户输入验证码后再运行采集。 我们采用的是动态IP VPS的方式绕过这个锁定IP的反采集措施。 我们设定一个“任务分组”参数,当软件执行了这么多任务后,就执行一次换IP操作。 当然你也可以其他换IP的方式换IP. 如VPN自动换IP, ADSL拨号自动换IP,路由器拨号换IP的方式)。 如果是企业环境下使用推荐使用动态换IP的VPS的方式换IP。 这个是所有换IP里的方法效果最好的。 我们都试过其他几种换IP的方式,可以用,但是会有一些这样那样的问题。