查看“美团商户产品采集”的源代码
←
美团商户产品采集
跳转至:
导航
、
搜索
因为以下原因,你没有权限编辑本页:
您所请求的操作仅限于该用户组的用户使用:
用户
您可以查看与复制此页面的源代码。
==简介== 这个项目采集了美团上的美食板块的商家信息和产品信息。 ==背景== 外卖企业需要这个数据。 ==演示== [[image:MeiTuanShangJiaChanPing_Use.gif]] ==使用== 请在使用采集前, 先租用一个动态换IP的VPS, 建立一个拨号方式"宽带连接"。 [[image:MeiTuanShangJiaChanPing_adsl.png]] 采集指定店铺的店铺信息和产品信息 当任务列表中设定的是店铺的网址的时候, 采集的结果就是指定店铺的店铺信息和产品信息 例如“http://www.meituan.com/shop/100737790” 这个一般用于测试,采集时间很短。 这个采集一般不需要换IP。 采集指城市区域的店铺信息和产品信息 当任务列表中设定的是区域的网址的时候, 采集的结果就是指定区域的店铺信息和产品信息 例如“http://sz.meituan.com/category/meishi/futianqu/rating” 这个采集就需要换IP。 采集指城市的店铺信息和产品信息 当任务列表中设定的是城市的网址的时候, 采集的结果就是指定城市的店铺信息和产品信息 例如“枚举区域:http://sz.meituan.com/category/meishi/all/rating” 这个采集就需要换IP。 这个采集的时间非常长,会等待很长的时间才会看到数据。 采集的时候请耐心等待,最好是晚上开始采集,白天看结果。 ==数据== 数据样例[[Meia:MeiTuanShangHuChanPing_Dat.rar] ==说明== 美团有锁定IP机制的反采集措施。 采集一定数目的数据后,美团会弹出验证码,要求用户输入验证码后再运行采集。 我们推荐采用的是动态IP VPS的方式绕过这个锁定IP的反采集措施。 软件有一个“任务分组”参数,当软件执行了这么多任务后,就执行一次换IP操作。 当然你也可以其他换IP的方式换IP. 如VPN自动换IP, ADSL拨号自动换IP,路由器拨号换IP的方式)。 如果是企业环境下使用推荐使用动态换IP的VPS的方式换IP。 这个是所有换IP里的方法效果最好的。 我们都试过其他几种换IP的方式,可以用,但是会有一些这样那样的问题。
返回至
美团商户产品采集
。
导航菜单
个人工具
18.218.124.105
该IP地址的讨论
登录
命名空间
页面
讨论
变种
视图
阅读
查看源代码
查看历史
更多
搜索
导航
首页
最近更改
随机页面
帮助
工具
链入页面
相关更改
特殊页面
页面信息