美团商户产品采集

简介

   这个项目采集了美团上的美食板块的商家信息和产品信息。

背景

   外卖企业需要这个数据。

演示

使用

   请在使用采集前，
   先租用一个动态换IP的VPS，
   VPS建立一个拨号方式"宽带连接"。

   采集指定店铺的店铺信息和产品信息
   当任务列表中设定的是店铺的网址的时候，
   采集的结果就是指定店铺的店铺信息和产品信息
   例如“http://www.meituan.com/shop/100737790”
   这个一般用于测试，采集时间很短。
   这个采集一般不需要换IP。

   采集指城市区域的店铺信息和产品信息
   当任务列表中设定的是区域的网址的时候，
   采集的结果就是指定区域的店铺信息和产品信息
   例如“http://sz.meituan.com/category/meishi/futianqu/rating”
   这个采集就需要换IP。

   采集指城市的店铺信息和产品信息
   当任务列表中设定的是城市的网址的时候，
   采集的结果就是指定城市的店铺信息和产品信息
   例如“枚举区域:http://sz.meituan.com/category/meishi/all/rating”    
   这个采集就需要换IP。
   这个采集的时间非常长，会等待很长的时间才会看到数据。
   采集的时候请耐心等待，最好是晚上开始采集，白天看结果。

数据

   数据样例[[Meia:MeiTuanShangHuChanPing_Dat.rar]

说明

   美团有锁定IP机制的反采集措施。
   采集一定数目的数据后，美团会弹出验证码，要求用户输入验证码后再运行采集。
   我们推荐采用的是动态IP VPS的方式绕过这个锁定IP的反采集措施。
   软件有一个“任务分组”参数，当软件执行了这么多任务后，就执行一次换IP操作。
   当然你也可以其他换IP的方式换IP.
   如VPN自动换IP， ADSL拨号自动换IP，路由器拨号换IP的方式）。
   如果是企业环境下使用推荐使用动态换IP的VPS的方式换IP。
   这个是所有换IP里的方法效果最好的。
   我们都试过其他几种换IP的方式，可以用，但是会有一些这样那样的问题。