“美团商户产品采集”的版本间的差异
来自JsRobot
| （未显示同一用户的9个中间版本） | |||
| 第2行： | 第2行： | ||
这个项目采集了美团上的美食板块的商家信息和产品信息。 | 这个项目采集了美团上的美食板块的商家信息和产品信息。 | ||
==背景== | ==背景== | ||
| + | 外卖企业需要这个数据。 | ||
| + | ==演示== | ||
| + | [[image:MeiTuanShangJiaChanPing_Use.gif]] | ||
==使用== | ==使用== | ||
| + | 请在使用采集前， | ||
| + | 先租用一个动态换IP的VPS作为采集机器， | ||
| + | 或者是用一个家用的ADSL直连的机器作为采集机器， | ||
| + | 建立一个拨号方式"宽带连接"。 | ||
| + | [[image:MeiTuanShangJiaChanPing_adsl.png]] | ||
| + | 如果你要把商家和产品的图片下载到本地， | ||
| + | 在租用VPS的时候，记得申请额外的存储空间。 | ||
| + | 我们测试的时候发现，采集深圳福田区一个区的数据， | ||
| + | 光图片就是一个多GB。 | ||
| + | |||
| + | 采集指定店铺的店铺信息和产品信息 | ||
| + | 当任务列表中设定的是店铺的网址的时候， | ||
| + | 采集的结果就是指定店铺的店铺信息和产品信息 | ||
| + | 例如“http://www.meituan.com/shop/100737790” | ||
| + | 这个一般用于测试，采集时间很短。 | ||
| + | 这个采集一般不需要换IP。 | ||
| + | |||
| + | 采集指城市区域的店铺信息和产品信息 | ||
| + | 当任务列表中设定的是区域的网址的时候， | ||
| + | 采集的结果就是指定区域的店铺信息和产品信息 | ||
| + | 例如“http://sz.meituan.com/category/meishi/futianqu/rating” | ||
| + | 这个采集就需要换IP。 | ||
| + | |||
| + | 采集指城市的店铺信息和产品信息 | ||
| + | 当任务列表中设定的是城市的网址的时候， | ||
| + | 采集的结果就是指定城市的店铺信息和产品信息 | ||
| + | 例如“枚举区域:http://sz.meituan.com/category/meishi/all/rating” | ||
| + | 这个采集就需要换IP。 | ||
| + | 这个采集的时间非常长，会等待很长的时间才会看到数据。 | ||
| + | 采集的时候请耐心等待，最好是晚上开始采集，白天看结果。 | ||
| + | |||
==数据== | ==数据== | ||
| + | 数据样例[[Meia:MeiTuanShangHuChanPing_Dat.rar] | ||
| + | |||
| + | 商家信息字段样例 | ||
| + | 店铺编号:100737790 | ||
| + | 店铺名称:味美轩（t距会展中心站店） | ||
| + | 城市:深圳 | ||
| + | 区域:福田区>CBD中心区 | ||
| + | 地址:福田区金田路3038号现代国际大厦903室（近大中华喜来登酒店） | ||
| + | 联系人: | ||
| + | 联系电话:18042636926 | ||
| + | 店铺简介: | ||
| + | 店铺Logo:img/100737790.jpg | ||
| + | 经度:114.063716 | ||
| + | 纬度:22.534229 | ||
| + | QQ: | ||
| + | |||
| + | 产品信息字段样例 | ||
| + | 商品编号:40373053 | ||
| + | 店铺编号:100737790 | ||
| + | 商品名称:味美轩 | ||
| + | 商品副标题:【多城市】味美轩 | ||
| + | 商品简介:仅售5元！价值20元的数字蜡烛任选2个数字。生日蛋糕店同城免费送货上门。蛋糕预订免费配送到家1个，约2个，数字。 | ||
| + | 市场价:20 | ||
| + | 销售价:5 | ||
| + | 成本价: | ||
| + | 商品主图:img/100737790/40373053.jpg | ||
| + | 简要介绍:数字蜡烛任选2个数字。生日蛋糕店同城免费送货上门。蛋糕预订免费配送到家规格：约2个,数字生产日期：配送当天保存须知：24小时免费提供包装生日数字蜡烛。任选2个数字。只需要5元哦。随蛋糕一起配送。 | ||
| + | 商品详细:["img/100737790/40373053/1.jpg"] | ||
| + | 浏览次数: | ||
| + | 购买次数:31 | ||
| + | 规格: | ||
| + | 所在分类:南京团购>美食团购>甜点饮品>味美轩 | ||
| + | |||
==说明== | ==说明== | ||
美团有锁定IP机制的反采集措施。 | 美团有锁定IP机制的反采集措施。 | ||
| − | + | 在客户在某个IP的机器采集超过一定数目的数据后， | |
| − | + | 再次请求美团的网页，美团返回一个验证码的页面， | |
| + | 要求用户输入验证码后再运行采集。 | ||
| + | 我们推荐采用的是直连ADSL拨号或者动态IP的VPS的方式换IP。 | ||
软件有一个“任务分组”参数，当软件执行了这么多任务后，就执行一次换IP操作。 | 软件有一个“任务分组”参数，当软件执行了这么多任务后，就执行一次换IP操作。 | ||
| − | + | ||
| − | + | ==美团商户信息采集软件常见问答== | |
| − | + | ||
| − | + | 1. 这个软件在什么环境运行？ | |
| − | + | ||
| + | 这个软件必须在秒换IP动态服务器vps上运行，运行环境xp或者win7都可以，建议在xp环境更加稳定，IE1 版本，在1核512的最低配置就可以，这样租用费用最低，注意这个必须的动态秒换IP的服务器vps哦。其他不是动态秒换IP的用不了。 | ||
| + | |||
| + | 2. 测试数据带*号，我怎么确定这个数据是不是真实的呢？ | ||
| + | |||
| + | 这个是美团商户采集软件，我们数据上很多数据网址你是可以拼出来的，把这个网址输入网页，你可以核对一下这个电话数据是不是真实的，我们软件采集所有数据均来自美团网站的，这个你核实就明白了。 | ||
| + | |||
| + | 3. 软件测试版本和正式版本区别在哪里？ | ||
| + | |||
| + | 正式版本和测试版本采集数据都是一样的，唯一差别的正式版本是完整数据，测试版本数据带*号，测试版本是为了方便用户测试软件用的，测试是让用户知道软件怎么操作，在什么环境下运行，采集数据有哪些，是不是用户想要是内容。 | ||
| + | |||
| + | 4. 什么是vps？ | ||
| + | |||
| + | VPS是虚拟服务器的意思.他是通过软件在独立服务器上划分出来的一部分资源.从而虚拟出一个服务器.他拥有独立的IP.独立的操作系统.以及用户名和密码.在功能和使用方法上与服务器一模一样.用户也可以根据自己的需要配置各种运行环境以及安装各种软件等 | ||
| + | |||
| + | 5. 我想采集某个城市哪个行业商户电话可以吗？ | ||
| + | |||
| + | 首先你打开看看美团城市列表你想采集的城市在不在所在地区列表里，要是可以选择到就是可以采集的，哪个行业你看看美团里面是不是有这个行业，有这个行业就可以采集的。 | ||
| + | |||
| + | 6. 这个软件是多少钱的，是终身使用的吗？ | ||
| + | |||
| + | 这个美团商户采集软件可以按照2种模式付款，第一种是1000元一年的版本，我们软件自订购之日起免费维护3个月，3个月之内软件出现任何问题我们是免费维护的，3个月之后要是网站不改版软件你可以一直使用，要是网站微调我们免费维护，要是网站改动大就需要收取维护费用。 | ||
| + | 第二种是一个月200元租用费，每个月租用费用是200元，续费即可开通使用。一个季度是500元，半年费用是800元。用户根据自己需要选择付费方式。 | ||
| + | |||
| + | 7. Vps在哪里租用，大概费用是多少？ | ||
| + | |||
| + | 这个vps在淘宝上租用就可以，在淘宝上搜索关键词：秒换IP动态服务器vps，注意这个必须是动态秒换IP 的哦，固定IP的用不了，购买之前一定要咨询淘宝卖家，每个vps性能有差异的，尽量选择秒换速度快的服务器，这样采集速度要快。我们软件在vps上可以选择最低配置1核512的就可以了，xp运行环境即可，IE11版本。这样vps费用大概在60-75元之间，服务器选择哪个地区都可以，一定要问清楚卖家秒换需要最快的服务器，租用之前最好选择测试一天大概1元一天的。 | ||
2017年5月24日 (三) 13:27的最新版本
简介
这个项目采集了美团上的美食板块的商家信息和产品信息。
背景
外卖企业需要这个数据。
演示
使用
请在使用采集前，
先租用一个动态换IP的VPS作为采集机器，
或者是用一个家用的ADSL直连的机器作为采集机器，
建立一个拨号方式"宽带连接"。
如果你要把商家和产品的图片下载到本地，
在租用VPS的时候，记得申请额外的存储空间。
我们测试的时候发现，采集深圳福田区一个区的数据，
光图片就是一个多GB。
采集指定店铺的店铺信息和产品信息 当任务列表中设定的是店铺的网址的时候， 采集的结果就是指定店铺的店铺信息和产品信息 例如“http://www.meituan.com/shop/100737790” 这个一般用于测试，采集时间很短。 这个采集一般不需要换IP。
采集指城市区域的店铺信息和产品信息 当任务列表中设定的是区域的网址的时候， 采集的结果就是指定区域的店铺信息和产品信息 例如“http://sz.meituan.com/category/meishi/futianqu/rating” 这个采集就需要换IP。
采集指城市的店铺信息和产品信息 当任务列表中设定的是城市的网址的时候， 采集的结果就是指定城市的店铺信息和产品信息 例如“枚举区域:http://sz.meituan.com/category/meishi/all/rating” 这个采集就需要换IP。 这个采集的时间非常长，会等待很长的时间才会看到数据。 采集的时候请耐心等待，最好是晚上开始采集，白天看结果。
数据
数据样例[[Meia:MeiTuanShangHuChanPing_Dat.rar]
商家信息字段样例 店铺编号:100737790 店铺名称:味美轩（t距会展中心站店） 城市:深圳 区域:福田区>CBD中心区 地址:福田区金田路3038号现代国际大厦903室（近大中华喜来登酒店） 联系人: 联系电话:18042636926 店铺简介: 店铺Logo:img/100737790.jpg 经度:114.063716 纬度:22.534229 QQ:
产品信息字段样例 商品编号:40373053 店铺编号:100737790 商品名称:味美轩 商品副标题:【多城市】味美轩 商品简介:仅售5元！价值20元的数字蜡烛任选2个数字。生日蛋糕店同城免费送货上门。蛋糕预订免费配送到家1个，约2个，数字。 市场价:20 销售价:5 成本价: 商品主图:img/100737790/40373053.jpg 简要介绍:数字蜡烛任选2个数字。生日蛋糕店同城免费送货上门。蛋糕预订免费配送到家规格：约2个,数字生产日期：配送当天保存须知：24小时免费提供包装生日数字蜡烛。任选2个数字。只需要5元哦。随蛋糕一起配送。 商品详细:["img/100737790/40373053/1.jpg"] 浏览次数: 购买次数:31 规格: 所在分类:南京团购>美食团购>甜点饮品>味美轩
说明
美团有锁定IP机制的反采集措施。 在客户在某个IP的机器采集超过一定数目的数据后， 再次请求美团的网页，美团返回一个验证码的页面， 要求用户输入验证码后再运行采集。 我们推荐采用的是直连ADSL拨号或者动态IP的VPS的方式换IP。 软件有一个“任务分组”参数，当软件执行了这么多任务后，就执行一次换IP操作。
美团商户信息采集软件常见问答
1. 这个软件在什么环境运行？
这个软件必须在秒换IP动态服务器vps上运行，运行环境xp或者win7都可以，建议在xp环境更加稳定，IE1 版本，在1核512的最低配置就可以，这样租用费用最低，注意这个必须的动态秒换IP的服务器vps哦。其他不是动态秒换IP的用不了。
2. 测试数据带*号，我怎么确定这个数据是不是真实的呢？
这个是美团商户采集软件，我们数据上很多数据网址你是可以拼出来的，把这个网址输入网页，你可以核对一下这个电话数据是不是真实的，我们软件采集所有数据均来自美团网站的，这个你核实就明白了。
3. 软件测试版本和正式版本区别在哪里？
正式版本和测试版本采集数据都是一样的，唯一差别的正式版本是完整数据，测试版本数据带*号，测试版本是为了方便用户测试软件用的，测试是让用户知道软件怎么操作，在什么环境下运行，采集数据有哪些，是不是用户想要是内容。
4. 什么是vps？
VPS是虚拟服务器的意思.他是通过软件在独立服务器上划分出来的一部分资源.从而虚拟出一个服务器.他拥有独立的IP.独立的操作系统.以及用户名和密码.在功能和使用方法上与服务器一模一样.用户也可以根据自己的需要配置各种运行环境以及安装各种软件等
5. 我想采集某个城市哪个行业商户电话可以吗？
首先你打开看看美团城市列表你想采集的城市在不在所在地区列表里，要是可以选择到就是可以采集的，哪个行业你看看美团里面是不是有这个行业，有这个行业就可以采集的。
6. 这个软件是多少钱的，是终身使用的吗？
这个美团商户采集软件可以按照2种模式付款，第一种是1000元一年的版本，我们软件自订购之日起免费维护3个月，3个月之内软件出现任何问题我们是免费维护的，3个月之后要是网站不改版软件你可以一直使用，要是网站微调我们免费维护，要是网站改动大就需要收取维护费用。 第二种是一个月200元租用费，每个月租用费用是200元，续费即可开通使用。一个季度是500元，半年费用是800元。用户根据自己需要选择付费方式。
7. Vps在哪里租用，大概费用是多少？
这个vps在淘宝上租用就可以，在淘宝上搜索关键词：秒换IP动态服务器vps，注意这个必须是动态秒换IP 的哦，固定IP的用不了，购买之前一定要咨询淘宝卖家，每个vps性能有差异的，尽量选择秒换速度快的服务器，这样采集速度要快。我们软件在vps上可以选择最低配置1核512的就可以了，xp运行环境即可，IE11版本。这样vps费用大概在60-75元之间，服务器选择哪个地区都可以，一定要问清楚卖家秒换需要最快的服务器，租用之前最好选择测试一天大概1元一天的。
