Kompass公司企业名录采集

简介

   这个工具按照关键词采集康帕斯的企业名录
   康帕斯国际集团60多个国家的子公司员工定期面访企业决策人更新数据库内企业信息。中国企业在康帕斯70国子网站上能用25种语言推广，更能找到全球几乎所有主要目标客户信息，获得更多出口机会。

功能

   采集康帕斯上面的某个关键词相关的公司的公司的信息，
   保存为EXCEL文件

演示

数据

   数据样例Kompass_data.rar

设置

   
   您需要修改的四个地方
   并行任务数:这个就是线程数，数值越大，速度越快。最大不要超过20.
   开始页面和采集页数:从第几页开始采集多少页。这个是为了方便客户一个区间一个区间的采集数据。
   关键词汇:默认为led，你可以修改为其他的词汇比如car.

备注

   这个网站有一些反采集保护措施，
   少量数据采集一般不会触发反采集规则，
   大量时间采集可能会触发反采集规则。
   基础的保护有两点：一个是基于COOKIE的保护，一个是基于IP的保护。
   基于COOOKI的保护，软件内部已经处理。
   基于IP的保护，你可以通过分区快采集加上换IP的方式绕过。
   推荐的处理逻辑是
   手工查询你要的关键词，
   然后获得查询结果的数目，
   然后把数目除以20就得到了列表页的个数，
   然后200个列表页一个IP作为一组采集数据。
   每采集200个列表页，采集完后，就手动换一下IP.