更改

==摘要简介==

==需求功能==

==功能演示=====输入=== http [[image://cnkompass_use.kompass.com 参数设置出的关键词汇设置为led ===输出===*数据文件 数据文件.csv*字段列表 来源,公司名,地址,网址,负责人,职位,电话,员工数目*数据样例 以“http://cn.kompass.com/c/深圳市亮点领先科技有限公司/cn225671/”为例 http://cn.kompass.com/c/深圳市亮点领先科技有限公司/cn225671/,深圳市亮点领先科技有限公司,广东省深圳市龙岗区龙城街道君悦龙庭6栋201 Shenzhen 518172 中国大陆,http://www.ondenn.com,张军辉,总经理,+86 755 84502264,760===处理===模拟打开某个关键词的搜索页面<br>解析是搜索结果的分页<br>解析每个分页中的公司信息的网址<br>解析公司信息网页的公司信息内容<br>gif]]

[[image:20160116_compass_setting.gif]]<br> 您需要修改的四个地方<br> 并行任务数:这个就是线程数，数值越大，速度越快。最大不要超过20.<br> 开始页面和采集页数:从第几页开始采集多少页。这个是为了方便客户一个区间一个区间的采集数据。<br> 关键词汇:默认为led，你可以修改为其他的词汇比如car.<br>

这个网站有一些反采集保护措施。<br> 这个网站有一些反采集保护措施， 少量数据采集一般不会触发反采集规则， 大量时间采集可能会触发反采集规则。 基础的保护有两点：一个是基于COOKIE的保护，一个是基于IP的保护。<br> 基于COOOKI的保护，软件内部已经处理。<br> 基于IP的保护，你可以通过分区快采集加上换IP的方式绕过。<br> 推荐的处理逻辑是 手工查询你要的关键词， 然后获得查询结果的数目， 然后把数目除以20就得到了列表页的个数， 然后200个列表页一个IP作为一组采集数据。 每采集200个列表页，采集完后，就手动换一下IP. ==其他==