赶集网招商保险投资信息采集
简介
赶集网站的数据是很有价值的,而且这个网站数据非常多。 为了方便的查看数据,我们写了一个提取数据的工具。
功能
采集目标 http://cd.ganji.com/zhaoshangjiameng/ http://cd.ganji.com/danbaobaoxian/ http://cd.ganji.com/touzi/ 赶集网的3个版块 1、投资加盟; 2、担保保险; 3、投资。 采集字段:网址,城市,标题,公司名称,联系人,联系电话 赶集网有反采集措施,必须换ip采集,需要提前准备一台秒换Ip的vpm拨号服务器 输出数据
使用说明
点击生成城市列表,会生成一个[城市列表.csv]文件,有城市列表网址。点击查看数据,打开一个最近的时间目录。 点击默认处理,修改参数,把城市列表网址复制到任务列表里,一行一个,回车换行。运行软件即可。 开始页数=1 (从第1页开始采) 结束页数=2 (采集到第2页) 表示一个页码范围:1-2 采集完毕后,点击查看数据,打开一个最近的时间目录即可。 如果采集速度慢,可以点击修改设置,采集速度 修改为2-20之间就可以。
演示
数据
数据样例:Ganjizhaoshang.rar
备注
采集有三个必要条件: 采集前先生成城市列表 采集前把城市网址复制到任务列表 采集时要换ip采集,需要一条秒换ip的vps服务器