3,360
个编辑
更改
→说明
===处理===
枚举城市列表 枚举城市中的法庭列表 枚举一个法庭发出的文书 提取文书内容，解析字段并保存。==其他使用== [[image:20160125_openlaw_setting.gif]] 采集页数：一个法庭判决的案件有许多件。案件列表页都有许多页。这个参数指定采集多少页。默认设置为1页。 历史去重：是否以前已经采集过的就不予采集。默认为0。 代理清单: 默认设置设置为c:\output\代理清单.txt。该文件内容放代理服务器的信息，每行是一个代理服务器。每行内容是Ip:端口。 如果每天都采集，那么就可以把采集页数设置为1，历史去重设置为1。我们大致可以想象的出，一个法庭一天判决的案件不会特别多。采用这样的设置采集起来是最快的，也是很有效的。 如果一个月采集一次，那么就必须把采集页数设置为一个很大的值。这样就可以确保把所有的案件都采集下来。 如果你只关注某个城市的法庭判决的案件，那么你也可以把任务列表中的内容，修改为某个特定城市的网址。 例如，你要采集“北京”的案件，那么就可以把任务列表中的内容修改为，http://openlaw.cn/justic/court.jsp?zone=%E5%8C%97%E4%BA%AC%E5%B8%82 如果你只关注某个法庭判决的案件，那么你也可以把任务列表中的内容，修改为某个法庭的网址。 例如，你要采集“北京市高级人民法院”的案件，那么就可以把任务列表中的内容修改为,http://openlaw.cn/court/ad0237a686644b33ac48b655a0f5271c 如果你只关注某个特定的案件，那么你可以把任务列表中的内容修改为某个特定案件的网址。 例如，http://openlaw.cn/judgement/c0bfd1189298493c9a57777dc53cfae0 ==说明== 这个网站有几个反采集措施。 一个是网站加密的逻辑。这块采用了某些XSS注入的技术实现了代码加密。常规的访问无法获取内容。这个问题，我们在软件内处理了。 一个是IP保护。如果一个IP访问的页面过多，就会弹出验证码。这个只能采用高匿的代理服务器绕过。 代理服务器必须使用高匿的代理服务器。你可以在网上百度“代理 自助”获得那些卖代理服务器的网站，然后在这些网站上就可以获取代理服务器的IP和端口信息。 代理自助网站提供的代理不一定都是可用的，必须使用工具验证一下，把无法使用的代理服务器剔除掉。 代理服务器的类型必须是高匿的。非高匿类型的代理服务器，都会被网站找到原始的IP。您在代理自助网站上到处代理信息的时候，必须注意这个问题。