为什么要换IP采集,怎么换IP

来自JsRobot
跳转至: 导航搜索
    现在的网站的反采集保护大多数是基于IP的。
    基本的判断逻辑是:
    如果某一个IP访问网站的次数在一定时间内超过某一个值,就认为是非法访问,从而拒绝访问。
    
    从这个逻辑,我们可以知道两点:
    1 一个IP在某个访问频次之内是可以看到数据的。
    2 网络的IP,不是所有的IP都是有效的。
    此处的IP是指公网的IP,不是指内网的IP。
    你可以在百度里搜索公网IP,看到你自己的公网IP.

    换IP有许多种方法,路由器换IP,VPN换IP,代理换IP。
    
    最有效的方法是路由器换IP,只要把MODEON断电,重新上电,大多数情况下就会换一个IP。
    这个IP是电信或者移动提供的,很稳定。
    意外情况是:校园网的路由器是无法简单的重置的,某些专线的IP是固定的,重启MODEON也没有用。
    第二有效的是用VPN换IP。
    VPN一般也是比较稳定的。你通过VPN访问别人的服务器的时候,外网IP就是VPN服务器的IP。
    VPN的缺陷就是,许多人都会购买VPN服务器。这就会导致,可能一个VPN的服务器的IP,你还没有用过,就已经被网站标记为恶意访问的IP了。
    第三种有效的方式就是使用代理服务器。
    代理服务器看起来是最理想的。但是其实有许多问题。
    大多数的代理服务器不是高匿的。网站有办法识别你真正的IP。
    大多数的代理服务器都是不是很稳定。现在可以过,可能过一两个小时就不能用了。
    这就导致采集的时候会出现许多出错的页面,处理会变得非常复杂。
    所以综合考虑,采集最好是放在ADSL的后面的机器上。
    http://jingyan.baidu.com/article/4ae03de327a8943eff9e6b0e.html