“采集项目定价的方法”的版本间的差异

2016年1月21日 (四) 17:58的版本

概述

     采集项目的定价是与许多因素有关的。
     我们一般建议客户找一个最小的数据要求来采集。
     这样可以在开发成本和您要解决的问题之间找到一个合适的平衡。

因素

涉及的典型页面的个数

    客户需求的数据往往是一个网站的部分数据。
    这些数据一定是在一些网页上面的。
    我们需要客户提供这些页面的典型页面。
    同类页面只必须提供一个样例。
    有具体的网址和截图说明。
    人工区分不同类型的页面是比较容易的，就是看你网页的布局是不是一样的。
    就好比说，医院的和自己家的摆设一定是不一样。
    不同功能的网页往往页面布局也是不一样的。
    不同功能的网页的网址也往往是不一样的。
    我们需要针对不同的页面类型写不一样的处理代码。
    也就是说典型页面的数目与我们我们动作量是直接相关的。

手动操作网页的步数

    软件只是把人类重复操作的事情变成自动化了。
    所以写软件的前提条件就是要知道人工是怎么操作的。
    往往人工操作的步骤越多，就意味着软件里需要处理的逻辑越复杂。
    逻辑越复杂，往往就意味着开发成本越高的。

涉及的网页的数目

    少量数据的采集往往是很简单的，大量数据的采集就是一个很复杂的问题了。
    采集是否需要支持去重？重复的数据不采集，是可以加快采集速度的。
    采集后的数据有什么后续处理？比如导入数据库之类的工作。
    少量的数据，我们这边都可以代为采集。
    大量的数据，采集的时间可能很长。这个采集成本就无法忽略不计的。
    大量采集的时候，很容易触发网站的反采集保护机制。数据少的时候，可以不予考虑。数据多的时候，处理反采集对抗机制就是必须的。

有没有IP保护机制

    别人把一个网站搭建到服务器上，是要给网络运营商付费的，一般都是按照流量计费。
    比如一个G是多少MONDEY。
    当采集器大量采集一个网站的数据的时候，实际上网站方式要多付出许多MONEY的。
    为了避免网站的企业浪费钱，大的网站一般都会有IP保护机制。
    基础的规则就是，如果一个网站发现某个IP的访问网页的流量过大，就认为是非法访问，从而禁止访问。
    有许多换IP的方法来绕过IP访问检测，比如路由器切换、VPN切换、代理服务器切换等等。
    但是每种方法都引入了新的复杂性。怎么换IP，换IP过程中会不会出错，出错了怎么容错？
    这些事情都会给开发带来新的开发工作量，也就意味着更多的钱。

有没有帐号保护机制

项目加急的情况

结论

备注