数据采集有哪些限制条件
来自JsRobot
无法看到的数据无法采集
采集的本质是模拟人类操作的行为的一个工具。 采集的第一条限制条件就是,必须是网页上您自己可以看到的数据。 不是你自己的网站的后台数据,是无法采集的。
适合采集大量数据,不适合少量数据
对于人类来说,在网页上收集数据的工作就是“打开网页,然后获取数据”的工作。 数据少的时候,人力是可以处理的。当数据多的时候,人力就无法处理了,必须用工具。 这个计算的方法就是看你自己的人工。 如果一个人处理的时间不超过1天的工作,是不需要使用工具的。
看到的数据是什么,采集出来就是什么
有些网站是隐藏了部分展示信息的。即使登陆也看不到。 阿里店家里的买家信息中有*号,采集下来也是星号。 有些网站是对免费账号隐藏部分展示信息,对VIP账号是开放的。 这类信息必须有VIP账号才能采集。