网络上越来越多的站长在使用采集系统进行网站采集。如何应对这样的采集成为一个很棘手的问题。先前写过一篇怎样防止网站被采集的的文章,但是中间提到的方法感觉不是非常的适用。 正常的搜索引擎抓取页面可以使用robots.txt来进行屏蔽,比如万恶的
最近公司一些独有的数据被竞争对手采集了。想了想有没有可以防止被采集的方法。自己想了下发现这个问题很难解决,下面是我自己想到的。 通过cookies防采集(这个没有,采集都是先获取cookies再执行采集的) 屏蔽IP(这个首先要获取对方的IP,执行起