使用Google Analytics跟踪搜索引擎的抓取记录

由于Google Analytics是基于javascript创建的,所以在正常情况下Google Analytics是无法跟踪到搜索引擎蜘蛛的爬行轨迹的。但是通过对google analytics原理的学习,你就可以自己动手去实现跟踪爬虫轨迹。方法和前面的使用Google Analytics跟踪手机站流量类似。很早以前也发表了一篇使用PHP跟踪爬虫轨迹的文章,很简单的代码实现,大家也可以做参考。同样这里的方法也使用PHP实现:

本方法适合使用虚拟主机的朋友,如果您自己有服务器的话建议还是开启服务器日志使用awstats进行分析,英文这样你才能真正的了解蜘蛛,特别是对服务器状态码分析统计。

以上代码参考了一个法文网站,由于代码比较老(2008年的),同时中间的搜索引擎的User-Agent和不太适合中国网站,百度也在近期修改了User-Agent。自己修改了下代码。本代码还未测试,如果发现问题请及时联系。

微信支付标点符 wechat qrcode
支付宝标点符 alipay qrcode

异常检测包PyCuliarity的使用

时间序列异常检测算法梳理的文章中介绍了Twitter的异常检测工具AnomalyDetection。另外也讲到

Netflix异常检测工具Surus初探

Surus简介 Surus是NetFlix开源的UDFs,是基于pig和hive的数据分析工具。Surus中的

Python异常检测包:PyOD

PyOD简介 异常检测(anomaly detection),也叫异常分析(outlier analysis或

One Reply to “使用Google Analytics跟踪搜索引擎的抓取记录”

发表评论

电子邮件地址不会被公开。 必填项已用*标注