标点符(钱魏 Way)

使用Google Analytics跟踪搜索引擎的抓取记录

由于Google Analytics是基于javascript创建的,所以在正常情况下Google Analytics是无法跟踪到搜索引擎蜘蛛的爬行轨迹的。但是通过对google analytics原理的学习,你就可以自己动手去实现跟踪爬虫轨迹。方法和前面的使用Google Analytics跟踪手机站流量类似。很早以前也发表了一篇使用PHP跟踪爬虫轨迹的文章,很简单的代码实现,大家也可以做参考。同样这里的方法也使用PHP实现:

本方法适合使用虚拟主机的朋友,如果您自己有服务器的话建议还是开启服务器日志使用awstats进行分析,英文这样你才能真正的了解蜘蛛,特别是对服务器状态码分析统计。

以上代码参考了一个法文网站,由于代码比较老(2008年的),同时中间的搜索引擎的User-Agent和不太适合中国网站,百度也在近期修改了User-Agent。自己修改了下代码。本代码还未测试,如果发现问题请及时联系。

码字很辛苦,转载请注明来自标点符《使用Google Analytics跟踪搜索引擎的抓取记录》

评论

  1. 小黎的博客 #1

    域名很有特点阿, 博文很专业 ,,来看看

    回复
    2011-06-16