使用Google Analytics跟踪搜索引擎的抓取记录

3 sec read

由于Google Analytics是基于javascript创建的,所以在正常情况下Google Analytics是无法跟踪到搜索引擎蜘蛛的爬行轨迹的。但是通过对google analytics原理的学习,你就可以自己动手去实现跟踪爬虫轨迹。方法和前面的使用Google Analytics跟踪手机站流量类似。很早以前也发表了一篇使用PHP跟踪爬虫轨迹的文章,很简单的代码实现,大家也可以做参考。同样这里的方法也使用PHP实现:

本方法适合使用虚拟主机的朋友,如果您自己有服务器的话建议还是开启服务器日志使用awstats进行分析,英文这样你才能真正的了解蜘蛛,特别是对服务器状态码分析统计。

以上代码参考了一个法文网站,由于代码比较老(2008年的),同时中间的搜索引擎的User-Agent和不太适合中国网站,百度也在近期修改了User-Agent。自己修改了下代码。本代码还未测试,如果发现问题请及时联系。

打赏作者
微信支付标点符 wechat qrcode
支付宝标点符 alipay qrcode

使用implicit搭建实时推荐系统

Implicit简介 Implicit是一个开源的系统过滤项目,其包含多种流行的推荐算法,主要应用场景是针对隐
1 min read

Windows安装PostgreSQL/MongoDB问题

PostgreSQL 相较于MySQL(MariDB)我更喜欢PostgreSQL,最近在Windows安装的
43 sec read

TensorFlow学习笔记:特征工程

特征工程是机器学习流程中重要的一个环节,即使是通常用来做端到端学习的深度学习模型在训练之前也免不了要做一些特征
5 min read

One Reply to “使用Google Analytics跟踪搜索引擎的抓取记录”

发表评论

电子邮件地址不会被公开。 必填项已用*标注