使用Google Analytics跟踪搜索引擎的抓取记录

3 sec read

由于Google Analytics是基于javascript创建的,所以在正常情况下Google Analytics是无法跟踪到搜索引擎蜘蛛的爬行轨迹的。但是通过对google analytics原理的学习,你就可以自己动手去实现跟踪爬虫轨迹。方法和前面的使用Google Analytics跟踪手机站流量类似。很早以前也发表了一篇使用PHP跟踪爬虫轨迹的文章,很简单的代码实现,大家也可以做参考。同样这里的方法也使用PHP实现:

本方法适合使用虚拟主机的朋友,如果您自己有服务器的话建议还是开启服务器日志使用awstats进行分析,英文这样你才能真正的了解蜘蛛,特别是对服务器状态码分析统计。

以上代码参考了一个法文网站,由于代码比较老(2008年的),同时中间的搜索引擎的User-Agent和不太适合中国网站,百度也在近期修改了User-Agent。自己修改了下代码。本代码还未测试,如果发现问题请及时联系。

打赏作者
微信支付标点符 wechat qrcode
支付宝标点符 alipay qrcode

情感分析之卷积神经网络(TextCNN)

在“卷积神经网络”中我们探究了如何使用二维卷积神经网络来处理二维图像数据。在之前的语言模型和文本分类任务中,我
标点符
1 min read

深入理解卷积神经网络(CNN)

卷积神经网络简介 传统的BP神经网络与DNN(深度神经网络)不同层神经元的连接方式是“全连接”,也就是这一次层
标点符
1 min read

情感分析之多层全连接神经网络

全连接神经网络 全连接神经网络是一种最基本的神经网络结构,英文为Full Connection,所以一般简称F
标点符
3 min read

One Reply to “使用Google Analytics跟踪搜索引擎的抓取记录”

发表评论

电子邮件地址不会被公开。 必填项已用*标注