Google搜索引擎蜘蛛等级

Written by 标点符 on 2009年09月13日 in 搜索优化

这里要说的是Google蜘蛛的等级，而不是Google蜘蛛的种类，对于Google蜘蛛的种类有网页搜索的，图片搜索的等，。。这里主要说的是网页搜素引擎的等级。 1号蜘蛛 Google超级服务器每天放出的大量蜘蛛称为1号蜘蛛，其抓取速度非常快，并将采集到的信息分

搜索引擎蜘蛛抓取页面的原理

搜索引擎蜘蛛抓取页面的原理

Written by 标点符 on 2009年09月12日 in 搜索优化

搜索引擎蜘蛛（Spider），又叫机器人（robots），每个主流的搜索引擎都有自己的搜索引擎蜘蛛，如：Googlebot（Google蜘蛛）、baiduspider（百度蜘蛛）、Yahoo Slurp（Yahoo蜘蛛）、Msnbot（必应蜘蛛）。蜘蛛(Web spider)是指“自动化浏览网络”的程序，用来抓取网页的一

PHP版记录蜘蛛爬行历史

Written by 标点符 on 2009年08月2日 in PHP

<? function get_naps_bot() { $useragent = strtolower($_SERVER['HTTP_USER_AGENT']); if (strpos($useragent, 'googlebot') !== false){ return 'Google'; } if (strpos($useragent, 'baiduspider') !== false){ return 'Baidu'; } if (strpos($useragent, 'msnbot') !== false){ return 'Bing'; } if (strpos($useragent, 'slurp') !== fa