Piwik的数据库结构图

上图（点击可查看大图）Piwik的数据库结构按照简洁、效率和模块化进行设计。其数据库包含以下部分

• Statistics logger（统计记录）
• Users & Permissions（用户和权限）
• Site（网站）
• Archived data（存档数据）
• Debug / Info log（调试/信息记录）
• SQL query profiling（SQL查询分析）

Statistics logger

统计记录部分包含统计到的用户访问日志，这些数据一些来自于Javascript的标记，一些包逊于Cookie，一些有PHP获取。每个单独的访问者在Cookie中标记了一个唯一的visitor_idcookie。在数据库表log_visit中记录了用户的每一次“visit”。例如一个访问者在一天内访问网站两次（中间相隔30分钟），log_visit中就会有两条该用户的记录。

在一次访问中，一个访问者至少会浏览一个页面，我们称每浏览一个页面为一个“action”,每个action都会被定义一个名称（”homepage”, “/blog/hello-world”）和类型（一个定义行为种类的整数）。所有的单独“action”都被储存在表log_action中。

每个用户新的action都被记录到表log_link_visit_action中，其中包含了idaction和idvisit。同时这个表还包含idaction_ref 和time_spent_ref_action 字段，用来记录用户的上一次action。当我们请求第二个页面，程序将从cookie中读取上一个页面的idaction ，并作为action_ref保存，并记录中间的时间time_spent_ref_action.使用这个技术是因为我们不需要去更新上一条记录的时间：我们只需要记录当前上层页面的信息。

Users & Permissions

一个用户被定义为login, password, email 和一个用于请求API的token_auth。对于一个网站一个用户会有不同的access级别(浏览、管理、没有权限或是超级管理员。

Site

一个网站被定义为idsite和 main_url，main_url 是用来指向 site_url，所以它可以有很多的url。

Archived data

存档在piwik中是一段时间的数据聚合。它是由日志处理后得到的有具体含义的数据。

archive_* 表中的每行数据包含一个网站给定的日期/时间段的数据。例如，提条记录idsite = 3的这个网站在2008年2月7日的这周访问网站用户的国家列表。

Piwik的存档中总共有两种不同的数据类型的表：float和blob

• archive_numeric_* 表是用来储存数值的。改字段值value使用的是FLOAT类型，即他可以保存整型和浮点数。比如储存给定时间点网站的访问者数。
• archive_blob_* 表用来储存出数字以外的其他任何数据。BLOB是二进制数据类型，可以用来任何数据，比如字符串、字符串转化的序列数组、序列化的对象等。例如用来储存用户在一定时间段内所有的关键词。

事实上两个表都有相同的结构，除了value 字段的类型不同。他们同时包含以下字段：

• idarchive 用来定义单独的存档。对于一个特殊的网站在一个特殊的时期内（特定的日期）会是相同的idarchive. 换句话说如果(idsite,period,date1,date2)相同，则idarchive 相同且为主键。
• name 是用来记录值value 的描述。例如你想储存不同关键词的数量，比较恰当的name 可以是’Referers_distinctKeywords’
• idsite 是记录所属的网站
• date1 和 date2 使记录的起始日期和结束日期，如果记录的是一天的数据则date1 = date2.
• period 用来定义周期的类型有: day / week / month / year.
• ts_archived 是存档创建的时间戳。这个对确认存档是否还是有效很很大的帮助。比如今天的存档将会有效1小时或1分钟，这个取决于cache lifetime value的值。
• value 包含name描述的数据

存档表里的每条记录都是由存档处理类进行自动处理的，其中存档处理有多个类：记录管理的是Piwik_ArchiveProcessing_Record_Manager，数值记录的Piwik_ArchiveProcessing_Record_Numeric，
blob记录的是Piwik_ArchiveProcessing_Record_Blob和字符串blob记录的Piwik_ArchiveProcessing_Record_Blob_Array。

存档的逻辑可以在Piwik_ArchiveProcessing类中找到，按日存档可以从Piwik_ArchiveProcessing_Day类中找到，按时间点的存档可以从Piwik_ArchiveProcessing_Period类中找到。需要注意的是大多数实时处理的存档都是通过插件来执行特殊的事件。

加载存档（或加载处理中的存档）是使用Piwik_Archive类完成的。

从性能上考虑，表按月划分。这就意味着每个月新标就会创建，所以数据会被有规律的划分。如果值使用一张表来储存所有数据，它将变的非常的巨大且查询起来非常的缓慢。数据表划分由Piwik_TablePartitioning类进行处理，按月划分的由Piwik_TablePartitioning_Monthly类完成。

我们使用不同的表结构（FLOAT 和 BLOB）,因为它可以非常快速的查询整型/浮点数值。SQL查询会因为数据表非常的轻量(light)而非常的快（并且archive_numeric_* 的每行有固定的长度）。比如我们可以快速的查询最近30天的访客数。

Debug / Info log

表logger_error, logger_message, logger_api_call 和 logger_exception 是用来记录各种各样信息的。

• logger_error 是用来记录错误信息。message 中包含line, php file errfile, backtrace。等。
• logger_message 是用来记录所有的调试和系统信息的。
• logger_api_call 是用来记录所有的API请求的。他会记录所有的请求参数(parameter_values)和返回的值(returned_value)、执行时间（execution_time）和请求地址的IP地址（caller_ip）等。这个信息又来使API请求更加的具体，当返回的值（returned_value）不正确的时候用于调试，监测API接口 的使用情况等。
• logger_exception 是用来记录所有的异常的。

而整体的逻辑控制是由Piwik_Log来完成的。

SQL query profiling

表log_profiling是用来储存SQL查询的概要信息的。

其他

注意：所有的时间戳都是由PHP生成的，而不是使用Mysql自带的NOW(), CURRENT_DATE()等函数。这是用来确保系统使用不同时间的服务器上的MySQL正常的运行。程序不是基于MySQL服务器的时间的。

未来的改进与优化

整个系统目前还存在很多性能改进的空间。比如，我们可以从以下几个方面进行改进。

• 按日期划分log_* 表（和archive_* 采用相同的处理方式）
• 审核大数据量下存档数据的SQL查询。
• 审核所有的索引策略。
• 为了避免大量的jions连接(log_visit, log_link_visit_action)，我们可以通过复制(idsite, visit_server_date)字段使数据表非规范化。

如需了解更多的Piwik的原理和逻辑，请持续关注标点符。

参考文章：http://piwik.org/docs/plugins/database-schema/

Related posts:

1. 数据仓库的源数据类型
2. 《Smarty PHP Template Programming and Applications》PDF电子书
3. 《WordPress 2.7 Complete》PDF下载

我们看一下crawler一般会遇到什么样的问题吧：

1. 抓取的网页量很大
2. 网页更新量也很大，一般的网站，比如新闻，电子商务网站，页面基本是实时更新的
3. 大部分的网页都是动态的，多媒体，或者封闭的（需要登录才能查看）

海量网页的存在就意味着在一定时间之内，抓取只能的抓取其中的一部分，因此需要定义清楚抓取的优先级；网页更新的频繁，也就意味着需要抓取最新的网页和保证链接的有效性，因此一个更有可能带来新网页的列表页显得尤为重要；对于新闻网站，新的网站一般出现在首页，或者在指定的分类网页，但是对于淘宝来说，商品的更新就很难估计了；动态网页怎么办呢？现在的网页大都有JS和AJAX，抓取已经不是简单的执行wget下载，现代的网页结构需要我们的爬虫更加智能，需要更灵活的应对网页的各种情况。

因此，对一个通用的爬虫个，我们要定义

1. 抓取策略，那些网页是我们需要去下载的，那些是无需下载的，那些网页是我们优先下载的，定义清楚之后，能节省很多无谓的爬取
2. 更新策略，监控列表页来发现新的页面；定期check页面是否过期等等
3. 抽取策略，我们应该如何的从网页中抽取我们想要的内容，不仅仅包含最终的目标内容，还有下一步要抓取的url
4. 抓取频率，我们需要合理的去下载一个网站，却又不失效率

抓取策略

使用URL的正则特征是一个简单但却很高效的模式；对于定向抓取，一般的网站的URL有一定的特征，比如可能仅仅关心 .html, .htm, .asp, .aspx, .php, .jsp, .jspx类型的网页；或者是如果可以得到目标网站的正则，则可以大大的降低抓取的数量；又或者我们无需关心某一类网页，比如我们不抓取bbs.taobao.com下面的内容；仅仅需要抓取淘宝的商品页面（http://item.taobao.com/item.htm?id=\d+ ）。通过URL的正则能极大的降低抓取数量；

也可以通过网页的文本特征来确定；不过要复杂得多了，一般需要一定数量已知页面的训练集合，然后提取页面的文本特征，然后通过向量空间模型或者其其他基于主题词提取的模型计算目标网页和训练集网页的距离，决定是否是目标网页。

更新策略

Freshness：表示抓取到的网页是否已经被修改

Age：表示抓取的网页过期的时间

对于更新来说，目标是让平均age时间越小，freshness越高；一般的更新策略有两种：定期批量更新和按更新周期更新；定期批量更新指对一批URL，按照失效时间定期去刷新，按周期更新指的是按照页面更新变化频率而修正是更新频率，一般来说，更新越频繁的网页更新也就越快。

抽取策略：

XPATH是一个简单直观，但是很有效的一个方案，XPATH能精准的定位网页的任意一个位置，意味着我们可以很精准的抽取页面上的任意位置，当面临很多网站的时候，当然配置XPATH就是一个很艰巨的任务，也许存在一个自适应的XPATH识别的方法。

JS和AJAX

在java下面，HtmlUnit是一个不错的解决方案，HtmlUnit是Junit 的扩展测试框架之一，该框架模拟浏览器的行为，开发者可以使用其提供的API对页面的元素进行操作，套用官方网站的话HtmlUnit“是Java程序的浏览器”。HtmlUnit支持HTTP，HTTPS，COOKIE，表单的POST和GET方法，能够对HTML文档进行包装，页面的各种元素都可以被当作对象进行调用，另外对JavaScript的支持也比较好。一般来说，HtmlUnit是在java环境下解决JS的很好的选择

WebKit包含一个网页引擎WebCore和一个脚本引擎JavaScriptCore，它们分别对应的是KDE的KHTML和KJS；目前比较主流的浏览器Google Chrome和Apple的safari，都是基于WebKit的内核写的。使用浏览器作为抓取能更好的模拟用户浏览的行为，能够天然的解决JS和AJAX等问题，问题可能就是性能是一个瓶颈。

抓取频率

同时开启N个线程抓取一个网站，相信很快就会被对方网站封掉；因此抓取的频率也很重要；抓取网站同时不对对方网站造成压力；在robot.txt协议里面定义Crawl-delay来确定抓取的频率也是一种网站的通用的做法，对于一般的抓取而言，10到20秒抓取一次是一个比较保险的频率，也有提出10*t的抓取间隔（t是download时间）比较合理

定向抓取的框架

通用抓取架构，如下图

多线程下载模块（Multi-threaded downloader）

该模块一般包含：

1. 下载模块，下载网页，并应对一些web的一些错误，包括redirect等等
2. DNS解析模块，网页数量很多的时候，我们需要一个本地的DNS解析模块来维护domain到IP的映射
3. 链接抽取模块，抽取下一步要抓取的链接（follow link）

调度模块（schedule）

调度模块是抓取系统的核心，调度模块从url队列里面选择一批url喂到下载模块下载；其中会涉及到

1. url调度，调度模块按照一定的策略，选取url进入抓取系统
2. url除重，一定时期之内已经抓取的网页，不再抓取

原始文章：http://www.searchtb.com/2011/01/an-introduction-to-crawler.html

Related posts:

1. 电子商务中的SPU及SKU学习
2. 淘宝站内搜索的优化
3. 网络电视 网络电影 网络电台 合集

仔细检查了一遍，发现问题出在了评论模块上，仔细检查了模板的代码，发现不是模板问题。网上查询了下，发现还是由很多人与我遇到相同的问题。下面是我梳理的解决方案，期望对那些和我有同样问题的朋友有所帮助。

解决方案一：

修改WordPress后台设置，将评论翻页功能去掉，此方案有一点不好就是如果你的博客非常的受欢迎，博客上有大量的评论，那么最好不要这么做。因为如果不翻页，你的博客文章打开会非常非常的慢。

方法很简单，将上图中红框标出的部分勾选去掉就可以了。

解决方案二：

修改.htaccess进行页面重定向，主要问题： 百度对301跳转的反应很慢。

具体的RewriteRule可以使用下面两种方式的一种：

#仅重定向第一页

RewriteRule ^(.*)/comment-page-1/ $1/ [R=301,L]

#将所有评论页都重定向（个人建议使用这种哈）

RewriteRule ^.*/comment-page-.* $1/ [R=301,L]

解决方案三：

禁止robots爬起，修改robots.txt文件，在robots.txt添加中添加 Disallow:*/comment-page-1。此方法不是很好，因为一旦用户点击，还是会出现404页面。

解决方案四：

修改WordPress源文件，暂时还没研究出来，等研究出来再做补充。

Related posts:

1. 百度站长俱乐部301跳转相关问题
2. ISAPI Rewrite 3 ,IIS服务器URL重写模块
3. SEO问题之重复内容如何解决

• 增加可读性及让读者通过URL就能知道文章内容
• 是链接对搜索引擎更加友好，起到SEO的作用
• 让文章更加容易存档或分类

在设置永久链接前，最好先阅读下优秀的URL不会改变。永久链接之所以叫做永久链接，因为他不应该在后期再做改变，你需要在搭建WordPress的时候就将URL确定下来。

目前大多数的WordPress主要使用以下三种链接

1. domain.com/?p=123
2. domain.com/category-name/post-name/
3. domain.com/2012/12/21/post-name

上面的那些URL并不是完美的，大都存在着这样那样的缺陷。

#1 第一种链接非常的短，且不使用任何重写。但是相比这样的链接（domain.com/hot-girls-naked）你更愿意点击哪个呢？

#2 当你的某一篇文章属于多个分类时，你无法选择到底显示哪个分类名称，除此之外，URL最后的”/”并不是一个真实的目录

#3 一个非常好的示范，但是中间的日期是否是真的有意义？

再来看看我博客的URL：http://www.biaodianfu.com/wordpress-url-design.html

我比较喜欢这样简单的URL，虽然后面的.html是多余的（为了在服务器上生成静态的html文件而添加的），但是这样的URL是完全取决于文章内容，如果文章内容改变了，那么URL是不能跟着改变的。且相同的主题需要想另外一个URL。

另外在WordPress中尼可以使用任何后缀名来结束URL，比如domain.com/omg.orz 这样的URL。

具体的URL应该怎么选择全凭自己喜好，写这篇文章唯一的目的就是期望你在建立WordPress前想好你的URL结构。

以下为WordPress永久链接中可以使用的参数：

%year% %monthnum% %day% %hour%  %minute% %second% 日志发表时间中年、月、日、时、分、秒

%postname% 这里的日志名称并不是日志的标题，而是可以单独进行设置的日志名称字段

%post_id% 日志在数据库中的记录ID

%category%日志所属分类，当日志含有多个分类时显示ID最好的分类

%author% 日志作者

相关链接：http://codex.wordpress.org/Using_Permalinks

Related posts:

1. 《Building a WordPress Blog People Want to Read》PDF下载
2. 百度站长俱乐部重复页面相关问题
3. 百度site指令查收录的问题汇总

互联网世界里的WordPress

在Alexa排名前100万的网站里，有22.5%使用CMS发布内容。在这22.5%中：

• WordPress用户占55.3%
• Joomla用户占10.8%
• Drupal用户占6.3%
• Blogger用户占2.7%

剩下的是其它知名度相对较低的CMS系统。

WordPress用户统计

截止2010年9月，全球有超过2700万用户使用WordPress发布信息，这其中1390万人使用wordpress.com博客，1380万人安装来自WordPress.org的WordPress软件。（以上数字仅是对托管在WordPress.com上所有博客的统计。）

WordPress版本

在所有WordPress用户中，有42.9%使用WordPress 3.x版本，57%的用户仍然在使用2.x版本。此外，居然还有0.1%的用户在使用1.x版本，这是怎样的一种精神？

WordPress涉及的语言

WordPress博客涉及120多种语言。在WordPress博客上使用最多的前五种语言是：英语（66%）、西班牙语（8.7%）、葡萄牙语（6.5%）、印度尼西亚语（3.5%）、意大利语（2%）。然后依次是德语、土耳其语、法语、俄罗斯语、越南语、瑞典语。

看来WordPress在中国互联网上表现还不算出色。

WordPress的每日用户活动量

平均每天新增WordPress文章35万篇、评论40万条

WordPress相关数据

截止2010年11月，WordPress 3.0下载次数达23211650次，现有插件12000余款，主题1285余个。

（与10月相比，可以看出明显的数据变化。）

WordPress在Google 1000强网站里的表现

在Google评出的互联网上被访问次数最多的1000个网站里，2010年9月WordPress.com的独立访客达9600万人次，页面访问量11亿次。

在这1000个网站里，WordPress.com排名第15位，博客服务类网站第一位。

原文出处：http://www.wordpress.la/wordress-situation.html

Related posts:

1. 《Building a WordPress Blog People Want to Read》PDF下载
2. WordPress永久链接(URL)的设计
3. 《How To Be A Rockstar WordPress Designer》

wp_links

wp_options

wp_postmeta

wp_posts

wp_term_relationships

wp_term_taxonomy

wp_terms

wp_usermeta

wp_users

Related posts:

1. 百度竞价排名系统数据字典
2. WEB日志格式及分析工具
3. Google蜘蛛UA及IP

1.对Wordpress的文件进行修改，需要修改的文件为：wp-includes/formatting.php

找到文件中的以下代码

// static strings
$curl = str_replace($static_characters, $static_replacements, $curl);
// regular expressions
$curl = preg_replace($dynamic_characters, $dynamic_replacements, $curl);

将上面两句替换代码注释掉：

// static strings
// $curl = str_replace($static_characters, $static_replacements, $curl);
// regular expressions
// $curl = preg_replace($dynamic_characters, $dynamic_replacements, $curl);

其实修改起来非常简单。

2.使用牛人制作的插件，插件的使用方法就不在这里说了

插件地址：http://sparanoid.com/tag/quotmarks-replacer/

文章是转载的，因为不知道原始作者是谁，所以没有原文出错，但是还是非常感谢原始作者及将此方法传播的所有Blogger。

Related posts:

1. 解压缩软件
2. Google是如何确定网站上的关键词的
3. Goo.gl PHP API

下面给你介绍的是一些开源的微博客程序，拥有这些程序可以让你自己也创建一个私人的微博客网站。

一、国内的

1.Pagecookery：http://www.pagecookery.com/

2.easyTalk：http://www.9italk.com/

3.nowwhere：http://code.google.com/p/project-nowhere/

二、国外的

1.asaph：http://www.phoboslab.org/projects/asaph

2.gelato：http://gelatocms.com/

3.Laconica：http://laconi.ca/trac/

4.openmicroblogger：http://openmicroblogger.org/

5.Chyrp：http://chyrp.net/

收费的微博客系统

1.Revou：http://www.revou.com/

2.x10 Micro Blogging Community：http://www.x10media.com/micro-blog-script

Related posts:

1. Javascript模板引擎分享
2. 社会化媒体推广资源
3. 一些最新的谷歌排名规则

WordPress的Ping List 可以通过后台里的“设置（Option）”——“撰写（Writing）”——“更新服务（Update Services）”来修改Ping清单。

我网上搜索了下发现现在的很多Ping List 都是由老外整理的，其中很多地址对中文博客来说基本没什么用。

下面是我对WordPress 的Ping List 做了一些整理，这些地址主要是针对中文博客。

http://ping.baidu.com/cgi-bin/blog

http://blogsearch.google.com/ping/RPC2

http://api.my.yahoo.com/RPC2

http://blog.iask.com/RPC2

http://www.feedsky.com/api/RPC2

http://www.zhuaxia.com/rpc/server.php

http://www.xianguo.com/xmlrpc/ping.php

http://rpc.weblogs.com/RPC2

http://rpc.blogrolling.com/pinger/

http://rpc.pingomatic.com/

http://ping.weblogalot.com/rpc.php

http://ping.syndic8.com/xmlrpc.php

http://ping.weblogalot.com/rpc.php

http://api.moreover.com/RPC2

http://bblog.com/ping.php

Related posts:

1. 网站提交入口总结
2. sitemap.xml的提交方法
3. 《Google API大全》图书推荐

User-agent: Googlebot
# disallow all files ending with these extensions
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Sitemap: http://www.biaodianfu.com/sitemap.xml
Sitemap: http://www.biaodianfu.com/sitemap.xml.gz

Related posts:

1. 对汽车之家的分析【SEO每周一站】
2. 百度遵守的蜘蛛访问协议
3. SEO之sitemap.xml