相似度计算之杰卡德相似度

Jaccard index, 又称为Jaccard相似系数(Jaccard similarity coefficient)用于比较有限样本集之间的相似性与差异性。Jaccard系数值越大,样本相似度越高。

杰卡德相似系数

两个集合A和B交集元素的个数在A、B并集中所占的比例,称为这两个集合的杰卡德系数,用符号 J(A,B) 表示。杰卡德相似系数是衡量两个集合相似度的一种指标(余弦距离也可以用来衡量两个集合的相似度)。

$$J(A,B)=\frac{|A\cap B|}{|A\cup B|}$$

Python实现:

另外sklearn中也有相关实现,但是要求数据进行过encode处理,而且两个数组的长度也必须一样。

杰卡德距离

杰卡德距离(Jaccard Distance) 是用来衡量两个集合差异性的一种指标,它是杰卡德相似系数的补集,被定义为1减去Jaccard相似系数。

$$J_{\delta} =1-J(A,B)=\frac{|A\cup B|-|A\cap B|}{|A\cup B|}$$

杰卡德距离用两个集合中不同元素占所有元素的比例来衡量两个集合的区分度。

杰卡德系数扩展:Tanimoto系数

Tanimoto系数由Jaccard系数扩展而来,又称为广义Jaccard相似系数,计算方式如下:

$$E_j(A,B)=\frac{A\cdot B}{||A||^2+||B||^2-A\cdot B}$$

其中A、B分别表示为两个向量,集合中每个元素表示为向量中的一个维度,在每个维度上,取值通常是[0, 1]之间的值(如果取值是二值向量0或1,那么Tanimoto系数就等同Jaccard距离),$A\cdot B$表示向量乘积,$||A||^2$表示向量的模,即 $||A||^2 = \sqrt{\sum_{i=1}^{n}{A_i^2}}$

Tanimoto系数容易与余弦相似度混淆在Tanimoto系数计算公式中,如果把分母的$A\cdot B$去掉,并将$||A||^2+||B||^2$替换为$(||A||^2)*(||B||^2)$,就转成了余弦相似度(cosine similarity)。

$$similarity=cos(\theta )=\frac{A\cdot B}{||A||^2\times ||B||^2}=\frac{\sum_{i=1}^{n}{A_i\times B_i}}{\sqrt{\sum_{i=1}^{n}{(A_i)^2}}\times \sqrt{\sum_{i=1}^{n}{(B_i)^2}}}$$

Tanimoto系数Python实现:

参考资料:

微信支付标点符 wechat qrcode
支付宝标点符 alipay qrcode

异常检测包PyCuliarity的使用

时间序列异常检测算法梳理的文章中介绍了Twitter的异常检测工具AnomalyDetection。另外也讲到

Netflix异常检测工具Surus初探

Surus简介 Surus是NetFlix开源的UDFs,是基于pig和hive的数据分析工具。Surus中的

Python异常检测包:PyOD

PyOD简介 异常检测(anomaly detection),也叫异常分析(outlier analysis或

3 Replies to “相似度计算之杰卡德相似度”

  1. 如果取值是二值向量0或1,那么Tanimoto系数就等同Jaccard距离。我觉得这个地方是错误的。比如:A[0,1,0,1],B[1,0,1,1].那么jaccard系数为1/4,jaccard距离为1-1/4=3/4。tanimoto系数为1/2+3-1=1/4.是不相等的,欢迎讨论。

发表评论

电子邮件地址不会被公开。 必填项已用*标注