相似度计算之杰卡德相似度

29 sec read

Jaccard index, 又称为Jaccard相似系数(Jaccard similarity coefficient)用于比较有限样本集之间的相似性与差异性。Jaccard系数值越大,样本相似度越高。

杰卡德相似系数

两个集合A和B交集元素的个数在A、B并集中所占的比例,称为这两个集合的杰卡德系数,用符号 J(A,B) 表示。杰卡德相似系数是衡量两个集合相似度的一种指标(余弦距离也可以用来衡量两个集合的相似度)。

    \[J(A,B)=\frac{|A\cap B|}{|A\cup B|}\]

Python实现:

另外sklearn中也有相关实现,但是要求数据进行过encode处理,而且两个数组的长度也必须一样。

杰卡德距离

杰卡德距离(Jaccard Distance) 是用来衡量两个集合差异性的一种指标,它是杰卡德相似系数的补集,被定义为1减去Jaccard相似系数。

    \[J_{\delta} =1-J(A,B)=\frac{|A\cup B|-|A\cap B|}{|A\cup B|}\]

杰卡德距离用两个集合中不同元素占所有元素的比例来衡量两个集合的区分度。

杰卡德系数扩展:Tanimoto系数

Tanimoto系数由Jaccard系数扩展而来,又称为广义Jaccard相似系数,计算方式如下:

    \[E_j(A,B)=\frac{A\cdot B}{||A||^2+||B||^2-A\cdot B}\]

其中A、B分别表示为两个向量,集合中每个元素表示为向量中的一个维度,在每个维度上,取值通常是[0, 1]之间的值(如果取值是二值向量0或1,那么Tanimoto系数就等同Jaccard距离),A\cdot B表示向量乘积,||A||^2表示向量的模,即 ||A||^2 = \sqrt{\sum_{i=1}^{n}{A_i^2}}

Tanimoto系数容易与余弦相似度混淆在Tanimoto系数计算公式中,如果把分母的A\cdot B去掉,并将||A||^2+||B||^2替换为(||A||^2)*(||B||^2),就转成了余弦相似度(cosine similarity)。

    \[similarity=cos(\theta )=\frac{A\cdot B}{||A||^2\times ||B||^2}=\frac{\sum_{i=1}^{n}{A_i\times B_i}}{\sqrt{\sum_{i=1}^{n}{(A_i)^2}}\times \sqrt{\sum_{i=1}^{n}{(B_i)^2}}}\]

Tanimoto系数Python实现:

参考资料:

打赏作者
微信支付标点符 wechat qrcode
支付宝标点符 alipay qrcode

贝塞尔曲线学习笔记

什么是贝塞尔曲线 贝塞尔曲线的数学基础是早在 1912 年就广为人知的伯恩斯坦多项式。但直到 1959 年,当
46 sec read

KNN算法实战:验证码的识别

识别验证码的方式很多,如tesseract、SVM等。前面的几篇文章介绍了KNN算法,今天主要学习的是如何使用
3 min read

阿里实时计算Blink核心技术

实时计算in阿里巴巴 实时计算在阿里巴巴内部应用广泛。随着新经济体的出现与发展,技术的革新和用户需求的提升,人
1 min read

2 Replies to “相似度计算之杰卡德相似度”

  1. 如果取值是二值向量0或1,那么Tanimoto系数就等同Jaccard距离。我觉得这个地方是错误的。比如:A[0,1,0,1],B[1,0,1,1].那么jaccard系数为1/4,jaccard距离为1-1/4=3/4。tanimoto系数为1/2+3-1=1/4.是不相等的,欢迎讨论。

发表评论

电子邮件地址不会被公开。 必填项已用*标注