相似度计算之杰卡德相似度

30 sec read

Jaccard index, 又称为Jaccard相似系数(Jaccard similarity coefficient)用于比较有限样本集之间的相似性与差异性。Jaccard系数值越大,样本相似度越高。

杰卡德相似系数

两个集合A和B交集元素的个数在A、B并集中所占的比例,称为这两个集合的杰卡德系数,用符号 J(A,B) 表示。杰卡德相似系数是衡量两个集合相似度的一种指标(余弦距离也可以用来衡量两个集合的相似度)。

    \[J(A,B)=\frac{|A\cap B|}{|A\cup B|}\]

Python实现:

另外sklearn中也有相关实现,但是要求数据进行过encode处理,而且两个数组的长度也必须一样。

杰卡德距离

杰卡德距离(Jaccard Distance) 是用来衡量两个集合差异性的一种指标,它是杰卡德相似系数的补集,被定义为1减去Jaccard相似系数。

    \[J_{\delta} =1-J(A,B)=\frac{|A\cup B|-|A\cap B|}{|A\cup B|}\]

杰卡德距离用两个集合中不同元素占所有元素的比例来衡量两个集合的区分度。

杰卡德系数扩展:Tanimoto系数

Tanimoto系数由Jaccard系数扩展而来,又称为广义Jaccard相似系数,计算方式如下:

    \[E_j(A,B)=\frac{A\cdot B}{||A||^2+||B||^2-A\cdot B}\]

其中A、B分别表示为两个向量,集合中每个元素表示为向量中的一个维度,在每个维度上,取值通常是[0, 1]之间的值(如果取值是二值向量0或1,那么Tanimoto系数就等同Jaccard距离),A\cdot B表示向量乘积,||A||^2表示向量的模,即 ||A||^2 = \sqrt{\sum_{i=1}^{n}{A_i^2}}

Tanimoto系数容易与余弦相似度混淆在Tanimoto系数计算公式中,如果把分母的A\cdot B去掉,并将||A||^2+||B||^2替换为(||A||^2)*(||B||^2),就转成了余弦相似度(cosine similarity)。

    \[similarity=cos(\theta )=\frac{A\cdot B}{||A||^2\times ||B||^2}=\frac{\sum_{i=1}^{n}{A_i\times B_i}}{\sqrt{\sum_{i=1}^{n}{(A_i)^2}}\times \sqrt{\sum_{i=1}^{n}{(B_i)^2}}}\]

Tanimoto系数Python实现:

参考资料:

打赏作者
微信支付标点符 wechat qrcode
支付宝标点符 alipay qrcode

使用 Scikit-learn 的进行 KNN 分类

最近邻(KNN)是一种非常简单、易于理解、通用性强的机器学习算法,广泛应用于金融、医疗、政治、手写检测、图像识
1 min read

K-近邻算法KNN学习笔记

什么是K-近邻算法? K近邻法(k-nearest neighbor, k-NN)是1967年由Cover T
2 min read

使用Prophet进行时间序列预测

Prophet是Facebook开源的预测工具,相比ARIMA模型,Prophet真的是非常的简单。只要读入两
1 min read

2 Replies to “相似度计算之杰卡德相似度”

  1. 如果取值是二值向量0或1,那么Tanimoto系数就等同Jaccard距离。我觉得这个地方是错误的。比如:A[0,1,0,1],B[1,0,1,1].那么jaccard系数为1/4,jaccard距离为1-1/4=3/4。tanimoto系数为1/2+3-1=1/4.是不相等的,欢迎讨论。

发表评论

电子邮件地址不会被公开。 必填项已用*标注