线性判别分析（linear discriminant analysis, LDA）一种常用的数据降维方法，目的是在保持分类的前体下把数据投影至低维空间以降低计算复杂度。在学习LDA之前，有必要将其与自然语言处理领域的LDA区别开来，在自然…
主成分分析（Principal components analysis，以下简称PCA）是最重要的降维方法之一。在数据压缩消除冗余和数据噪音消除等领域都有广泛的应用。一般我们提到降维最容易想到的算法就是PCA，下面我们就对PCA的原理做…
在Python中经常使用matplotlib画图，为了让图像显示的更加好看，经常需要对图表点、线形状及颜色进行设置。为了避免遗忘，整理相关的信息。 先来看看matplotlib画图方法的官方说明： from matplotlib import pyplo…
欧几里得距离 在数学中，欧几里得距离或欧几里得度量是欧几里得空间中两点间“普通”（即直线）距离。欧几里得距离有时候有称欧氏距离，在数据分析及挖掘中经常会被使用到，例如聚类或计算相似度。 如果我们将两个…
ElasticSearch除了支持文本检索外，还支持地理信息检索。它主要支持两种类型的地理查询：一种是地理点(geo_point)，即经纬度查询，另一种是地理形状查询(geo_shape)，即支持点、线、圈、多边形查询等。 ElasticSear…
在对数据进行处理前，有事需要判断数据是否呈正态分布，比如线性回归，比如使用3-sigma判断数据是否异常。常用的正态分布检测方法： Shapiro-Wilk test Shapiro-Wilk test是一种在频率上统计检验中检验正态性的方法…
最近在进行关键词的分析，发现在关键词词表中出现了很多乱码及特殊符号（有部分还是SQL注入），为了解决词问题，想着是否可以通过Python来检测符号和乱码字符。在在搜索引擎的帮助下，找到如下解决方案，测试下来效…
Surus 简介 Surus 是 NetFlix 开源的 UDFs，是基于 pig 和 hive 的数据分析工具。Surus 中的功能能够解决多种多样的问题，例如评分预测模型、异常检测与模式匹配等。目前开源的 UDF 功能主要包括两个，包括 ScorePM…
K-Means是一个超级简单的聚类方法，说他简单，主要原因是使用它时只需设置一个K值（设置需要将数据聚成几类）。但问题是，有时候我们拿到的数据根本不知道要分为几类，对于二维的数据，我们还能通过肉眼观察法进行…
