使用Scikit-Learn提取文本特征
文本分析是机器学习算法的主要应用领域。由于大部分机器学习算法只能接收固定长度的数值型矩阵特征，导致文本字符串等并不能直接被使用，针对此问题 Scikit-Learn 提供了将文本转化为数值型特征的方法，今天就一起来学习下。 Scikit-L…
数据
SQL 日期/时间处理函数
在数据统计分析中，经常会遇到需要对时间进行格式转化或其他层面的内容。由于每种数据库自带的相关函数存在一定的差异，所以经常会记不得如何使用。今天做下简单的梳理。 在开始学习日期/时间函数先，先来了解下数据库中常见的日期/时间存储格式： Uni…
NLP实战：用户点评印象抽取
最近在做点评做分析，主要目的是为了提取用户对点评的整体印象。类似的实现应该已经有很多了，于是从网上的开源代码中借鉴了思路。主要使用思路为：词性标注+正则提取。 词性标准，主要选择的是斯坦福的NLP工具。原因是词性标注集相对更加细致。但是也存…
Python因子分解库：fastFM
FastFM 简介 FastFM 的主要特点是将是将因子分解 封装成 scikit-learn API 接口，核心代码使用 C 编写，性能有一定的保障。 fastFM 主要提供了回归、分类、排序三种问题的解决方法。其中对于优化器，有als，…
Python推荐系统库：Surprise
Surprise简介 Surprise（Simple Python Recommendation System Engine）是一款推荐系统库，是scikit系列中的一个。surprise设计时考虑到以下目的： 让用户完美控制他们的实验。为…
腾讯视频实时推荐系统实践
[LATEXPAGE] 前面我们学习了腾讯Item-based CF实时推荐算法，这篇文章延续同样来自腾讯，介绍的是腾讯实时视频推荐系统的实践。内容来自论文： Real-time Video Recommendation Explorati…
腾讯Item-based CF实时推荐算法
[LATEXPAGE] 以下内容主要翻译自2015年腾讯发表的论文 TencentRec: Real-time Stream Recommendation in Practice。对于推荐的搭建还是非常有借鉴意义。 简介 传统的推荐系统通过…
SciPy稀疏矩阵模块scipy.sparse
稀疏矩阵是指矩阵中的元素大部分是0的矩阵，事实上，实际问题中大规模矩阵基本上都是稀疏矩阵，很多稀疏度在90%甚至99%以上。因此我们需要有高效的稀疏矩阵存储格式。本文总结几种典型的格式：COO,CSR,DIA,ELL,HYB。并用scipy…
PMML，JAVA调用Python算法模型
公司大部分应用的使用的是JAVA开发，要想使用Python模型非常困难，网上搜索了下，可以先将生成的模型转换为PMML文件后即可在JAVA中直接调用。 PMML简介 模型预测标记语言（Predictive Model Markup Lang…
短文本匹配实战：重复POI识别
项目需求 去除从地图网站抓取的POI数据中的重复数据。示例数据如下： 思考逻辑 POI去重问题，并非简单的文本匹配，按照编辑距离去做，可能会走到沟里去。 不同地方有相同名字的POI点，如： 行政管理中心 人民桥 中央公园 … 解决方案：通过…
