所有文章

推荐算法之矩阵分解

矩阵分解简介 推荐领域的人一般都会听说过十年前 Netflix Prize 的比赛,随着Netflix Prize推荐比赛的成功举办,近年来隐语义模型(Latent Factor MOdel,LFM)受到越来越多的关注。隐语义模型最早在文本挖掘领域…

CTR预估模型FM、FFM、DeepFM

点击率(click-through rate, CTR) 是点击特定链接的用户与查看页面,电子邮件或广告的总用户数量之比。它通常用于衡量某个网站的在线广告活动是否成功,以及电子邮件活动的有效性,是互联网公司进行流量分配的核心…

空间索引之Uber H3

网格系统(Grid System)对于分析海量空间数据集,将地球空间划分为可识别的网格单元(cell)至关重要。H3是由Uber开源的一个六边形分层索引网格系统,也是最近几年实现数据聚合的主要趋势,在H3出现之前大部分情况采用…

数据, 术→技巧 ·

空间索引之GeoHash

Geohash简介 Geohash是一种地址编码,它能把二维的经纬度编码成一维的字符串。比如,北海公园的编码是wx4g0ec1。 Geohash有以下几个特点: Geohash用一个字符串表示经度和纬度两个坐标。在数据存储时可以…

数据, 术→技巧 ·

数据可视化之直方图

直方图简介 在统计学中,直方图(英语:Histogram)是一种对数据分布情况的图形表示,是一种二维统计图表,它的两个坐标分别是统计样本和该样本对应的某个属性的度量,以长条图(bar)的形式具体表现。因为直方图…

数据, 术→技巧 ·

知乎话题结构数据库设计

先前一直在研究好的树形结构的数据存储方案,也分析了关系数据库中各种树形结构数据的设计。但是仔细分析下来离自己想要实现的树形结构的数据还是有一些差距。前端时间看了下知乎的树形的话题结构,发现目前知乎的…

术→技巧, 研发 ·

MySQL 高性能存储引擎TokuDB

在安装MariaDB的时候了解到代替InnoDB的TokuDB,看简介非常的棒,这里对ToduDB做一个初步的整理,使用后再做更多的分享。 什么是TokuDB? 在MySQL最流行的支持全事务的引擎为INNODB。其特点是数据本身是用B-TREE…

术→技巧, 研发 ·

树形结构数据数据库存储方案

在程序开发中,我们常遇到用树型结构来表示某些数据间的关系,如企业的组织架构、商品的分类、操作栏目等,目前的关系型数据库都是以二维表的形式记录存储数据,而树型结构的数据如需存入二维表就必须进行Schema设…

术→技巧, 研发 ·

Pandas读取与导出Excel、CSV文件

在使用Pandas处理数据时,常见的读取数据的方式时从Excel或CSV文件中获取,另外有时也会需要将处理完的数据输出为Excel或CSV文件。今天就一起来学习下Pandas常见的文件读取与导出的方法。 加载Excel文件 在Pa…

数据, 术→技巧 ·

如何理解数据库的Schema模式

在学习数据库时,会遇到一个让人迷糊的Schema的概念。实际上,schema就是数据库对象的集合,这个集合包含了各种对象如:表、视图、存储过程、索引等。 如果把database看作是一个仓库,仓库很多房间(schema),…

术→技巧, 研发 ·