Hive简介 Hive 由 Facebook 实现并开源，是基于 Hadoop 的一个数据仓库工具。可以将结构化的数据映射为一张数据库表并提供 HQL(Hive SQL)查询功能。底层数据是存储在 HDFS 上，Hive的本质是将 SQL 语句转换为 MapR…
Google，作为全球最大的搜索引擎公司，其伟大之处不仅在于建立了一个强大的搜索引擎，还在于它创造了3项革命性的技术，即：GFS、MapReduce 和 BigTable。作为 Google 早期三驾马车，这三项革命性的技术不仅在大数据…
Bigtable是2005年谷歌的论文：《Bigtable: A Distributed Storage System for Structured Data》中介绍的一种分布式存储系统，后来被Hadoop社区实现为HBase。读懂这篇论文，那么理解HBase也就非常容易了。 摘…
GFS系统简介 Google 文件系统（Google File System，缩写为 GFS 或 GoogleFS），一种由 Google 公司开发专有分布式文件系统。 它与传统文件系统的的区别在于： 分布式 - 提供很高的横向扩展性 使用…
GBRank是一种pair-wise的学习排序算法，他是基于回归来解决pair对的先后排序问题。在GBRank中，使用的回归算法是梯度提升数GBT(Gradient Boosting Tree) 算法原理 Learning To Rank需要解决的问题是给定一个Query…
谈到推荐系统，很多人的印象中是“个人性推荐”和“千人千面”。关于“千域千面”应该很少人提及，主要能用到的场景不多，先前有想过在酒店场景上应用，但是由于各种原因最终没有尝试。以下是高德地图在“千域千面”的一些…
在潜在语义分析LSA的文章中对LDA有一些简单的介绍，今天的目标是对LDA进行相对深入的了解，大致搞明白其原理。 LDA简介 在机器学习领域中有2个 LDA： 线性判别分析 (Linear Discriminant Analysis)，主要用…
Learning to Ranking简介 Learning to Rank （LTR）是指一系列基于机器学习的排序算法，最初主要应用于信息检索（Information Retrieval，IR）领域，最典型的是解决搜索引擎对搜索结果的排序问题。除了信息检索以…
什么是潜在语义分析LSA？ 潜在语义分析（Latent Semantic Analysis），是语义学的一个新的分支。传统的语义学通常研究字、词的含义以及词与词之间的关系，如同义，近义，反义等等。潜在语义分析探讨的是隐藏在字词…
什么是信息熵？ 信息是我们一直在谈论的东西，但信息这个概念本身依然比较抽象。在百度百科中的定义：信息，泛指人类社会传播的一切内容，指音讯、消息、通信系统传输和处理的对象。但信息可不可以被量化，怎样量…
