数据仓库

腾讯数据仓库TDW元数据重构方案

TDW HIVE使用现状 大规模应用场景下HIVE暴露出的问题 HIVE进程内存占用高,GC频繁 元数据接口性
6 sec read

TDW:来自腾讯的开源数据仓库

腾讯分布式数据仓库 ( Tencent distributed Data Warehouse,以下简称TDW)
21 sec read

HadoopDoctor:来自腾讯数据仓库TDW的MR诊断系…

TDW是基于Hadoop生态圈研发的大数据处理平台,MapReduce计算引擎在TDW平台中承担了所有的离线数
27 sec read

Hadoop在腾讯数据仓库TDW的实践

多数据存储格式 1、结构化存储+列存储+压缩 结构化存储 更高的存储和解析效率 提供了一些DB特性(获得表的行
15 sec read

Spark在腾讯数据仓库TDW的应用

为了满足挖掘分析与交互式实时查询的计算需求,腾讯大数据使用了Spark平台来支持挖掘分析类计算、交互式实时查询
1 min read

Protobuf在腾讯数据仓库TDW的使用

protobuf是google提供的一个开源序列化框架,类似于XML、JSON这样的数据表示语言,其最大的特点
40 sec read

大规模Hadoop集群在腾讯数据仓库TDW的实践

随着业务的快速增长,TDW的节点数也在增加,对单个大规模Hadoop集群的需求也越来越强烈。TDW需要做单个大
1 min read

HLLC基数估算算法在腾讯数据仓库TDW中应用

分布式数据仓库(TDW)是一个以hive + hadoop为基础的大规模分布式系统,它提供了一种类SQL语言(
42 sec read

Hive在腾讯数据仓库TDW中的应用

Hive是Apache基金会下的一个在Hadoop上构建数据仓库的开源软件,它支持通过类SQL的HQL语言操作
1 min read

PostgreSQL在腾讯数据仓库TDW的使用

TDW作为一个离线数据分析系统,在处理海量数据方面,通过并行计算,有很好的性能优势。但是腾讯知道,想用一个大而
50 sec read

Kylin:基于Hadoop的开源数据仓库OLAP分析引擎

Kylin是一个开源、分布式的OLAP分析引擎,它由eBay公司开发,并且基于Hadoop提供了SQL接口和O
23 sec read

开源MySQL数据仓库解决方案:Infobright

Infobright是一款基于独特的专利知识网格技术的列式数据库。Infobright是开源的MySQL数据仓
2 min read