腾讯大数据平台质量保障之道

大数据时代,业界各巨头都在投入重兵打造自己的大数据平台,分析挖掘蕴藏在数据金矿中的价值。在腾讯数据平台部承建了
10 sec read

腾讯数据仓库TDW元数据重构方案

TDW HIVE使用现状 大规模应用场景下HIVE暴露出的问题 HIVE进程内存占用高,GC频繁 元数据接口性
6 sec read

TDW:来自腾讯的开源数据仓库

腾讯分布式数据仓库 ( Tencent distributed Data Warehouse,以下简称TDW)
21 sec read

HadoopDoctor:来自腾讯数据仓库TDW的MR诊断系…

TDW是基于Hadoop生态圈研发的大数据处理平台,MapReduce计算引擎在TDW平台中承担了所有的离线数
27 sec read

Hadoop在腾讯数据仓库TDW的实践

多数据存储格式 1、结构化存储+列存储+压缩 结构化存储 更高的存储和解析效率 提供了一些DB特性(获得表的行
15 sec read

Spark在腾讯数据仓库TDW的应用

为了满足挖掘分析与交互式实时查询的计算需求,腾讯大数据使用了Spark平台来支持挖掘分析类计算、交互式实时查询
1 min read

Protobuf在腾讯数据仓库TDW的使用

protobuf是google提供的一个开源序列化框架,类似于XML、JSON这样的数据表示语言,其最大的特点
41 sec read

大规模Hadoop集群在腾讯数据仓库TDW的实践

随着业务的快速增长,TDW的节点数也在增加,对单个大规模Hadoop集群的需求也越来越强烈。TDW需要做单个大
1 min read

HLLC基数估算算法在腾讯数据仓库TDW中应用

分布式数据仓库(TDW)是一个以hive + hadoop为基础的大规模分布式系统,它提供了一种类SQL语言(
42 sec read

TDDL:来自淘宝的分布式数据层

淘宝根据自身业务需求研发了TDDL(Taobao Distributed Data Layer)框架,主要用于
19 sec read

Hive在腾讯数据仓库TDW中的应用

Hive是Apache基金会下的一个在Hadoop上构建数据仓库的开源软件,它支持通过类SQL的HQL语言操作
1 min read

Cobar:基于MySQL的分布式数据库服务中间件

Cobar是阿里巴巴研发的关系型数据的分布式处理系统,是提供关系型数据库(MySQL)分布式服务的中间件,该产
22 sec read