数据湖

现代数据架构Open Data Lake (ODL)

OpenDataLake简介 OpenDataLake是一种数据存储和管理架构,旨在以一种开放、灵活和可扩展的方式处理大量的多结构化数据。数据湖的概念是将数据以原始格式存储,以便在需要时进行分析和处理。OpenDataLake的开放性通常指…

数据 ·
2 0 563

数据版本管理工具LakeFS

LakeFS简介 LakeFS是一个开源的数据湖管理平台,旨在为数据湖提供类似于Git的版本控制和管理功能。它允许用户对数据湖中的数据进行版本化、分支和合并操作,从而提升数据管理的灵活性和可控性。LakeFS支持在大规模数据集上进行原子操作…

器→工具 ·
0 0 536

开源数据湖存储系统Delta Lake

DeltaLake 简介 DeltaLake 是一个开源的存储层,构建在 Apache Spark 之上,旨在实现可靠的、可扩展的、高性能的数据湖。它通过引入 ACID 事务、版本控制和 schema 演化等功能,解决了传统数据湖的一些固有…

器→工具 ·
0 0 895

数据湖存储系统Paimon

Paimon简介 Apache Paimon是一个面向大数据生态系统的高性能数据湖存储系统。它最初是由Flink社区开发的,旨在为大数据处理提供高效的存储解决方案。 Apache Paimon(以前称为Flink Table Store)是…

器→工具 ·
2 0 1