分类: 开源项目

分布式内存计算平台Apache Ignite

Apache Ignite简介 Apache Ignite是一个分布式数据库、内存缓存和计算平台,旨在提供高性能、高可用性和可扩展性的实时数据处理能力。它可以在内存中存储和处理数据,从而显著提高数据访问速度和计算效率。 产生…

器→工具, 开源项目 ·

并行计算框架Apache Hama

Apache Hama简介 Apache Hama是一个开源的分布式计算框架,主要用于大规模图处理和机器学习任务。它最初是作为Apache软件基金会的一个项目,旨在提供一种高效的计算模型,能够处理大规模的数据集。 核心特点 Bu…

器→工具, 开源项目 ·

跨平台序列化库FlatBuffers

FlatBuffers简介 FlatBuffers是由Google开发的一种高效的跨平台序列化库,专为需要快速访问序列化数据的应用场景而设计。与传统的序列化格式相比,FlatBuffers提供了更高的性能,尤其是在游戏开发和实时数据处理等…

器→工具, 开源项目 ·

二进制序列化库Cap’n Proto

Cap'n Proto简介 Cap'n Proto是一种高效的二进制序列化库,由Kenton Varda开发并开源。它旨在提供比其他序列化格式(如Protocol Buffers和JSON)更高的性能和更低的内存开销。Cap'n Proto的设计重点在于零拷贝访问…

器→工具, 开源项目 ·

二进制数据序列化格式MessagePack

MessagePack简介 MessagePack是一种高效的二进制数据序列化格式,旨在提供JSON的功能,但具有更紧凑的二进制表示。它被设计为在不同语言之间进行高效的数据交换,同时保持对人类可读格式的透明支持。 核心特性 …

器→工具, 开源项目 ·

跨语言服务的框架Apache Thrift

Apache Thrift简介 Apache Thrift是一个用于构建可扩展且跨语言服务的框架。最初由Facebook开发,后来成为Apache软件基金会的一个项目。Thrift提供了一种高效的接口定义语言(IDL)和数据序列化机制,使得在不同编…

器→工具, 开源项目 ·

分布式 SQL 查询引擎Apache Drill

Apache Drill简介 Apache Drill是一个开源的分布式SQL查询引擎,设计用于大数据处理和分析。它的目标是为多种数据源提供统一的查询接口,支持对结构化和半结构化数据进行高效的查询和分析。 产生背景 Apache…

器→工具, 开源项目 ·

内存列存数据格式标准Apache Arrow

Apache Arrow 是一个跨语言的开发平台,用于处理和分析大数据。它的主要目标是提高数据分析的速度和效率,尤其是在需要在不同系统或编程语言之间共享数据时。 Apache Arrow 简介 产生背景 Apache Arrow 的产生背…

器→工具, 开源项目 ·

二进制数据格式Apache Avro

Apache Avro简介 Apache Avro是一种数据序列化系统,广泛用于数据的高效存储与传输,尤其是在大数据处理和分布式系统中。它最初由Hadoop项目开发,旨在解决数据序列化时的兼容性、效率和可移植性问题。 Avro(读音…

器→工具, 开源项目 ·

API 的查询语言GraphQL与Graphene

GraphQL简介 GraphQL是由Facebook开发的一种用于构建API的查询语言和运行时环境。与传统的REST API不同,GraphQL允许客户端灵活地指定所需的数据结构,从而实现更高效的客户端-服务器交互。 GraphQL的核心概念 …

器→工具, 开源项目 ·