分类: 器→工具

跨平台序列化库FlatBuffers

FlatBuffers简介 FlatBuffers 是由 Google 开发的一种高效的跨平台序列化库,专为需要快速访问序列化数据的应用场景而设计。与传统的序列化格式相比,FlatBuffers 提供了更高的性能,尤其是在游戏开发和实时数据处…

器→工具, 开源项目 ·

二进制序列化库Cap’n Proto

Cap'n Proto简介 Cap'n Proto 是一种高效的二进制序列化库,由 Kenton Varda 开发并开源。它旨在提供比其他序列化格式(如 Protocol Buffers 和 JSON)更高的性能和更低的内存开销。Cap'n Proto 的设计重点在于零…

器→工具, 开源项目 ·

二进制数据序列化格式MessagePack

MessagePack简介 MessagePack 是一种高效的二进制数据序列化格式,旨在提供 JSON 的功能,但具有更紧凑的二进制表示。它被设计为在不同语言之间进行高效的数据交换,同时保持对人类可读格式的透明支持。 核…

器→工具, 开源项目 ·

Google大规模图计算框架Pregel

Pregel简介 Pregel 是由 Google 提出的一个专门用于大规模图计算的分布式系统框架,旨在高效处理超大规模图数据,如社交网络、Web 图、道路网络等。Pregel 的设计受 Google MapReduce 成功经验的启发,但针对图计…

跨语言服务的框架Apache Thrift

Apache Thrift简介 Apache Thrift 是一个用于构建可扩展且跨语言服务的框架。最初由 Facebook 开发,后来成为 Apache 软件基金会的一个项目。Thrift 提供了一种高效的接口定义语言(IDL)和数据序列化机制,使得在…

器→工具, 开源项目 ·

分布式 SQL 查询引擎Apache Drill

Apache Drill简介 Apache Drill 是一个开源的分布式 SQL 查询引擎,设计用于大数据处理和分析。它的目标是为多种数据源提供统一的查询接口,支持对结构化和半结构化数据进行高效的查询和分析。 产生背景 Apa…

器→工具, 开源项目 ·

内存列存数据格式标准Apache Arrow

Apache Arrow 是一个跨语言的开发平台,用于处理和分析大数据。它的主要目标是提高数据分析的速度和效率,尤其是在需要在不同系统或编程语言之间共享数据时。 Apache Arrow简介 产生背景 Apache Arrow 的产…

器→工具, 开源项目 ·

二进制数据格式Apache Avro

Apache Avro简介 Apache Avro 是一种数据序列化系统,广泛用于数据的高效存储与传输,尤其是在大数据处理和分布式系统中。它最初由 Hadoop 项目开发,旨在解决数据序列化时的兼容性、效率和可移植性问题。 Avro…

器→工具, 开源项目 ·

API 的查询语言GraphQL与Graphene

GraphQL简介 GraphQL 是由 Facebook 开发的一种用于构建 API 的查询语言和运行时环境。与传统的 REST API 不同,GraphQL 允许客户端灵活地指定所需的数据结构,从而实现更高效的客户端-服务器交互。 GraphQL …

器→工具, 开源项目 ·

列式存储格式Parquet与ORC

Apache Parquet简介 Apache Parquet 是一种列式存储格式,专为高效处理大规模数据而设计。它最初由 Twitter 和 Cloudera 开发,现在是 Apache 软件基金会的顶级项目。Parquet 的设计目标是优化存储效率和查询性能…

器→工具, 开源项目 ·