分类: 器→工具

二进制序列化库Cap’n Proto

Cap'n Proto简介 Cap'n Proto是一种高效的二进制序列化库,由Kenton Varda开发并开源。它旨在提供比其他序列化格式(如Protocol Buffers和JSON)更高的性能和更低的内存开销。Cap'n Proto的设计重点在于零拷贝访问…

器→工具, 开源项目 ·

二进制数据序列化格式MessagePack

MessagePack简介 MessagePack是一种高效的二进制数据序列化格式,旨在提供JSON的功能,但具有更紧凑的二进制表示。它被设计为在不同语言之间进行高效的数据交换,同时保持对人类可读格式的透明支持。 核心特性 …

器→工具, 开源项目 ·

Google大规模图计算框架Pregel

Pregel简介 Pregel是由 Google 提出的一个专门用于大规模图计算 的分布式系统框架,旨在高效处理超大规模图数据,如社交网络、Web 图、道路网络等。Pregel 的设计受 Google MapReduce 成功经验的启发,但针对图计算…

跨语言服务的框架Apache Thrift

Apache Thrift简介 Apache Thrift是一个用于构建可扩展且跨语言服务的框架。最初由Facebook开发,后来成为Apache软件基金会的一个项目。Thrift提供了一种高效的接口定义语言(IDL)和数据序列化机制,使得在不同编…

器→工具, 开源项目 ·

分布式 SQL 查询引擎Apache Drill

Apache Drill简介 Apache Drill是一个开源的分布式SQL查询引擎,设计用于大数据处理和分析。它的目标是为多种数据源提供统一的查询接口,支持对结构化和半结构化数据进行高效的查询和分析。 产生背景 Apache…

器→工具, 开源项目 ·

内存列存数据格式标准Apache Arrow

Apache Arrow 是一个跨语言的开发平台,用于处理和分析大数据。它的主要目标是提高数据分析的速度和效率,尤其是在需要在不同系统或编程语言之间共享数据时。 Apache Arrow 简介 产生背景 Apache Arrow 的产生背…

器→工具, 开源项目 ·

二进制数据格式Apache Avro

Apache Avro简介 Apache Avro是一种数据序列化系统,广泛用于数据的高效存储与传输,尤其是在大数据处理和分布式系统中。它最初由Hadoop项目开发,旨在解决数据序列化时的兼容性、效率和可移植性问题。 Avro(读音…

器→工具, 开源项目 ·

API 的查询语言GraphQL与Graphene

GraphQL简介 GraphQL是由Facebook开发的一种用于构建API的查询语言和运行时环境。与传统的REST API不同,GraphQL允许客户端灵活地指定所需的数据结构,从而实现更高效的客户端-服务器交互。 GraphQL的核心概念 …

器→工具, 开源项目 ·

列式存储格式Parquet与ORC

Apache Parquet 简介 Apache Parquet 是一种列式存储格式,专为高效处理大规模数据而设计。它最初由 Twitter 和 Cloudera 开发,现在是 Apache 软件基金会的顶级项目。Parquet 的设计目标是优化存储效率和查询性能…

器→工具, 开源项目 ·

免费的在线词典工具

综合性在线词典 谷歌翻译:Google翻译 百度翻译:百度翻译-您的超级翻译伙伴(文本、文档翻译)(baidu.com) 必应翻译:搜索 Microsoft Translator - 从英语翻译(bing.com) DeepL翻译:DeepL翻译:全世界最准确…

器→工具, 工具软件 ·