Kedro简介 Kedro是一个开源的Python框架,用于构建可重用、可扩展和可维护的数据科学项目。由QuantumBlack(隶属于麦肯锡公司)开发,Kedro的设计理念是将软件工程的最佳实践应用于数据科学和机器学习项目中。 …
现在再写这篇文章感觉有些不合时宜,目前,貌似很少人再讨论大数据,也很少人再讨论Hadoop。整理这篇文章,是为了探寻最新的技术方向。 新技术替代的组件 Hadoop技术栈的许多组件已经被功能更强、性能更高的新技术…
Flyte简介 Flyte是一个开源的平台,专注于构建和管理可扩展、可重现的数据和机器学习工作流。由Lyft开发并贡献给开源社区,Flyte提供了一套全面的工具和框架,帮助开发者和数据科学家高效地构建、测试和运行数据管…
DuckDB简介 DuckDB是一个开源的嵌入式在线分析处理(OLAP)数据库管理系统,专为快速分析查询而设计。它被称为“SQLite for Analytics”,因为它的设计目标是提供类似于SQLite的嵌入式数据库体验,专注于分析工作负载…
Kylin简介 Apache Kylin是一个开源的分布式分析型数据仓库,专门用于大规模数据集的实时分析。它最初由eBay开发,并于2015年成为Apache软件基金会的顶级项目。Kylin通过提供SQL接口和多维分析(OLAP)功能,使用户…
Hue简介 Hue(Hadoop User Experience)是一个开源的Web界面应用,旨在为使用Apache Hadoop生态系统的用户提供一个友好的用户界面。它集成了多种Hadoop组件,简化了大数据操作和管理,使用户能够更容易地进行数据分…
Mesos简介 Apache Mesos是一个开源的分布式系统内核,它提供了有效的资源管理和容错机制,旨在构建大型、分布式的计算系统。 基本概述 Apache Mesos最初由加州大学伯克利分校的AMPLab开发,并于2013年成为Apac…
ZooKeeper简介 Apache ZooKeeper是一个开源的分布式协调服务,广泛用于分布式系统中以解决配置管理、命名服务、分布式同步和集群管理等问题。它提供了一种简单而强大的机制来实现这些功能,从而简化分布式应用程序…
什么是微服务? 微服务(Microservices)是一种软件架构风格,将一个应用程序划分为一组小型的、独立运行的服务。每个服务都专注于完成一种特定的功能,可以独立开发、部署和扩展。这种架构与传统的单体应用(Monol…
Druid简介 Apache Druid是一个开源的分布式实时分析数据库,专为高性能的OLAP(在线分析处理)查询而设计。Druid的设计目标是提供低延迟的数据摄取、快速的查询响应和高效的数据聚合能力,使其非常适合于需要实时数…