开源Spark REST 服务Apache Livy
Apache Livy 简介 Apache Livy 是一个开源的 REST 服务，旨在简化与 Apache Spark 集群的交互。它为 Spark 提供了一种轻量级的接口，允许用户通过 REST API 提交作业、管理 Spark 会话…
spark
基于Spark的开源分析引擎Kyuubi
Kyuubi简介 Kyuubi是一个开源的多租户、大规模数据分析引擎服务，基于Apache Spark构建，旨在提供高效、易用和安全的SQL-on-Spark解决方案。它的设计目标是通过提供一个统一的接口来简化大数据分析的使用，使用户能够通…
Spark SQL 系统化学习
日常工作很多自动化的任务使用的是 Spark 运行，这里抽时间地 SparkSQL 进行系统的学习。 SparkSQL 与 HiveSQL 的区别 Hive 和 Spark 都是 Apache 的开源框架，而HiveSQL 和 SparkS…
Jpuyter中使用PySpark连接Hive
公司的 Jupyter 环境支持 PySpark。这样就可以非常方便的使用 PySpark 连接到 Hive 查询和使用。由于先前完全没有接触过 Spark，所以整理了一些参考资料。 SparkContext PySpark 里最核心的模块…
