Apache Livy简介 Apache Livy 是一个开源的 REST 服务，旨在简化与 Apache Spark 集群的交互。它为 Spark 提供了一种轻量级的接口，允许用户通过 REST API 提交作业、管理 Spark 会话和执行交互式查询。Livy 的出…
Kyuubi简介 Kyuubi 是一个开源的多租户、大规模数据分析引擎服务，基于 Apache Spark 构建，旨在提供高效、易用和安全的 SQL-on-Spark 解决方案。它的设计目标是通过提供一个统一的接口来简化大数据分析的使用，使…
日常工作很多自动化的任务使用的是Spark运行，这里抽时间地Spark SQL进行系统的学习。 Spark SQL 与Hive SQL的区别 Hive和Spark都是Apache的开源框架，而Hive SQL和Spark SQL是这两种框架上运行的SQL引擎。它…
公司的Jupyter环境支持PySpark。这样就可以非常方便的使用PySpark连接到Hive查询和使用。由于先前完全没有接触过Spark，所以整理了一些参考资料。 Spark Context PySpark里最核心的模块是SparkContext（简称sc）,…
