日常工作很多自动化的任务使用的是Spark运行，这里抽时间地Spark SQL进行系统的学习。 Spark SQL 与Hive SQL的区别 Hive和Spark都是Apache的开源框架，而Hive SQL和Spark SQL是这两种框架上运行的SQL引擎。它…
公司的Jupyter环境支持PySpark。这样就可以非常方便的使用PySpark连接到Hive查询和使用。由于先前完全没有接触过Spark，所以整理了一些参考资料。 Spark Context PySpark里最核心的模块是SparkContext（简称sc）,…
