在日常的工作中，使用较多的是 Presto，原因是它比 Spark 快非常多。当然，使用过程中也会遇到一些问题，其中主要的是一些内置函数与SparkSQL 存在较大的差异。这里对 Presto SQL 一个简单的整理。关于 Presto 的相…
Apache Hive 是一个开源的数据仓库框架，用于查询和分析大数据集存储在 Hadoop 文件系统中。 Hive 提供了一种类 SQL 的查询语言，叫做 HiveQL，它使得熟悉 SQL 的用户可以在 Hive 上查询、汇总和分析数据。同时，…
日常工作很多自动化的任务使用的是 Spark 运行，这里抽时间地 SparkSQL 进行系统的学习。 SparkSQL 与 HiveSQL 的区别 Hive 和 Spark 都是 Apache 的开源框架，而HiveSQL 和 SparkSQL 是这两种框架上运行的 SQL …
在机票搜索中，最关键的三要素通常包括： 出发地和目的地：这是任何机票搜索的基本核心。你需要知道从哪里出发，以及你想要去哪里。 日期：你需要知道出发和返回的日期。这一信息将直接影响航班的可用性和价…
公司记录日志的时候，将请求数据和返回数据以JSON格式存储到了数据库中，为了更高的处理这部分JSON数据，就用到了SparkSQL自带的一些JSON函数。这里做这些函数的方法做了一些整理。 get_json_object(json_txt, pa…
链表简介 链表（LinkedList）是一种基础的数据结构，是由一系列节点（Node）组成的集合。每个节点包括两部分：一部分是数据，另一部分是指向下一个节点的引用（在双向链表中，还有指向前一个节点的引用）。 这是链…
GCC简介 GCC（GNU Compiler Collection）是由 GNU 项目开发的程序语言编译器。原名为 GNU C Compiler（GNU C 编译器），因为最初只能处理 C 语言。GCC 现在已经能支持多种编程语言，包括 C、C++、Objective-C、Fort…
在介绍WebP的时候，我们已经知道了相比JPG和PNG来说，WebP已经兼顾了高呈现质量以及更小的文件体积，可以说已经非常优秀了，然后还是有一群人不满足于此，他们开发出了AVIF这种号称下一代图像压缩格式的玩意。 AVIF…
事务简介 事务的定义 事务（Transaction）在计算和数据库处理中是一个非常重要的概念。事务是一个被数据库管理系统（DBMS）视为一次性、逻辑上的操作单元的操作序列。这个操作序列中包含了对数据库的读、写操作。 …
CAP理论 CAP简介 CAP理论是计算机分布式系统设计中的一个重要理论，由Eric Brewer教授在2000年的ACM会议上首次提出。CAP是Consistency（一致性）、Availability（可用性）、Partition tolerance（分区容忍性）的首…
