所有文章

Presto SQL体系化学习

在日常的工作中,使用较多的是Presto,原因是它比Spark快非常多。当然,使用过程中也会遇到一些问题,其中主要的是一些内置函数与Spark SQL存在较大的差异。这里对Presto SQL一个简单的整理。关于Presto的相关内容…

Hive SQL系统化学习

Apache Hive是一个开源的数据仓库框架,用于查询和分析大数据集存储在Hadoop文件系统中。 Hive 提供了一种类 SQL 的查询语言,叫做 HiveQL,它使得熟悉 SQL 的用户可以在 Hive 上查询、汇总和分析数据。同时,还…

数据, 术→技巧 ·

Obsidian使用之Markdown

Markdown简介 Markdown是一种轻量级标记语言,它允许人们使用易读易写的纯文本格式编写文档,然后转换成有效的HTML,或者其他格式的文件。Markdown也可以理解为将以MARKDOWN语言编写的语言转换成HTML内容的工具,…

器→工具, 工具软件 ·

Spark SQL 系统化学习

日常工作很多自动化的任务使用的是Spark运行,这里抽时间地Spark SQL进行系统的学习。 Spark SQL 与Hive SQL的区别 Hive和Spark都是Apache的开源框架,而Hive SQL和Spark SQL是这两种框架上运行的SQL引擎。它…

数据, 术→技巧 ·

知识管理中的信息分类

在知识管理过程中,需要给信息进行分类,这看起来是个很简单的工作,实际确超复杂,原因是有些知识点是在难以进行分类。于是网上找了一些方法,供自己思考与完善。 信息分类的要求 构建一个良好分类法的关键要素…

志→目标, 自我提升 ·

机票搜索中的OD信息

在机票搜索中,最关键的三要素通常包括: 出发地和目的地:这是任何机票搜索的基本核心。你需要知道从哪里出发,以及你想要去哪里。 日期:你需要知道出发和返回的日期。这一信息将直接影响航班的可用性和…

产品, 术→技巧 ·

Spark SQL JSON数据的解析

公司记录日志的时候,将请求数据和返回数据以JSON格式存储到了数据库中,为了更高的处理这部分JSON数据,就用到了Spark SQL自带的一些JSON函数。这里做这些函数的方法做了一些整理。 get_json_object(json_txt…

术→技巧, 研发 ·

数据结构之链表

链表简介 链表(Linked List)是一种基础的数据结构,是由一系列节点(Node)组成的集合。每个节点包括两部分:一部分是数据,另一部分是指向下一个节点的引用(在双向链表中,还有指向前一个节点的引用)。 这…

术→技巧, 研发 ·

编译工具make与Makefile

make与Makefile简介 代码变成可执行文件,叫做编译(compile);先编译这个,还是先编译那个(即编译的安排),叫做构建(build)。make是最常用的构建工具,诞生于1977年,主要用于C语言的项目。但是实际上 ,任…

器→工具, 工具软件 ·

Visual Studio Code配置C语言环境

Visual Studio Code的安装 下载地址:https://code.visualstudio.com/,一路无脑安装即可。 VStudio Code扩展的安装 1、安装下面3个C/C++支持扩展 2、安装Code Runner扩展 然后在设置页面里将“Run…

器→工具, 工具软件 ·