日常工作很多自动化的任务使用的是 Spark 运行,这里抽时间地 SparkSQL 进行系统的学习。 SparkSQL 与 HiveSQL 的区别 Hive 和 Spark 都是 Apache 的开源框架,而HiveSQL 和 SparkSQL 是这两种框架上运行的 SQL …
在知识管理过程中,需要给信息进行分类,这看起来是个很简单的工作,实际确超复杂,原因是有些知识点是在难以进行分类。于是网上找了一些方法,供自己思考与完善。 信息分类的要求 构建一个良好分类法的关键要素: …
在机票搜索中,最关键的三要素通常包括: 出发地和目的地:这是任何机票搜索的基本核心。你需要知道从哪里出发,以及你想要去哪里。 日期:你需要知道出发和返回的日期。这一信息将直接影响航班的可用性和价…
公司记录日志的时候,将请求数据和返回数据以JSON格式存储到了数据库中,为了更高的处理这部分JSON数据,就用到了SparkSQL自带的一些JSON函数。这里做这些函数的方法做了一些整理。 get_json_object(json_txt, pa…
链表简介 链表(LinkedList)是一种基础的数据结构,是由一系列节点(Node)组成的集合。每个节点包括两部分:一部分是数据,另一部分是指向下一个节点的引用(在双向链表中,还有指向前一个节点的引用)。 这是链…
make与Makefile简介 代码变成可执行文件,叫做编译(compile);先编译这个,还是先编译那个(即编译的安排),叫做构建(build)。make是最常用的构建工具,诞生于1977年,主要用于C语言的项目。但是实际上,任何…
Visual Studio Code的安装 下载地址:https://code.visualstudio.com/,一路无脑安装即可。 V Studio Code扩展的安装 1、安装下面3个C/C++支持扩展 2、安装Code Runner扩展 然后在设置页面里将"Run Code Configur…
Dev-C++简介 Dev-C++是Windows环境下的轻量级C/C++集成开发环境。遵循C++11标准,同时兼容C++98标准。 Dev-C++ 功能简洁,易于学习和使用,但同时该软件功能不完善,存在一些问题,并且从未在商业级的软件开发中使…
HTTPie简介 HTTPie是一个命令行HTTP客户端。它的目标是使CLI(命令行接口)交互变得更加人性化。它提供了一个简单、直观、自然语言感觉的语法,并且在网络上广为使用。它提供了一个简单的http命令,可以让我们用简…
在C语言中,存储类定义了变量/函数的范围(可见性)和生命周期。这些说明符放在编译器前以理解变量的工作方式。C语言中有以下类型的存储类: 自动(Auto):这是所有局部变量的默认存储类。在函数体、循环体等…