在使用Pandas处理数据时，有时需要多数据进行合并和连接操作，最常用的包括将多个分割的文件进行合并： import pandas as pd import glob file_list = glob.glob('data/*') df_list = [] for file in file_l…
公司的Jupyter环境支持PySpark。这样就可以非常方便的使用PySpark连接到Hive查询和使用。由于先前完全没有接触过Spark，所以整理了一些参考资料。 Spark Context PySpark里最核心的模块是SparkContext（简称sc）,…
在日常工作中，除了会涉及到使用Python处理文本文件，有时候还会涉及对压缩文件的处理。 通常会涉及到的压缩文件格式有： rar：Windows 环境下用的比较多的压缩，比较著名的GUI工具是winrar tar: Li…
Python中可以使用两种类型的循环：for循环和while循环。您可以将它们用于重复任务。因此，重复性任务将自动发生，使流程更加高效。不幸的是，您的循环可能会遇到一些问题。有时，您的程序可能会遇到问题，需要它跳…
LaTeX简介 LaTeX 是一个强大的排版工具，一般场景很少会接触，但是在数学领域却用的非常的多，主要原因是他可以非常方便的生成各种数学公式。想要学会怎么使用LaTeX只需学会几个简单的概念即可。 显示模式 …
在自然语言的处理中语义分析中，除了需要拆解字形外，字音有时也能表示含义。另外，在搭建搜索引擎时在搜索词query分析是也会的用到汉字转拼音或拼音转汉字的场景。 Python已经有很多包支持类似的功能，整理…
Jupyter与IPython的关系 IPython是个比默认的Python Shell好用得多的Python交互命令行界面，支持变量自动补全、自动缩进、Bash Shell命令，还内置了许多很有用的功能和函数。大大提高交互式计算和软件开发的生产率…
汉字是记录汉语的文字。汉字对发展中华民族的优秀文化起了重大的作用。汉字是世界上最古老的文字之一。汉字以象形字为基础，形、音、义、结合于一体，成为独特的方块形的表意体系的文字。 汉字的特点： …
Matplotlib简介 MATLAB MATLAB是Matrix & Laboratory两个词的组合，意为矩阵工厂（矩阵实验室）。是由美国 Mathworks公司发布的主要面对科学计算、可视化以及交互式程序设计的高科技计算环境。 它将数…
硬件篇 家里原先的希捷GoAgent Home突然不能使用了（后面确认下来机器没有坏，是电源适配器坏了，话说希捷配的电源适配器真的很容易坏掉。），为了保障数据的安全，于是打算购买一台NAS，对于NAS的要求：支持Raid1…
