python-docx是用于创建可修改微软Word（.docx）的一个Python库。个人觉得平时使用的场景不多，最近在学习自动化办公看到的内容，仅做一些简单的梳理。 python-docx的文档拆解 python-docx将整个文档看做是一个Doc…
在使用 Python 处理分析数据的时候，用的最多的算是 Pandas 时，由于 Pandas 是个非常强大的工具，涉及到的功能非常多，所以平常使用的时候经常需要查询文档。这里记载了自己常用的一些功能及知识点。 Pandas 简介 …
在使用Pandas分析数据时，除了读取文本类数据，如Excel、CSV文件外，还会涉及到数据库的读取。通常的方案是Pandas+SQLAlchemy。 以下内容是记录的一些操作记录，算是备忘。 使用sqlalchemy连接数据库 Engine翻译…
在使用Pandas处理数据时，有时需要多数据进行合并和连接操作，最常用的包括将多个分割的文件进行合并： import pandas as pd import glob file_list = glob.glob('data/*') df_list = [] for file in file_list: …
公司的 Jupyter 环境支持 PySpark。这样就可以非常方便的使用 PySpark 连接到 Hive 查询和使用。由于先前完全没有接触过 Spark，所以整理了一些参考资料。 SparkContext PySpark 里最核心的模块是 SparkContext（…
在日常工作中，除了会涉及到使用Python处理文本文件，有时候还会涉及对压缩文件的处理。 通常会涉及到的压缩文件格式有： rar：Windows环境下用的比较多的压缩，比较著名的GUI工具是winrar tar:Linux系统下的…
Jupyter与IPython的关系 IPython 是个比默认的 Python Shell 好用得多的 Python 交互命令行界面，支持变量自动补全、自动缩进、Bash Shell 命令，还内置了许多很有用的功能和函数。大大提高交互式计算和软件开发的…
Matplotlib简介 MATLAB MATLAB是Matrix&Laboratory两个词的组合，意为矩阵工厂（矩阵实验室）。是由美国Mathworks公司发布的主要面对科学计算、可视化以及交互式程序设计的高科技计算环境。 它将数值分析、…
硬件篇 家里原先的希捷 GoAgent Home 突然不能使用了（后面确认下来机器没有坏，是电源适配器坏了，话说希捷配的电源适配器真的很容易坏掉。），为了保障数据的安全，于是打算购买一台 NAS，对于 NAS 的要求：支持 …
针对高维数据的降维，先前使用的是t-SNE。无意中接触到UMAP，发现还是蛮有啥意思的。整理了一些资料供以后深入研究。 UMAP简介 UMAP，全称 uniform manifold approximation and projection，统一流形逼近与投影，是…
