所有文章

读《般若波罗蜜多心经》

《般若波罗蜜多心经》是大乘佛教表达空性和般若波罗蜜观点的经典,又称《摩诃般若波罗蜜多心经》,简称《般若心经》、《心经》。其中以玄奘法师汉译本流通最广,共260字。 般若波罗蜜多心,按梵语语法是“持业释”…

哲学, 道→理念 ·

数据分析该知道的IP地址知识

第一次接触到IP,还是在十多年前使用统计系统时,当时的统计系统中有个指标是IP地址。即记录每天有多少不同的IP访问您的网站,在后来是自己搭建统计系统时涉及到对IP地址省份、城市、区域的解析。最近在推进风控项…

数据, 术→技巧 ·

纯真IP数据库的解析与读取

纯真IP库是民间自发收集、提交、聚合而来的数据库,囊括了国内外的大量IP数据。它的官网提供了记录提交和纠错的功能,管理员在统一整合后每5天更新一次。纯真IP库是完全免费的,它的官网上有在线查询功能,同时也可…

数据, 术→技巧 ·

Pandas数据处理简明教程

在使用 Python 处理分析数据的时候,用的最多的算是 Pandas 时,由于 Pandas 是个非常强大的工具,涉及到的功能非常多,所以平常使用的时候经常需要查询文档。这里记载了自己常用的一些功能及知识点。 Pandas 简介 …

Pandas+SQLAlchemy与数据库交互

在使用Pandas分析数据时,除了读取文本类数据,如Excel、CSV文件外,还会涉及到数据库的读取。通常的方案是Pandas+SQLAlchemy。 以下内容是记录的一些操作记录,算是备忘。 使用sqlalchemy连接数据库 Engine翻译…

Pandas中DataFrame的合并与连接

在使用Pandas处理数据时,有时需要多数据进行合并和连接操作,最常用的包括将多个分割的文件进行合并: import pandas as pd import glob file_list = glob.glob('data/*') df_list = [] for file in file_list: …

决策树可视化方法与技巧

决策树相对其他算法有一个优点是可以对决策树模型进行可视化。决策树又分为分类树和回归树,前者用于预测分类后者用于预测数值。决策树的可视化可以帮助我们非常直观的了解算法细节。但在具体使用过程中可能会遇到…

数据, 术→技巧 ·

Jpuyter中使用PySpark连接Hive

公司的 Jupyter 环境支持 PySpark。这样就可以非常方便的使用 PySpark 连接到 Hive 查询和使用。由于先前完全没有接触过 Spark,所以整理了一些参考资料。 SparkContext PySpark 里最核心的模块是 SparkContext(…

使用Python进行压缩与解压缩

在日常工作中,除了会涉及到使用Python处理文本文件,有时候还会涉及对压缩文件的处理。 通常会涉及到的压缩文件格式有: rar:Windows环境下用的比较多的压缩,比较著名的GUI工具是winrar tar:Linux系统下的…

力场分析:获客、转移和留存

在日常的工作中我们经常会遇到如何获客、如何转移用户(从PC站转移到APP、从小程序转移到APP)和如何挽留用户。个人认为以上的任务都可以通过力场分析来切入。 力场分析法 力场分析法(Force Field Analysis),由库…

术→技巧, 营销 ·