分类: 术→技巧

服务高可用之限流

在不同场景下限流的定义也各不相同,可以是每秒请求数、每秒事务处理数、网络流量。通常我们所说的限流指的是限制到达系统并发请求数,使得系统能够正常的处理部分用户的请求,来保证系统的稳定性。 限流的英文是 …

术→技巧, 研发 ·

规则引擎在哔哩哔哩的应用

最近在整理规则引擎相关的知识点,看到Bilibi的相关文章,稍微整理出来供参考。Bilibili目前已经将其开发的规则引擎gengine开源了,有兴趣的朋友可以深入研究下。 由于自己对Golang不了解,所以这里不会涉及到具体…

使用SQL统计箱形图数据

箱形图常用于数据的可视化,先前的文章中介绍过使用Python生成箱形图。箱形图中通常包含的数据有: 最小值(不包含异常值)Lower Whisker = Q1 - 1.5(Q3 - Q1) 最大值(不包含异常值)Upper Whisker = Q3 + 1.5(…

数据, 术→技巧 ·

Python自动化之定时任务

在日常工作中,我们常常会用到需要周期性执行的任务,一种方式是采用Linux系统自带的crond 结合命令行实现。另外一种方式是直接使用Python。接下里整理的是常见的Python定时任务的实现方式。 利用while True: + s…

数据分析该知道的IP地址知识

第一次接触到IP,还是在十多年前使用统计系统时,当时的统计系统中有个指标是IP地址。即记录每天有多少不同的IP访问您的网站,在后来是自己搭建统计系统时涉及到对IP地址省份、城市、区域的解析。最近在推进风控项…

数据, 术→技巧 ·

纯真IP数据库的解析与读取

纯真IP库是民间自发收集、提交、聚合而来的数据库,囊括了国内外的大量IP数据。它的官网提供了记录提交和纠错的功能,管理员在统一整合后每5天更新一次。纯真IP库是完全免费的,它的官网上有在线查询功能,同时也可…

数据, 术→技巧 ·

Pandas数据处理简明教程

在使用 Python 处理分析数据的时候,用的最多的算是 Pandas 时,由于 Pandas 是个非常强大的工具,涉及到的功能非常多,所以平常使用的时候经常需要查询文档。这里记载了自己常用的一些功能及知识点。 Pandas 简介 …

Pandas+SQLAlchemy与数据库交互

在使用Pandas分析数据时,除了读取文本类数据,如Excel、CSV文件外,还会涉及到数据库的读取。通常的方案是Pandas+SQLAlchemy。 以下内容是记录的一些操作记录,算是备忘。 使用sqlalchemy连接数据库 Engine翻译…

Pandas中DataFrame的合并与连接

在使用Pandas处理数据时,有时需要多数据进行合并和连接操作,最常用的包括将多个分割的文件进行合并: import pandas as pd import glob file_list = glob.glob('data/*') df_list = [] for file in file_list: …

决策树可视化方法与技巧

决策树相对其他算法有一个优点是可以对决策树模型进行可视化。决策树又分为分类树和回归树,前者用于预测分类后者用于预测数值。决策树的可视化可以帮助我们非常直观的了解算法细节。但在具体使用过程中可能会遇到…

数据, 术→技巧 ·