分布式消息系统Kafka
消息队列简介 学习 Kafka 不可避免地要认识下消息队列，也就是我们常提到的 MQ (Message Queue)，因为 Kafka 本质上也是一个消息队列。那么消息队列又是什么呢？先来看一个比较官方的回答。 消息队列是一种进程间通信或者…
术→技巧
分布式日志收集系统Flume
Flume简介 Flume是一个分布式、可靠且高效的系统，主要用于大规模日志数据的收集、聚合和传输。它是Apache软件基金会的一个开源项目，特别适合将大量日志数据从不同的数据源转移到一个集中式的数据存储系统，比如Hadoop的HDFS（H…
数据仓库之列式存储ClickHouse
ClickHouse简介 ClickHouse是一个开源的列式数据库管理系统（Column-Oriented DBMS），专为实时大数据分析而设计。它支持实时查询，能够处理PB级别的数据，并且在大多数情况下提供了非常高的查询性能。Click…
Python如何连接数据库
在先前的文章PEP 249：Python 数据库 API 规范 v2.0 中已经介绍了以下 Python 连接主要数据库的方法。本次在此基础上再做一些补充和完善。 Python 连接关系型数据库 Python 连接 MySQL 在 Pyth…
Python身份认证之OAuth与JWT
OAuth与JWT简介 OAuth简介 OAuth（开放授权）是一种开放标准，允许用户提供一个令牌，而不是用户名和密码来访问他们存储在特定服务提供者的数据。这使得第三方服务可以在不暴露用户凭证的情况下，获得对用户资源的有限访问权限。OAut…
Python生成唯一标识符
在前面的文章中，介绍了分布式全局唯一ID生成方案，本次需要分享的是使用Python来生成唯一标识符。在Python中，唯一标识符（Unique Identifiers）通常用于标识对象或数据的唯一性，以确保在特定上下文中每个实体都是可区分的…
Python Markdown的解析与转换
在先前的文章Obsidian 使用之 Markdown 中介绍下 Markdown 语法。今天要梳理的是如何在 Python 中解析和处理 markdown 语法。Python 有几个流行的 Markdown 处理包，可以帮助你将 Mark…
Python 收发Email电子邮件
标准库中的电子邮件 Python标准库中有几个模块专门用于处理电子邮件的创建、解析、发送和接收。 smtplib：用于发送电子邮件。实现了SMTP（Simple Mail Transfer Protocol）协议。允许通过邮件服务器发送邮件…
Python可视化工具Altair
Altair简介 Python包Altair是一个基于Vega和Vega-Lite构建的声明式数据可视化库。它通过简洁的语法和直观的API，使得创建具有交互性的统计图表变得简单而直观。 主要特点 声明式语法：Altair使用声明式语法来定义…
Python序列化与反序列化
在先前的文章中Python JSON/JSONP 数据解析，涉及到的 Python 自带的 JSON 和 SimpleJson 的简单介绍。这次主要梳理了一些比较流程的 Python 序列化与反序列化工具。 pickle pickle 是 …
