Flume简介 Flume是一个分布式、可靠且高效的系统,主要用于大规模日志数据的收集、聚合和传输。它是Apache软件基金会的一个开源项目,特别适合将大量日志数据从不同的数据源转移到一个集中式的数据存储系统,比如Ha…
ClickHouse简介 ClickHouse是一个开源的列式数据库管理系统(Column-Oriented DBMS),专为实时大数据分析而设计。它支持实时查询,能够处理PB级别的数据,并且在大多数情况下提供了非常高的查询性能。ClickHouse由…
在先前的文章PEP 249:Python 数据库 API 规范 v2.0 中已经介绍了以下 Python 连接主要数据库的方法。本次在此基础上再做一些补充和完善。 Python 连接关系型数据库 Python 连接 MySQL 在 Python 中,连接 MySQL …
OAuth与JWT简介 OAuth简介 OAuth(开放授权)是一种开放标准,允许用户提供一个令牌,而不是用户名和密码来访问他们存储在特定服务提供者的数据。这使得第三方服务可以在不暴露用户凭证的情况下,获得对用户资源的…
OCR(Optical Character Recognition,光学字符识别)是一种技术,用于将印刷或手写文本从图像、扫描的文档或照片中识别并转换为机器可读的文本格式。其主要目的是将非结构化的图像数据转化为可编辑、可搜索的文本…
Slugify 是一个将字符串转换为 URL 友好格式的过程或工具。通常在创建网页地址(URL)时,需要将标题或其他文本转换为一种只包含字母、数字和连字符的格式,这样的字符串称为“slug”。Slugify 的过程会移除或替换掉…
在前面的文章中,介绍了分布式全局唯一ID生成方案,本次需要分享的是使用Python来生成唯一标识符。在Python中,唯一标识符(Unique Identifiers)通常用于标识对象或数据的唯一性,以确保在特定上下文中每个实体都…
在先前的文章Obsidian 使用之 Markdown 中介绍下 Markdown 语法。今天要梳理的是如何在 Python 中解析和处理 markdown 语法。Python 有几个流行的 Markdown 处理包,可以帮助你将 Markdown 转换为 HTML、PDF,或用…
标准库中的电子邮件 Python标准库中有几个模块专门用于处理电子邮件的创建、解析、发送和接收。 smtplib:用于发送电子邮件。实现了SMTP(Simple Mail Transfer Protocol)协议。允许通过邮件服务器发送邮件。…
Altair简介 Python包Altair是一个基于Vega和Vega-Lite构建的声明式数据可视化库。它通过简洁的语法和直观的API,使得创建具有交互性的统计图表变得简单而直观。 主要特点 声明式语法:Altair使用声明式语法来…