术→技巧, 研发

Python第三方日志工具盘点

钱魏Way · · 1 次浏览

Logging是Python标准库中自带的日志记录工具，事实上还有很多比它更好第三方日志工具。

logbook

Logbook 是一个用于替代 Python 标准库 logging 模块的日志记录库。它旨在提供更简洁和强大的日志记录接口，改善日志记录的体验。

Logbook 相比于 Python 的标准 logging 模块，提供了一些优点和改进，特别是在使用体验和功能上。以下是 Logbook 的一些主要优点：

  • 简化的 API：Logbook提供了更简洁和直观的 API，使得配置和使用日志更加方便。通过减少 boilerplate 代码，开发者可以更快速地上手并实现复杂的日志功能。
  • 上下文管理：Logbook支持使用上下文管理器来管理日志处理器，这使得临时改变日志配置变得非常简单，并且可以确保在退出上下文时自动恢复原有配置。
  • 更好的多线程支持：Logbook针对多线程环境进行了优化，确保日志记录在多线程应用中能够安全地执行，而无需开发者进行额外的配置或处理。
  • 灵活的日志处理器：Logbook提供了一系列灵活的日志处理器（如 StreamHandler、FileHandler、RotatingFileHandler、TimedRotatingFileHandler 等），支持更多的日志输出目标和管理策略。
  • 强大的过滤机制：Logbook支持更灵活的日志过滤机制，允许开发者基于自定义条件过滤日志消息。这使得在复杂应用中对日志进行细粒度控制变得更加简单。
  • 格式化的增强：Logbook提供了更强大的日志格式化选项，使得开发者可以更轻松地自定义日志消息的输出格式，从而提高日志的可读性和信息量。
  • 异步日志处理：Logbook提供了对异步日志处理的支持，适合在需要非阻塞日志记录的高性能应用中使用。
  • 邮件和其他集成：通过MailHandler 等处理器，Logbook 支持直接将日志发送到电子邮件或其他外部系统，这对于需要即时通知的应用场景非常有用。
  • 简化的配置：与logging 模块相比，Logbook 的配置更加直接和易于理解，减少了初学者的学习曲线。

尽管 Logbook 提供了许多优点，但它并不是对所有项目都适用。对于一些简单的项目或对第三方库依赖敏感的环境，标准的 logging 模块可能已经足够并且更合适。选择 Logbook 还是 logging 模块应根据项目的具体需求和复杂度来决定。

基本用法

安装

首先需要安装 Logbook，可以使用 pip：pip install logbook

导入和基本配置

导入 Logbook 并进行基本配置：

import logbook

# 创建一个 Logger
logger = logbook.Logger('My Logger')

# 使用简单的 StreamHandler 输出到控制台
handler = logbook.StreamHandler()
handler.push_application()

记录日志

使用不同级别的方法记录日志：

logger.debug('This is a debug message')
logger.info('This is an info message')
logger.warning('This is a warning message')
logger.error('This is an error message')
logger.critical('This is a critical message')

高级功能

日志处理器

Logbook 提供了多种日志处理器：

  • StreamHandler：用于输出到控制台。
  • FileHandler：用于输出到文件。
  • RotatingFileHandler：用于创建循环日志文件。
  • TimedRotatingFileHandler：基于时间的日志文件轮换。
  • MailHandler：用于发送日志到电子邮件。

示例：

# 使用 FileHandler
file_handler = logbook.FileHandler('my_log.log')
file_handler.push_application()

上下文管理

Logbook 支持使用上下文管理器来简化日志处理器的使用：

with logbook.StreamHandler():
    logger.info('This will be logged to the console')

日志格式化

可以自定义日志格式：

handler = logbook.StreamHandler(format_string='{record.time:%Y-%m-%d %H:%M:%S} - {record.level_name} - {record.message}')
handler.push_application()

日志过滤

可以使用过滤器来控制哪些日志记录会被处理：

import logbook
import sys

# 定义一个过滤函数
def filter_func(record, handler):
    # 只处理包含 'important' 字符串的日志消息
    return 'important' in record.message

# 创建一个 StreamHandler，并应用过滤函数
# 指定标准输出 sys.stdout 作为日志输出流
handler = logbook.StreamHandler(sys.stdout, filter=filter_func)

# 将处理器推入应用栈
handler.push_application()

# 创建一个 Logger
logger = logbook.Logger('My Logger')

# 记录一些日志
logger.info('This is an important message')  # 这条日志会被记录
logger.info('这个不重要')        # 这条日志不会被记录

实践中的一些建议

  • 使用上下文管理器：在需要临时改变日志配置的地方使用上下文管理器，可以确保配置的安全恢复。
  • 灵活运用处理器：根据需要选择合适的日志处理器，例如在生产环境中使用RotatingFileHandler 来管理日志文件大小。
  • 自定义格式和过滤：根据项目需求自定义日志格式和过滤规则，以提升日志的可读性和相关性。

Logbook 是一个功能强大且灵活的日志记录库，它通过更直观的接口和丰富的功能集，提供了比标准 logging 模块更好的日志记录体验。希望这份介绍能帮助你更好地理解和使用 Logbook。

loguru

Loguru 是一个现代化的 Python 日志记录库，旨在简化日志记录过程，并提供比标准 logging 模块更强大和用户友好的功能。它特别适合那些需要快速实现日志记录功能的项目，同时提供了许多高级特性。

与 Python 的标准库 logging 模块相比，Loguru 提供了一些显著的优点和增强功能：

  • 简单易用：Loguru 提供了一个预配置的日志记录器logger，无需复杂的配置即可直接使用。用户不需要创建和配置多个 Logger 和 Handler。
  • 自动化：自动管理日志文件的创建、轮转和压缩。通过简单的参数配置即可实现日志文件的按大小、按时间分割和备份。
  • 结构化日志：支持通过关键字参数添加上下文信息，使日志信息更加结构化和易于解析。
  • 更好的异常处理：提供了exception() 方法，能够自动捕获异常信息和堆栈跟踪，简化错误记录。
  • 异步支持：原生支持异步日志记录，适合在异步应用中使用，避免阻塞。
  • 丰富的格式化选项：提供了强大的日志格式化功能，支持颜色输出和自定义格式，使得日志更易于阅读和分析。
  • 动态过滤：通过简单的过滤器函数可以动态地控制哪些日志信息需要被记录。
  • 简化的接口：Loguru 的接口设计更加简洁，提供了一些便捷方法，比如add() 和 logger.remove()，用于动态添加或移除日志处理器。
  • 灵活的日志级别：支持自定义日志级别，用户可以根据需要定义自己的日志级别以适应不同的日志记录需求。
  • 兼容性：Loguru 可以与标准的logging 模块一起使用，便于在现有项目中集成。

通过这些优点，Loguru 使得日志记录变得更加直观和高效，特别适合中小型项目或需要快速实现日志记录功能的场景。

基本用法

安装

首先需要安装 Loguru，可以使用 pip：pip install loguru

导入和基本使用

Loguru 使用简单，默认配置就可以满足大多数需求：

from loguru import logger

logger.debug("This is a debug message")
logger.info("This is an info message")
logger.warning("This is a warning message")
logger.error("This is an error message")
logger.critical("This is a critical message")

输出到文件

可以轻松地将日志输出到文件：

logger.add("file_{time}.log")
logger.info("This message will be logged to a file")

高级功能

日志格式化

Loguru 支持丰富的日志格式化选项：

logger.add("file.log", format="{time} {level} {message}", level="INFO")

日志文件管理

支持日志文件的自动旋转和压缩：

logger.add("file.log", rotation="1 MB")  # 每个日志文件最大为 1 MB
logger.add("file.log", retention="10 days")  # 保留最近 10 天的日志
logger.add("file.log", compression="zip")  # 压缩为 zip 格式

异步日志记录

Loguru 支持异步日志记录：

logger.add("file.log", enqueue=True)

捕获未处理异常

Loguru 可以自动捕获未处理的异常：

def main():
    raise ValueError("An error occurred")

logger.catch(main)()

自定义日志级别

可以定义自定义的日志级别：

logger.level("CUSTOM", no=15, color="<cyan>", icon="🐍")
logger.log("CUSTOM", "This is a custom log message")

实践中的一些建议

  • 利用默认配置：Loguru的默认配置已经非常强大，适合大多数应用场景，减少了初学者的学习曲线。
  • 使用日志文件管理：在生产环境中，合理设置日志文件的旋转和保留策略，可以避免日志文件过大导致的磁盘空间问题。
  • 捕获异常：使用catch 来捕获未处理的异常，能够帮助开发者更快地定位和解决问题。
  • 异步日志记录：在高并发或 I/O 密集型应用中，启用异步日志记录可以提高性能。

Loguru 是一个非常优秀的日志库，特别适合那些需要快速实现日志功能的项目。它的设计理念是提供一个易于使用且功能强大的日志记录工具，使开发者能够专注于业务逻辑而非日志配置。

structlog

structlog 是一个 Python 日志记录库，旨在将结构化日志记录与传统的文本日志记录结合起来。它特别适用于需要结构化日志输出的应用场景，比如微服务架构和需要日志分析的系统。structlog 提供了一种灵活的方式来记录和格式化日志，使得日志更加结构化和可读。

特性

  • 结构化日志：支持将日志记录为结构化数据（如 JSON 格式），便于机器解析和分析。
  • 灵活的配置：提供灵活的配置选项，可以根据需要定制日志输出格式和处理流程。
  • 与标准库兼容：可以与 Python 标准库的logging 模块集成。
  • 上下文信息：支持将上下文信息（如用户 ID、请求 ID）附加到日志记录中。
  • 异步支持：适合在异步应用程序中使用。

基本用法

安装

可以通过 pip 安装 structlog：pip install structlog

初始化和基本配置

使用 structlog 记录日志：

import structlog

# 初始化 structlog
structlog.configure(
    processors=[
        structlog.processors.JSONRenderer()  # 使用 JSON 格式输出
    ]
)

# 创建 logger
logger = structlog.get_logger()

# 记录日志
logger.info("User logged in", user_id=123, user_name="Alice")

高级功能

配置处理器

structlog 允许通过配置处理器来定制日志处理流程：

structlog.configure(
    processors=[
        structlog.processors.TimeStamper(fmt="iso"),  # 添加时间戳
        structlog.processors.StackInfoRenderer(),     # 添加堆栈信息
        structlog.processors.format_exc_info,         # 格式化异常信息
        structlog.dev.ConsoleRenderer()               # 控制台输出格式化
    ]
)

上下文信息

可以使用 bind 方法将上下文信息附加到日志记录中：

logger = logger.bind(request_id="req-123", user_id=456)
logger.info("Processing request")

与标准库集成

structlog 可以与 Python 标准库的 logging 模块集成：

import logging
import structlog

logging.basicConfig(level=logging.INFO)
structlog.configure(
    processors=[
        structlog.stdlib.filter_by_level,
        structlog.stdlib.add_logger_name,
        structlog.stdlib.add_log_level,
        structlog.processors.TimeStamper(fmt="iso"),
        structlog.processors.JSONRenderer()
    ],
    logger_factory=structlog.stdlib.LoggerFactory(),
    wrapper_class=structlog.stdlib.BoundLogger,
    cache_logger_on_first_use=True
)

logger = structlog.get_logger()
logger.info("Standard library integration", event="test")

实践中的一些建议

  • 选择合适的格式：在需要机器解析和分析的场景中，使用 JSON 格式输出日志；在开发环境中，可以使用更易读的控制台格式。
  • 使用上下文信息：将有用的上下文信息绑定到日志记录中，以便更容易地追踪和调试问题。
  • 与标准库结合：在需要与已有系统兼容的情况下，可以使用structlog 与标准 logging 模块集成。
  • 异步环境中使用：在异步应用中，structlog提供了良好的支持，确保日志记录不会阻塞应用程序的运行。

structlog 是一个强大而灵活的日志记录库，特别适合需要结构化日志输出的应用场景。通过使用 structlog，开发者可以更好地管理和分析日志信息，提高系统的可观测性和可维护性。

相关文章:

  1. Python 日志模块logging的使用
  2. Python标准库之日志记录logging
  3. JavaScript学习之版本特性
  4. JavaScript学习之入门资料
  5. PEP 484：类型提示 Type Hints
python 日志
集中式日志管理系统Sentry
Python标准库之日志记录logging
项目管理之WBS任务分解

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注