现在再写这篇文章感觉有些不合时宜，目前，貌似很少人再讨论大数据，也很少人再讨论Hadoop。整理这篇文章，是为了探寻最新的技术方向。 新技术替代的组件 Hadoop技术栈的许多组件已经被功能更强、性能更高的新技…
什么是微服务？ 微服务（Microservices）是一种软件架构风格，将一个应用程序划分为一组小型的、独立运行的服务。每个服务都专注于完成一种特定的功能，可以独立开发、部署和扩展。这种架构与传统的单体应用（Mono…
在使用SHAP对模型特征进行可视化输出的时候，会遇到输出的图形格式与预期的不符。以下面的图为例，比如是类别型特征时，默认的展示方式可能有些怪。 比较方便的解决方案是将数据导出为Pandas的DataFrame，然…
平时在使用LightGMB，需要保存训练好的模型。以下是梳理的几种方式： 使用 LightGBM 自带的 save_model 方法 import lightgbm as lgb # 假设已经训练好的模型是 model model = lgb.LGBMClassifier() mod…
PySpark简介 PySpark 是 Apache Spark 的 Python API，它使得 Python 开发者能够使用 Spark 的分布式计算能力进行大规模数据处理和分析。PySpark 提供了与 Scala 和 Java API 类似的功能，并且与 Python 生态系统…
requests-html简介 requests-html 是一个用于网页抓取和解析的 Python 库，由 Kenneth Reitz 创建，旨在为开发者提供一个强大且易用的工具来处理 HTML 内容。与传统的网页抓取库不同，requests-html 集成了对现代…
Sentry简介 Sentry 是一个流行的开源实时错误监控工具，主要用于应用程序的日志监控和错误跟踪。它能够帮助开发者快速识别、诊断和修复在生产环境中出现的问题。 以下是 Sentry 的一些主要特点和功能： …
Logging是Python标准库中自带的日志记录工具，事实上还有很多比它更好第三方日志工具。 logbook Logbook 是一个用于替代 Python 标准库 logging 模块的日志记录库。它旨在提供更简洁和强大的日志记录接口，改…
logging模块简介 Python的logging模块是一个非常强大的工具，用于在应用程序中记录和管理日志信息。它提供了灵活的功能，可以在不同的输出目标（如控制台、文件、网络等）中记录日志，并支持不同的日志级别。先前…
什么是WBS？ WBS是工作分解结构（Work Breakdown Structure）的缩写。它是一种项目管理工具，用于将一个项目分解成更小、更易管理的部分或任务。WBS的主要目的是帮助项目团队明确项目的范围，确保所有必要的工作都…
