ETL（Extract, Transform, Load） 和 ELT（Extract, Load, Transform） 是两种常见的数据集成方法，它们在数据处理的顺序上存在显著差异。 ETL（提取、转换、加载） 过程： 首先从各种数据源中提取数据，…
Adtributor 算法简介 Adtributor 算法是由微软研究院在 2014 年提出的一种用于多维时间序列异常根因分析的方法。它主要用于解决以下问题：当某个关键性能指标 (KPI) 发生异常波动时，如何快速准确地找出导致该异常…
指标波动贡献率 指标波动贡献率是一种用于分析和衡量不同因素对某一指标变动影响的统计方法。它在经济学、金融学、市场分析以及其他领域中被广泛应用。通过分析指标波动贡献率，可以更好地理解各个因素在指标变动…
Bokeh简介 Bokeh 是一个用于创建交互式和可视化丰富的 web 应用程序的 Python 库。它专为需要在现代 Web 浏览器中呈现复杂数据可视化的场景而设计，旨在帮助数据科学家、分析师和开发人员以简洁的方式创建高效和动…
Polars简介 Polars是一个用于数据处理和分析的开源库，特别适用于处理大型数据集。它最初是用Rust编写的，这使得它在性能上具有显著优势，特别是在内存管理和多线程处理方面。Polars也提供了Python接口，使得Pytho…
Pandera简介 Pandera 是一个用于验证、清理和文档化 Pandas 数据框架（DataFrame 和 Series）的 Python 库。它提供了基于类型注释的方式来定义数据验证规则，确保数据符合预期格式和约束。这对于数据管道的构建、…
gRPC简介 gRPC 是一个现代化的、高性能的 远程过程调用（Remote Procedure Call, RPC）框架，由 Google 开发并开源。它基于 HTTP/2 协议，使用 Protocol Buffers（protobuf）作为接口定义语言（IDL）和数据序列化…
现在再写这篇文章感觉有些不合时宜，目前，貌似很少人再讨论大数据，也很少人再讨论Hadoop。整理这篇文章，是为了探寻最新的技术方向。 新技术替代的组件 Hadoop技术栈的许多组件已经被功能更强、性能更高的新技…
在使用SHAP对模型特征进行可视化输出的时候，会遇到输出的图形格式与预期的不符。以下面的图为例，比如是类别型特征时，默认的展示方式可能有些怪。 比较方便的解决方案是将数据导出为Pandas的DataFrame，然…
平时在使用LightGMB，需要保存训练好的模型。以下是梳理的几种方式： 使用 LightGBM 自带的 save_model 方法 import lightgbm as lgb # 假设已经训练好的模型是 model model = lgb.LGBMClassifier() mod…
