在先前的文章中介绍了使用Python解析Nginx日志，今天主要介绍的是使用ELK（Elasticsearch + Logstash + Kibana）来监控Nginx日志。 备注：以下方案占用CPU和内存过大，不适合在云服务器部署。 工具简介 本…
scipy.optimize简介 scipy.optimize 是 Python 中 SciPy 库的一个模块，专门用于数学优化。这个模块包含了一系列的函数和算法，用于求解最小化（或最大化）问题、方程组的根、以及执行曲线拟合。这些功能对于科学…
对于很多数据分析的同学来说，最熟悉的莫过于SQL（相关SQL教程见产品&运营分析技能培训：Hive SQL），针对数据处理问题，脑海里的第一反应也往往都是SQL，而在日常的工作中往往也需要在Pandas的DataFrame数据上…
在先前的文章，已经很详细的介绍了LightGBM的原理及使用示例。模型的安装与调用本身不会遇到很大的问题，实际使用过程中遇到的最大难题是如何优化超参数。由于没有进行很好的超参数优化导致产生的模型性能存在欠缺…
Selenium简介 Selenium是浏览器的自动化测试工具，与浏览器进行交互，实现对web应用的自动化测试，Selenium包括Selenium IDE, Selenium Webdriver 和 Selenium Grid三个工具。 Selenium IDE (Integrated Deve…
在之前的文章中，分别介绍了决策树模型XGBoost和贝叶斯优化工具Optuna，在实际使用中还是会多多少少遇到一些问题。今天文章主要针对Optuna优化XGBoost做下梳理。 XGBoost的目标函数 XGBoost提供了多种内置的目标…
Scikit-Learn的Pipeline是一个工具，可以将多个数据预处理和建模步骤连接起来，形成一个完整的机器学习工作流。它允许用户通过链式执行多个转换步骤并最终拟合一个模型，从而使代码更加简洁。下面我们将详细介绍Pip…
机器学习在很多领域取得了重要的进步，也帮助人减少了不少体力劳动。要训练一个机器学习模型，以及将模型应用在实际场景中，最重要的是数据的收集以及处理。那么，如何使用模型指导数据收集就成了一个重要的问题，…
在scikit-learn中，要对一个拟合好的模型进行评估，有三种方法： 使用各种estimator自带的score方法。一般来说，分类器的默认评估指标是正确率（accuracy），回归器的是拟合优度（R方）。 使用模型评估工具…
Scrapy 是一个 Python 爬虫框架，用于快速、高效地抓取网页数据。它通过异步方式处理 HTTP 请求和响应，支持多线程和分布式部署，可以方便地从互联网上获取大量的结构化数据。 使用Python来做抓取程序非常的方便…
