随着互联网的发展，网站的反爬虫技术也在不断提升。其中最常见的一种手段就是对IP地址进行封禁，防止爬虫程序访问网站。为了避免这种情况的发生，爬虫程序需要使用动态IP代理来隐藏自己的真实IP地址。本文将介绍Pyt…
用户代理 User-Agent 客户端向服务器请求一张页面时，可以额外附上一些自己的信息（如使用什么操作系统、什么浏览器），以便让服务器提供更好的服务（如根据不同设备返回不同的页面）。额外附上的信息叫请求头（HTT…
想要将 Python Web 应用部署到线上，目前主流的方案是在 Gunicorn/uWSGI 前面再加一层 Nginx，其中 Nginx 的主要作用是： 做负载均衡，便于后期服务器的水平扩展，可轻松将应用部署到多台服务器或多个进程中。 …
Scrapy是一个Python爬虫框架，用于快速、高效地抓取网页数据。它通过异步方式处理HTTP请求和响应，支持多线程和分布式部署，可以方便地从互联网上获取大量的结构化数据。 使用Python来做抓取程序非常的方便，比较…
在工作中，有时需要用到Git。对于很多开发而言，Git的使用可能非常的简单，而对于数据分析的小伙伴，可能有由于先前没有接触过，可能不太了解。今天要介绍的是Github的使用，对于很多公司内部使用自己部署的Gitlab…
交叉验证方法盘点 在机器学习中，常见有的交叉验证方法有留出法（Holdout cross validation）和k折交叉验证（k-fold cross validation）等，除此之外还有留一法（Leave-One-Out，LOO）、留P法（Leave-P-Out，LPO）…
Statsmodels 和 Scikit-learn 是两个不同的 Python 库，它们都提供了用于线性回归的工具。Statsmodels 中支持的线性回归模型列表： OLS 回归：OLS 代表“普通最小二乘回归”，它是一种最常见且最简单的线性回归模…
线性回归是机器学习中最为简单的模型，但在实际使用过程中可能不太适用。比如以下场景： 分段线性拟合是一种用于对数据进行建模的回归方法，其中数据在不同的区间内使用不同的线性函数进行建模。与简单线性回归…
NeuralProphet 产生背景 大多数时间序列问题需要易于理解的预测。同时，需要有效的预测。这两个愿望导致了一种权衡：可解释性与准确率。准确率的显著提高通常归因于更复杂的模型。然而，复杂性与可解释性存在天然的…
超参数优化简介 目前人工智能和深度学习越趋普及，大家可以使用开源的 Scikit-Learn、TensorFlow 来实现机器学习模型。对于各种模型而言，或多或少都具有要调节的超参数。相同的模型应用在不同的数据集上，如何选择…
