所有文章

User-Agent反爬虫和绕过方法

用户代理User-Agent 客户端向服务器请求一张页面时,可以额外附上一些自己的信息(如使用什么操作系统、什么浏览器),以便让服务器提供更好的服务(如根据不同设备返回不同的页面)。额外附上的信息叫请求头(HTT…

术→技巧, 研发 ·

Python Web应用的线上部署

想要将Python Web应用部署到线上,目前主流的方案是在Gunicorn/uWSGI前面再加一层Nginx,其中Nginx的主要作用是: 做负载均衡,便于后期服务器的水平扩展,可轻松将应用部署到多台服务器或多个进程中。 缓…

Python爬虫框架Scrapy简介

Scrapy 是一个 Python 爬虫框架,用于快速、高效地抓取网页数据。它通过异步方式处理 HTTP 请求和响应,支持多线程和分布式部署,可以方便地从互联网上获取大量的结构化数据。 使用Python来做抓取程序非常的方便…

数据, 术→技巧, 研发 ·

GitHub非开发人员使用教程

在工作中,有时需要用到Git。对于很多开发而言,Git的使用可能非常的简单,而对于数据分析的小伙伴,可能有由于先前没有接触过,可能不太了解。今天要介绍的是Github的使用,对于很多公司内部使用自己部署的Gitlab…

术→技巧, 研发 ·

Scikit-Learn学习之交叉验证

在机器学习中,常见有的交叉验证方法有留出法(Holdout cross validation)和k 折交叉验证(k-fold cross validation)等,除此之外还有留一法(Leave-One-Out,LOO)、留P法(Leave-P-Out,LPO)等,抽时间做了一…

Statsmodels 统计包之OLS回归

Statsmodels和Scikit-learn是两个不同的Python库,它们都提供了用于线性回归的工具。Statsmodels中支持的线性回归模型列表: OLS回归:OLS代表“普通最小二乘回归”,它是一种最常见且最简单的线性回归模型。 …

Python代码转为LATEX公式工具

latexify_py是一个 Google开源的Python 包,可以将Python源代码片段编译为相应的LaTeX表达式。 latexify_py 的使用非常简单,只需安装该库(pip install latexify-py)并导入相应模块即可。下面介绍的是一些…

器→工具, 工具软件 ·

Python 数据可视化之韦恩图

韦恩图简介 维恩图(Venn),也叫温氏图、维恩图、范氏图,用于显示元素集合重叠区域的图表。维恩图是关系型图表,通过图形与图形之间的层叠关系,来表示集合与集合之间的相交关系。 适合场景1:表示2个集合…

器→工具, 工具软件 ·

机器学习之分段线性回归

线性回归是机器学习中最为简单的模型,但在实际使用过程中可能不太适用。比如以下场景: 分段线性拟合是一种用于对数据进行建模的回归方法,其中数据在不同的区间内使用不同的线性函数进行建模。与简单线性…

神经网络时间序列预测工具NeuralProphet

NeuralProphet产生背景 大多数时间序列问题需要易于理解的预测。同时,需要有效的预测。这两个愿望导致了一种权衡:可解释性与准确率。准确率的显著提高通常归因于更复杂的模型。然而,复杂性与可解释性存在天然的…