分类: 数据

Scikit-Learn的模型评估指标

在scikit-learn中,要对一个拟合好的模型进行评估,有三种方法: 使用各种estimator自带的score方法。一般来说,分类器的默认评估指标是正确率(accuracy),回归器的是拟合优度(R方)。 使用模型评估工具…

Python爬虫框架Scrapy简介

Scrapy 是一个 Python 爬虫框架,用于快速、高效地抓取网页数据。它通过异步方式处理 HTTP 请求和响应,支持多线程和分布式部署,可以方便地从互联网上获取大量的结构化数据。 使用Python来做抓取程序非常的方便…

数据, 术→技巧, 研发 ·

Scikit-Learn学习之交叉验证

在机器学习中,常见有的交叉验证方法有留出法(Holdout cross validation)和k 折交叉验证(k-fold cross validation)等,除此之外还有留一法(Leave-One-Out,LOO)、留P法(Leave-P-Out,LPO)等,抽时间做了一…

Statsmodels 统计包之OLS回归

Statsmodels和Scikit-learn是两个不同的Python库,它们都提供了用于线性回归的工具。Statsmodels中支持的线性回归模型列表: OLS回归:OLS代表“普通最小二乘回归”,它是一种最常见且最简单的线性回归模型。 …

机器学习之分段线性回归

线性回归是机器学习中最为简单的模型,但在实际使用过程中可能不太适用。比如以下场景: 分段线性拟合是一种用于对数据进行建模的回归方法,其中数据在不同的区间内使用不同的线性函数进行建模。与简单线性…

神经网络时间序列预测工具NeuralProphet

NeuralProphet产生背景 大多数时间序列问题需要易于理解的预测。同时,需要有效的预测。这两个愿望导致了一种权衡:可解释性与准确率。准确率的显著提高通常归因于更复杂的模型。然而,复杂性与可解释性存在天然的…

超参数调优之贝叶斯优化

超参数优化简介 目前人工智能和深度学习越趋普及,大家可以使用开源的Scikit-Learn、TensorFlow来实现机器学习模型。对于各种模型而言,或多或少都具有要调节的超参数。相同的模型应用在不同的数据集上,如何选择…

时序相似性计算:从DTW到FastDTW

DTW简介 DTW(Dynamic Time Warping)是一种用于比较时间序列之间相似性的算法。它可以有效地处理在时间轴上存在偏移、缩放和扭曲等变形的时间序列数据。DTW算法通过对两个时间序列进行动态规整,将它们按最优路径…

转化指标波动分析之维度拆解

当一些转化率指标发生波动时,往往需要分析原因,以转化率为例,影响转化率变化的可能因素有: 流量结构发生了变化,部分高转化的渠道或低转化的渠道的流量发生了较大的变化 部分渠道的转化发生了变化 …

数据, 术→技巧 ·

Hive UDF的开发简介

Hive 内置了很多函数,可以参考Hive Built-In Functions。但是有些情况下,这些内置函数还是不能满足我们的需求,这时候就需要UDF出场了。 UDF全称:User-Defined Functions,即用户自定义函数,在Hive SQL编译…