Optuna 超参数优化从入门到实战
超参数优化(Hyperparameter Optimization, HPO)是机器学习流程中最耗时也最关键的一环。手动调参靠直觉、网格搜索靠暴力、随机搜索靠运气——而 Optuna 提供了一种更聪明的方式:让优化器从历史 Trial 中学…
超参数优化(Hyperparameter Optimization, HPO)是机器学习流程中最耗时也最关键的一环。手动调参靠直觉、网格搜索靠暴力、随机搜索靠运气——而 Optuna 提供了一种更聪明的方式:让优化器从历史 Trial 中学…
在先前的文章,已经很详细的介绍了LightGBM的原理及使用示例。模型的安装与调用本身不会遇到很大的问题,实际使用过程中遇到的最大难题是如何优化超参数。由于没有进行很好的超参数优化导致产生的模型性能存在欠缺。先前也简单的介绍过使用Optun…
在之前的文章中,分别介绍了决策树模型 XGBoost和贝叶斯优化工具 Optuna,在实际使用中还是会多多少少遇到一些问题。今天文章主要针对 Optuna 优化 XGBoost 做下梳理。 XGBoost 的目标函数 XGBoost 提供了…