在先前的介绍过快速数据可视化界面工具Streamlit，Dash是一个与之非常类似的工具，个人在使用Streamlit加载地图呈现时遇到响应非常慢的的问题，于是使用了Dash整理使用起来也非常的简单，这里做下简要的分享。 DA…
Plotly 是一个流行的开源图形库，用于创建高质量的交互式数据可视化。它支持多种编程语言，包括 Python、R、JavaScript 等。Plotly 的 Python 库尤其受欢迎，因为它允许数据科学家和分析师利用 Python 的强大功能来…
便携设备可以方便的获取经纬度信息，如果按照一定的时间间隔就能获取到具体的行动轨迹。比如： 网约车平台通过获取实时的司机位置判定司机是否偏航 运动记录平台用户的运动轨迹，比如跑步路径等。 如果记录时间…
DBSCAN (Density-Based Spatial Clustering of Applications with Noise) 是一种常用于聚类分析的算法，它可以很好地应用于经纬度数据的聚类。这种算法特别适合处理大规模的空间数据集，并且能够识别出噪声点。在先…
什么是分箱？ 数据分箱（Data Binning）是一种数据预处理技术，用于将连续变量分组为一系列“箱”或“区间”，以便于分析。其实分箱的概念其实很好理解，它的本质上就是把数据进行分组。分箱就是把数据按特定的规则进行…
在先前的文章中介绍了使用Python解析Nginx日志，今天主要介绍的是使用ELK（Elasticsearch + Logstash + Kibana）来监控Nginx日志。 备注：以下方案占用CPU和内存过大，不适合在云服务器部署。 工具简介 本教程涉…
scipy.optimize简介 scipy.optimize是Python中SciPy库的一个模块，专门用于数学优化。这个模块包含了一系列的函数和算法，用于求解最小化（或最大化）问题、方程组的根、以及执行曲线拟合。这些功能对于科学计算、…
对于很多数据分析的同学来说，最熟悉的莫过于SQL（相关SQL教程见产品&运营分析技能培训：HiveSQL），针对数据处理问题，脑海里的第一反应也往往都是SQL，而在日常的工作中往往也需要在Pandas的DataFrame数据上…
在先前的文章，已经很详细的介绍了LightGBM的原理及使用示例。模型的安装与调用本身不会遇到很大的问题，实际使用过程中遇到的最大难题是如何优化超参数。由于没有进行很好的超参数优化导致产生的模型性能存在欠缺…
Selenium简介 Selenium是浏览器的自动化测试工具，与浏览器进行交互，实现对web应用的自动化测试，Selenium包括Selenium IDE, Selenium Webdriver和Selenium Grid三个工具。 Selenium IDE (Integrated Developmen…
