关于本人关于本站
感谢关注我的个人博客! 关于本人 姓名:钱魏Way 简介:当前就职于一家在线旅游公司,工作岗位为数据产品经理策略产品经理。一直想做的事情是从数据中发现价值,并推动工具化的变现。 当前主要关注的内容: 各类机器学习算法的应用实践 基于用户细分…
感谢关注我的个人博客! 关于本人 姓名:钱魏Way 简介:当前就职于一家在线旅游公司,工作岗位为数据产品经理策略产品经理。一直想做的事情是从数据中发现价值,并推动工具化的变现。 当前主要关注的内容: 各类机器学习算法的应用实践 基于用户细分…
子曰:学而时习之,不亦说乎!有朋自远方來,不亦乐乎!人不知而不愠,不亦君子乎! 在重读论语之前,我对这句话的理解是:“经常学习,不也喜悦吗?从远方来了朋友,不也快乐吗?别人不了解我也不怨恨,不也是君子吗?” 重读《论语》,总感觉上面的解释有…
Impala是 Cloudera 公司主导开发的新型查询系统,它提供 SQL 语义,能查询存储在 Hadoop 的 HDFS 和 HBase 中的 PB 级大数据。已有的 Hive 系统虽然也提供了 SQL 语义,但由于 Hive 底层执行…
感谢关注我的个人博客! 关于本人 姓名:钱魏Way 简介:当前就职于一家在线旅游公司,工作岗位为数据产品经理策略产品经理。一直想做的事情是从数据中发现价值,并推动工具化的变现。 当前主要关注的内容: 各类机器学习算法的应用实践 基于用户细分…
[LATEXPAGE] 在前面介绍的DBSCAN算法中,有两个初始参数Eps(邻域半径)和minPts(Eps邻域最小点数)需要手动设置,并且聚类的结果对这两个参数的取值非常敏感,不同的取值将产生不同的聚类结果。为了克服DBSCAN算法这一…
子曰:学而时习之,不亦说乎!有朋自远方來,不亦乐乎!人不知而不愠,不亦君子乎! 在重读论语之前,我对这句话的理解是:“经常学习,不也喜悦吗?从远方来了朋友,不也快乐吗?别人不了解我也不怨恨,不也是君子吗?” 重读《论语》,总感觉上面的解释有…
[LATEXPAGE] 网格系统(Grid System)对于分析海量空间数据集,将地球空间划分为可识别的网格单元(cell)至关重要。H3是由Uber开源的一个六边形分层索引网格系统,也是最近几年实现数据聚合的主要趋势,在H3出现之前大部…
[LATEXPAGE] K-Means算法和MeanShift算法都是基于距离的聚类算法,基于距离的聚类算法的聚类结果是球状的簇,当数据集中的聚类结果是非球状结构时,基于距离的聚类算法的聚类效果并不好。 与基于距离的聚类算法不同的是,基于密…
Folium简介 Folium是一个基于leaflet.js的Python地图库,其中,Leaflet是一个非常轻的前端地图可视化库。即可以使用Python语言调用Leaflet的地图可视化能力。它不单单可以在地图上展示数据的分布图,还可以…
[LATEXPAGE] 上一篇文章介绍了一个梯度提升决策树模型XGBoost,这篇文章我们继续学习一下GBDT模型的另一个进化版本:LightGBM。LigthGBM是boosting集合模型中的新进成员,由微软提供,它和XGBoost一样…
[LATEXPAGE] 判断时间序列数据是上升还是下降是我们常见的问题。比如某个股票在过去一年整体趋势是上升还是下降。我们可以通过画图的方式直接观测出上升还是下降。但每次观测图片非常的麻烦,有没有一些数学方法进行检验? 方案一:直接统计法 …
文件系统 文件系统是操作系统中负责管理持久数据的子系统,说简单点,就是负责把用户的文件存到磁盘硬件中,因为即使计算机断电了,磁盘里的数据并不会丢失,所以可以持久化的保存文件。 文件系统的基本数据单位是文件,它的目的是对磁盘上的文件进行组织管…
[LATEXPAGE] 什么是信息熵? 信息是我们一直在谈论的东西,但信息这个概念本身依然比较抽象。在百度百科中的定义:信息,泛指人类社会传播的一切内容,指音讯、消息、通信系统传输和处理的对象。但信息可不可以被量化,怎样量化?答案当然是有的…
[LATEXPAGE] 点击率(click-through rate, CTR)是点击特定链接的用户与查看页面,电子邮件或广告的总用户数量之比。它通常用于衡量某个网站的在线广告活动是否成功,以及电子邮件活动的有效性,是互联网公司进行流量分配…
[LATEXPAGE] Affinity Propagation算法简介 AP (Affinity Propagation)通常被翻译为近邻传播算法或者亲和力传播算法。AP算法的基本思想是将全部数据点都当作潜在的聚类中心(称之为exempl…