钱魏Way

630篇文章

Optuna自动调参使用指南

在日常工作中用到的比较多的还是树回归模型,由于LightGBM不需要的类别数据进行预处理所以用得特别多,中间涉及到超参数优化时通常使用随机参数优化方法。在算法模型自动超参数优化方法中有提到了Optuna,平时工作…

数据, 术→技巧 ·

机器学习/数据分析之缺失值处理

在机器学习数据预处理阶段经常需要对数据进行缺失值处理。关于缺失值的处理并没有想象中的那么简单。以下为一些经验分享。 数据缺失类型 完全随机丢失(MCAR,Missing Completely at Random):某个变量是否…

数据, 术→技巧 ·

机器学习之类别特征处理

类别型特征(categorical feature)主要是指职业,血型等在有限类别内取值的特征。它的原始输入通常是字符串形式,大多数算法模型不接受数值型特征的输入,针对数值型的类别特征会被当成数值型特征,从而造成训练的…

数据, 术→技巧 ·

风险控制:信用评分卡模型

什么是信用评分卡模型? 评分卡模型又叫做信用评分卡模型,最早由美国信用评分巨头FICO公司于20世纪60年代推出,在信用风险评估以及金融风险控制领域中广泛使用。银行利用评分卡模型对客户的信用历史数据的多个特…

APP改机工具在黑产中的应用

APP黑产简介 随着厂商的业务体系越来越庞大,各类优惠活动的次数相应的也越发频繁,尤其是一些有“新用户”限制的活动,导致黑灰产从业人员需要更多的新设备获取利益,而改机工具可以解决黑灰产在移动端的设备成本问…

数据, 术→技巧, 研发 ·

Android中的设备唯一标识码

设备ID,简单来说就是一串符号(或者数字),映射现实中硬件设备。如果这些符号和设备是一一对应的,可称之为“唯一设备ID(Unique Device Identifier)”。不幸的是,对于Android平台而言,没有稳定的API可以让开发…

数据, 术→技巧, 研发 ·

iOS中的设备唯一标识码

iOS中的设备唯一标识 在 iOS7 之前,曾经有过很多获取设备唯一标识的方法。但是它们都先后被苹果禁止掉了。这些被禁止掉的包括 UDID、Mac 地址、OpenUDID。在 iOS 7 之后,我们可以选择的唯一标识有 IDFA、IDFV、D…

数据, 术→技巧, 研发 ·

Android 设备安全检测

为了应付黑产,需要对Android设备进行安全性检测来确定风险的大小。 Android安全机制 Android采用分层的系统架构,由下往上分别是linux内核层、硬件抽象层、系统运行时库层、应用程序框架层和应用程序层。And…

数据, 术→技巧, 研发 ·

Excel数据表格设计指南

虽然没有哪一种单一的可视化方式在展现量化信息时最有效,但当你需要说明特定意义的数据时,“表格”无疑是你的理想选择。将数据信息放置在格子框架中,经过精心的易用性设计,将为用户提供一种高效查阅和比较的手段…

数据, 术→技巧 ·

机器学习之特征选择方法

特征选择是特征工程里的一个重要问题,其目标是寻找最优特征子集。特征选择能剔除不相关(irrelevant)或冗余(redundant)的特征,从而达到减少特征个数,提高模型精确度,减少运行时间的目的。另一方面,选取出真正相…

数据, 术→技巧 ·