初步认识RPC框架gRPC
gRPC简介 gRPC是一个现代化的、高性能的远程过程调用（Remote Procedure Call, RPC）框架，由Google开发并开源。它基于HTTP/2协议，使用Protocol Buffers（protobuf）作为接口定义语…
术→技巧
Python读写MDict词典文件
MDX/MDD 文件格式简介 MDX 和 MDD 是字典程序 MDict 使用的文件格式，其中 MDX 文件用于存放定义，而 MDD 用于存放其他资源文件，比如图片，发音，虽然存放的内容是不一样的，但是两种文件的结构是一致的。 MDX 和 …
大数据与Hadoop的生死
现在再写这篇文章感觉有些不合时宜，目前，貌似很少人再讨论大数据，也很少人再讨论Hadoop。整理这篇文章，是为了探寻最新的技术方向。 新技术替代的组件 Hadoop技术栈的许多组件已经被功能更强、性能更高的新技术所取代。以下是Hadoop主…
微服务与模块化单体架构
什么是微服务？ 微服务（Microservices）是一种软件架构风格，将一个应用程序划分为一组小型的、独立运行的服务。每个服务都专注于完成一种特定的功能，可以独立开发、部署和扩展。这种架构与传统的单体应用（Monolithic Archi…
SHAP数据的导出与可视化
在使用SHAP对模型特征进行可视化输出的时候，会遇到输出的图形格式与预期的不符。以下面的图为例，比如是类别型特征时，默认的展示方式可能有些怪。 比较方便的解决方案是将数据导出为Pandas的DataFrame，然后自己的绘制想要的数据呈现。…
LightGBM的模型保存
平时在使用LightGMB，需要保存训练好的模型。以下是梳理的几种方式： 使用LightGBM 自带的save_model 方法 import lightgbm as lgb # 假设已经训练好的模型是 model model = lgb.…
Python大数据处理工具之PySpark
PySpark简介 PySpark是Apache Spark的Python API，它使得Python开发者能够使用Spark的分布式计算能力进行大规模数据处理和分析。PySpark提供了与Scala和Java API类似的功能，并且与Py…
Python网页抓取包requests-html
requests-html简介 requests-html是一个用于网页抓取和解析的Python库，由Kenneth Reitz创建，旨在为开发者提供一个强大且易用的工具来处理HTML内容。与传统的网页抓取库不同，requests-html…
集中式日志管理系统Sentry
Sentry简介 Sentry是一个流行的开源实时错误监控工具，主要用于应用程序的日志监控和错误跟踪。它能够帮助开发者快速识别、诊断和修复在生产环境中出现的问题。 以下是Sentry的一些主要特点和功能： 错误捕获和跟踪： Sentry可以…
Python第三方日志工具盘点
Logging是Python标准库中自带的日志记录工具，事实上还有很多比它更好第三方日志工具。 logbook Logbook是一个用于替代Python标准库logging模块的日志记录库。它旨在提供更简洁和强大的日志记录接口，改善日志记录…
