拼音输入法词库解析

24 sec read

目前类似搜狗输入法、百度输入法等最大的亮点是有较好的词库,而这些词库除了用在搜索上还可以用在及其场景,比如说分词。目前每种输入法的词库都有自己的格式,今天我们就来研究下,如何反编译这些词库,将这些词库使用到其他的场景。

搜狗输入法词库解析

搜狗输入法提供的词库下载下来是scel格式的,在使用前把他转成txt,以下为转换方法:

其他参考资料:

百度输入法词库解析

其他参考资料:

QQ拼音输入法

JAVA版本:https://github.com/xuantuan58/dict4cn/blob/cc9baa288cfb2ad3ce16ae104656b4c8ff2f371d/importer/src/QQPinyinQpydReader.java

C# 版本:https://github.com/studyzy/imewlconverter/blob/master/IME%20WL%20Converter/IME%20WL%20Converter/IME/QQPinyin.cs

其他参考资料:

常见输入法词库下载地址

批量下载:https://github.com/ltf/lab/tree/208dc4a9df6f8a8c8af7791f83a5bfcbda1f38ea/plab/thesaurus/spider

打赏作者
微信支付标点符 wechat qrcode
支付宝标点符 alipay qrcode

使用Python更换外网IP

在进行数据抓取时,经常会遇到IP被限制的情况,常见的解决方案是搭建代理IP池,或购买IP代理的服务。除此之外,还有一个另外的方法就是使用家里的宽带网络进行抓取。由于家里的宽带每次断开重新连接时都会分配一个新的IP,所以在我们抓取数据的时候,判断 ...
34 sec read

Python多线程与多进程

7 min read

Python Requests 抓取失败时的重试设置

最近在抓取数据的时候,经常遇到连接超时的问题,分析原因居然是DNS污染导致的,为了让程序更加稳健,需要对requests请求实现失败重试的逻辑。
2 min read

One Reply to “拼音输入法词库解析”

Leave a Reply

Your email address will not be published. Required fields are marked *