腾讯短文本匹配实践：公司名称匹配
项目背景 项目需要把两个独立的系统通过公司名称的匹配来实现数据打通，其中一个系统的公司数有40万+，另一个系统中需要匹配的公司数3600+，如果直接通过SQL LIKE形式的方式来关联两个系统，发现只有1100多家公司名称可以匹配，如果剩余…
城市运营之商圈商业区数据完善
目前大部分O2O性质的服务（如外卖）都是以城市商圈未中心进行拓展的。在社区运营层面往往也需要商圈的信息，比如咸鱼的“鱼塘”也是基于商圈进行的运营。更加完善的商圈数据，无疑会更好的协助城市运营。由于商圈/商业区不像行政区一样有非常明确和标准的…
正则表达式与Python Re模块
re模块是Python标准库中的一个模块，用于执行正则表达式操作。正则表达式是一种强大的工具，用于字符串匹配、查找、替换和解析。re模块提供了丰富的功能，支持复杂的模式匹配和字符串处理。 正则表达式简介 正则表达式是对字符串操作的一种逻辑公…
HTML解析抽取工具Beautiful Soup
BeautifulSoup是一个可以从HTML或XML文件中提取数据的Python库，简单来说，它能将HTML的标签文件解析成树形结构，然后方便地获取到指定标签的对应属性。这个特性lxml 差不多。 BeautifulSoup的安装 Bea…
Python网络请求库Requests使用技巧
Requests 库是用来在 Python 中发出标准的 HTTP 请求。它将请求背后的复杂性抽象成一个漂亮，简单的 API，以便你可以专注于与服务交互和在应用程序中使用数据。 Requests POST/GET 参数 常用参数见下表： R…
Python异常重试解决方案
数据抓取时，经常遇到由于网络问题导致的程序异常，一开始的做法只是记录了错误内容，并对错误内容再进行后期处理。这里整理了一些更好的异常重试方法或机制。 初始版本： def crawl_page(url): pass def log_error…
HTML网页解析提取工具lxml和XPath
在数据抓取过程中，经常遇到需要解析HTML中的内容，常用的是用正则表达式，今天主要介绍lxml工具及xpath的语法。 lxml简介 lxml是一款高性能Python XML库，它天生支持XPath 1.0、XSLT 1.0、定制元素类，甚…
条件随机场CRF及CRF++安装与使用
[LATEXPAGE] 条件随机场(conditional random field, CRF)是用来标注和划分序列结构数据的概率化结构模型。言下之意，就是对于给定的输出，标识序列Y和观测序列X，条件随机场通过定义条件概率P(Y|X)，而不…
Linux下文件的压缩与解压缩
Linux下文件的压缩与解压缩与Windows环境下有较大的区别，在Windows下只需要安装类似Winrar工具就能解压缩大部分文件，而在Linux命令行下每一种文件都有不同的压缩和解压缩方法。 常用Linux压缩解压缩命令 使用tar打…
最小熵原理确认词向量维度
[LATEXPAGE] 随着NLP的发展，像Word2Vec、Glove这样的词向量模型，正逐渐地被基于Transformer的BERT等模型代替，不过经典始终是经典，词向量模型依然在不少场景发光发热，并且仍有不少值得我们去研究的地方。本文…
