CentOS 7 安装 Scrapy 记录

如何在Windows上安装Scrapy 之前的文章中已经讲过,这次的主题改为如何在Linux上安装Scrapy。这次安装选择的是CentOS 7 而没有采用Cent OS 6.7 主要原因是:CentOS 6.7 系统自带的Python是2.6版本,不能满足Scrapy的需求,如果升级成为Python 2.7可能会带来很多意想不到的灾难(先前已经踩过坑,T_T)。具体流程如下:

1、安装开发包组

2、安装Scarpy 所需要的开发包

3、安装Python包管理工具pip

如果直接使用yum install python-pip进行安装会发生如下错误:

解决方案是先安装epel(EPEL是由 Fedora 社区打造,为 RHEL 及衍生发行版如 CentOS、Scientific Linux 等提供高质量软件包的项目):

安装完epel后再执行安装pip 即可,注意到系统自带的Pip不是最新版本的,还可以再升级下:

4、使用Pip安装Scrapy

至此,Scrapy在CentOS的安装就全部完成了,enjoy!

微信支付标点符 wechat qrcode
支付宝标点符 alipay qrcode

开源地理位置数据库:tile38

Tile38是地理定位数据存储,空间索引和实时地理围栏。它支持多种对象类型,包括纬度/经度点,边界框,XYZ平

Redis存储经纬度数据并进行地理操作

Redis 从3.2.0版本开始提供了对地理位置的支持,reids 的地理位置坐标使用 sorted set存

使用Python检测符号及乱码字符

最近在进行关键词的分析,中间涉及到对一些特殊的字符进行过滤的需求。包括带符号的(有部分还是SQL注入),并且存

发表评论

电子邮件地址不会被公开。 必填项已用*标注