Scrapy在Windows上的安装

31 sec read

先前已经有一篇关于Scrapy的介绍了(Scrapy的架构),今天这篇文章是将怎么在Windows上安装Scrapy。

在安装Scrapy前首先需要确定的是已经安装好了Python(目前Scrapy支持Python2.5,Python2.6和Python2.7)。官方文档中介绍了三种方法进行安装,我采用的是使用 easy_install 进行安装,

安装Pip(最新版本的Python已经自带pip了)

首先是下载Windows版本的setuptools(下载地址:http://pypi.python.org/pypi/setuptools),下载完后一路NEXT就可以了。

安装完setuptool以后。执行CMD,然后运行一下命令:

同样的你可以选择使用pip安装,pip的地址:http://pypi.python.org/pypi/pip

安装lxml包

使用pip安装Scrapy的命令为

如果你的电脑先前装过visual studio 2008 或 visual studio 2010那么一切顺利,Scrapy已经安装完成。如果出现下列报错:Unable to find vcvarsall.bat 那么你需要折腾下。你可以安装visual studio 后进行安装或采用下面的方式进行解决:

  1. 首先安装MinGW(MinGW下载地址:http://sourceforge.net/projects/mingw/files/),在MinGW的安装目录下找到bin的文件夹,找到mingw32-make.exe,复制一份更名为make.exe
  2. 把MinGW的路径添加到环境变量path中,比如我把MinGW安装到D:\MinGW\中,就把D:\MinGW\bin添加到path中;
  3. 打开命令行窗口,在命令行窗口中进入到要安装代码的目录下;
  4. 输入如下命令 setup.py install build –compiler=mingw32 就可以安装了。

经测试安装vs2010无效,删除后重新安装的vs2008才生效。基本上安装进行到这里就已经结束了,但还是在我自己的电脑商再次重新安装时却发现如下问题:

‘xslt-config’ 不是内部或外部命令,也不是可运行的程序或批处理文件。

出现上述问题的主要是lxml安装不成功,只要上http://pypi.python.org/simple/lxml/下载个exe文件进行安装就可以了。

安装Win32api

在顺利安装完成scrapy后,如果你执行scrapy,有可能会出现, No module named win32api 的错误,解决方案非常的简单,从 https://sourceforge.net/projects/pywin32/ 下载对应的安装包,执行安装即可。

参考文档:

Update:2018-08-13

Python 3 环境下使用pip install scrapy 主要会遇到如下两个错误,lxml和Twisted,解决方法比较简单,到

https://www.lfd.uci.edu/~gohlke/pythonlibs/下载对应的.whl文件,并使用命令进行安装,具体如下:

打赏作者
微信支付标点符 wechat qrcode
支付宝标点符 alipay qrcode

Chrome扩展程序代码路径

Chrome中安装了一个翻译的扩展程序,但该扩展程序对“复制”进行了监听,每次复制翻译的内容都弹出一个框要求注
8 sec read

Chrome占用大量内存的解决方法

在日常使用Chrome的过程中会发现其非常的占用内存。原因是Chrome对每个插件和浏览器标签页都新开一个单独
6 sec read