Traceback (most recent call last):
  File "setup.py", line 15, in <module>
    metadata, options = get_config()
  File "D:\MySQL-python-1.2.3\setup_windows.py", li
ne 7, in get_config
    serverKey = _winreg.OpenKey(_winreg.HKEY_LOCAL_MACHINE, options['registry_ke
y'])
WindowsError: [Error 2]

在网上找了很久都没有找到解决方案，于是在QQ群里问了下，找到了一个做好的安装包，迅速的解决了此问题。

安装包下载地址：http://code.google.com/p/soemin/downloads/list

以下为一个简单的使用python向MySQL插入数据的代码，仅供参考：

import MySQLdb
db = MySQLdb.connect(host="localhost", user="root", passwd="root",db="slopeone")
cursor = db.cursor()
f = open("sample.data", "r")
for line in f:
    content = line.rstrip('\n').split("\t")
    user_id = content[0]
    item_id = content[1]
    rating = content[2]
    print user_id,item_id,rating
    cursor.execute("insert into oso_user_ratings values(%s,%s,%s)",(user_id,item_id,rating))
f.close()
print "over!"
cursor.close()

Related posts:

1. 使用Python连接MSSQL方法
2. MySQL数据库表结构导出工具
3. 《Learn Python The Hard Way》学习笔记

如果直接使用pip install pymssql安装的话，会直接有问题，具体报错如下：

C:\Program Files (x86)\PowerCmd>pip install pymssql
Downloading/unpacking pymssql
  Downloading pymssql-2.0.0b1-dev-20111019.tar.gz (5.0Mb): 5.0Mb downloaded
  Running setup.py egg_info for package pymssql
Traceback (most recent call last):
  File "<string>", line 14, in <module>
  File "C:\Program Files (x86)\PowerCmd\build\pymssql\setup.py", line 41, in <module>
    from Cython.Distutils import build_ext as _build_ext
ImportError: No module named Cython.Distutils
    Complete output from command python setup.py egg_info:
----------------------------------------
Command python setup.py egg_info failed with error code 1
Storing complete log in C:\Users\ThinkPad\AppData\Roaming\pip\pip.log

从上面的报错中发现，原来是少了Cython这个扩展。Cython其实就是一个python的C编译器。安装起来也非常的简单。只要pip install Cython 即可。中间安装的时间会比较长。安装完Cython后再次安装pymssql发现还是不成功。具体的报错内容为：

cl: 命令行 error D8021 :无效的数值参数“/Wl,-allow-multiple-definition”
error: command '"C:\Program Files (x86)\Microsoft Visual Studio 9.0\VC\BIN\cl.exe"' failed with exit status 2

网上找了下，发现解决这个问题方法有很多种，但是都很烦，就是因为很烦，牛肉直接做了个非常牛X的安装包。

安装包下载地址： http://www.lfd.uci.edu/~gohlke/pythonlibs/#pymssql

安装安装完成以后我们就需要使用Python来连接数据库了，具体的连接方法官方网站上有详细的描述，这里只做一下简单的介绍：

http://code.google.com/p/pymssql/wiki/PymssqlExamples

以下为我使用的Python语句:

import pymssql
urllist = ['www.baidu.com','www.google.com']
date = ['2011-01-01','2012-01-02']
conn = pymssql.connect(host='localhost:1433', user='test', password='test', database='MyTestDB')
cur = conn.cursor()
for url in urllist:
    cur.execute("SELECT COUNT(DISTINCT CookieID) FROM [MyTestDB].[dbo].[VisitLog] WITH (NOLOCK) WHERE ComeDate > %s AND ComeDate < %s AND ReferrerDomain = %s",(date[0],date[1],url))
    for row in cur:
        print "%s,%d" % (url,row[0])
conn.close()

Related posts:

1. Python小程序：每天一个文件夹
2. Google Analytic 数据导出API接口
3. Scrapy在Windows上的安装笔记

import time,os
 basePath = 'F:\\work\\'
 thisYear = str(time.localtime()[0])
 thisMonth = str(time.localtime()[1])
 thisDay = time.strftime("%Y-%m-%d", time.localtime())
 yearPath = basePath + thisYear
 monthPath = basePath  + thisYear + '\\' +thisMonth
 dayPath = basePath + thisYear + '\\' +thisMonth + '\\' + thisDay
 if not os.path.exists(yearPath):
     os.mkdir(yearPath)
 if not os.path.exists(monthPath):
     os.mkdir(monthPath)
 if not os.path.exists(dayPath):
     os.mkdir(dayPath)
 os.popen("explorer.exe" + " " + dayPath)
 os.popen("exit")

刚开始写的时候我使用的os.system()来调用windows程序，但发现每次执行是都会弹出一个python窗口，很是麻烦。问了下高人，说解决方案是把.py文件后缀改为.pyw后缀即可。但是试了下还是不行。在高人的指导下，才得知原来值需要将os.system()修改为os.popen()即可。

.py和.pyw有什么不同？

严格来说，它们之间的不同就只有一个：视窗运行它们的时候调用不同的执行档案。视窗用python.exe 运行.py ，用pythonw.exe 运行.pyw 。这纯粹是因为安装视窗版Python 时，扩展名.py 自动被登记为用python.exe 运行的文件，而.pyw 则被登记为用pythonw.exe 运行。.py 和.pyw 之间的“其它差别”全都是python.exe 和pythonw.exe 之间的差别。

跟 python.exe 比较起来，pythonw.exe 有以下的不同：

1. 执行时不会弹出控制台窗口（也叫 DOS 窗口）
2. 所有向原有的 stdout 和 stderr 的输出都无效
3. 所有从原有的 stdin 的读取都只会得到 EOF

.pyw 格式是被设计来运行开发完成的纯图形界面程序的。纯图形界面程序的用户不需要看到控制台窗口。开发纯图形界面程序的时候，你可以暂时把.pyw 改成 .py ，以便运行时能调出控制台窗口，看到所有错误信息。

os.system()和os.popen()有什么不同？

1. os.system(command)  在一个子shell中运行command命令，并返回command命令执行完毕后的退出状态。这实际上是使用C标准库函数system()实现的。这个函数在执行command命令时需要重新打开一个终端，并且无法保存command命令的执行结果。
2. os.popen(command,mode)  打开一个与command进程之间的管道。这个函数的返回值是一个文件对象，可以读或者写(由mode决定，mode默认是’r')。如果mode为’r'，可以使用此函数的返回值调用read()来获取command命令的执行结果。

Related posts:

1. Scrapy在Windows上的安装笔记
2. 《Learn Python The Hard Way》学习笔记
3. WEB日志格式及分析工具

import sqlite3
import csv, codecs, cStringIO
class UnicodeWriter:
    """
    A CSV writer which will write rows to CSV file "f",
    which is encoded in the given encoding.
    """

    def __init__(self, f, dialect=csv.excel, encoding="utf-8", **kwds):
        # Redirect output to a queue
        self.queue = cStringIO.StringIO()
        self.writer = csv.writer(self.queue, dialect=dialect, **kwds)
        self.stream = f
        self.encoder = codecs.getincrementalencoder(encoding)()

    def writerow(self, row):
        self.writer.writerow([unicode(s).encode("utf-8") for s in row])
        # Fetch UTF-8 output from the queue ...
        data = self.queue.getvalue()
        data = data.decode("utf-8")
        # ... and reencode it into the target encoding
        data = self.encoder.encode(data)
        # write to the target stream
        self.stream.write(data)
        # empty queue
        self.queue.truncate(0)

    def writerows(self, rows):
        for row in rows:
            self.writerow(row)

conn = sqlite3.connect('ipaddress.sqlite3.db')
c = conn.cursor()
c.execute('select * from ipdata')
writer = UnicodeWriter(open("export_data.csv", "wb"))
writer.writerows(c)

Related posts:

1. 使用Python来检查统计代码是否布置到位
2. 使用python来抓取新浪的IP数据
3. Google Chart API：二维码

新浪的IP数据接口为：

http://int.dpool.sina.com.cn/iplookup/iplookup.php?format=json&ip=123.124.2.85

返回的数据为：

{"ret":1,"start":"123.123.221.0","end":"123.124.158.29","country":"\u4e2d\u56fd","province":"\u5317\u4eac","city":"\u5317\u4eac","district":"","isp":"\u8054\u901a","type":"","desc":""}

其返回的内容中已经包含了省份+城市+行政区信息了，这就是我们真实想要的。

下面就来说说如何来抓取这部分IP数据，要抓取这部分数据的主要工作就是枚举，即将接口中的IP不断的替换，要替换所有的IP地址肯定不太可能，所以我们缩小下范围，只穷举所有中国的IP段。考虑到新浪的IP接口返回的是IP段，所以要穷举的部分又少了一部分。再考虑啊到IP段的最后一位及256个IP基本上都是在一个地区，所以我们要穷举的数据有少了很多。对于穷举最重要的是把IP地址换成INT型。

具体国内有多少IP地址段，可以到APNIC官方网站去查找或下面的文档

http://ftp.apnic.net/apnic/dbase/data/country-ipv4.lst

下面就来看看穷举程序如何写：

import re

def ipv3_to_int(s):
    l = [int(i) for i in s.split('.')]
    return  (l[0] << 16) | (l[1] << 8) | l[2]

def int_to_ipv3(s):
    ip1 = s >> 16 & 0xFF
    ip2 = s >> 8 & 0xFF
    ip3 = s & 0xFF
    return "%d.%d.%d" % (ip1, ip2, ip3)

i = open('ChinaIPAddress.csv', 'r')
list = i.readlines()
for iplist in list:
    pattern = re.compile('(\d{1,3}\.\d{1,3}\.\d{1,3})\.\d{1,3}')
    ips = pattern.findall(iplist)
    x = ips[0]
    y = ips[1]
    for ip in range (ipv3_to_int(x),ipv3_to_int(y)):
        ipadress=str(ip)
        #ip_address = int_to_ipv3(ip)
        o = open('ChinaIPAddress.txt','a')
        o.writelines(ipadress)
        o.writelines('\n')
    o.close()
i.close()

当上面的不走完成后就可以对新浪IP接口进行抓取了，抓取代码如下：

#!/usr/bin/python
# -*- coding: utf-8 -*-
import urllib,urllib2, simplejson, sqlite3, time

def ipv3_to_int(s):
    l = [int(i) for i in s.split('.')]
    return  (l[0] << 16) | (l[1] << 8) | l[2]

def int_to_ipv4(s):
    ip1 = s >> 16 & 0xFF
    ip2 = s >> 8 & 0xFF
    ip3 = s & 0xFF
    return "%d.%d.%d.0" % (ip1, ip2, ip3)

def fetch(ipv4, **kwargs):
    kwargs.update({
        'ip': ipv4,
        'format': 'json',
    })
    DATA_BASE = "http://int.dpool.sina.com.cn/iplookup/iplookup.php"
    url = DATA_BASE + '?' + urllib.urlencode(kwargs)
    print url
    fails = 0
    try:
        result = simplejson.load(urllib2.urlopen(url,timeout=20))
    except (urllib2.URLError,IOError):
        fails += 1
        if fails < 10:
            result = fetch(ipv4)
        else:
            sleep_download_time = 60*10
            time.sleep(sleep_download_time)
            result = fetch(ipv4)
    return result

def dbcreate():
    c = conn.cursor()
    c.execute('''create table ipdata(
        ip integer primary key,
        ret integer,
        start text,
        end text,
        country text,
        province text,
        city text,
        district text,
        isp text,
        type text,
        desc text
    )''')
    conn.commit()
    c.close()

def dbinsert(ip,address):
    c = conn.cursor()
    c.execute('insert into ipdata values(?,?,?,?,?,?,?,?,?,?,?)',(ip,address['ret'],address['start'],address['end'],address['country'],address['province'],address['city'],address['district'],address['isp'],address['type'],address['desc']))
    conn.commit()
    c.close()

conn = sqlite3.connect('ipaddress.sqlite3.db')
dbcreate()

i = open('ChinaIPAddress.txt','r')
list = [s.strip() for s in i.readlines()]
end = 0
for ip in list:
    ip = int(ip)
    if ip > end :
        ipaddress = int_to_ipv4(ip)
        info = fetch(ipaddress)
        if info['ret'] == -1:
            pass
        else:
            dbinsert(ip,info)
            end = ipv3_to_int(info['end'])
            print ip,end
    else :
        pass
i.close()

到此就能把新浪所有的国内IP数据给抓取出来，然后在数据分析的工程中大派用场。~

Related posts:

1. 使用python将Sqlite中的数据直接输出为CVS
2. PHP API 框架开发的学习
3. 纯真IP数据库格式读取方法(JAVA/PHP/Python)

# -*- coding: utf-8 -*-
__author__ = ‘www.biaodianfu.com’
import urllib2 ,gzip, StringIO, re
code = “_gaq.push(['_setAccount', 'UA-123456789-1']);”
filename = ‘urllist.txt’
checklist = open(filename,’r')
#urls = checklist.readlines()
urls = [l.strip() for l in checklist.readlines()]
for url in urls:
    page_encode = “utf-8″
    try:
        request = urllib2.Request(url)
        request.add_header(“Accept-encoding”, “gzip”)
        sock = urllib2.urlopen(request)
        page = sock.read()
        if sock.headers.get(‘content-encoding’, None) == ‘gzip’:
            page = gzip.GzipFile(fileobj=StringIO.StringIO(page)).read()
        if not isinstance(page, unicode):
            page = unicode(page, page_encode)
        times = page.count(code)
        print “%s 出现了 %d 次” % (url,times)
    except urllib2.HTTPError,e:
        print url,e.code
checklist.close()

如果要判断_setAccount或其他_gaq中的项是否添加正确，可以采用以下代码。

# -*- coding: utf-8 -*-
__author__ = ‘www.biaodianfu.com’
# -*- coding: utf-8 -*-
import urllib2 ,gzip, StringIO, re
filename = ‘urllist.txt’
checklist = open(filename,’r')
#urls = checklist.readlines()
urls = [l.strip() for l in checklist.readlines()]
for url in urls:
    page_encode = “utf-8″
    try:
        request = urllib2.Request(url)
        request.add_header(“Accept-encoding”, “gzip”)
        sock = urllib2.urlopen(request)
        page = sock.read()
        if sock.headers.get(‘content-encoding’, None) == ‘gzip’:
            page = gzip.GzipFile(fileobj=StringIO.StringIO(page)).read()
        if not isinstance(page, unicode):
            page = unicode(page, page_encode)
        pattern = re.compile(“‘_setAccount’, ‘(.*?)’”)
        codes = pattern.findall(page)
        account = codes[0].encode(‘utf-8′)
        print “%s Account:%s” % (url,account)
    except urllib2.HTTPError,e:
        print url,e.code
checklist.close()

Related posts:

1. 使用python将Sqlite中的数据直接输出为CVS
2. 使用python来抓取新浪的IP数据
3. 内页PR查询软件：PaRaMeter

Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。

作为Key-value型数据库，Redis也提供了键（Key）和键值（Value）的映射关系。但是，除了常规的数值或字符串，Redis的键值还可以是以下形式之一：

• Lists （列表）
• Sets （集合）
• Sorted sets （有序集合）
• Hashes （哈希表）

键值的数据类型决定了该键值支持的操作。Redis支持诸如列表、集合或有序集合的交集、并集、查集等高级原子操作；同时，如果键值的类型是普通数字，Redis则提供自增等原子操作。

通常，Redis将数据存储于内存中，或被配置为使用虚拟内存.通过两种方式可以实现数据持久化：使用快照的方式，将内存中的数据不断写入磁盘；或使用类似MySQL的日志方式，记录每次更新的日志。前者性能较高，但是可能会引起一定程度的数据丢失；后者相反。

Redis支持将数据同步到多台从库上，这种特性对提高读取性能非常有益。

相比需要依赖磁盘记录每个更新的数据库，基于内存的特性无疑给Redis带来了非常优秀的性能。读写操作之间有显著的性能差异。

二、Redis在Window的安装

Redis官方（http://redis.io/）提供了源代码下载但是并不能直接运用与Windows系统，好在牛人做了一个第三方的预编译文件。

下载地址为：https://github.com/dmajkic/redis/downloads

使用起来也非常的简单，只要解压后运行目录下的redis-server.exe文件即可。

三、用Python来操作Redis

Redis的Python接口目前比较成熟的是redis-py，项目地址为

https://github.com/andymccurdy/redis-py

如果你的电脑已经安装了Pip，可以直接运行 pip install redis即可。

具体如何对数据进行更加详细的操作，后面再详述。另外如果你希望在PHP中也使用Redis的话，请访问：http://rediska.geometria-lab.net/

参考地址：http://zh.wikipedia.org/wiki/Redis

Related posts:

1. StartSSL免费的HTTPS证书颁发机构
2. MySQL数据库表结构导出工具
3. Facebook XHP:让PHP成为模板引擎

在安装Scrapy前首先需要确定的是已经安装好了Python（目前Scrapy支持Python2.5，Python2.6和Python2.7）。官方文档中介绍了三种方法进行安装，我采用的是使用 easy_install 进行安装，首先是下载Windows版本的setuptools（下载地址：http://pypi.python.org/pypi/setuptools），下载完后一路NEXT就可以了。

安装完setuptool以后。执行CMD，然后运行一下命令：

easy_install -U Scrapy

同样的你可以选择使用pip安装，pip的地址：http://pypi.python.org/pypi/pip

使用pip安装Scrapy的命令为

pip install Scrapy

如果你的电脑先前装过visual studio 2008 或 visual studio 2010那么一起顺利，Scrapy已经安装完成。如果出现下列报错：Unable to find vcvarsall.bat 那么你需要折腾下。你可以安装visual studio 后进行安装或采用下面的方式进行解决：

1. 首先安装MinGW（MinGW下载地址：http://sourceforge.net/projects/mingw/files/），在MinGW的安装目录下找到bin的文件夹，找到mingw32-make.exe，复制一份更名为make.exe；
2. 把MinGW的路径添加到环境变量path中，比如我把MinGW安装到D:\MinGW\中，就把D:\MinGW\bin添加到path中；
3. 打开命令行窗口，在命令行窗口中进入到要安装代码的目录下；
4. 输入如下命令 setup.py install build –compiler=mingw32 就可以安装了。

经测试安装vs2010无效，删除后重新安装的vs2008才生效。基本上安装进行到这里就已经结束了，但还是在我自己的电脑商再次重新安装时却发现如下问题：

‘xslt-config’ 不是内部或外部命令，也不是可运行的程序或批处理文件。

出现上述问题的主要是lxml安装不成功，只要上http://pypi.python.org/simple/lxml/下载个exe文件进行安装就可以了。

参考文档：http://doc.scrapy.org/intro/install.html

Related posts:

1. 使用Python连接MSSQL方法
2. Python小程序：每天一个文件夹
3. 使用Python来连接MySQL

《learn python the hard way》地址：http://learnpythonthehardway.org/book/

在学习Python之前首先是安装Python运行环境，这里使用的Windows平台，以下为安装步骤：

安装Python本身其实很简单，选定安装目录，然后一路NEXT。在windows下安装python之后，系统并不会自动添加相应的环境变量。此时不能在命令行直接使用python命令。所以就需要设定Windows系统变量。

1. 首先需要在系统中注册python环境变量：假设python的安装路径为D:\python2.6，则修改我的电脑->属性->高级->环境变量->系统变量中的PATH为：PATH=PATH;D:\python26

上述环境变量设置成功之后，就可以在命令行直接使用python命令。或执行”python *.py”运行python脚本了。

2. 此时，还是只能通过”python *.py”运行python脚本，若希望直接运行*.py，只需再修改另一个环境变量PATHEXT:
PATHEXT=PATHEXT;.PY;.PYM

以下为笔记内容，由于还没看完，所以只有一点点。

练习:1：print语句

1. 单引号和双引号都可以使用
2. 单引号里可以包含双引号，双引号里可以包含单引号。
3. Python使用#号进行注释
4. 如需要在一行输出，可以使用,作为连接符，在PHP中是.号
5. 如果引号中需要使用相同的引号，需哟啊使用\转义。
6. print为单行输出

练习2：#号注释

练习3：数学运算

1. 整数相除得到的还是整数，后面的小数点去掉。
2. 运算符不要加引号，引号中的运算会被当成字符串。
3. 判断运算符(> 4、运算出有浮点小数，运算结果才会是浮点数。浮点数如果小数点后面是0，默认保存1个0.

练习4：变量

1. 和PHP不一样的是变量不需要使用$符号标注。

练习5：变量的输出

1. 输出时，用%表示变量。
2. %f输出的默认后面6位小数
3. 多个变量用括号合并在一起
4. 变量输出前可做运算。
5. %r为输出任意格式。
6. 要限定输出的整数位数（宽度），使用%04d，中间的0不可少。
7. 浮点数如需保留两位小数，使用%0.2f，限定浮点数的宽度，可以使用%06.2f，小数点计算在宽度内。

练习6：文本和字符串

1. 格式化字符可以给变量赋值
2. 字符串相连可以使用+

练习7：内容输出

1. 字符串可以直接跟在格式化字符串后面。
2. 相同内容输出多遍，可以使用*号
3. print后面加,可以是输出不换行。（但有空格）

练习8：输出

1. 输出前可以先设定输出格式

练习9：输出

1. 多行输出使用三对双引号
2. 使用\n可输出换行

练习10：转义符

1. 3对单引号也可以多行输出
2. %r输出带单引号，%s输出不带。

练习11：输入

1. 使用raw_input()进行输入

练习12：输入带内容

1. 直接将要显示的文本字符串写入raw_input()的参数。
2. pydoc的使用：pydoc.help(raw_input)

未完待续

Related posts:

1. Python小程序：每天一个文件夹
2. Scrapy在Windows上的安装笔记
3. 编程语言介绍之Python

一、概述

下图显示了Scrapy的大体架构，其中包含了它的主要组件及系统的数据处理流程（绿色箭头所示）。下面就来一个个解释每个组件的作用及数据的处理过程。

二、组件

1、Scrapy Engine（Scrapy引擎）

Scrapy引擎是用来控制整个系统的数据处理流程，并进行事务处理的触发。更多的详细内容可以看下面的数据处理流程。

2、Scheduler（调度）

调度程序从Scrapy引擎接受请求并排序列入队列，并在Scrapy引擎发出请求后返还给他们。

3、Downloader（下载器）

下载器的主要职责是抓取网页并将网页内容返还给蜘蛛( Spiders)。

4、Spiders（蜘蛛）

蜘蛛是有Scrapy用户自己定义用来解析网页并抓取制定URL返回的内容的类，每个蜘蛛都能处理一个域名或一组域名。换句话说就是用来定义特定网站的抓取和解析规则。

蜘蛛的整个抓取流程（周期）是这样的：

1. 首先获取第一个URL的初始请求，当请求返回后调取一个回调函数。第一个请求是通过调用start_requests()方法。该方法默认从start_urls中的Url中生成请求，并执行解析来调用回调函数。
2. 在回调函数中，你可以解析网页响应并返回项目对象和请求对象或两者的迭代。这些请求也将包含一个回调，然后被Scrapy下载，然后有指定的回调处理。
3. 在回调函数中，你解析网站的内容，同程使用的是Xpath选择器（但是你也可以使用BeautifuSoup, lxml或其他任何你喜欢的程序），并生成解析的数据项。
4. 最后，从蜘蛛返回的项目通常会进驻到项目管道。

5、Item Pipeline（项目管道）

项目管道的主要责任是负责处理有蜘蛛从网页中抽取的项目，他的主要任务是清晰、验证和存储数据。当页面被蜘蛛解析后，将被发送到项目管道，并经过几个特定的次序处理数据。每个项目管道的组件都是有一个简单的方法组成的Python类。他们获取了项目并执行他们的方法，同时他们还需要确定的是是否需要在项目管道中继续执行下一步或是直接丢弃掉不处理。

项目管道通常执行的过程有：

1. 清洗HTML数据
2. 验证解析到的数据（检查项目是否包含必要的字段）
3. 检查是否是重复数据（如果重复就删除）
4. 将解析到的数据存储到数据库中

6、Downloader middlewares（下载器中间件）

下载中间件是位于Scrapy引擎和下载器之间的钩子框架，主要是处理Scrapy引擎与下载器之间的请求及响应。它提供了一个自定义的代码的方式来拓展Scrapy的功能。下载中间器是一个处理请求和响应的钩子框架。他是轻量级的，对Scrapy尽享全局控制的底层的系统。

7、Spider middlewares（蜘蛛中间件）

蜘蛛中间件是介于Scrapy引擎和蜘蛛之间的钩子框架，主要工作是处理蜘蛛的响应输入和请求输出。它提供一个自定义代码的方式来拓展Scrapy的功能。蛛中间件是一个挂接到Scrapy的蜘蛛处理机制的框架，你可以插入自定义的代码来处理发送给蜘蛛的请求和返回蜘蛛获取的响应内容和项目。

8、Scheduler middlewares（调度中间件）

本文由标点符进行翻译，英文原文为：http://doc.scrapy.org/topics/architecture.html

Related posts:

1. Scrapy在Windows上的安装笔记
2. 聚焦爬虫：定向抓取系统的实现方法