Scrapy手册
Scrapy教程
在本教程中，我们假设您的系统上已经安装了Scrapy。 如果不是这种情况，请参阅安装指南。
我们将爬取quotes.toscrape.com，这是一个列出着名作家引用的网站。
本教程将指导您完成以下任务：
- 创建一个新的Scrapy项目
- 编写蜘蛛来抓取网站并提取数据
- 使用命令行导出已删除的数据
- 改变蜘蛛以递归方式跟随链接
- 使用蜘蛛参数
Scrapy是用Python编写的。 如果您不熟悉该语言，您可能需要先了解语言是什么，以充分利用Scrapy。
如果您已经熟悉其他语言，并希望快速学习Python，我们建议您阅读Dive Into Python 3.或者，您可以按照Python教程进行操作。
如果您不熟悉编程并希望从Python开始，那么您可能会发现有用的在线书籍“学习Python困难之路”。 您还可以查看非程序员的Python资源列表。
创建一个项目
在开始抓取之前，您必须设置一个新的Scrapy项目。 输入您要存储代码的目录并运行：
scrapy startproject tutorial这将创建一个包含以下内容的tutorial目录：
tutorial/
scrapy.cfg # deploy configuration file
tutorial/ # project's Python module, you'll import your code from here
__init__.py
items.py # project items definition file
middlewares.py # project middlewares file
pipelines.py # project pipelines file
settings.py # project settings file
spiders/ # a directory where you'll later put your spiders
__init__.py我们的第一个蜘蛛
蜘蛛是您定义的类，Scrapy用来从网站（或一组网站）中提取信息。 他们必须将scrapy.Spider子类化并定义要生成的初始请求，可选地如何跟踪页面中的链接，以及如何解析下载的页面内容以提取数据。
这是我们第一个蜘蛛的代码。 将它保存在项目教程/ spiders目录下名为quotes_spider.py的文件中：
import scrapy
class QuotesSpider(scrapy.Spider):
name = "quotes"
def start_requests(self):
urls = [
'http://quotes.toscrape.com/page/1/',
'http://quotes.toscrape.com/page/2/',
]
for url in urls:
yield scrapy.Request(url=url, callback=self.parse)
def parse(self, response):
page = response.url.split("/")[-2]
filename = 'quotes-%s.html' % page
with open(filename, 'wb') as f:
f.write(response.body)
self.log('Saved file %s' % filename)如您所见，我们的Spider子类scrapy.Spider并定义了一些属性和方法：
- name：标识Spider。 它在项目中必须是唯一的，也就是说，您不能为不同的Spiders设置相同的名称。
- start_requests（）：必须返回一个可迭代的请求（你可以返回一个请求列表或编写一个生成器函数），Spider将开始从中爬行。 后续请求将从这些初始请求中连续生成。
- parse（）：将调用一个方法来处理为每个请求下载的响应。 response参数是TextResponse的一个实例，它保存页面内容并具有处理它的其他有用方法。
parse（）方法通常解析响应，提取已删除的数据作为dicts，并查找要遵循的新URL并从中创建新请求（Request）。
如何运行我们的蜘蛛
要让我们的蜘蛛工作，请转到项目的顶级目录并运行：
scrapy crawl quotes此命令运行带有我们刚刚添加的名称quotes的spider，它将发送一些quotes.toscrape.com域的请求。 您将获得类似于此的输出：
... (omitted for brevity)
2016-12-16 21:24:05 [scrapy.core.engine] INFO: Spider opened
2016-12-16 21:24:05 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2016-12-16 21:24:05 [scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:6023
2016-12-16 21:24:05 [scrapy.core.engine] DEBUG: Crawled (404) <GET http://quotes.toscrape.com/robots.txt>; (referer: None)
2016-12-16 21:24:05 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://quotes.toscrape.com/page/1/>; (referer: None)
2016-12-16 21:24:05 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://quotes.toscrape.com/page/2/>; (referer: None)
2016-12-16 21:24:05 [quotes] DEBUG: Saved file quotes-1.html
2016-12-16 21:24:05 [quotes] DEBUG: Saved file quotes-2.html
2016-12-16 21:24:05 [scrapy.core.engine] INFO: Closing spider (finished)
...
现在，检查当前目录中的文件。 您应该注意到已经创建了两个带有我们期望url内容的新文件：quotes-1.html和quotes-2.html，正如我们的解析方法所指示的那样。
⚠️注意
如果您想知道为什么我们还没有解析HTML，请继续，我们将很快介绍。
引擎盖下发生了什么？
Scrapy调度由Spider的start_requests方法返回的scrapy.Request对象。 收到每个响应后，它会实例化Response对象并调用与请求相关的回调方法（在本例中为parse方法），将响应作为参数传递。
start_requests方法的快捷方式
您可以只使用URL列表定义start_urls类属性，而不是实现从URL生成scrapy.Request对象的start_requests（）方法。 然后，start_requests（）的默认实现将使用此列表来创建对spider的初始请求：
import scrapy
class QuotesSpider(scrapy.Spider):
name = "quotes"
start_urls = [
'http://quotes.toscrape.com/page/1/',
'http://quotes.toscrape.com/page/2/',
]
def parse(self, response):
page = response.url.split("/")[-2]
filename = 'quotes-%s.html' % page
with open(filename, 'wb') as f:
f.write(response.body)将调用parse（）方法来处理这些URL的每个请求，即使我们没有明确告诉Scrapy这样做。 发生这种情况是因为parse（）是Scrapy的默认回调方法，在没有明确分配回调的情况下调用请求。
提取数据
学习如何使用Scrapy提取数据的最佳方法是使用Scrapy shell尝试选择器。 运行：
scrapy shell 'http://quotes.toscrape.com/page/1/'⚠️注意
记住在从命令行运行Scrapy shell时始终将URL括在引号中，否则包含参数（即。＆字符）的url将不起作用。
在Windows上，请使用双引号：
scrapy shell "http://quotes.toscrape.com/page/1/"你会看到类似的东西：
[ ... Scrapy log here ... ]
2016-09-19 12:09:27 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://quotes.toscrape.com/page/1/> (referer: None)
[s] Available Scrapy objects:
[s] scrapy scrapy module (contains scrapy.Request, scrapy.Selector, etc)
[s] crawler <scrapy.crawler.Crawler object at 0x7fa91d888c90>
[s] item {}
[s] request <GET http://quotes.toscrape.com/page/1/>
[s] response <200 http://quotes.toscrape.com/page/1/>
[s] settings <scrapy.settings.Settings object at 0x7fa91d888c10>
[s] spider <DefaultSpider 'default' at 0x7fa91c8af990>
[s] Useful shortcuts:
[s] shelp() Shell help (print this help)
[s] fetch(req_or_url) Fetch request (or URL) and update local objects
[s] view(response) View response in a browser
>>>使用shell，您可以尝试使用CSS和响应对象选择元素：
>>> response.css('title')
[<Selector xpath='descendant-or-self::title' data='<title>Quotes to Scrape</title>'>]运行response.css（'title'）的结果是一个名为SelectorList的类似列表的对象，它表示包含XML / HTML元素的Selector对象列表，并允许您运行更多查询以细化选择或提取 数据。
要从上面的标题中提取文本，您可以执行以下操作：
>>> response.css('title::text').extract()
['Quotes to Scrape']这里有两点需要注意：一个是我们在CSS查询中添加了:: text，意味着我们只想在<title>元素中直接选择文本元素。 如果我们不指定:: text，我们将获得完整的title元素，包括其标签：
>>> response.css('title').extract()
['<title>Quotes to Scrape</title>']另一件事是调用.extract（）的结果是一个列表，因为我们正在处理SelectorList的一个实例。 当你知道你只想要第一个结果时，就像在这种情况下，你可以这样做：
>>> response.css('title::text').extract_first()
'Quotes to Scrape'作为替代方案，你可以写：
>>> response.css('title::text')[0].extract()
'Quotes to Scrape'但是，使用.extract_first（）可以避免IndexError，并在找不到与选择匹配的任何元素时返回None。
这里有一个教训：对于大多数抓取代码，您希望它能够在页面上找不到任何内容时对错误具有弹性，因此即使某些部分无法被删除，您也至少可以获得一些数据。
除了extract（）和extract_first（）方法之外，您还可以使用re（）方法使用正则表达式进行提取：
>>> response.css('title::text').re(r'Quotes.*')
['Quotes to Scrape']
>>> response.css('title::text').re(r'Q\w+')
['Quotes']
>>> response.css('title::text').re(r'(\w+) to (\w+)')
['Quotes', 'Scrape']为了找到合适的CSS选择器，您可能会发现使用视图（响应）在Web浏览器中从shell打开响应页面非常有用。 您可以使用浏览器开发人员工具或扩展程序（如Firebug）（请参阅有关使用Firebug进行抓取和使用Firefox进行抓取的部分）。
Selector Gadget也是一个很好的工具，可以快速找到视觉选择元素的CSS选择器，它可以在许多浏览器中使用。
XPath：一个简短的介绍
除了CSS，Scrapy选择器还支持使用XPath表达式：
>>> response.xpath('//title')
[<Selector xpath='//title' data='<title>Quotes to Scrape</title>'>]
>>> response.xpath('//title/text()').extract_first()
'Quotes to Scrape'XPath表达式非常强大，是Scrapy Selectors的基础。 实际上，CSS选择器在引擎盖下转换为XPath。 如果仔细阅读shell中选择器对象的文本表示，则可以看到。
虽然可能不像CSS选择器那样流行，但XPath表达式提供了更多功能，因为除了导航结构之外，它还可以查看内容。 使用XPath，您可以选择以下内容：选择包含文本“下一页”的链接。 这使得XPath非常适合抓取任务，我们鼓励你学习XPath，即使你已经知道如何构造CSS选择器，它也会使抓取更容易。
我们不会在这里介绍XPath的大部分内容，但您可以在此处阅读有关在Scrapy选择器中使用XPath的更多信息。 要了解有关XPath的更多信息，我们建议本教程通过示例学习XPath，本教程将学习“如何在XPath中思考”。
提取引文和作者
现在你已经了解了一些关于选择和提取的知识，让我们通过编写代码从网页中提取引号来完成我们的蜘蛛。
http://quotes.toscrape.com中的每个引用都由HTML元素表示，如下所示：
<div class="quote">
<span class="text">“The world as we have created it is a process of our
thinking. It cannot be changed without changing our thinking.”</span>
<span>
by <small class="author">Albert Einstein</small>
<a href="/author/Albert-Einstein">(about)</a>
</span>
<div class="tags">
Tags:
<a class="tag" href="/tag/change/page/1/">change</a>
<a class="tag" href="/tag/deep-thoughts/page/1/">deep-thoughts</a>
<a class="tag" href="/tag/thinking/page/1/">thinking</a>
<a class="tag" href="/tag/world/page/1/">world</a>
</div>
</div>让我们打开scrapy shell并运行一下以了解如何提取我们想要的数据：
$ scrapy shell 'http://quotes.toscrape.com'我们得到了引用HTML元素的选择器列表：
>>> response.css("div.quote")上面的查询返回的每个选择器允许我们对其子元素运行进一步的查询。 让我们将第一个选择器分配给一个变量，这样我们就可以直接在特定的引文上运行CSS选择器：
>>> quote = response.css("div.quote")[0]现在，让我们使用我们刚刚创建的引用对象从该引用中提取标题，作者和标记：
>>> title = quote.css("span.text::text").extract_first()
>>> title
'“The world as we have created it is a process of our thinking. It cannot be changed without changing our thinking.”'
>>> author = quote.css("small.author::text").extract_first()
>>> author
'Albert Einstein'鉴于标记是字符串列表，我们可以使用.extract（）方法获取所有字符串：
>>> tags = quote.css("div.tags a.tag::text").extract()
>>> tags
['change', 'deep-thoughts', 'thinking', 'world']在弄清楚如何提取每个位之后，我们现在可以迭代所有引号元素并将它们放在一起放入Python字典：
>>> for quote in response.css("div.quote"):
... text = quote.css("span.text::text").extract_first()
... author = quote.css("small.author::text").extract_first()
... tags = quote.css("div.tags a.tag::text").extract()
... print(dict(text=text, author=author, tags=tags))
{'tags': ['change', 'deep-thoughts', 'thinking', 'world'], 'author': 'Albert Einstein', 'text': '“The world as we have created it is a process of our thinking. It cannot be changed without changing our thinking.”'}
{'tags': ['abilities', 'choices'], 'author': 'J.K. Rowling', 'text': '“It is our choices, Harry, that show what we truly are, far more than our abilities.”'}
... a few more of these, omitted for brevity
>>>在我们的蜘蛛中提取数据
让我们回到我们的蜘蛛。 到目前为止，它并没有特别提取任何数据，只是将整个HTML页面保存到本地文件中。 让我们将上面的提取逻辑集成到我们的蜘蛛中。
Scrapy蜘蛛通常会生成许多包含从页面提取的数据的字典。 为此，我们在回调中使用yield Python关键字，如下所示：
import scrapy
class QuotesSpider(scrapy.Spider):
name = "quotes"
start_urls = [
'http://quotes.toscrape.com/page/1/',
'http://quotes.toscrape.com/page/2/',
]
def parse(self, response):
for quote in response.css('div.quote'):
yield {
'text': quote.css('span.text::text').extract_first(),
'author': quote.css('small.author::text').extract_first(),
'tags': quote.css('div.tags a.tag::text').extract(),
}如果你运行这个蜘蛛，它将输出提取的数据与日志：
2016-09-19 18:57:19 [scrapy.core.scraper] DEBUG: Scraped from <200 http://quotes.toscrape.com/page/1/>
{'tags': ['life', 'love'], 'author': 'André Gide', 'text': '“It is better to be hated for what you are than to be loved for what you are not.”'}
2016-09-19 18:57:19 [scrapy.core.scraper] DEBUG: Scraped from <200 http://quotes.toscrape.com/page/1/>
{'tags': ['edison', 'failure', 'inspirational', 'paraphrased'], 'author': 'Thomas A. Edison', 'text': "“I have not failed. I've just found 10,000 ways that won't work.”"}存储已抓取的数据
存储已抓取数据的最简单方法是使用Feed导出，使用以下命令：
scrapy crawl quotes -o quotes.json