提交 325b8e37 编写于 作者: J Jan Yang

index page

上级 4407f313
# Scrapy 1.6文档
本文档包含您需要了解的有关Scrapy的所有信息。
## 获得帮助
遇到麻烦?我们想帮忙!
- 试试[常见问题](https://docs.scrapy.org/en/latest/faq.html) - 它有一些常见问题的答案。
- 寻找具体信息?尝试[索引](https://docs.scrapy.org/en/latest/genindex.html)[模块索引](https://docs.scrapy.org/en/latest/py-modindex.html)
- [使用scrapy标签在StackOverflow中](https://stackoverflow.com/tags/scrapy)提问或搜索问题。
-[Scrapy子板块](https://www.reddit.com/r/scrapy/)中询问或搜索问题。
- 搜索[scrapy用户邮件列表](https://groups.google.com/forum/#!forum/scrapy-users)的档案问题。
-[#scrapy IRC频道中](irc://irc.freenode.net/scrapy)提问。
- 在我们的[issues跟踪器](https://github.com/scrapy/scrapy/issues)中提交Scrapy的bug。
-
## 第一步
[Scrapy初探](https://docs.scrapy.org/en/latest/intro/overview.html)
​ 了解Scrapy是什么以及它如何帮助您。
[安装指南](https://docs.scrapy.org/en/latest/intro/install.html)
​ 在您的计算机上安装Scrapy。
[Scrapy教程](https://docs.scrapy.org/en/latest/intro/tutorial.html)
​ 写下您的第一个Scrapy项目。
[例子](https://docs.scrapy.org/en/latest/intro/examples.html)
​ 通过使用预设的Scrapy项目了解更多信息。
## 基本概念
[命令行工具](https://docs.scrapy.org/en/latest/topics/commands.html)
​ 学习用于管理您的Scrapy项目的命令行工具。
[爬虫(Spiders)](https://docs.scrapy.org/en/latest/topics/spiders.html)
​ 编写规则以抓取您的网站。
[选择器(Selectors)](https://docs.scrapy.org/en/latest/topics/selectors.html)
​ 使用XPath从网页中提取数据。
[Scrapy shell](https://docs.scrapy.org/en/latest/topics/shell.html)
​ 在交互式环境中测试您的提取代码。
[Items](https://docs.scrapy.org/en/latest/topics/items.html)
​ 定义您要爬取的数据。
[Item Loaders(加载器)](https://docs.scrapy.org/en/latest/topics/loaders.html)
​ 使用提取的数据填充您的Items。
[Item Pipeline(管道)](https://docs.scrapy.org/en/latest/topics/item-pipeline.html)
​ 后期处理并存储您已爬取的数据。
[原料输出](https://docs.scrapy.org/en/latest/topics/feed-exports.html)
​ 使用不同的格式和存储输出您的已爬取的数据。
[请求和响应](https://docs.scrapy.org/en/latest/topics/request-response.html)
​ 理解用于表示HTTP请求和响应的类。
[链接提取器](https://docs.scrapy.org/en/latest/topics/link-extractors.html)
​ 方便的类,用于从页面中提取关联链接。
[设置](https://docs.scrapy.org/en/latest/topics/settings.html)
​ 学习如何配置Scrapy并查看所有[可用设置](https://docs.scrapy.org/en/latest/topics/settings.html#topics-settings-ref)
[异常](https://docs.scrapy.org/en/latest/topics/exceptions.html)
​ 查看所有可用的异常情况及其含义。
## 内置服务
[日志记录(Logging)](https://docs.scrapy.org/en/latest/topics/logging.html)
​ 学习如何在Scrapy上使用Python的内置日志记录。
[收集统计信息](https://docs.scrapy.org/en/latest/topics/stats.html)
​ 收集有关您正在爬取的爬虫的统计信息。
[发送电子邮件](https://docs.scrapy.org/en/latest/topics/email.html)
​ 发生特定事件时发送电子邮件通知。
[Telnet控制台](https://docs.scrapy.org/en/latest/topics/telnetconsole.html)
​ 使用内置的Python控制台检查正在运行的爬虫。
[网络服务](https://docs.scrapy.org/en/latest/topics/webservice.html)
​ 使用Web服务监视和控制爬虫。
## 解决具体问题
[经常问的问题](https://docs.scrapy.org/en/latest/faq.html)
​ 获得最常见问题的答案。
[调试爬虫](https://docs.scrapy.org/en/latest/topics/debug.html)
​ 学习如何调试scrapy爬虫的常见问题。
[爬虫合同](https://docs.scrapy.org/en/latest/topics/contracts.html)
​ 学习如何使用合同来测试您的爬虫。
[常见做法](https://docs.scrapy.org/en/latest/topics/practices.html)
​ 熟悉一些Scrapy的常见做法。
[通用爬虫](https://docs.scrapy.org/en/latest/topics/broad-crawls.html)
​ Tune Scrapy可以并行抓取大量域名。
[使用浏览器的开发者工具进行抓取](https://docs.scrapy.org/en/latest/topics/developer-tools.html)
​ 学习如何使用浏览器的开发者工具。
[调试内存溢出](https://docs.scrapy.org/en/latest/topics/leaks.html)
​ 学习如何查找和清除爬虫中的内存溢出。
[下载和处理文件及图像](https://docs.scrapy.org/en/latest/topics/media-pipeline.html)
​ 下载与已爬取Items关联的文件和或图像。
[部署爬虫](https://docs.scrapy.org/en/latest/topics/deploy.html)
​ 部署Scrapy爬虫并在远程服务器中运行它们。
[AutoThrottle扩展](https://docs.scrapy.org/en/latest/topics/autothrottle.html)
​ 根据负载动态调整爬虫速率。
[标杆管理](https://docs.scrapy.org/en/latest/topics/benchmarking.html)
​ 检查Scrapy如何在您的硬件上执行。
[Jobs:暂停和恢复抓取](https://docs.scrapy.org/en/latest/topics/jobs.html)
​ 学习如何暂停和恢复大型爬虫的抓取。
## 扩展Scrapy
[架构概述](https://docs.scrapy.org/en/latest/topics/architecture.html)
​ 了解Scrapy架构。
[下载中间件](https://docs.scrapy.org/en/latest/topics/downloader-middleware.html)
​ 自定义页面的请求和下载。
[爬虫中间件](https://docs.scrapy.org/en/latest/topics/spider-middleware.html)
​ 自定义您的爬虫的输入和输出。
[扩展](https://docs.scrapy.org/en/latest/topics/extensions.html)
​ 使用您的自定义功能扩展Scrapy
[核心API](https://docs.scrapy.org/en/latest/topics/api.html)
​ 在扩展和中间件上使用它来扩展Scrapy功能
[信号](https://docs.scrapy.org/en/latest/topics/signals.html)
​ 查看所有可用信号以及如何使用它们。
[Item导出](https://docs.scrapy.org/en/latest/topics/exporters.html)
​ 快速将您已爬取的items导出到文件(XML,CSV等)。
## 其他
[发行说明](https://docs.scrapy.org/en/latest/news.html)
​ 查看最近Scrapy版本中的变化。
[为Scrapy做贡献](https://docs.scrapy.org/en/latest/contributing.html)
​ 学习如何为Scrapy项目做出贡献。
[版本控制和API稳定性](https://docs.scrapy.org/en/latest/versioning.html)
​ 了解Scrapy版本控制和API稳定性。
[下一个 ](https://docs.scrapy.org/en/latest/intro/overview.html)
\ No newline at end of file
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册