学习目标：

1.了解Scrapy单机爬虫和分布式爬虫的区别和原理 ；

2.了解Redis缓存消息队列的机制和原理 ；

3.了解Scrapy分布式爬虫的搭建步骤和流程 ；

4.能够手动搭建Scrapy分布式爬虫框架并且能够运行 。

学习建议：

对于分布式爬虫的原理和机制，需要大家理解，这部分内容不需要死记硬背。使用scrapy进行分布式网页抓取和链接提取，可以多次观看视频，看到关键操作则暂停视频，及时模式实现。

下载资料：有