当前位置 博文首页 > 孤寒者的博客:学习爬虫之Scrapy框架学习(八)---Scrapy框架里

    孤寒者的博客:学习爬虫之Scrapy框架学习(八)---Scrapy框架里

    作者:[db:作者] 时间:2021-07-25 18:37

    本篇文章要做的是:将之前做的使用Scrapy中Crawl模板爬取纵横小说的项目改编为使用Scrapy_redis的项目!!!点我跳转到之前的纵横小说项目!

    1.首先,将之前的项目改为单个的使用scrapy_redis的分布式爬虫项目。(如果运行OK,再直接复制一个进行少量更改即可实现分布式!)

    第一步:settings.py进行如下配置!

    # 日志写入.log文件,方便观察终端!
    LOG_FILE="zh.log"
    LOG_ENABLED=False
    
    
    # 第一步:加入以下代码:
    #设置scrapy-redis
    #1.启用调度将请求存储进redis
    from scrapy_redis.sched
    cs