当前位置 博文首页 > 孤寒者的博客:Scrapy中selenium的应用-----并通过京东图书书籍

    孤寒者的博客:Scrapy中selenium的应用-----并通过京东图书书籍

    作者:[db:作者] 时间:2021-07-25 18:39

    引言------
    在通过scrapy框架进行某些网站数据爬取的时候,往往会碰到页面动态数据加载(ajax)的情况发生,如果直接使用scrapy对其url发请求,是绝对获取不到那部分动态加载出来的数据值。但是通过观察我们会发现,通过浏览器进行url请求发送则会加载出对应的动态加载出的数据。那么如果我们想要在scrapy也获取动态加载出的数据,则必须使用selenium创建浏览器对象,然后通过该浏览器对象进行请求发送,获取动态加载的数据值。

    1.案例分析:

    需求:爬取京东图书中的所有书籍信息。  (URL为https://book.jd.com/booksort.html)
    
    需求分析:当我们进去该网站时,会发现当前页面展示的书籍分类信息是被动态加载出来的,如果直接通过程序对url进行请求,是获取不到动态加载出来的书籍分类信息的。但是我们发现:如果我们通过selenium进行访问就可以得到所有信息!所以咱们使用selenium实例化一个浏览器对象,在该对象中进行url的请求,获取动态加载的数据。
    

    2.selenium在scrapy中使用的原理分析:

    cs