Python爬虫实战入门五:获取JS动态内容—爬取今日头条



之前我们爬取的网页,多是HTML静态生成的内容,直接从HTML源码中就能找到看到的数据和内容,然而并不是所有的网页都是这样的。
有一些网站的内容由前端的JS动态生成,由于呈现在网页上的内容是由JS生成而来,我们能够在浏览器上看得到,但是在HTML源码中却发现不了。比如今日头条:
浏览器呈现的网页是这样的:

今日头条

查看源码,却是这样的:

HTML源码

网页的新闻在HTML源码中一条都找不到,全是由JS动态生成加载。
遇到这种情况,我们应该如何对网页进行爬取呢?有两种方法:
1、从网页响应中找到JS脚本返回的JSON数据;2、使用Selenium对网页进行模拟访问
在此只对第一种方法作介绍,关于Selenium的使用,后面有专门的一篇。
一、从网页响应中找到JS脚本返回的JSON数据
即使网页内容是由JS动态生成加载的,JS也需要对某个接口进行调用,并根据接口返回的JSON数据再进行加载和渲染。
所以我们可以找到JS调用的数据接口,从数据接口中找到网页中最后呈现的数据。
就以今日头条为例来演示:
1、从找到JS请求的数据接口
F12打开网页调试工具

网页调试工具

选择“网络”选项卡后,发现有很多响应,我们筛选一下,只看XHR响应。
(XHR是Ajax中的概念,表示XMLHTTPrequest)
然后我们发现少了很多链接,随便点开一个看看:
我们选择city,预览中有一串json数据:

我们再点开看看:

原来全都是城市的列表,应该是加载地区新闻之用的。
现在大概了解了怎么找JS请求的接口的吧?但是刚刚我们并没有发现想要的新闻,再找找看:
有一个focus,我们点开看看:

与首页的图片新闻呈现的数据是一样的,那么数据应该就在这里面了。
看看其他的链接:

这应该是热搜关键词

这个就是图片新闻下面的新闻了。
我们打开一个接口链接看看:http://www.toutiao.com/api/pc/focus/

返回一串乱码,但从响应中查看的是正常的编码数据:

有了对应的数据接口,我们就可以仿照之前的方法对数据接口进行请求和获取响应了
2、请求和解析数据接口数据
先上完整代码:

返回出来的结果如下:

照例,稍微讲解一下代码:
代码分为四部分,
第一部分:引入相关的库

第二部分:对数据接口进行http请求

第三部分:对HTTP响应的数据JSON化,并索引到新闻数据的位置

第四部分:对索引出来的JSON数据进行遍历和提取

如此,就完成了从JS网页中爬取数据。

如果本文对你有帮助,请打赏州的先生,鼓励他继续写作!

点赞
州的先生
  1. iwillcodeu说道:

    某程的网站用浏览器可以看到输入控件,但用scrapy及浏览器模拟器PhantomJS取得的页面都看不到该控件,只看得到其父亲的父亲节点,看来是刻意做了放爬虫啊,很有挑战性,你有办法破吗

    1. zmister说道:

      发来看看

  2. 111说道:

    你这个就写一页的?翻页之后的数据

    1. zmister说道:

      这个演示怎么找前端JS的数据接口,各个网站各有各的url构造方式,需要自己去找

  3. hahah说道:

    非常走心,万分感谢~~~

  4. 无怀氏说道:

    这个绝对是手把手教啊!

  5. 杯具也悲剧说道:

    谢谢dalao教学

  6. 匿名说道:

    觉得您写的爬虫内容条理清晰,简介易懂。受益匪浅。 :rolleyes:

  7. 匿名说道:

    怎么查找翻页的URL以及页面里面的具体的url

    1. zmister说道:

      头条新闻是没有翻页的,其它的话,请求参数会有一个字段表示页数或者开始的位置

  8. 匿名说道:

    请问怎么抓取ccer经济金融数据库的数据?上面的json全是一样的

    1. zmister说道:

      一样的思路,获取到JSON后,使用json模块的loads方法,再从中取值

  9. 奔跑的蜗牛说道:

    http://www.toutiao.com/api/pc/focus/ 这个接口是怎么来的呢

    1. zmister说道:

      f12,打开浏览器控制台,在网络选项卡,可以查看所有请求的信息。

  10. wersonliu说道:

    博主你好,看了你的文章去练习其他站爬取, 找到了它网站里的ajax请求中的json,但是需要的数据被多层嵌套了, data['content']['data']['page']['result'] 这个规则好像不能取到result中数据,请问如何解决呢

      1. zmister说道:

        result下是一个列表,你要遍历它,数据在logger中

    1. zmister说道:

      多层嵌套就多层取值,一般多层嵌套之下会是一个列表,你要在遍历循环中取值。最主要的就是分析透返回的数据的结构。

    2. 匿名说道:

      我试着爬了你说的网站,data['content']['data']['page']['result'] 可以取到result中的数据。有可能是你的程序中哪个地方写错了。

    3. zibra2333说道:

      我试着爬了你说的网站,data['content']['data']['page']['result'] 可以取到result中的数据。你可能是程序里其他哪个地方写错了。

      1. zmister说道:

        他给的那个网址,打开就是一个json,主要还是对json取值要熟练

  11. 匿名说道:

    news=后面那一堆怎么得到呢

  12. 匿名说道:

    url = n['media_url']爬下来后全是http://toutiao.com/m5739097906
    用教程4登录解决后出现如下错误,请问怎样解决
    raise InvalidHeader("Invalid return character or leading space in header: %s" % name)
    requests.exceptions.InvalidHeader: Invalid return character or leading space in header: Cookie

    1. zmister说道:

      这个错误表示你传入了一个无效的header,检查一下你的header字典吧

      1. 匿名说道:

        我在登陆前后发现cookie并没有改变啊

  13. yang说道:

    url = n['media_url']全是http://toutiao.com/m5739097906
    按照教程4登录前后cookie不变怎么解决

  14. seven说道:

    为什么wbdata = requests.get(url).text这里我打印了一下,发现是乱码,转成json后就不是乱码了,我自己理解.text就已经转为Unicode了,希望解答

    1. zmister说道:

      要获取原始内容,可以使用.content,text是转码后返回的

  15. 匿名说道:

    看过最好的爬虫教材

    1. zmister说道:

      多谢支持

  16. dudu说道:

    请问_signature这个参数如何获得呢?

    1. zmister说道:

      哪里有_signature参数?

  17. sun说道:

    思路清晰,思路清晰,有条不紊,耐心细致
    向您致敬,谢谢!

    1. zmister说道:

      多谢认可

  18. 说道:

    :razz: 棒棒哒

  19. 匿名说道:

    如何获取第二页的数据 呢

发表评论

电子邮件地址不会被公开。