Python 网络爬虫:解析JSON, 获取JS动态内容—爬取今日头条, 抓取json内容

有一些网站的内容由前端的JS动态生成,由于呈现在网页上的内容是由JS生成而来,我们能够在浏览器上看得到,但是在HTML源码中却发现不了。比如今日头条:
浏览器呈现的网页是这样的:

 

Python 网络爬虫:解析JSON, 获取JS动态内容—爬取今日头条, 抓取json内容
Python 网络爬虫:解析JSON, 获取JS动态内容—爬取今日头条, 抓取json内容

 

查看源码,却是这样的:

 

Python 网络爬虫:解析JSON, 获取JS动态内容—爬取今日头条, 抓取json内容
Python 网络爬虫:解析JSON, 获取JS动态内容—爬取今日头条, 抓取json内容

 

网页的新闻在HTML源码中一条都找不到,全是由JS动态生成加载。
遇到这种情况,我们应该如何对网页进行爬取呢?有两种方法:

1、从网页响应中找到JS脚本返回的JSON数据;2、使用Selenium对网页进行模拟访问
在此只对第一种方法作介绍,关于Selenium的使用,后面有专门的一篇。

一、从网页响应中找到JS脚本返回的JSON数据
即使网页内容是由JS动态生成加载的,JS也需要对某个接口进行调用,并根据接口返回的JSON数据再进行加载和渲染。
所以我们可以找到JS调用的数据接口,从数据接口中找到网页中最后呈现的数据。
就以今日头条为例来演示:

1、从找到JS请求的数据接口
F12打开网页调试工具

 

Python 网络爬虫:解析JSON, 获取JS动态内容—爬取今日头条, 抓取json内容
Python 网络爬虫:解析JSON, 获取JS动态内容—爬取今日头条, 抓取json内容

 

选择“网络”选项卡后,发现有很多响应,我们筛选一下,只看XHR响应。
(XHR是Ajax中的概念,表示XMLHTTPrequest)
然后我们发现少了很多链接,随便点开一个看看:
我们选择city,预览中有一串json数据:

 

Python 网络爬虫:解析JSON, 获取JS动态内容—爬取今日头条, 抓取json内容
Python 网络爬虫:解析JSON, 获取JS动态内容—爬取今日头条, 抓取json内容

 

我们再点开看看:

 

Python 网络爬虫:解析JSON, 获取JS动态内容—爬取今日头条, 抓取json内容
Python 网络爬虫:解析JSON, 获取JS动态内容—爬取今日头条, 抓取json内容

 

原来全都是城市的列表,应该是加载地区新闻之用的。
现在大概了解了怎么找JS请求的接口的吧?但是刚刚我们并没有发现想要的新闻,再找找看:
有一个focus,我们点开看看:

 

Python 网络爬虫:解析JSON, 获取JS动态内容—爬取今日头条, 抓取json内容
Python 网络爬虫:解析JSON, 获取JS动态内容—爬取今日头条, 抓取json内容

 

与首页的图片新闻呈现的数据是一样的,那么数据应该就在这里面了。
看看其他的链接:

 

Python 网络爬虫:解析JSON, 获取JS动态内容—爬取今日头条, 抓取json内容
Python 网络爬虫:解析JSON, 获取JS动态内容—爬取今日头条, 抓取json内容

 

这应该是热搜关键词

 

Python 网络爬虫:解析JSON, 获取JS动态内容—爬取今日头条, 抓取json内容
Python 网络爬虫:解析JSON, 获取JS动态内容—爬取今日头条, 抓取json内容

 

这个就是图片新闻下面的新闻了。
我们打开一个接口链接看看:toutiao.com/api/pc/focu

 

Python 网络爬虫:解析JSON, 获取JS动态内容—爬取今日头条, 抓取json内容
Python 网络爬虫:解析JSON, 获取JS动态内容—爬取今日头条, 抓取json内容

 

返回一串乱码,但从响应中查看的是正常的编码数据:

 

Python 网络爬虫:解析JSON, 获取JS动态内容—爬取今日头条, 抓取json内容
Python 网络爬虫:解析JSON, 获取JS动态内容—爬取今日头条, 抓取json内容

 

有了对应的数据接口,我们就可以仿照之前的方法对数据接口进行请求和获取响应了

2、请求和解析数据接口数据

先上完整代码:

#!/usr/bin/env python
# coding=utf-8

import requests
import json

url = 'http://www.toutiao.com/api/pc/focus/'
wbdata = requests.get(url).text

data = json.loads(wbdata)
news = data['data']['pc_feed_focus']

for n in news:
  title = n['title'] if 'title' in n else 'no title'
  # if 'title' in n : title = n['title']
  # else : title = 'no title'

  img_url = n['image_url'] if 'image_url' in n else 'no image_url'
  url = n['media_url'] if 'media_url' in n else 'no media_url'

  print(url,title,img_url)

返回出来的结果如下:

 

Python 网络爬虫:解析JSON, 获取JS动态内容—爬取今日头条, 抓取json内容
Python 网络爬虫:解析JSON, 获取JS动态内容—爬取今日头条, 抓取json内容

 

照例,稍微讲解一下代码:

代码分为四部分,

第一部分:引入相关的库

# coding:utf-8
import requests
import json

 

第二部分:对数据接口进行http请求

url = 'http://www.toutiao.com/api/pc/focus/'
wbdata = requests.get(url).text

 

第三部分:对HTTP响应的数据JSON化,并索引到新闻数据的位置

data = json.loads(wbdata)
news = data['data']['pc_feed_focus']

 

第四部分:对索引出来的JSON数据进行遍历和提取

for n in news:    
  title = n['title']    
  img_url = n['image_url']    
  url = n['media_url']    
  print(url,title,img_url)

 

如此,就完成了从JS网页中爬取数据。

 

 

本文:Python 网络爬虫:解析JSON, 获取JS动态内容—爬取今日头条, 抓取json内容

发表评论