前言

大家早好、午好、晚好吖~

目录（可点击自己想看的地方?）

前言
- - 本篇代码提供者: 青灯教育-巳月老师
知识点
开发环境
代码
尾语

本篇代码提供者: 青灯教育-巳月老师

知识点

爬虫基本流程
json
requests 爬虫当中发送网络请求
pandas 表格处理 / 保存数据
pyecharts 可视化

开发环境

python 3.8 比较稳定版本解释器发行版 anaconda jupyter notebook 里面写数据分析代码专业性
pycharm 专业代码编辑器按照年份与月份划分版本的

代码

采集数据

导入模块

import requests      # 发送网络请求模块
import json
import pprint        # 格式化输出模块
import pandas as pd  # 数据分析当中一个非常重要的模块
1
2
3
4

今天要爬取的目标数据

https://news.qq.com/zt2020/page/feiyan.htm#/
1

发送请求

url = 'https://view.inews.qq.com/g2/getOnsInfo?name=disease_h5&_=1638361138568'
response = requests.get(url, verify=False)
1
2

获取数据

json_data = response.json()['data']
1

解析数据

json_data = json.loads(json_data)
china_data = json_data['areaTree'][0]['children'] # 列表
data_set = []
for i in china_data:
    data_dict = {}
    # 地区名称
    源码、解答、教程、资料有需要可以口裙：832157862
    data_dict['province'] = i['name']
    # 新增确认
    data_dict['nowConfirm'] = i['total']['nowConfirm']
    # 死亡人数
    data_dict['dead'] = i['total']['dead']
    # 治愈人数
    data_dict['heal'] = i['total']['heal']
    # 死亡率
    data_dict['deadRate'] = i['total']['deadRate']
    # 治愈率
    data_dict['healRate'] = i['total']['healRate']
    data_set.append(data_dict)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

保存数据

df = pd.DataFrame(data_set)
df.to_csv('data.csv')
1
2

效果

在这里插入图片描述

数据可视化

导入模块

from pyecharts import options as opts
源码、解答、教程、资料有需要可以口裙：832157862
from pyecharts.charts import Bar,Line,Pie,Map,Grid
1
2
3

读取数据

df2 = df.sort_values(by=['nowConfirm'],ascending=False)[:9]
df2
1
2

在这里插入图片描述

死亡率与治愈率

line = (
    Line()
    .add_xaxis(list(df['province'].values))
    .add_yaxis("治愈率", df['healRate'].values.tolist())
    .add_yaxis("死亡率", df['deadRate'].values.tolist())
    .set_global_opts(
        title_opts=opts.TitleOpts(title="死亡率与治愈率"),

    )
)
line.render_notebook()
1
2
3
4
5
6
7
8
9
10
11

在这里插入图片描述

各地区确诊人数与死亡人数情况

bar = (
    Bar()
    .add_xaxis(list(df['province'].values)[:6])
    .add_yaxis("死亡", df['dead'].values.tolist()[:6])
    .add_yaxis("治愈", df['heal'].values.tolist()[:6])
    .set_global_opts(
    源码、解答、教程有需要可以口裙：832157862
        title_opts=opts.TitleOpts(title="各地区确诊人数与死亡人数情况"),
        datazoom_opts=[opts.DataZoomOpts()],
        )
)
bar.render_notebook()
1
2
3
4
5
6
7
8
9
10
11
12