这篇教程Python爬虫爬取疫情数据并可视化展示写得很实用，希望能帮到您。
知识点 - 爬虫基本流程
- json
- requests 爬虫当中 发送网络请求
- pandas 表格处理 / 保存数据
- pyecharts 可视化
开发环境python 3.8 比较稳定版本 解释器发行版 anaconda jupyter notebook 里面写数据分析代码 专业性 pycharm 专业代码编辑器 按照年份与月份划分版本的
爬虫完整代码
导入模块import requests # 发送网络请求模块import jsonimport pprint # 格式化输出模块import pandas as pd # 数据分析当中一个非常重要的模块
分析网站先找到今天要爬取的目标数据 https://news.qq.com/zt2020/page/feiyan.htm#/ 
找到数据所在url 
发送请求url = 'https://view.inews.qq.com/g2/getOnsInfo?name=disease_h5&_=1638361138568'response = requests.get(url, verify=False)
获取数据json_data = response.json()['data']
解析数据json_data = json.loads(json_data)china_data = json_data['areaTree'][0]['children'] # 列表data_set = []for i in china_data: data_dict = {} # 地区名称 data_dict['province'] = i['name'] # 新增确认 data_dict['nowConfirm'] = i['total']['nowConfirm'] # 死亡人数 data_dict['dead'] = i['total']['dead'] # 治愈人数 data_dict['heal'] = i['total']['heal'] # 死亡率 data_dict['deadRate'] = i['total']['deadRate'] # 治愈率 data_dict['healRate'] = i['total']['healRate'] data_set.append(data_dict)
保存数据df = pd.DataFrame(data_set)df.to_csv('data.csv')
数据可视化导入模块from pyecharts import options as optsfrom pyecharts.charts import Bar,Line,Pie,Map,Grid
读取数据df2 = df.sort_values(by=['nowConfirm'],ascending=False)[:9]df2 
死亡率与治愈率line = ( Line() .add_xaxis(list(df['province'].values)) .add_yaxis("治愈率", df['healRate'].values.tolist()) .add_yaxis("死亡率", df['deadRate'].values.tolist()) .set_global_opts( title_opts=opts.TitleOpts(title="死亡率与治愈率"), ))line.render_notebook()
详解python的变量
python实现skywalking的trace模块过滤和报警(实例代码)
|
