- 安装requests第三方包
- pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests
- 导入request模块
- import requests
- 进入想要爬取的数据的页面,
- 点击F12, 点击network, 点击刷新页面
- 在search框输入你想要的目标数据
- 点击一条数据, 点击Preview 和 Repones查看是不是自己想要的数据
- 确认是自己想要的数据,再点击Headers查看接口类型是不是Get
- 如果是则将这个接口链接复制下来存入 url 变量中
- 再将headers 的请求头信息存入字典中 User-Agent 作为键
- 使用 requests的get方法传入url 和请求头伪装
- 获得响应数据
- 使用 响应数据.text 查看获取到的内容
- 如果是json数据则将它转为字典类,一步步获取想要的数据,比如id和歌曲名
- 如果是html数据则使用 re正则模块.findall方法 匹配出所有想要的数据存入列表的元组中
- 再根据id和歌曲名请求歌曲的播放地址获得二进制数据
- 然后将数据存入文件中