请求数据 → 获取响应内容 → 解析内容 → 保存数据
- 当然，以上步骤是代码的编写思路，实际操作中应该还要添加一个前置步骤，所以完整流程如下：
分析目标站点 → 请求网站获取数据 → 解析内容 → 保存数据
- 分析目标站点
快速的分析目标站点就很容易发现百度图库的图片资源是通过AJAX加载的，所以我们要请求的链接并非浏览器地址栏链接，而是ajax加载的数据包的资源路径，如图：
那么问题来了，如何获取到这些数据包的地址？其实很简单，如图所示：
- 请求网站获取数据
编写代码请求资源，这里有一点需要注意：请求头必须携带，否则有可能请求失败导致报错。
import requests # 导包
构建请求头，把爬虫程序伪装成正常的浏览器用户
headers = {
‘sec-fetch-dest’: ‘image’,
‘Host’: ‘image.baidu’,
‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36 Edg/89.0.774.50’,
}
资源包的url链接
url = ‘https://image.baidu/search/acjson?tn=resultjson_com&logid=10913526997707526921&ipn=rj&ct=201326592&is=&fp=result&queryWord=%E5%B0%8F%E5%A7%90%E5%A7%90%E7%A7%81%E6%88%BF%E7%85%A7&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=&hd=&latest=©right=&word=%E5%B0%8F%E5%A7%90%E5%A7%90%E7%A7%81%E6%88%BF%E7%85%A7&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&expermode=&force=&pn=210&rn=30&gsm=d2&1616553658252=’
构建请求
response = requests.get(url,headers=headers)
查看状态码
print(response.status_code)
获取原始数据
response.json()
- 解析数据
上述代码最终获取到的数据是json数据，也就是我们Python中常说的字典，它长这样：
{
“queryEnc”:“%D0%A1%BD%E3%BD%E3%CB%BD%B7%BF%D5%D5”,
“queryExt”:“小姐姐私房照”,
“listNum”:758,
“displayNum”:8392,
“gsm”:“f0”,
“bdFmtDispNum”:“约8,390”,
“bdSearchTime”:“”,
“isNeedAsyncRequest”:0,
“bdIsClustered”:“1”,
“data”:[
Object{…}, # 没张私房照对应的详细信息，其中就有图片的URL
Object{…},
···
}
既然它是一个字典，我们当然是可以使用Python中的键值索引方式获取到想要的数据，但是此方法太笨，这里介绍一种更加高明的方式，使用jsonpath解析数据
这一行代码便可以获取到所有图片的URL，返回的是一个列表，遍历即可拿到每一个URL
imgs = jsonpath.jsonpath(json_data, ‘$…middleURL’)
使用requests请求图片URL，获取图片数据
image_data = requests.get(page_url).content
- 保存数据
使用Python中的文件对象，保存图片，图片名字使用时间戳命名，避免图片重名
with open(‘imgs/’ + datetime.now().strftime(“%Y%m%d%H%M%S%f”) + ‘.jpg’, ‘wb’) as f:
f.write(image_data)
最后
不知道你们用的什么环境，我一般都是用的Python3.6环境和pycharm解释器，没有软件，或者没有资料，没人解答问题，都可以免费领取（包括今天的代码），过几天我还会做个视频教程出来，有需要也可以领取~
给大家准备的学习资料包括但不限于：
Python 环境、pycharm编辑器/永久激活/翻译插件
python 零基础视频教程
Python 界面开发实战教程
Python 爬虫实战教程
Python 数据分析实战教程
python 游戏开发实战教程
Python 电子书100本
Python 学习路线规划
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。
需要这份系统化学习资料的朋友，可以戳这里无偿获取
一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
发布评论