大家一起进步吧！感谢大家的支持和关注

爬虫目录

  • 爬虫目录
    • 体验搜狗在线翻译

来句废话：你要带着点知识来学知识

  • html
  • jQuery
  • python基础语法

爬虫目录

体验搜狗在线翻译

import requests

# 请求参数动态化
keyword = input('请输入关键字:')
# 稍后想要把该字典作为请求参数
prams = {
    'query': keyword,  # 只存在一个键值对（存在一组请求参数）
}
headers = { #存放需要伪装的头信息
   "User-Agent":"Mozilla/5.0 (Windows NT 11.0; Win64; x64)"
}
# 1.指定url
url = 'https://fanyi.sogou/text'  # 需要将请求参数去除

# 2.发起请求
# params参数就是用来在请求时携带指定的请求参数
response = requests.get(url=url, params=prams,headers=headers)

# 3.获取响应数据
page_text = response.text

# 4.持久化存储 注意加编码形式，文件是保存在当前目录下的，打开就是我们输入内容的翻译页面
fileName = keyword + '.html'
with open(fileName, 'w',encoding="utf-8") as fp:
    fp.write(page_text)

# 出问题：没有爬取到我们想要的数据？原因是因为遇到反爬机制
# 模拟浏览器发起 加UA

请背上你的行囊-->出发

  • 动态查询参数
  • 反扒机制—>模拟浏览器UA伪装

看到这,相信大家已经有所收获,下面还请再接再厉，大家有什么好的建议还请评论留言,小编也会不断的完善自身的缺陷。