#爬取电影天堂的磁力链接

百度百科对网络爬虫的定义：网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

而我本人对爬虫也是初学，入世未深。本次爬取目标是简单的电影天堂的磁力链接。

目标网站：

下图才是我们这次爬取的真正的目标–磁力链接。

首先把我们目标网站网址复制下来：http://www.ygdy8/html/gndy/dyzz/20181213/57918.html
打开检查→查看我们需要爬取的目标元素。

打开查看源码可以看到每部影片都是下面这样的信息开头，然后接上影片的简单介绍，介绍我们不关心，只关心下面这段含有影片详情页面的链接，主要获取这个页面所有这样列出的影片的详情页面的链接。

有了以上信息我们初步了解了目标，但做人不能太急，我们爬取的时候先尝试了爬取一条再爬取一页的，最后再爬取整个网站的磁力链接。
因为考虑到网站会有反爬虫，我们每次爬取的时候都会改变一下题头，