2024年4月20日发(作者：)

开题报告如何写

注意点

1。一、对指导教师下达的课题任务的学习与理解

这部分主要是阐述做本课题的重要意义

2.二、阅读文献资料进行调研的综述

这部分就是对课题相关的研究的综述 落脚于本课题解决

了那些关键问题

3.三、根据任务书的任务及文件调研结果，初步拟定执行实施的

方案（含具体进度计划）

这部分重点写具体实现的技术路线 方案的具体实施方法

和步骤了，具体进度计划只是附在后面的东西不是重点

南京邮电大学通达学院毕业设计（论文)开题报告

题 目

学生姓名 徐亚洲

基于python的网络爬虫系统的设计与实现

班级学号 12003426 专业 软件工程

一、对指导教师下达的课题任务的学习与理解

随着网络的快速发展和广泛应用，大数据时代的到来，网络就像一个巨大的数据宝库，如何快速

获取其中的数据资源成为亟待完成的新需求。然而网络上的信息资源大多是无组织并且动态变化的,光

靠管理员手工去管理，很难将这些庞大，繁杂的数据进行有效的保存和利用,这就促使了网络爬虫技术

的兴起。

网络爬虫源自Spider（或Crawler、robots)等的意译。网络爬虫的定义有广义和狭义之分，狭义的

定义为：利用标准的http协议，根据超链接和Web文档检索的方法遍历万维网信息空间的软件程序。

广义的定义为：所有能利用http协议检索Web文档的软件都称之为网络爬虫。

网络爬虫又被称为做网络蜘蛛、网络机器人,主要用于网络资源的收集工作。是一种按照一定的规

则，自动地抓取万维网信息的程序或者脚本.另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序

或者蠕虫。

网络爬虫已经发展了很多年,并且搜索引擎也是爬虫的一种应用，通过搜索引擎能够更快速的获得

有用的数据和信息。但是，一些通用性的搜索引擎也存在着一定的局限性，通用搜索引擎返回的结果

可能包含了大量用户不关心的网页内容，而且通用搜索引擎有限的服务器资源与无限的网络资源之间

存在的矛盾进一步加深，还有，就是通用搜索引擎不能支持给据语义的信息提出的查询和搜索.所以学

习网络爬虫有很大的意义.因此，本课题基于Python编写基本的爬虫系统，用于网路爬虫的入门，为以

后的爬虫学习奠定基础.

所以，对于本课题我设计并实现以个关于入门爬虫的系统-——-基于python的豆瓣网爬虫系统.

二、阅读文献资料进行调研的综述

网络爬虫是一个功能很强大的自动提取网页的程序，它为搜索引擎从万维网下载网页，是搜索引

擎的重要组成部分。它通过请求站点上的html文档访问某一个站点.它遍历Web空间，不断从一个站点

移动到另一个站点,自动建立索引,并加入到网页数据库中。网络爬虫进入某个超级文本时,利用html语

言的标记结构来搜索信息，及获取指向其他超级文本的url地址，可以完全不依赖于用户的干预实现网

络上的自动“爬行”和搜索。

本课题需要用MySQL来存取从网页上抓去到的数据，文献[1]讲述了MySQL数据库的入门知识，

该，学习该文献能够做到MySQL数据库的基本存取操作，满足本课题的实际操作要求。文献[2]

和文献［3］讲述了Python的入门教程和Python的编程入门，通过学习文献可以了解Python的基本语

法和Python的基本编程方法,对于本课题程序编写，能够拥有大概的思路和想法。文献[4］中提供了开

发了一款支持并行的微博数据抓取工具的基本思路，该工具可以实时抓取微博中指定用户的粉丝信息、

微博正文等内容;该工具利用关键字匹配技术，匹配符合规定条件的微博，并抓取相关内容。并且支持

并行抓取信息。并行爬虫拥有较好的加速比，可以快速抓取数据。