2024年3月24日发(作者：)

通过对大数据的相关知识介绍， 使学生掌握大数据的概念和原理， 熟

悉大数据的理论与算法， 了解大数据未来发展趋势， 能够利用所学知识， 进行大

数据应用实现和算法设计，培养学生运用大数据技术解决大数据行业应用问题。

本课程系统介绍了大数据的理论知识和实战应用， 包括大数据概念与

应用、数据采集与预处理、数据挖掘算法与工具、 R 语言、深度学习以及大数据

可视化等， 并深度剖析了大数据在互联网、 商业和典型行业的应用。 期望学生对

大数据处理技术有比较深入的理解， 能够从具体问题或者实例入手， 利用所学的

大 数据知识在应用中实现数据分析和数据挖掘。

基本要求： 熟悉大数据的概念与意义、 大数据的来源、 大数据应用场景及大数据

处理方法等内容。

重点：大数据的定义、研究内容与应用。

难点：无。

基本要求：熟悉常用的大数据采集工具，特殊是 Apache Kafka 数据采集使用方

法；熟悉数据预处理原理和方法，包括数据清洗、数据集合、数据转换；掌握数

1 / 7

据仓库概念与 ETL 工具Kettle 的实际应用。

重点： Apache Kafka 数据采集、数据清洗、数据仓库与ETL 工具。

难点： ETL 工具Kettle 的实际应用。

基本要求：熟悉常用的数据挖掘算法，内容上从分类、聚类、关联规则和预测模

型等数据挖掘常用分析方法出发掌握相对应的算法， 并能熟练进行数据挖掘算法

的综合应用。

重点：分类算法、聚类算法、关联规则、时间序列预测。

难点：数据挖掘算法的综合应用。

基本要求：熟练掌握机器学习系统 Mahout 和大数据挖掘工具 Spark Mllib 下的

分类算法、聚类算法、协同过滤算法的使用，并对其他数据挖掘工具有所了解。

重点： Mahout 安装与使用、 Spark Mllib 工具的使用。

难点： Mahout 和 Spark Mllib 工具的使用。

基本要求： 了解 R 语言的发展历程、 功能和应用领域； 熟悉 R 语言在数据挖掘中

的应用；掌握 R 语言在分布式并行实时计算环境 Spark 中的应用 SparkR。

重点： R 语言基本功能、 R 语言在数据挖掘中的应用、 SparkR 主要机器学习算法。

难点： R 语言与数据挖掘。

基本要求：了解深度学习的发展过程和实际应用场景，并结合人脑的工作原理，

理解深度学习的相关概念和工作机制，做到能够熟练使用常用的深度学习软件。

重点：人脑神经系统与深度学习、卷积神经网络、深度置信网络、循环(递归)

神经网络、 TensorFlow 和 Caffe。

难点：人工神经网络。

基本要求：熟悉大数据可视化的基础知识；掌握文本可视化、网络可视化、时空

数据可视化、多维数据可视化等常用的大数据可视化方法，可通过 Excel、

Processing、NodeXL 和 ECharts 软件实现数据的可视化。

2 / 7