2023年12月23日发(作者：)

统计建模与R语言

全连接神经网络

学 院 航空航天学院

专 业 机械电子工程

年 级 2019级

学生学号 1992

学生姓名 梅子阳

一、 绪论

1、 人工智能背景

信息技术是人类历史上的第三次工业革命，计算机、互联网、智能家居等技术的普及极大地方便了人们的日常生活。通过编程的方式，人类可以将提前设计好的交互逻辑交给机器重复且快速地执行，从而将人类从简单枯燥的重复劳动工作中解脱出来。但是对于需要较高智能水平的任务，如人脸识别、聊天机器人、自动驾驶等任务，很难设计明确的逻辑规则，传统的编程方式显得力不从心，而人工智能(Artificial Intelligence，简称 AI)是有望解决此问题的关键技术。

随着深度学习算法的崛起，人工智能在部分任务上取得了类人甚至超人的智力水平，如围棋上 AlphaGo 智能程序已经击败人类最强围棋专家之一柯洁，在 Dota2 游戏上OpenAI Five 智能程序击败冠军队伍 OG，同时人脸识别、智能语音、机器翻译等一项项实用的技术已经进入到人们的日常生活中。现在我们的生活处处被人工智能所环绕，尽管目前能达到的智能水平离通用人工智能(Artificial General Intelligence，简称 AGI)还有一段距离，但是我们仍坚定地相信人工智能的时代已经来临。

怎么实现人工智能是一个非常广袤的问题。人工智能的发展主要经历过三个阶段，每个阶段都代表了人们从不同的角度尝试实现人工智能的探索足迹。早期，人们试图通过总结、归纳出一些逻辑规则，并将逻辑规则以计算机程序的方式实现，来开发出智能系统。但是这种显式的规则往往过于简单，并且很难表达复杂、抽象的概念和规则。这一阶段被称为推理期。

1970 年代，科学家们尝试通过知识库加推理的方式解决人工智能，通过建庞大复杂的专家系统来模拟人类专家的智能水平。这些明确指定规则的方式存在一个最大的难题，就是很多复杂、抽象的概念无法用具体的代码实现。比如人类对图片的识别、对语言的理解过程，根本无法通过既定规则模拟。为了解决这类问题，一门通过让机器自动从数据中学习规则的研究学科诞生了，称为机器学习，并在 1980 年代成为人工智能中的热门学科。在机器学习中，有一门通过神经网络来学习复杂、抽象逻辑的方向，称为神经网络。神经网络方向的研究经历了两起两落。2012 年开始，由于效果极为显著，应用深层神经网络技术在计算机视觉、自然语言处理、机器人等领域取得了重大突破，部分任务上甚至超越了人类智能水平，开启了以深层神经网络为代表的人工智能的第三次复兴。深层神经网络有了一个新名字：深度学习。一般来讲，神经网络和深度学习的本质区别并不大，深度学习特指基于深层神经网络实现的模型或算法。

2、 神经网络与深度学习

将神经网络的发展历程大致分为浅层神经网络阶段和深度学习阶段，以

2006 年为分割点。2006 年以前，深度学习以神经网络和连接主义名义发展，

历经了两次兴盛和两次寒冬；2006 年，Geoffrey Hinton 首次将深层神经网络命名为深度学习，他发现通过逐层预训练的方式可以较好地训练多层神经网络，并在 MNIST 手写数字图片数据集上取得了优于 SVM 的错误率，开启了第三次人工智能的复兴。在论文中，Geoffrey Hinton 首次提出了 Deep

Learning 的概念，这也是(深层)神经网络被叫作深度学习的由来。2011 年，Xavier Glorot 提出了线性整流单元(RectifiedLinear Unit，简称 ReLU)激活函数，这是现在使用最为广泛的激活函数之一。2012 年，8层的深层神经网络AlexNet 发布，并在图片识别竞赛中取得了巨大的性能提升，此后数十层、数百层、甚至上千层的神经网络模型相继提出，展现出深层神经网络强大的学习能力。一般将利用深层神经网络实现的算法称作深度学习，本质上神经网络和深度学习可认为是相同的。

二、 线性模型与优化

1、 神经元模型

典型生物神经元结构

1943 年，心理学家 Warren McCulloch 和逻辑学家 Walter Pitts 根据生物神经元(Neuron)结构，提出了最早的神经元数学模型，称为 MP 神经元模型。该模型的输出