2024年3月26日发(作者：)

深度学习发展现状

1

深度学习发展现状

王宇航

(北京交通大学计算机与信息技术学院，北京，100044)

摘要：深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进

行分析学习的神经网络，它模仿人脑的机制来解释数据。近年来，随着深度学习逐

渐收到各界的广泛关注，其在各个尖端领域的作用也越来越大，深度学习已经在诸

多领域取得客观的成就。本文简要介绍深度学习的基本理论及思想，着重介绍了近

年来深度学习在各个领域的应用及其发展．

关键字：深度学习；机器学习；人工智能；无监督学习

1 引言

2011年，斯坦福人工智能实验室主任吴恩达领导Google的科学家们，用16000台电脑

模拟了一个模拟人脑神经网络出来，并向这个网络展示了1000万段随机从YouTube上选取

的视频，看看它能学会什么．结果在完全没有外界干涉的条件下，它自己识别出了猫脸．

我们要注意的是，这种机器学习与我们通常意义上说的“机器识别”有所不同．现有的很

多此类识别，需要人工输入一些用于对比的数据，或者一些已经进行初步分类、打好标签的

数据，机器通过学习这些数据的共同点，得出规律，然后再去将规律应用于更大规模的数据

中．粗略地说，这是一种“有监督的学习”，需要人工输入初始数据，有时候还要对识别结果

进行判断，由此促进机器的学习速度．

而深度学习是一种“无监督的学习”．它基于一种学术假设：即人类对外界环境的了解过

程最终可以归结为一种单一算法，而人脑的神经元可以通过这种算法，分化出识别不同物体

的能力．这个识别过程甚至完全不需要外界干预．

还是以识别猫脸为例：吴恩达给神经网络输入了一个单词“cat”，这个神经网络中并没有

辞典，不了解这个单词的含义．但在观看了一千万段视频，它最终确定，cat就是那种毛茸

茸的小动物．这个学习过程，与一个不懂英语的人，在没任何人教他的时候，通过独立观察

学会“cat”的过程几乎一致．

上述事例是深度学习发展中具有里程碑性质的事件，通过以上事件意在形象的向读者说

明深度学习的基本思想．本文意在向读者介绍近年来深度学习在各个领域的应用及其发展．

2

深度学习发展现状

2 深度学习介绍

本节简要介绍深度学习及其思想．

2.1 基本概念

深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习

的神经网络，它模仿人脑的机制来解释数据。

深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结

构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分

布式特征表示。

2.2 核心思想

把学习结构看作一个网络，则深度学习的核心思路如下：

①无监督学习用于每一层网络；

②每次用无监督学习只训练一层，将其训练结果作为其高一层的输入；

③用监督学习去调整所有层

2.3 历史发展

图灵在 1950 年的论文里，提出图灵试验的设想，即，隔墙对话，你将不知道与你谈话

的，是人还是电脑。这无疑给计算机，尤其是人工智能，预设了一个很高的期望值。但是半

个世纪过去了，人工智能的进展，远远没有达到图灵试验的标准。

2006年前，尝试训练深度架构都失败了：训练一个深度有监督前馈神经网络趋向于产

生坏的结果(同时在训练和测试误差中)，然后将其变浅为1(1或者2个隐层)。

2006年，加拿大多伦多大学教授、机器学习领域的泰斗Geoffrey Hinton和他的学生

Ruslan Salakhutdinov在《科学》上发表了一篇文章，开启了深度学习在学术界和工业界的浪

潮。这篇文章有两个主要观点：1）多隐层的人工神经网络具有优异的特征学习能力，学习

得到的特征对数据有更本质的刻画，从而有利于可视化或分类；2）深度神经网络在训练上

的难度，可以通过“逐层初始化”来有效克服，在这篇文章中，逐层初始化是通过无监督学

习实现的。

当前多数分类、回归等学习方法为浅层结构算法，其局限性在于有限样本和计算单元情

况下对复杂函数的表示能力有限，针对复杂分类问题其泛化能力受到一定制约。深度学习可

通过学习一种深层非线性网络结构，实现复杂函数逼近，表征输入数据分布式表示，并展现

了强大的从少数样本集中学习数据集本质特征的能力。（多层的好处是可以用较少的参数表

示复杂的函数）。

深度学习的实质，是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学