本书1-4章将带你了解一些基本概念：什么是深度学习，它可以用来做什么以及它如何工作。此外，还将让你熟悉使用深度学习解决数据问题的典型工作流程。如果你还没怎么了解深度学习，你需要明确的从part I开始读取，然后再去阅读part 2的实际应用。
本章覆盖
在过去的这些年，人工智能（AI）成为了媒体大肆渲染的对象。机器学习，深度学习以及AI出现在数不胜数的文章中，常常是在一些与技术无关的出版物。我们被许诺拥有智能聊天机器人、自动驾驶汽车和虚拟助手的未来 --- 这个未来有时被描绘成阴暗面，有时被描绘成乌托邦，在那里，人类的工作岗位将变得稀缺，大多数经济活动将由机器人或人工智能代理来处理。对于未来或当前的机器学习实践者来说，能够识别噪音中的信号是很重要的，这样你就能从过度炒作的新闻稿中分辨出改变世界的发展。我们的未来岌岌可危，在这个未来，你们将发挥积极作用:在阅读本书后，你将是那些开发AI代理的那些人。所以，让我们处理这些问题：到目前为止，深度学习已经取得的成果。它的成就在哪里?我们接下来应该到哪一步？你相信那些大肆的宣传吗？本章提供了关于人工智能，机器学习和深度学习的必要的上下文信息。
首先，我们需要明确定义，当我们提及AI时谈论的是什么。人工智能，机器学习和深度学习是什么?(查看figure 1.1)。它们之间的关联是什么？
人工智能诞生于1950年代，当少部分的计算机科学初期领域的先驱开始探讨计算机是否可以思考--该问题的一个分支我们现在仍在探索：使通常由人类完成的智力任务自动化的努力。因此，人工智能是一个包含机器学习和深度学习的通用领域，但它也包含了更多不涉及任何学习的方法。例如，早期的国际象棋程序只涉及由程序员制定的硬编码规则，不具备机器学习的特性。在相当长的一段时间里，许多专家认为，通过让程序员手工制作一套足够大的明确的规则来操纵知识，可以实现人类水平的人工智能。这种方法被称为符号（symbolic）人工智能，从20世纪50年代到80年代末，它是人工智能的主导范式。它在20世纪80年代专家系统的繁荣时期达到了它的顶峰。尽管事实证明，符号AI适用于解决定义明确的逻辑问题，如下棋，但要找出解决更复杂、模糊的问题，对于明确规则却是很难的，比如图像分类、语音识别和语言翻译。一种取代符号人工智能的新方法出现了:机器学习。
在维多利亚时代的英国，艾达·洛夫莱斯夫人是查尔斯-巴贝奇的朋友和合作者，分析引擎的发明者:第一台通用的机械计算机。虽然具有远见卓识，而且遥遥领先于它的时代，但当分析引擎被设计成一台通用计算机时，它并不意味着它就是一台通用计算机，因为通用计算的概念还没有被发明出来。它仅仅是一种使用机械运算的方法，使数学分析领域的某些计算自动化——因此得名“分析”引擎。1843年，艾达·洛夫莱斯(Ada Lovelace)对这一发明发表了评论:“分析引擎没有任何要发明的东西。”它可以做我们知道的任何事情来命令它执行。它的职责是帮助我们提供我们已经熟悉的东西。人工智能先驱艾伦·图灵(Alan Turing)后来在1950年发表的里程碑式论文《计算机器与智能》(Computing Machinery and Intelligence)中引用了这句话，称其为“洛夫莱斯夫人的反对”。图灵在思考通用电脑是否有学习和创新的能力时，引用了艾达·洛夫莱斯的话。机器学习产生于这样一个问题:一台计算机能否超越“我们知道如何让它执行的指令”，自己学习如何执行指定的任务?电脑能给我们带来惊喜吗?与程序员手工制定数据处理规则不同，计算机能通过查看数据自动学习这些规则吗?这个问题为新的编程范式打开了大门。在经典编程中，符号AI的范例，人类根据这些规则输入规则(程序)和要处理的数据，然后得到答案(见图1.2)。通过机器学习，人们输入数据以及从数据中得到的答案，然后得出规则。然后，这些规则可以应用于新数据，以生成原始答案。
要定义深度学习并理解深度学习与其他机器学习方法的区别，首先我们需要了解机器学习算法的作用。我刚刚说过，机器学习通过给出预期的例子，挖掘规则以执行数据处理任务。所以，要做机器学习，我们需要三件事：
一种方法来衡量我们的算法是否做得很好,例如,点被正确分类的百分比。
这里我们需要的是一个数据的新表示，干净地将白点和黑点分开。在许多其他可能性中，我们可以使用的一种转换是坐标更改，如图1.4所示
所有的机器学习算法都是由自动查找这样的转换组成的，这些转换将数据转换成对给定任务更有用的表示形式。这些操作可以是坐标更改(如您刚才看到的那样)，也可以是线性投影(可能会破坏信息)、转换、非线性操作(如“选择x > 0这样的所有点”)，等等。机器学习算法在寻找这些转换方面通常缺乏创造性;他们只是搜索一个预定义的集合操作，称为假设空间。这就是机器学习的技术含义:寻找有用的表示一些输入数据，在预定义的可能性空间内，利用反馈信号来引导。这个简单的想法可以解决非常广泛的智力任务，从语音识别到自动驾驶。既然您理解了我们所说的学习的含义，那么让我们来看看是什么让深度学习变得特别。
深度学习是机器学习的一个特定子领域:从数据中学习表示的一种新方法，强调学习越来越有意义的表示的连续层（layers）。深度学习并不是指通过这种方法获得的任何更深层次的理解;更确切地说，它代表了连续层表示的思想。有多少层对数据模型有贡献被称为模型的深度。该领域的其他适当名称可能是分层表示学习和层次表示学习。现代深度学习通常涉及数十甚至数百层连续的表示层——它们都是通过接触训练数据而自动学习的。与此同时，机器学习的其他方法倾向于只学习数据的一到两层表示;因此，他们有时被称为浅层学习。在深度学习中，这些分层的表示(几乎总是)是通过称为神经网(neural networks)的模型来学习的，这些模型的结构是逐层堆叠在一起的文字层。“神经网络”一词是指神经生物学，但尽管深度学习的一些核心概念部分是通过从我们对大脑的理解中汲取灵感而发展起来的，但深度学习模型并不是大脑的模型。没有证据表明大脑实现了任何类似于现代深度学习模型中使用的学习机制。你可能会读到一些流行科学文章，宣称深度学习像大脑一样工作，或者是以大脑为模型的，但事实并非如此。如果这个领域的新手认为深度学习与神经生物学有任何关系，那将是令人困惑和适得其反的;你不需要“像我们大脑一样”的神秘，你也可能忘记你可能读过的关于深度学习和生物学之间的假设联系的任何东西。就我们的目的而言，深度学习是一个从数据中学习表征的数学框架。通过深度学习算法学习到的表示（representation）是什么样子的?让我们来看看一个网络如何在几层深度里(参见图1.5)转换一个数字的图像，以识别它是什么数字。
在这一点上，您知道机器学习是关于将输入(如图像)映射到目标(如标签“cat”)，这是通过观察许多输入和目标的样例来完成的。您还知道，深层神经网络通过简单的数据转换(层)的深层序列进行输入到目标的映射，这些数据转换是通过样例来学习的。现在让我们具体看看这种学习是如何发生的。层（layer）对其输入数据的操作规范存储在层的权值中（weights），其本质上是一堆数字。在技术术语中，我们可以说由层实现的转换是由其权重参数化的(参见图1.7)。(权重有时也被称为层的参数。)在这种情况下，学习意味着为网络中所有层的权重找到一组值，以便网络能够正确地将样例输入映射到相关目标。但问题是:深层神经网络可以包含数千万个参数。
虽然深度学习是机器学习的一个相当古老的分支领域，但它直到2010年代初才开始崭露头角。从那以后的几年里，它在这一领域取得了巨大的进步，在视觉和听觉等感知问题上取得了显著的成果，这些问题涉及到一些技能，这些技能对人类来说似乎是自然和直觉的，但对机器来说却一直是难以捉摸的。特别是，深度学习取得了以下的突破，都是在机器学习的历史难点领域
尽管深度学习近年来取得了显著的成就，但人们对该领域在未来十年能够取得的成就的预期，往往远高于可能达到的水平。虽然一些改变世界的应用程序如自动驾驶汽车已经触手可及，但更多的应用程序可能会在很长一段时间内难以捉摸，比如可信的对话系统、跨任意语言的人级机器翻译以及人级自然语言理解。特别地，关于类似人类智力的讨论不应该太严肃。对短期的高期望风险在于，随着技术无法交付，研究投资将枯竭，在很长一段时间内减缓进展。这种情况以前也发生过。过去有两次，人工智能经历了一个极度乐观的周期，接着是失望和怀疑，结果是缺乏资金。它始于20世纪60年代的符号人工智能。在早期，对人工智能的预测很高。马文·明斯基(Marvin Minsky)是这种符号人工智能方法最著名的先驱和支持者之一，他在1967年宣称，“在一代人的时间内……创造‘人工智能’的问题将得到实质性解决。”三年后，在1970年，他做了一个更精确的量化预测:“从3年到8年，我们将拥有一台具有普通人一般智力的机器。在2016年，这样的成就似乎还在遥远的将来——到目前为止，我们还无法预测它会持续多久——但在20世纪60年代和70年代初，一些专家认为它即将到来(今天许多人也是如此)。几年后，由于这些高期望值没有成为现实，研究人员和政府基金开始放弃这一领域，标志着第一个人工智能冬天的开始(指核冬天，因为这是在冷战高峰之后不久)。它不会是最后一个。上世纪80年代，一种对符号人工智能(AI)的全新理解——专家系统(expert systems)——开始在大公司中掀起热潮。一些最初的成功故事引发了一波投资浪潮，全球各地的企业都开始了自己的自主创业人工智能部门开发专家系统。1985年前后，公司每年在这项技术上的花费超过10亿美元;但到了上世纪90年代初，事实证明，这些系统的维护成本高昂，难以扩大规模，范围有限，人们的兴趣逐渐减退。第二个人工智能冬天就这样开始了。我们可能正在经历人工智能炒作和失望的第三轮——我们仍然处于极度乐观的阶段。最好是降低我们对短期的期望，并确保不太熟悉该领域技术方面的人清楚地知道深度学习能带来什么，不能带来什么。
深度学习已经达到了人工智能历史上前所未有的公众关注和行业投资水平，但它并不是第一个成功的机器学习形式。可以肯定地说，当今行业中使用的大多数机器学习算法都不是深度学习算法。深度学习并不总是适合这项工作的工具——有时没有足够的数据支持深度学习，有时用不同的算法可以更好地解决这个问题。如果深度学习是你与机器学习的第一次接触，那么你可能会发现自己处于这样一种境地:你所拥有的只是一个深度学习的锤子，而每一个机器学习问题都开始像钉子一样。唯一不落入这个陷阱的方法是熟悉其他方法，并在适当的时候实践它们。对经典机器学习方法的详细讨论超出了本书的范围，但我们将简要地回顾一下它们，并描述它们发展的历史背景。这将使我们能够把深度学习放在机器学习的更广泛的背景下，更好地理解深度学习从何而来，以及它为什么重要。
概率建模是统计学原理在数据分析中的应用。这是最早的机器学习方式之一，至今仍被广泛使用。这类算法中最著名的算法之一是朴素贝叶斯算法。朴素贝叶斯是一种基于贝叶斯定理的机器学习分类器，它假设输入数据中的特征都是独立的(一个强的或“朴素的”假设，这就是名称的来源)。这种形式的数据分析比计算机更早出现，而且在第一次计算机实现(很可能可以追溯到20世纪50年代)的几十年前就被手工应用。贝叶斯定理和统计学的基础可以追溯到18世纪，这些就是你开始使用朴素贝叶斯分类器所需要的。一个密切相关的模型是逻辑回归(简称logreg)，它有时被认为是现代机器学习的“hello world”。不要被它的名字误导了，logreg是一个分类算法而不是回归算法。就像朴素的贝叶斯一样，logreg比计算提前了很长一段时间，但由于其简单和多用途的特性，它至今仍然有用。通常，数据科学家在数据集中首先要做的就是对手头的分类任务有所了解。
神经网络的早期迭代已经完全被这些页面中所涵盖的现代变体所取代，但是了解深度学习是如何产生的是很有帮助的。虽然神经网络的核心思想早在20世纪50年代就以玩具的形式被研究过，但这种方法却花了几十年才开始。在很长一段时间里，缺失的部分是训练大型神经网络的有效方法。这在80年代中期发生了变化，当多人独立地重新发现反向传播算法——一种利用梯度下降优化训练参数操作链的方法(在书的后面，我们将精确地定义这些概念)，并开始将其应用于神经网络。神经网络第一次成功的实际应用是在1989年贝尔公司，当Yann LeCun将早期的卷积神经网络和反向传播的思想结合起来，并将它们应用到手写数字的分类问题上时。由此产生的网络被称为“LeNet”，在20世纪90年代，美国邮政服务公司(United States Postal Service)使用该网络来自动读取邮件信封上的邮编。
随着神经网络在20世纪90年代开始在研究人员中获得一些尊重，由于这第一次成功，一种机器学习的新方法声名鹊起，并很快将神经网络送回了人们的记忆中:核方法。核方法是一类分类算法，其中最著名的是支持向量机(SVM)。SVM的现代公式是由Vladimir开发的。Vapnik和Corinna Cortes于20世纪90年代初在贝尔实验室发表于1995年，尽管Vapnik和Alexey Chervonenkis早在1963.3年就发表了一个更老的线性公式。SVMs旨在通过在属于两个不同类别的两组点之间找到好的决策边界(参见图1.10)来解决分类问题。决策边界可以看作是一条线或曲面，将您的训练数据分隔成两个空间，对应于两个类别。要对新数据点进行分类，只需检查它们位于决策边界的哪一边。
决策树是类似流程图的结构，它允许您对输入数据点进行分类或预测给定输入的输出值(参见图1.11)。它们很容易想象和解释。从数据中学习的决策树在本世纪头十年开始受到大量的研究兴趣，到2010年，决策树往往比内核方法更受青睐。
大约在2010年，尽管大多数科学界几乎完全回避神经网络，但仍在研究神经网络的许多人开始取得重大突破:多伦多大学的Geoffrey Hinton、蒙特利尔大学的yoshu Bengio、纽约大学的Yann LeCun和瑞士人工智能研究所（IDSIA）等。2011年，来自IDSIA的Dan Ciresan开始通过gpu训练的深度神经网络赢得学术图像分类竞赛，这是现代深度学习的第一次实际成功。但转折点出现在2012年，Hinton的小组在每年的大规模图像分类挑战赛ImageNet。ImageNet的挑战在当时是出了名的困难，包括在140万张图像上训练后将高分辨率的彩色图像分成1000个不同的类别。2011年，基于com经典方法的中奖模型准确率排名前五。2011年，基于经典计算机视觉方法的获奖模型的前五名准确率仅为74.3%。然后，在2012年，亚历克斯领导的一个团队Krizhevsky和Geoffrey Hinton的建议能够达到前五名的准确性——重大突破83.6%。自那以后，这种竞争每年都被深度卷积神经网络所主导。到2015年，优胜者的准确率达到96.4%，在ImageNet上的分类任务被认为是一个完全解决的问题。自2012年以来，深度卷积神经网络(convnets)成为所有计算机视觉任务的首选算法;更一般地说，它们对所有知觉任务都起作用。在2015年和2016年的主要计算机视觉会议上，几乎不可能找到不以某种形式涉及卷积神经网络的演讲。与此同时，深度学习也在许多其他类型的问题中得到了应用，比如自然语言处理。在广泛的应用程序中，它完全取代了SVMs和决策树。例如，欧洲核子研究中心(CERN)的欧洲核子研究组织(European Organization For Nuclear Research, CERN)多年来一直使用基于决策树的方法分析来自大型强子对撞机(LHC)的ATLAS探测器的粒子数据;但CERN最终转向了基于keras的深层神经网络，因为它们具有更高的性能和在大型数据集上易于训练。
深度学习发展如此之快的主要原因是它在许多问题上提供了更好的表现。但这不是唯一的原因。深度学习也使得解决问题要容易得多，因为它完全自动化了机器学习工作流中最关键的一步:特性工程。以前的机器学习技术—浅层学习—只涉及到将输入数据转换成一个或两个连续的表示空间，通常通过简单的转换，如高维非线性投影(SVMs)或决策树。但是，复杂问题所需要的精细表示通常无法用这种技术来实现。因此，人类必须竭尽全力使最初的输入数据更易于通过这些方法进行处理:他们必须手工为他们的数据设计良好的表示层。这就是特征工程。另一方面，深度学习完全自动化了这一步:通过深度学习，你可以一次性学习所有的特性，而不必自己去设计它们。这大大简化了机器学习的工作流程，常常用单一的、简单的、端到端深度学习模型取代复杂的多级管道。您可能会问，如果问题的关键是要有多个连续的表示层，那么是否可以重复使用浅层方法来模拟深度学习的效果?在实践中，浅层学习方法的后续应用的回报迅速递减，因为三层模型中的最优第一表示层不是单层或双层模型中的最优第一层。深度学习的革命性之处在于，它允许一个模型同时学习所有层次的表示，而不是连续地(贪婪地，正如它所称的)。通过联合特征学习，当模型调整其内部特征时，所有依赖它的其他特征都会自动适应变化，而不需要人工干预。所有的一切都受到一个反馈信号的监督:模型中的每一个变化都服务于最终目标。这比贪婪地堆叠浅层模型要强大得多，因为它允许通过将复杂的抽象表示分解为一系列中间空间(层)来学习;每个空间都是与前一个空间的简单转换。这些是深度学习学习的两个基本特征数据:增量, 一层一层地发展出越来越复杂的表现形式。事实上，这些中间增量表示是共同学习的，每一层都被更新，以满足上面一层和下面一层的表征需求。这两个特性使深度学习比以往的机器学习方法更成功。
了解机器学习算法和工具的现状的一个好方法是查看Kaggle上的机器学习竞赛。由于其高度竞争的环境(一些竞赛有成千上万的参赛者和百万美元的奖金)和广泛的机器学习问题，Kaggle提供了一个现实的方法来评估什么有效，什么无效。那么，什么样的算法能够可靠地赢得比赛呢?顶级参赛者使用什么工具?在2016年和2017年，Kaggle被两种方法所主导:梯度提升机和深度学习。具体来说，梯度提升用于有结构化数据可用的问题，而深度学习用于图像分类等感知问题。前者的实践者几乎总是使用优秀的XGBoost库，该库为数据科学中最流行的两种语言Python和R.提供支持。为了在今天的应用机器学习中取得成功，你应该最熟悉这两种技术:梯度提升机，用于浅层学习问题;深度学习，用于感知问题。从技术角度讲，这意味着您需要熟悉XGBoost和keras这两个目前在Kaggle竞赛中占主导地位的库。有了这本书，你已经离成功又近了一大步。
计算机视觉深度学习的两个关键思想——卷积神经网络和反向传播——在1989年已经被充分理解。Long Short-Term Memory (LSTM)算法是时间序列深度学习的基础，于1997年开发出来，此后几乎没有什么变化。那么，为什么深度学习在2012年之后才开始流行起来呢?这二十年发生了什么变化?总的来说，有三种技术力量推动着机器学习的进步:
人工智能有时被称为新工业革命。如果说深度学习是这场革命的蒸汽机，那么数据就是它的煤炭:为我们的智能机器提供动力的原材料，没有这些，一切都不可能。说到数据，除了存储硬件在过去20年里呈指数级增长(遵循摩尔定律)，改变游戏规则的是互联网的兴起，使得收集和分发用于机器学习的大型数据集成为可能。如今，大公司使用的是图像数据集、视频数据集和自然语言数据集，这些数据集在没有互联网的情况下是无法收集的。用户生成的图像标签例如，Flickr一直是计算机视觉数据的宝库。YouTube以及维基百科也是自然语言处理的关键数据集。如果说有一个数据集是深度学习兴起的催化剂，那就是ImageNet数据集，由140万张图片组成，这些图片已经手工注释了1000个图片类别(每个图片一个类别)。但使ImageNet与众不同的不仅仅是它的大尺寸，还有与之相关的年度竞争。正如Kaggle自2010年以来所展示的那样，公开竞赛是一种极好的方式来激励研究人员和工程师突破极限。有共同的基准，研究人员竞争击败，已大大有助于最近的深度学习的崛起。
除了硬件和数据，直到本世纪末，我们还没有找到一种可靠的方法来训练深度很深的神经网络。因此，神经网络仍然相当肤浅，只使用一或两层表示;因此，他们无法在更精细的浅层方法如SVMs和随机森林中发光。关键的问题是梯度传播通过深层堆叠层。用于训练神经网络的反馈信号会随着层数的增加而消退。这种情况在2009-2010年发生了改变，一些简单但重要的算法改进出现了，从而可以更好地实现梯度传播:
随着深度学习在2012-2013年成为计算机视觉的新技术，并最终应用于所有感知任务，行业领袖们注意到了这一点。随之而来的是一股远远超过人工智能历史上以往任何时期的行业投资浪潮。2011年，在深度学习受到关注之前，人工智能的风险投资总额约为1900万美元，几乎全部用于浅层机器学习方法的实际应用。到2014年，这个数字已经上升到惊人的水平3.94亿美元。在这三年里，数十家创业公司成立，试图利用深度学习的宣传。与此同时，像谷歌，Facebook，百度和微软在内部研究部门的投资金额极有可能让风投资金的流动相形见绌。只有少数数据浮出水面:2013年，谷歌以据说5亿美元的价格收购了深度学习创业公司DeepMind，这是历史上最大的人工智能公司收购案。在2014年,百度在硅谷建立了一个深度学习研究中心，投资了3亿美元。英特尔在2016年的出价超过4亿美元，以获得了神经网络系统的深度学习硬件启动。机器学习——尤其是深度学习——已经成为这些科技巨头产品战略的核心。2015年末，谷歌首席执行官桑达尔·皮查伊表示:“机器学习是一种核心的、具有变革性的方式，通过这种方式我们可以重新思考我们是如何做每件事的。”我们深思熟虑地将其应用于我们所有的产品，无论是搜索、广告、YouTube还是播放。我们还处于早期阶段，但你会看到我们——以系统的方式——在所有这些领域应用机器学习。在这波投资浪潮的推动下，从事深度学习的人数在短短五年内从几百人上升到数万人，研究进展也达到了狂热的速度。目前没有迹象表明这一趋势会很快放缓。
推动深度学习新面孔流入的关键因素之一是该领域所用工具集的民主化。在早期，做深度学习需要大量的c++和CUDA专业知识，这是很少有人拥有的。现在，基本的Python脚本编写技能足以进行高级的深度学习研究。最引人注目的驱动因素是Theano和tensorflow的开发——这是Python的两种符号性质的tensor操作框架，支持自动区分，极大地简化了新模型的实现——以及模型和用户友好的库(如Keras)的兴起，使得深度学习像操作乐高积木一样简单。在2015年初发布之后，Keras迅速成为了大量新创业公司、研究生和研究人员的深度学习解决方案。
深层神经网络有什么特别之处，使它们成为公司投资和研究人员趋之若鹜的“正确”方法吗?或者深度学习只是一种可能不会持续很久的时尚?20年内，我们还会使用深层神经网络吗?深度学习有几个特性可以证明它作为一场人工智能革命的地位，而且它将一直存在下去。20年后，我们可能不会再使用神经网络，但无论我们使用什么，都将直接继承现代深度学习及其核心概念。