revise dl intro

chapter_introduction/deep-learning-intro.md

 # 深度学习简介
 
-你可能已经接触过编程，并开发过一两款程序。同时你可能读到了关于深度学习或者是机器学习的铺天盖地的报道，尽管很多时候它们被赋予了更广义的名字：人工智能。实际上，或者说幸运的是，大部分的程序并不需要深度学习或者是更广义上的人工智能技术。例如我们要为一台微波炉编写一个用户界面，只需要一点点功夫我们便能设计出十几个按钮以及一系列能精确描述微波炉在各种情况下的表现的规则。抑或是我们要编写一个电子邮件客户端，这样的程序比微波炉要更复杂一些，但我们还是可以沉下心来一步一步思考：客户端的用户界面将需要几个输入框用来接受收件人、主题、邮件正文等，程序将监听键盘输入并写入一个缓冲区，然后将它们显示在相应的输入框中。当用户点击“发送”按钮时，我们需要检查收件人邮箱地址的格式是否合法，并检查邮件主题是否为空（或在主题为空时警告用户），而后用相应的协议传送邮件。
+你可能已经接触过编程，并开发过一两款程序。同时你可能读到了关于深度学习或者是机器学习的铺天盖地的报道，尽管很多时候它们被赋予了更广义的名字：人工智能。实际上，或者说幸运的是，大部分的程序并不需要深度学习或者是更广义上的人工智能技术。例如我们要为一台微波炉编写一个用户界面，只需要一点点功夫我们便能设计出十几个按钮以及一系列能精确描述微波炉在各种情况下的表现的规则。抑或是我们要编写一个电子邮件客户端，这样的程序比微波炉要更复杂一些，但我们还是可以沉下心来一步一步思考：客户端的用户界面将需要几个输入框用来接受收件人、主题、邮件正文等，程序将监听键盘输入并写入一个缓冲区，然后将它们显示在相应的输入框中。当用户点击“发送”按钮时，我们需要检查收件人邮箱地址的格式是否合法，并检查邮件主题是否为空，或在主题为空时警告用户，而后用相应的协议传送邮件。
 
 值得注意的是，在以上两个例子中，我们都不需要收集真实世界中的数据，也不需要系统地提取这些数据的特征。只要有充足的时间，我们的常识与编程技巧已经足够让我们完成它们。
 
-与此同时，我们很容易就能找到一些连世界上最好的程序员也无法仅仅用编程技巧解决的简单问题。例如，假设我们想要编写一个判定一张图像中有没有猫的程序。这件事听起来好像很简单，对不对？程序只需要对每张输入图像输出`True`（表示有猫）或者`False`（表示无猫）即可。但令人惊讶的是，即使是世界上最优秀的计算机科学家和程序员也不懂如何编写这样的程序。
+与此同时，我们很容易就能找到一些连世界上最好的程序员也无法仅仅用编程技巧解决的简单问题。例如，假设我们想要编写一个判定一张图像中有没有猫的程序。这件事听起来好像很简单，对不对？程序只需要对每张输入图像输出“真”（表示有猫）或者“假”（表示无猫）即可。但令人惊讶的是，即使是世界上最优秀的计算机科学家和程序员也不懂如何编写这样的程序。
 
 我们该从哪里入手呢？我们先进一步简化这个问题：若假设所有图像的高和宽都是同样的400像素大小，一个像素由红绿蓝三个值构成，那么一张图像就由近50万个数值表示。那么哪些数值隐藏着我们必要的信息呢？是所有数值的平均数，还是四个角的数值，抑或是图像中的某一个特别的点？事实上，要想解读图像中的内容，你需要寻找仅仅在结合成千上万的数值时才会出现的特征，比如边缘、质地、形状、眼睛、鼻子等，最终才能判断图像中是否含有猫。
 
@@ -42,8 +42,7 @@
 
 在最初的快速发展之后，自约1995年起至2005年，大部分的机器学习研究者的视线从神经网络上移开了。这是由于多种原因。首先，训练神经网络需要极多的算力。尽管上世纪末内存已经足够，算力却不够充足。其次，当时使用的数据集也相对小得多。费雪在1932年发布的的Iris数据集仅有150个样本，并被广泛用于测试算法的性能。具有6万个样本的MNIST数据集在当时已经被认为是非常庞大了，尽管它如今已被认为是典型的简单数据集。由于数据和算力的稀缺，从经验上来说，如核方法、决策树和概率图模型等统计工具更优。它们不像神经网络一样需要长时间的训练，并且在强大的理论保证下提供可以预测的结果。
 
-## 深度学习
-
+## 发展
 
 互联网的崛起、价廉物美的传感器和低价的存储器令我们越来越容易获取大量数据。加之便宜的计算力，尤其是原本为电脑游戏设计的GPU，上文描述的情况改变了许多。一瞬间，原本被认为不可能的算法和模型变得触手可及。这样的发展趋势从如下表格中可见一斑：
 
@@ -76,7 +75,7 @@
 
 系统研究者负责构建更好的工具，统计学家建立更好的模型。这样的分工使得工作大大简化。举例来说，在2014年时，训练一个逻辑回归模型曾是卡内基梅隆大学布置给机器学习方向的新入学博士生的作业问题。时至今日，这个问题只需要少于10行的代码便可以完成，普通的程序员都可以做到。
 
-### 成功案例
+## 成功案例
 
 长期以来机器学习都能达成其他方法难以实现的目的。例如，自上世纪90年代起，邮件的分拣就开始使用光学字符识别。实际上这正是知名的MNIST和USPS手写数字数据集的来源。机器学习也是电子支付系统的支柱，可以用于读取银行支票、进行授信评分以及防止金融欺诈。机器学习算法在网络上被用来提供搜索结果、个性化推荐和网页排序。尽管长期处于公众视野之外，机器学习已经渗透到了我们工作和生活的方方面面。直到近年来，在此前认为无法被解决的问题以及直接关系到消费者的问题上的突破性进展，机器学习才逐渐变成公众的焦点。这些进展基本归功于深度学习：
 
@@ -93,7 +92,7 @@
 以上列出的仅仅是近年来深度学习所取得的成果的冰山一角。机器人学、物流管理、计算生物学、粒子物理学和天文学近年来的发展也有部分要归功于深度学习。可以看到，深度学习已经逐渐演变成一个工程师和科学家皆可使用的普适工具。
 
 
-### 特点
+## 特点
 
 在描述深度学习的特点之前，我们先回顾并概括一下机器学习和深度学习的关系。机器学习研究如何使计算机系统利用经验改善性能。它是人工智能领域的分支，也是实现人工智能的一种手段。在机器学习的众多研究方向中，表征学习关注如何自动找出表示数据的合适方式，以便更好地将输入变换为正确的输出。而本书所要重点探讨的深度学习是具有多级表示的表征学习方法。在每一级（从原始数据开始），深度学习通过简单的函数将该级的表示变换为更高级的表示。因此，深度学习模型也可以看作是由许多简单函数复合而成的函数。当这些复合的函数足够多时，深度学习模型可以表达非常复杂的变换。