From 978cffb9df1a63d9af48313eec3e2625ad7f64c0 Mon Sep 17 00:00:00 2001 From: exqlnet Date: Wed, 24 Oct 2018 12:51:30 +0800 Subject: [PATCH] translate limitation and risk --- .gitignore | 1 + ...\232\204\345\261\200\351\231\220\346\200\247.md" | 13 +++++++++++++ 2 files changed, 14 insertions(+) create mode 100644 .gitignore diff --git a/.gitignore b/.gitignore new file mode 100644 index 0000000..485dee6 --- /dev/null +++ b/.gitignore @@ -0,0 +1 @@ +.idea diff --git "a/2017\345\271\26410\346\234\210/20171011 \347\254\2549\346\234\237/\346\267\261\345\272\246\345\255\246\344\271\240\347\232\204\345\261\200\351\231\220\346\200\247.md" "b/2017\345\271\26410\346\234\210/20171011 \347\254\2549\346\234\237/\346\267\261\345\272\246\345\255\246\344\271\240\347\232\204\345\261\200\351\231\220\346\200\247.md" index e7b2b1d..30f01fa 100644 --- "a/2017\345\271\26410\346\234\210/20171011 \347\254\2549\346\234\237/\346\267\261\345\272\246\345\255\246\344\271\240\347\232\204\345\261\200\351\231\220\346\200\247.md" +++ "b/2017\345\271\26410\346\234\210/20171011 \347\254\2549\346\234\237/\346\267\261\345\272\246\345\255\246\344\271\240\347\232\204\345\261\200\351\231\220\346\200\247.md" @@ -2,6 +2,7 @@ 原文链接：[The limitations of deep learning](https://blog.keras.io/the-limitations-of-deep-learning.html) 本章节改编自我一本书的第九章第2部分，[Deep Learning with Python](https://www.manning.com/books/deep-learning-with-python?a_aid=keras&a_bid=76564dff) (Manning Publications) + [![Deep learning with Python](https://blog.keras.io/img/deep_learning_with_python_cover_thumbnail.png)](https://www.manning.com/books/deep-learning-with-python?a_aid=keras&a_bid=76564dff) 这是一系列两篇关于当前深度学习局限性和未来发展文章的一部分。 @@ -17,3 +18,15 @@ 这就是深度学习的神奇之处：把含义转换成向量、几何空间，然后学习复杂的几何变换，将一个空间映射到另一个空间。你需要的仅仅是足够高的维度，用于捕捉在原始数据中找到的关系的全部范围。 + +# 深度学习的局限性 +用这种简单的策略实现的应用空间几乎是无穷的，然而，更多的应用是现在深度学习技术不能实现的——就算是给出了大量的人工注释的数据。例如，假设您可以组装一个数十万甚至数百万个软件产品功能的英语描述的数据集，由产品经理编写，以及由团队工程师开发的相应源代码来满足这些需求。即使有了这些数据，您也不能通过简单地训练一个深度学习模型来读取产品描述并生成适当的代码库。这只是许多例子中的一个例子。一般来说，任何需要推理（如编程）、应用科学方法（如长期规划）或者类似算法的数据操纵的东西，对于深度学习模型来说都是遥不可及的，不管你向它扔了多少数据。即使学习具有深度学习网络的排序算法也是相当困难的。 + +这是因为深度学习模型只是通过一系列简单的、连续的几何变换将一个向量映射到另一个向量空间。假设存在从X到Y到可学习的连续变换，以及可用作训练数据的X:Y的密集采样，它所能做的就是将一个数据流形X映射到另一个流形Y。因此，即使深度学习模型可以理解为一种程序，但是，大多数程序不能用深度学习模型所表达——这是对于大多数任务而言，或者不存在相应的解决该任务的实际大小的深层神经网络，或者即使存在一种情况，它可能也不是可学习的，即相应的几何变换可能太复杂，或者可能没有合适的数据可以用来学习它。 + +通过堆叠更多的层和使用更多的训练数据来扩展当前的深度学习技术，只能从表面上缓解这些问题。它不能解决更基本的问题，即深层学习模型在表示内容方面非常有限，并且人们希望能够学习的大多数程序不能表示为数据流形的连续几何变形。 + +# 机器学习拟人化的风险 + +当代人工智能的一个非常真实的风险是误解深度学习模型的作用，并且高估了它们的能力。人类头脑的一个基本特征是"头脑理论"，即我们倾向于投射关于我们周围事物的意图、信仰和知识。在岩石上画一张笑脸使它"快乐"在我们心中。例如，应用于深度学习，这意味着当我们能够稍微成功地训练一个模型来生成描述图片的字幕时，我们被引导相信该模型"理解"图片的内容及它所生成的字幕。然后，当训练数据中出现的图像稍有偏离导致模型开始生成完全荒谬的字幕时，我们就会感到非常惊讶。 + -- GitLab