提交 bba14944 编写于 作者: W wizardforcel

2019-02-22 12:17:38

上级 ed979bb3
# 高级教程: 作出动态决策和 Bi-LSTM CRF
> 译者:[@JingTao](https://github.com/jingwangfei)、[@friedhelm739](https://github.com/friedhelm739)
## 动态 VS 静态深度学习工具集
Pytorch 是一个 _动态_ 神经网络工具包. 另一个动态工具包的例子是 [Dynet](https://github.com/clab/dynet) (我之所以提这个是因为使用 Pytorch 和 Dynet 是十分类似的. 如果你看过 Dynet 中的例子, 那么它将有可能对你在 Pytorch 下实现它有帮助). 与动态相反的是 _静态_ 工具包, 包括了 Theano, Keras, TensorFlow 等等. 下面是这两者核心的一些区别:
......
# PyTorch深度学习
> 译者:[@JingTao](https://github.com/jingwangfei)、[@friedhelm739](https://github.com/friedhelm739)
## 深度学习构建模块: Affine maps, non-linearities and objectives
深度学习以巧妙的方式将non-linearities和linearities组合在一起.non-linearities的引入允许强大的模型. 在本节中, 我们将使用这些核心组件, 构建一个objective函数, 并且看看模型是如何训练的.
......
# PyTorch介绍
> 译者:[@JingTao](https://github.com/jingwangfei)、[@friedhelm739](https://github.com/friedhelm739)
## Torch张量库介绍
所有的深度学习都是在张量上计算的,其中张量是一个可以被超过二维索引的矩阵的一般化. 稍后我们将详细讨论这意味着什么.首先,我们先来看一下我们可以用张量来干什么.
......
# 序列模型和 LSTM 网络(长短记忆网络)
> 译者:[@JingTao](https://github.com/jingwangfei)、[@friedhelm739](https://github.com/friedhelm739)
之前我们已经学过了许多的前馈网络. 所谓前馈网络, 就是网络中不会保存状态. 然而有时 这并不是我们想要的效果. 在自然语言处理 (NLP, Natural Language Processing) 中, 序列模型是一个核心的概念. 所谓序列模型, 即输入依赖于时间信息的模型. 一个典型 的序列模型是隐马尔科夫模型 (HMM, Hidden Markov Model). 另一个序列模型的例子 是条件随机场 (CRF, Conditional Random Field).
递归神经网络是指可以保存某种状态的神经网络. 比如说, 网络上个时刻的输出可以作为下个 时刻的输入, 这样信息就可以通过序列在网络中一直往后传递. 对于LSTM (Long-Short Term Memory) 来说, 序列中的每个元素都有一个相应的隐状态 ![h_t](img/tex-6c4ff69dbcc329835a33b80fe3a145c7.gif), 该隐状态 原则上可以包含序列当前结点之前的任一节点的信息. 我们可以使用隐藏状态来预测语言模型 中的单词, 词性标签以及其他各种各样的东西.
......
# 词汇嵌入:编码词汇语义
> 译者:[@JingTao](https://github.com/jingwangfei)、[@friedhelm739](https://github.com/friedhelm739)
单词嵌入是真实数字的密集向量,在你的词汇表中每一个单词都是. 在NLP中, 通常情况下, 您的特性就是单词!但是你应该怎么在你的电脑中表示一个单词?可以存储它的ascii字符表示, 但那仅仅告诉你单词 _是_ 什么,没有说太多它 _意味_ 着什么 (你也许可以从它的词缀中派生出它的词性, 或者从它的大小写中得到它的属性,但并不多.). 更重要的是, 在什么意义上你能把这些表象结合起来? 我们经常需要神经网络的密集输出, 输入为 ![|V|](img/tex-74fcb594bdd93c0f956682ae1ea013e6.gif) 维, 其中 ![V](img/tex-5206560a306a2e085a437fd258eb57ce.gif) 是我们的词汇表, 但经常输出是更小维度的 (如果我们只预测少量的标签的话). 我们如何从一个大的维度空间得到一个更小的维度空间?
如果我们不用 ascii 字符表示, 而使用one-hot encoding呢? 那就是, 我们用如下所示表示 ![w](img/tex-f1290186a5d0b1ceab27f4e77c0c5d68.gif) 字符
......
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册