提交 1c4e85b7 编写于 作者: W wizardforcel

2020-08-14 18:58:27

上级 006d9e01
......@@ -183,7 +183,7 @@ nmt/scripts/download_iwslt15.sh /tmp/nmt_data
embedding_encoder, encoder_inputs)
```
4. 仍然参考[这里](https://github.com/tensorflow/nmt/),我们定义了一个简单的编码器,它使用`tf.nn.rnn_cell.BasicLSTMCell(num_units)`作为基本 RNN 单元。 这非常简单,但是要注意,给定基本的 RNN 单元,我们使用`tf.nn.dynamic_rnn`(如[中指定的那样)创建 RNN:https://www.tensorflow.org/api_docs/python/tf/nn / dynamic_rnn](https://www.tensorflow.org/api_docs/python/tf/nn/dynamic_rnn)
4. 仍然参考[这里](https://github.com/tensorflow/nmt/),我们定义了一个简单的编码器,它使用`tf.nn.rnn_cell.BasicLSTMCell(num_units)`作为基本 RNN 单元。 这非常简单,但是要注意,给定基本的 RNN 单元,我们使用[`tf.nn.dynamic_rnn`](https://www.tensorflow.org/api_docs/python/tf/nn/dynamic_rnn)创建 RNN
```py
# Build RNN cell
......
......@@ -210,7 +210,7 @@ for fig, row in zip([Xtest,out], axarr):
我们在前面的食谱中看到的自编码器的工作方式更像是一个身份网络-它们只是重构输入。 重点是在像素级别重建图像,唯一的限制是瓶颈层中的单元数; 有趣的是,像素级重建不能确保网络将从数据集中学习抽象特征。 通过添加更多约束,我们可以确保网络从数据集中学习抽象特征。
在稀疏自编码器中,将稀疏惩罚项添加到重构错误中,以确保在任何给定时间触发瓶颈层中较少的单元。 如果 *m* 是输入模式的总数,那么我们可以定义一个数量`ρ_hat`(您可以在[的 Andrew Ng 的讲座中检查数学细节 https://web.stanford.edu/ class / cs294a / sparseAutoencoder_2011new.pdf](https://web.stanford.edu/class/cs294a/sparseAutoencoder_2011new.pdf) ),它测量每个隐藏层单位的净活动(平均触发多少次)。 基本思想是放置一个约束`ρ_hat`,使其等于稀疏性参数ρ*。* 这导致损失函数中添加了稀疏性的正则项,因此现在`loss`函数如下:
在稀疏自编码器中,将稀疏惩罚项添加到重构错误中,以确保在任何给定时间触发瓶颈层中较少的单元。 如果 *m* 是输入模式的总数,那么我们可以定义一个数量`ρ_hat`(您可以在 [Andrew Ng 的讲座](https://web.stanford.edu/class/cs294a/sparseAutoencoder_2011new.pdf)中检查数学细节),它测量每个隐藏层单位的净活动(平均触发多少次)。 基本思想是放置一个约束`ρ_hat`,使其等于稀疏性参数ρ*。* 这导致损失函数中添加了稀疏性的正则项,因此现在`loss`函数如下:
```py
loss = Mean squared error + Regularization for sparsity parameter
......
......@@ -423,7 +423,7 @@ with sv.prepare_or_wait_for_session(server.target) as sess:
这是我们进行食谱的方法:
1.[下载 Dockerfile.devel https://github.com/tensorflow/serving/blob/master/tensorflow_serving/tools/docker/Dockerfile.devel](https://github.com/tensorflow/serving/blob/master/tensorflow_serving/tools/docker/Dockerfile.devel)
1.[这里](https://github.com/tensorflow/serving/blob/master/tensorflow_serving/tools/docker/Dockerfile.devel)下载`Dockerfile.devel`
2. 通过运行来构建容器
```py
......
......@@ -104,6 +104,6 @@ L ![](img/32f13c94-c144-4116-bd64-e97805948eb6.png)
您可以看到相同(标记)的数字一起嵌入 2D 空间。
[上还有另一个有趣的示例,https://github.com/dhwajraj/deep-siamese-text-similarity](https://github.com/dhwajraj/deep-siamese-text-similarity)
还有另一个有趣的示例](https://github.com/dhwajraj/deep-siamese-text-similarity) 。
在这里,使用 Tensorflow,训练了深层的暹罗 LSTM 网络以使用字符嵌入来捕获短语/句子相似性。
\ No newline at end of file
......@@ -6,7 +6,7 @@ Google 服务(例如 Google 搜索(RankBrain),街景,Google 照片和
TPU 是 Google 专门为机器学习而定制的定制专用集成电路(**ASIC**),是针对 Tensorflow 量身定制的。 它基于 28 纳米工艺构建,运行频率为 700 MHz,运行时消耗 40 W 的能量。 它包装为外部加速卡,可以插入现有的 SATA 硬盘插槽中。 TPU 通过 PCIe Gen 3×16 总线连接到主机 CPU,该总线提供 12.5 GB / s 的有效带宽。
到目前为止,第一代 TPU 的目标是推理,即使用已经训练好的模型。 DNN 的训练通常需要更多时间,但仍在 CPU 和 GPU 上进行。 在 2017 年 5 月的博客文章[(https://www.blog.google/topics/google-cloud/google-cloud-offer-tpus-machine-learning/](https://www.blog.google/topics/google-cloud/google-cloud-offer-tpus-machine-learning/) )中宣布的第二代 TPU 都可以 训练和推断机器学习模型。
到目前为止,第一代 TPU 的目标是推理,即使用已经训练好的模型。 DNN 的训练通常需要更多时间,但仍在 CPU 和 GPU 上进行。 在 [2017 年 5 月的博客文章](https://www.blog.google/topics/google-cloud/google-cloud-offer-tpus-machine-learning/)中宣布的第二代 TPU 都可以训练和推断机器学习模型。
# TPU 的组件
......
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册