Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
FluidDoc
提交
713b51f4
F
FluidDoc
项目概览
PaddlePaddle
/
FluidDoc
通知
5
Star
2
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
23
列表
看板
标记
里程碑
合并请求
111
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
F
FluidDoc
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
23
Issue
23
列表
看板
标记
里程碑
合并请求
111
合并请求
111
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
未验证
提交
713b51f4
编写于
8月 03, 2020
作者:
Y
YixinKristy
提交者:
GitHub
8月 03, 2020
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
Update VDL README=develop (#2314)
LGTM
上级
c90719c3
变更
2
展开全部
隐藏空白更改
内联
并排
Showing
2 changed file
with
675 addition
and
59 deletion
+675
-59
doc/fluid/advanced_guide/evaluation_debugging/debug/visualdl.md
...uid/advanced_guide/evaluation_debugging/debug/visualdl.md
+115
-24
doc/fluid/advanced_guide/evaluation_debugging/debug/visualdl_usage.md
...vanced_guide/evaluation_debugging/debug/visualdl_usage.md
+560
-35
未找到文件。
doc/fluid/advanced_guide/evaluation_debugging/debug/visualdl.md
浏览文件 @
713b51f4
# VisualDL 工具简介
# VisualDL 工具简介
...
@@ -8,14 +7,26 @@
...
@@ -8,14 +7,26 @@
VisualDL是深度学习模型可视化分析工具,以丰富的图表呈现训练参数变化趋势、模型结构、数据样本、高维数据分布等。可帮助用户更清晰直观地理解深度学习模型训练过程及模型结构,进而实现高效的模型优化。
VisualDL是飞桨可视化分析工具,以丰富的图表呈现训练参数变化趋势、模型结构、数据样本、直方图、PR曲线及高维数据分布。可帮助用户更清晰直观地理解深度学习模型训练过程及模型结构,进而实现高效的模型优化。
具体功能使用方式请参见
**VisualDL使用指南**
。项目正处于高速迭代中,敬请期待新组件的加入。
VisualDL
提供丰富的可视化功能,支持实时训练参数分析、图结构、数据样本可视化及高维数据降维呈现等诸多功能。具体功能使用方式,请参见
**VisualDL 使用指南**
。项目正处于高速迭代中,敬请期待新组件的加入
。
VisualDL
支持浏览器种类:Chrome(81和83)、Safari 13、FireFox(77和78)、Edge(Chromium版)
。
VisualDL原生支持python的使用, 通过在模型的Python配置中添加几行代码,便可为训练过程提供丰富的可视化支持。
VisualDL原生支持python的使用, 通过在模型的Python配置中添加几行代码,便可为训练过程提供丰富的可视化支持。
## 目录
*
[
核心亮点
](
#核心亮点
)
*
[
安装方式
](
#安装方式
)
*
[
使用方式
](
#使用方式
)
*
[
可视化功能概览
](
#可视化功能概览
)
*
[
开源贡献
](
#开源贡献
)
*
[
更多细节
](
#更多细节
)
*
[
技术交流
](
#技术交流
)
## 核心亮点
## 核心亮点
...
@@ -26,7 +37,7 @@ API设计简洁易懂,使用简单。模型结构一键实现可视化。
...
@@ -26,7 +37,7 @@ API设计简洁易懂,使用简单。模型结构一键实现可视化。
### 功能丰富
### 功能丰富
功能覆盖
训练参数、图结构、数据样本
及数据降维可视化。
功能覆盖
标量、数据样本、图结构、直方图、PR曲线
及数据降维可视化。
### 高兼容性
### 高兼容性
...
@@ -40,13 +51,23 @@ API设计简洁易懂,使用简单。模型结构一键实现可视化。
...
@@ -40,13 +51,23 @@ API设计简洁易懂,使用简单。模型结构一键实现可视化。
## 安装方式
## 安装方式
使用pip安装 VisualDL 运行范例:
### 使用pip安装
```
shell
```
shell
pip
install
--upgrade
visualdl
==
2.0.0a2
pip
install
--upgrade
--pre
visualdl
```
```
### 使用代码安装
```
git clone https://github.com/PaddlePaddle/VisualDL.git
cd VisualDL
python setup.py bdist_wheel
pip install --upgrade dist/visualdl-*.whl
```
需要注意,官方自2020年1月1日起不再维护Python2,为了保障代码可用性,VisualDL现仅支持Python3
## 使用方式
## 使用方式
...
@@ -57,15 +78,13 @@ VisualDL将训练过程中的数据、参数等信息储存至日志文件中后
...
@@ -57,15 +78,13 @@ VisualDL将训练过程中的数据、参数等信息储存至日志文件中后
VisualDL的后端提供了Python SDK,可通过LogWriter定制一个日志记录器,接口如下:
VisualDL的后端提供了Python SDK,可通过LogWriter定制一个日志记录器,接口如下:
```
python
```
python
class
LogWriter
(
class
LogWriter
(
logdir
=
None
,
logdir
=
None
,
comment
=
''
,
comment
=
''
,
max_queue
=
10
,
max_queue
=
10
,
flush_secs
=
120
,
flush_secs
=
120
,
filename_suffix
=
''
,
filename_suffix
=
''
,
write_to_disk
=
True
,
write_to_disk
=
True
,
**
kwargs
**
kwargs
)
)
```
```
#### 接口参数
#### 接口参数
...
@@ -103,16 +122,21 @@ with LogWriter(logdir="./log/scalar_test/train") as writer:
...
@@ -103,16 +122,21 @@ with LogWriter(logdir="./log/scalar_test/train") as writer:
使用命令行启动VisualDL面板,命令格式如下:
使用命令行启动VisualDL面板,命令格式如下:
```
python
```
python
visualdl
--
logdir
<
dir_1
,
dir_2
,
...
,
dir_n
>
--
host
<
host
>
--
port
<
port
>
visualdl
--
logdir
<
dir_1
,
dir_2
,
...
,
dir_n
>
--
host
<
host
>
--
port
<
port
>
--
cache
-
timeout
<
cache_timeout
>
--
language
<
language
>
--
public
-
path
<
public_path
>
--
api
-
only
```
```
参数详情:
参数详情:
| 参数 | 意义 |
| 参数 | 意义 |
| -------- | ------------------------------------------------------------ |
| --------------- | ------------------------------------------------------------ |
| --logdir | 设定日志所在目录,可以指定多个目录,VisualDL将遍历并且迭代寻找指定目录的子目录,将所有实验结果进行可视化 |
| --logdir | 设定日志所在目录,可以指定多个目录,VisualDL将遍历并且迭代寻找指定目录的子目录,将所有实验结果进行可视化 |
| --host | 设定IP,默认为
`127.0.0.1`
|
| --model | 设定模型文件路径(非文件夹路径),VisualDL将在此路径指定的模型文件进行可视化,目前可支持PaddlePaddle、ONNX、Keras、Core ML、Caffe等多种模型结构,详情可查看
[
graph支持模型种类
](
[https://github.com/PaddlePaddle/VisualDL/blob/develop/docs/components/README.md#Graph--%E7%BD%91%E7%BB%9C%E7%BB%93%E6%9E%84%E7%BB%84%E4%BB%B6](https://github.com/PaddlePaddle/VisualDL/blob/develop/docs/components/README.md#Graph--网络结构组件
)
) |
| --port | 设定端口,默认为
`8040`
|
| --host | 设定IP,默认为
`127.0.0.1`
|
| --port | 设定端口,默认为
`8040`
|
| --cache-timeout | 后端缓存时间,在缓存时间内前端多次请求同一url,返回的数据从缓存中获取,默认为20秒 |
| --language | VisualDL面板语言,可指定为'EN'或'ZH',默认为浏览器使用语言 |
| --public-path | VisualDL面板URL路径,默认是'/app',即访问地址为'http://
<
host
>
:
<
port
>
/app' |
| --api-only | 是否只提供API,如果设置此参数,则VisualDL不提供页面展示,只提供API服务,此时API地址为'http://
<
host
>
:
<
port
>
/
<
public_path
>
/api';若没有设置public_path参数,则默认为'http://
<
host
>
:
<
port
>
/api' |
针对上一步生成的日志,启动命令为:
针对上一步生成的日志,启动命令为:
...
@@ -130,19 +154,26 @@ visualdl.server.app.run(logdir,
...
@@ -130,19 +154,26 @@ visualdl.server.app.run(logdir,
port
=
8080
,
port
=
8080
,
cache_timeout
=
20
,
cache_timeout
=
20
,
language
=
None
,
language
=
None
,
public_path
=
None
,
api_only
=
False
,
open_browser
=
False
)
open_browser
=
False
)
```
```
接口参数:
请注意:除
`logdir`
外,其他参数均为不定参数,传递时请指明参数名。
接口参数具体如下:
| 参数 | 格式 | 含义 |
| 参数 | 格式 | 含义 |
| ------------- | ------------------------------------------------ | ------------------------------------------------------------ |
| ------------- | ------------------------------------------------ | ------------------------------------------------------------ |
| logdir | string或list[string_1, string_2, ... , string_n] | 日志文件所在的路径,VisualDL将在此路径下递归搜索日志文件并进行可视化,可指定单个或多个路径 |
| logdir | string或list[string_1, string_2, ... , string_n] | 日志文件所在的路径,VisualDL将在此路径下递归搜索日志文件并进行可视化,可指定单个或多个路径 |
| model | string | 模型文件路径(非文件夹路径),VisualDL将在此路径指定的模型文件进行可视化 |
| host | string | 指定启动服务的ip,默认为
`127.0.0.1`
|
| host | string | 指定启动服务的ip,默认为
`127.0.0.1`
|
| port | int | 启动服务端口,默认为
`8040`
|
| port | int | 启动服务端口,默认为
`8040`
|
| cache_timeout | int | 后端缓存时间,在缓存时间内前端多次请求同一url,返回的数据从缓存中获取,默认为20秒 |
| cache_timeout | int | 后端缓存时间,在缓存时间内前端多次请求同一url,返回的数据从缓存中获取,默认为20秒 |
| language | string | VisualDL面板语言,可指定为'EN'或'CN',默认自动匹配操作系统使用语言 |
| language | string | VisualDL面板语言,可指定为'en'或'zh',默认为浏览器使用语言 |
| open_browser | boolean | 是否打开浏览器,设置为True则在启动后自动打开浏览器并访问VisualDL面板 |
| public_path | string | VisualDL面板URL路径,默认是'/app',即访问地址为'http://
<host>
:
<port>
/app' |
| api_only | boolean | 是否只提供API,如果设置此参数,则VisualDL不提供页面展示,只提供API服务,此时API地址为'http://
<host>
:
<port>
/
<public_path>
/api';若没有设置public_path参数,则默认为http://
<host>
:
<port>
/api' |
| open_browser | boolean | 是否打开浏览器,设置为True则在启动后自动打开浏览器并访问VisualDL面板,若设置api_only,则忽略此参数 |
针对上一步生成的日志,我们的启动脚本为:
针对上一步生成的日志,我们的启动脚本为:
...
@@ -155,7 +186,7 @@ app.run(logdir="./log")
...
@@ -155,7 +186,7 @@ app.run(logdir="./log")
在使用任意一种方式启动VisualDL面板后,打开浏览器访问VisualDL面板,即可查看日志的可视化结果,如图:
在使用任意一种方式启动VisualDL面板后,打开浏览器访问VisualDL面板,即可查看日志的可视化结果,如图:
<p
align=
"center"
>
<p
align=
"center"
>
<img
src=
"http
://visualdl.bj.bcebos.com/images/3points_demo
.png"
width=
"60%"
/>
<img
src=
"http
s://user-images.githubusercontent.com/48054808/82786044-67ae9880-9e96-11ea-8a2b-3a0951a6ec19
.png"
width=
"60%"
/>
</p>
</p>
...
@@ -163,27 +194,31 @@ app.run(logdir="./log")
...
@@ -163,27 +194,31 @@ app.run(logdir="./log")
## 可视化功能概览
## 可视化功能概览
### Scalar
### Scalar
以图表形式实时展示训练过程参数,如loss、accuracy。让用户通过观察单组或多组训练参数变化,了解训练过程,加速模型调优。具有两大特点:
以图表形式实时展示训练过程参数,如loss、accuracy。让用户通过观察单组或多组训练参数变化,了解训练过程,加速模型调优。具有两大特点:
#### 动态展示
#### 动态展示
在启动VisualDL
Board
后,LogReader将不断增量的读取日志中数据并供前端调用展示,因此能够在训练中同步观测指标变化,如下图:
在启动VisualDL后,LogReader将不断增量的读取日志中数据并供前端调用展示,因此能够在训练中同步观测指标变化,如下图:
<p
align=
"center"
>
<p
align=
"center"
>
<img
src=
"http://visualdl.bj.bcebos.com/images/dynamic_display.gif"
width=
"60%"
/>
<img
src=
"http://visualdl.bj.bcebos.com/images/dynamic_display.gif"
width=
"60%"
/>
</p>
</p>
#### 多实验对比
#### 多实验对比
只需在启动VisualDL
Board的
时将每个实验日志所在路径同时传入即可,每个实验中相同tag的指标将绘制在一张图中同步呈现,如下图:
只需在启动VisualDL时将每个实验日志所在路径同时传入即可,每个实验中相同tag的指标将绘制在一张图中同步呈现,如下图:
<p
align=
"center"
>
<p
align=
"center"
>
<img
src=
"http://visualdl.bj.bcebos.com/images/multi_experiments.gif"
width=
"100%"
/>
<img
src=
"http://visualdl.bj.bcebos.com/images/multi_experiments.gif"
width=
"100%"
/>
</p>
</p>
### Image
### Image
实时展示训练过程中的图像数据,用于观察不同训练阶段的图像变化,进而深入了解训练过程及效果。
实时展示训练过程中的图像数据,用于观察不同训练阶段的图像变化,进而深入了解训练过程及效果。
<p
align=
"center"
>
<p
align=
"center"
>
...
@@ -191,6 +226,56 @@ app.run(logdir="./log")
...
@@ -191,6 +226,56 @@ app.run(logdir="./log")
</p>
</p>
### Audio
实时查看训练过程中的音频数据,监控语音识别与合成等任务的训练过程。
<p
align=
"center"
>
<img
src=
"https://user-images.githubusercontent.com/48054808/89017647-38605000-d34d-11ea-9d75-7d10b9854c36.gif"
width=
"100%"
/>
</p>
### Graph
一键可视化模型的网络结构。可查看模型属性、节点信息、节点输入输出等,并支持节点搜索,辅助用户快速分析模型结构与了解数据流向。
<p
align=
"center"
>
<img
src=
"https://user-images.githubusercontent.com/48054808/84483052-5acdd980-accb-11ea-8519-1608da7ee698.png"
width=
"100%"
/>
</p>
### Histogram
以直方图形式展示Tensor(weight、bias、gradient等)数据在训练过程中的变化趋势。深入了解模型各层效果,帮助开发者精准调整模型结构。
-
Offset模式
<p
align=
"center"
>
<img
src=
"https://user-images.githubusercontent.com/48054808/86551031-86647c80-bf76-11ea-8ec2-8c86826c8137.png"
width=
"100%"
/>
</p>
-
Overlay模式
<p
align=
"center"
>
<img
src=
"https://user-images.githubusercontent.com/48054808/86551033-882e4000-bf76-11ea-8e6a-af954c662ced.png"
width=
"100%"
/>
</p>
### PR Curve
精度-召回率曲线,帮助开发者权衡模型精度和召回率之间的平衡,设定最佳阈值。
<p
align=
"center"
>
<img
src=
"https://user-images.githubusercontent.com/48054808/86738774-ee46c000-c067-11ea-90d2-a98aac445cca.png"
width=
"100%"
/>
</p>
### High Dimensional
### High Dimensional
将高维数据进行降维展示,目前支持T-SNE、PCA两种降维方式,用于深入分析高维数据间的关系,方便用户根据数据特征进行算法优化。
将高维数据进行降维展示,目前支持T-SNE、PCA两种降维方式,用于深入分析高维数据间的关系,方便用户根据数据特征进行算法优化。
...
@@ -201,9 +286,15 @@ app.run(logdir="./log")
...
@@ -201,9 +286,15 @@ app.run(logdir="./log")
## 开源贡献
## 开源贡献
VisualDL 是由
[
PaddlePaddle
](
http://www.paddlepaddle.org/
)
和
[
ECharts
](
http://echarts.baidu.com/
)
合作推出的开源项目。欢迎所有人使用,提意见以及贡献代码。
VisualDL 是由
[
PaddlePaddle
](
https://www.paddlepaddle.org/
)
和
[
ECharts
](
https://echarts.apache.org/
)
合作推出的开源项目。
Graph 相关功能由
[
Netron
](
https://github.com/lutzroeder/netron
)
提供技术支持。
欢迎所有人使用,提意见以及贡献代码。
## 更多细节
## 更多细节
想了解更多关于VisualDL可视化功能的使用详情介绍,请查看
**Visual DL 使用指南**
。
想了解更多关于VisualDL可视化功能的使用详情介绍,请查看
**VisualDL使用指南**
。
## 技术交流
欢迎您加入VisualDL官方QQ群:1045783368 与飞桨团队以及其他用户共同针对VisualDL进行讨论与交流。
doc/fluid/advanced_guide/evaluation_debugging/debug/visualdl_usage.md
浏览文件 @
713b51f4
此差异已折叠。
点击以展开。
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录