README.cn.md 6.5 KB
Newer Older
Q
Qiao Longfei 已提交
1 2 3 4 5
[![Build Status](https://travis-ci.org/PaddlePaddle/VisualDL.svg?branch=develop)](https://travis-ci.org/PaddlePaddle/VisualDL)
[![Documentation Status](https://img.shields.io/badge/docs-latest-brightgreen.svg?style=flat)](https://github.com/PaddlePaddle/VisualDL/tree/develop/docs)
[![Release](https://img.shields.io/github/release/PaddlePaddle/VisualDL.svg)](https://github.com/PaddlePaddle/VisualDL/releases)
[![License](https://img.shields.io/badge/license-Apache%202-blue.svg)](LICENSE)

D
daminglu 已提交
6
<p align="center">
T
Thuan Nguyen 已提交
7
  <img src="https://raw.githubusercontent.com/PaddlePaddle/VisualDL/develop/docs/images/vs-logo.png" width="60%" />
D
daminglu 已提交
8 9
</p>

T
Thuan Nguyen 已提交
10
#
Y
Yan Chunwei 已提交
11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27
## 介绍
VisualDL是一个面向深度学习任务设计的可视化工具,包含了scalar、参数分布、模型结构、图像可视化等功能,项目正处于高速迭代中,新的组件会不断加入。

目前大多数DNN平台均使用Python作为配置语言,VisualDL原生支持python的使用,
通过在模型的Python配置中添加几行,便可以为训练过程提供丰富的可视化支持。

除了Python SDK之外,VisualDL底层采用C++编写,其暴露的C++ SDK也可以集成到其他平台中,
实现原生的性能和定制效果。

## 组件
VisualDL 目前支持4种组件:

- graph
- scalar
- image
- histogram

28
### Graph
Y
Yan Chunwei 已提交
29 30 31
兼容 ONNX(Open Neural Network Exchange)[https://github.com/onnx/onnx], 通过与 python SDK的结合,VisualDL可以兼容包括 PaddlePaddle, pytorch, mxnet在内的大部分主流DNN平台。

<p align="center">
T
Thuan Nguyen 已提交
32
  <img src="https://raw.githubusercontent.com/daming-lu/large_files/master/graph_demo.gif" width="60%" />
Y
Yan Chunwei 已提交
33 34
</p>

35
### Scalar
Y
Yan Chunwei 已提交
36 37 38
可以用于展示训练测试的误差趋势

<p align="center">
T
Thuan Nguyen 已提交
39
<img src="https://raw.githubusercontent.com/daming-lu/large_files/master/loss_scalar.gif" width="60%"/>
Y
Yan Chunwei 已提交
40 41
</p>

42
### Image
Y
Yan Chunwei 已提交
43 44 45
可以用于可视化任何tensor,或模型生成的图片

<p align="center">
T
Thuan Nguyen 已提交
46
<img src="https://raw.githubusercontent.com/daming-lu/large_files/master/loss_image.gif" width="60%"/>
Y
Yan Chunwei 已提交
47 48
</p>

49
### Histogram
Y
Yan Chunwei 已提交
50 51 52 53

用于可视化任何tensor中元素分布的变化趋势

<p align="center">
T
Thuan Nguyen 已提交
54
<img src="https://raw.githubusercontent.com/daming-lu/large_files/master/histogram.gif" width="60%"/>
Y
Yan Chunwei 已提交
55 56
</p>

Q
Qiao Longfei 已提交
57
## 快速尝试
58 59
请使用下面的命令,来快速测试 VisualDL。

Q
Qiao Longfei 已提交
60
```
61
# 安装,建議是在虚拟环境或anaconda下。
Q
Qiao Longfei 已提交
62 63
pip install --upgrade visualdl

64 65
# 运行一个例子,vdl_create_scratch_log 将创建测试日志
vdl_create_scratch_log
Q
Qiao Longfei 已提交
66 67 68 69 70
visualDL --logdir=scratch_log --port=8080

# 访问 http://127.0.0.1:8080
```

71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159
如果以上步骤出现问题,很可能是因为python或pip不同版本或不同位置所致,以下安装方法能解决。

## 使用 virtualenv 安装

[Virtualenv](https://virtualenv.pypa.io/en/stable/) 能创建独立Python环境,也能确保Python和pip的相对位置正确。

在macOS上,安装pip和virtualenv如下:
```
sudo easy_install pip
pip install --upgrade virtualenv
```

在Linux上,安装pip和virtualenv如下:
```
sudo apt-get install python3-pip python3-dev python-virtualenv
```

然后创建一个虚拟环境:
```
virtualenv ~/vdl  # for Python2.7
virtualenv -p python3 ~/vdl for Python 3.x
```

```~/vdl``` 是你的Virtualenv目录, 你也可以选择任一目录。

激活虚拟环境如下:
```
source ~/vdl/bin/activate
```

现在再安装 VisualDL 和运行范例:

```
pip install --upgrade visualdl

# 运行一个例子,vdl_create_scratch_log 将创建测试日志
vdl_create_scratch_log
visualDL --logdir=scratch_log --port=8080

# 访问 http://127.0.0.1:8080
```

如果在虚拟环境下仍然遇到安装问题,请尝试以下方法。


## 使用 Anaconda 安装

Anaconda是一个用于科学计算的Python发行版,提供了包管理与环境管理的功能,可以很方便地解决多版本python并存、切换以及各种第三方包安装问题。

请根据[Anaconda下载网站](https://www.anaconda.com/download) 的指示去下载和安装Anaconda.
下载Python 3.6版本的command-Line installer.

创建conda环境名字为```vdl```或任何名字:
```
conda create -n vdl pip python=2.7 # or python=3.3, etc.
```

激活conda环境如下:
```
source activate vdl
```

现在再安装 VisualDL 和运行范例:

```
pip install --upgrade visualdl

# 运行一个例子,vdl_create_scratch_log 将创建测试日志
vdl_create_scratch_log
visualDL --logdir=scratch_log --port=8080

# 访问 http://127.0.0.1:8080
```

如果仍然遇到安装问题,请尝试以下用源代码安装方法。

### 使用代码安装
```
#建議是在虚拟环境或anaconda下。
git clone https://github.com/PaddlePaddle/VisualDL.git
cd VisualDL

python setup.py bdist_wheel
pip install --upgrade dist/visualdl-*.whl
```

如果打包和安装遇到其他问题,不安装只想运行Visual DL可以看[这里](https://github.com/PaddlePaddle/VisualDL/blob/develop/docs/how_to_dev_frontend_en.md)


Y
Yan Chunwei 已提交
160 161
## SDK
VisualDL 同时提供了python SDK 和 C++ SDK 来实现不同方式的使用。
J
Jeff Wang 已提交
162

Y
Yan Chunwei 已提交
163
### Python SDK
J
Jeff Wang 已提交
164 165
VisualDL 现在支持 Python 2和 Python 3。

Y
Yan Chunwei 已提交
166 167 168 169 170 171 172
以最简单的Scalar组件为例,尝试创建一个scalar组件并插入多个时间步的数据:

```python
import random
from visualdl import LogWriter

logdir = "./tmp"
J
Jeff Wang 已提交
173
logger = LogWriter(logdir, sync_cycle=10000)
Y
Yan Chunwei 已提交
174 175 176 177 178

# mark the components with 'train' label.
with logger.mode("train"):
    # create a scalar component called 'scalars/scalar0'
    scalar0 = logger.scalar("scalars/scalar0")
Q
Qiao Longfei 已提交
179

Y
Yan Chunwei 已提交
180 181 182
# add some records during DL model running.
for step in range(100):
    scalar0.add_record(step, random.random())
Y
Yan Chunwei 已提交
183 184 185 186 187 188 189 190 191 192
```

### C++ SDK
上面 Python SDK 中代码完全一致的C++ SDK用法如下
```c++
#include <cstdlib>
#include <string>
#include "visualdl/sdk.h"

namespace vs = visualdl;
193
namespace cp = visualdl::components;
Y
Yan Chunwei 已提交
194 195 196

int main() {
  const std::string dir = "./tmp";
J
Jeff Wang 已提交
197
  vs::LogWriter logger(dir, 10000);
Q
Qiao Longfei 已提交
198

Y
Yan Chunwei 已提交
199
  logger.SetMode("train");
200
  auto tablet = logger.AddTablet("scalars/scalar0");
Q
Qiao Longfei 已提交
201

Y
Yan Chunwei 已提交
202
  cp::Scalar<float> scalar0(tablet);
Q
Qiao Longfei 已提交
203

Y
Yan Chunwei 已提交
204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223
  for (int step = 0; step < 1000; step++) {
    float v = (float)std::rand() / RAND_MAX;
    scalar0.AddRecord(step, v);
  }

  return 0;
}
```
## 启动Board
当训练过程中已经产生了日志数据,就可以启动board进行实时预览可视化信息

```
visualDL --logdir <some log dir>
```

board 还支持一下参数来实现远程的访问:

- `--host` 设定IP
- `--port` 设定端口
- `--model_pb` 指定 ONNX 格式的模型文件
D
daminglu 已提交
224 225 226

### 贡献

Q
Qiao Longfei 已提交
227 228
VisualDL 是由 [PaddlePaddle](http://www.paddlepaddle.org/) 和
[ECharts](http://echarts.baidu.com/) 合作推出的开源项目。我们欢迎所有人使用,提意见以及贡献代码。