README.cn.md 6.5 KB
Newer Older
Q
Qiao Longfei 已提交
1 2 3 4 5
[![Build Status](https://travis-ci.org/PaddlePaddle/VisualDL.svg?branch=develop)](https://travis-ci.org/PaddlePaddle/VisualDL)
[![Documentation Status](https://img.shields.io/badge/docs-latest-brightgreen.svg?style=flat)](https://github.com/PaddlePaddle/VisualDL/tree/develop/docs)
[![Release](https://img.shields.io/github/release/PaddlePaddle/VisualDL.svg)](https://github.com/PaddlePaddle/VisualDL/releases)
[![License](https://img.shields.io/badge/license-Apache%202-blue.svg)](LICENSE)

D
daminglu 已提交
6
<p align="center">
T
Thuan Nguyen 已提交
7
  <img src="https://raw.githubusercontent.com/PaddlePaddle/VisualDL/develop/docs/images/vs-logo.png" width="60%" />
D
daminglu 已提交
8 9
</p>

Y
Yan Chunwei 已提交
10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26
## 介绍
VisualDL是一个面向深度学习任务设计的可视化工具,包含了scalar、参数分布、模型结构、图像可视化等功能,项目正处于高速迭代中,新的组件会不断加入。

目前大多数DNN平台均使用Python作为配置语言,VisualDL原生支持python的使用,
通过在模型的Python配置中添加几行,便可以为训练过程提供丰富的可视化支持。

除了Python SDK之外,VisualDL底层采用C++编写,其暴露的C++ SDK也可以集成到其他平台中,
实现原生的性能和定制效果。

## 组件
VisualDL 目前支持4种组件:

- graph
- scalar
- image
- histogram

27
### Graph
Y
Yan Chunwei 已提交
28 29 30
兼容 ONNX(Open Neural Network Exchange)[https://github.com/onnx/onnx], 通过与 python SDK的结合,VisualDL可以兼容包括 PaddlePaddle, pytorch, mxnet在内的大部分主流DNN平台。

<p align="center">
T
Thuan Nguyen 已提交
31
  <img src="https://raw.githubusercontent.com/daming-lu/large_files/master/graph_demo.gif" width="60%" />
Y
Yan Chunwei 已提交
32 33
</p>

34
### Scalar
Y
Yan Chunwei 已提交
35 36 37
可以用于展示训练测试的误差趋势

<p align="center">
T
Thuan Nguyen 已提交
38
<img src="https://raw.githubusercontent.com/daming-lu/large_files/master/loss_scalar.gif" width="60%"/>
Y
Yan Chunwei 已提交
39 40
</p>

41
### Image
Y
Yan Chunwei 已提交
42 43 44
可以用于可视化任何tensor,或模型生成的图片

<p align="center">
T
Thuan Nguyen 已提交
45
<img src="https://raw.githubusercontent.com/daming-lu/large_files/master/loss_image.gif" width="60%"/>
Y
Yan Chunwei 已提交
46 47
</p>

48
### Histogram
Y
Yan Chunwei 已提交
49 50 51 52

用于可视化任何tensor中元素分布的变化趋势

<p align="center">
T
Thuan Nguyen 已提交
53
<img src="https://raw.githubusercontent.com/daming-lu/large_files/master/histogram.gif" width="60%"/>
Y
Yan Chunwei 已提交
54 55
</p>

Q
Qiao Longfei 已提交
56
## 快速尝试
57 58
请使用下面的命令,来快速测试 VisualDL。

Q
Qiao Longfei 已提交
59
```
60
# 安装,建議是在虚拟环境或anaconda下。
Q
Qiao Longfei 已提交
61 62
pip install --upgrade visualdl

63 64
# 运行一个例子,vdl_create_scratch_log 将创建测试日志
vdl_create_scratch_log
Q
Qiao Longfei 已提交
65 66 67 68 69
visualDL --logdir=scratch_log --port=8080

# 访问 http://127.0.0.1:8080
```

70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158
如果以上步骤出现问题,很可能是因为python或pip不同版本或不同位置所致,以下安装方法能解决。

## 使用 virtualenv 安装

[Virtualenv](https://virtualenv.pypa.io/en/stable/) 能创建独立Python环境,也能确保Python和pip的相对位置正确。

在macOS上,安装pip和virtualenv如下:
```
sudo easy_install pip
pip install --upgrade virtualenv
```

在Linux上,安装pip和virtualenv如下:
```
sudo apt-get install python3-pip python3-dev python-virtualenv
```

然后创建一个虚拟环境:
```
virtualenv ~/vdl  # for Python2.7
virtualenv -p python3 ~/vdl for Python 3.x
```

```~/vdl``` 是你的Virtualenv目录, 你也可以选择任一目录。

激活虚拟环境如下:
```
source ~/vdl/bin/activate
```

现在再安装 VisualDL 和运行范例:

```
pip install --upgrade visualdl

# 运行一个例子,vdl_create_scratch_log 将创建测试日志
vdl_create_scratch_log
visualDL --logdir=scratch_log --port=8080

# 访问 http://127.0.0.1:8080
```

如果在虚拟环境下仍然遇到安装问题,请尝试以下方法。


## 使用 Anaconda 安装

Anaconda是一个用于科学计算的Python发行版,提供了包管理与环境管理的功能,可以很方便地解决多版本python并存、切换以及各种第三方包安装问题。

请根据[Anaconda下载网站](https://www.anaconda.com/download) 的指示去下载和安装Anaconda.
下载Python 3.6版本的command-Line installer.

创建conda环境名字为```vdl```或任何名字:
```
conda create -n vdl pip python=2.7 # or python=3.3, etc.
```

激活conda环境如下:
```
source activate vdl
```

现在再安装 VisualDL 和运行范例:

```
pip install --upgrade visualdl

# 运行一个例子,vdl_create_scratch_log 将创建测试日志
vdl_create_scratch_log
visualDL --logdir=scratch_log --port=8080

# 访问 http://127.0.0.1:8080
```

如果仍然遇到安装问题,请尝试以下用源代码安装方法。

### 使用代码安装
```
#建議是在虚拟环境或anaconda下。
git clone https://github.com/PaddlePaddle/VisualDL.git
cd VisualDL

python setup.py bdist_wheel
pip install --upgrade dist/visualdl-*.whl
```

如果打包和安装遇到其他问题,不安装只想运行Visual DL可以看[这里](https://github.com/PaddlePaddle/VisualDL/blob/develop/docs/how_to_dev_frontend_en.md)


Y
Yan Chunwei 已提交
159 160
## SDK
VisualDL 同时提供了python SDK 和 C++ SDK 来实现不同方式的使用。
J
Jeff Wang 已提交
161

Y
Yan Chunwei 已提交
162
### Python SDK
J
Jeff Wang 已提交
163 164
VisualDL 现在支持 Python 2和 Python 3。

Y
Yan Chunwei 已提交
165 166 167 168 169 170 171
以最简单的Scalar组件为例,尝试创建一个scalar组件并插入多个时间步的数据:

```python
import random
from visualdl import LogWriter

logdir = "./tmp"
J
Jeff Wang 已提交
172
logger = LogWriter(logdir, sync_cycle=10000)
Y
Yan Chunwei 已提交
173 174 175 176 177

# mark the components with 'train' label.
with logger.mode("train"):
    # create a scalar component called 'scalars/scalar0'
    scalar0 = logger.scalar("scalars/scalar0")
Q
Qiao Longfei 已提交
178

Y
Yan Chunwei 已提交
179 180 181
# add some records during DL model running.
for step in range(100):
    scalar0.add_record(step, random.random())
Y
Yan Chunwei 已提交
182 183 184 185 186 187 188 189 190 191
```

### C++ SDK
上面 Python SDK 中代码完全一致的C++ SDK用法如下
```c++
#include <cstdlib>
#include <string>
#include "visualdl/sdk.h"

namespace vs = visualdl;
192
namespace cp = visualdl::components;
Y
Yan Chunwei 已提交
193 194 195

int main() {
  const std::string dir = "./tmp";
J
Jeff Wang 已提交
196
  vs::LogWriter logger(dir, 10000);
Q
Qiao Longfei 已提交
197

Y
Yan Chunwei 已提交
198
  logger.SetMode("train");
199
  auto tablet = logger.AddTablet("scalars/scalar0");
Q
Qiao Longfei 已提交
200

Y
Yan Chunwei 已提交
201
  cp::Scalar<float> scalar0(tablet);
Q
Qiao Longfei 已提交
202

Y
Yan Chunwei 已提交
203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222
  for (int step = 0; step < 1000; step++) {
    float v = (float)std::rand() / RAND_MAX;
    scalar0.AddRecord(step, v);
  }

  return 0;
}
```
## 启动Board
当训练过程中已经产生了日志数据,就可以启动board进行实时预览可视化信息

```
visualDL --logdir <some log dir>
```

board 还支持一下参数来实现远程的访问:

- `--host` 设定IP
- `--port` 设定端口
- `--model_pb` 指定 ONNX 格式的模型文件
D
daminglu 已提交
223 224 225

### 贡献

Q
Qiao Longfei 已提交
226 227
VisualDL 是由 [PaddlePaddle](http://www.paddlepaddle.org/) 和
[ECharts](http://echarts.baidu.com/) 合作推出的开源项目。我们欢迎所有人使用,提意见以及贡献代码。