未验证 提交 b15aa0fe 编写于 作者: A abigale Li 提交者: GitHub

modify the data structure doc and delete the visualization doc (#164)

上级 6dffdeb6
# 数据格式抽象
# 基础可视化组件
初版需要支持如下几种基础组件:
初版支持如下几种基础可视化组件:
- 基本组件
- 可视化组件
- scalar
- histogram
- image
- audio
- text
- 高级组件
- graph
下面将对这些组件的数据类型进行抽象。
# 宏观信息
后端的日志会在每个周期追加到 `logdir` 中相应的log文件中,在追加信息的过程中,
除了graph,其他所有组件均需要时间步等信息,依次下面列出这个过程必须的一些元信息:
后端的日志会在每个周期追加到 `logdir` 中相应的 log 文件中,在追加信息的过程中,
除了 graph,其他所有组件均需要时间步等信息,下面依次列出这个过程中必须的一些元信息:
- `step_id` 追加的时间步
- `UNIX time` 方便追踪速度
- `tag` 类似TF,每个参与可视化的信息来源必须有一个唯一的命名(可以系统自动生成)
- tag会作为特定数据流从前端到后端统一的标识
- `tag` 类似 TF,每个参与可视化的信息来源必须有一个唯一的命名(可以系统自动生成)
- tag 会作为特定数据流从前端到后端统一的标识,如 `layer1/loss`.
# 各组件数据抽象
这里会抽象各组件数据必须存储的信息,为了便于沟通,使用了类似 `JSON` 的格式,
实际使用中,前后端可以自由选择数据格式,以及数据压缩。
## 抽样
每个 `tag` 会对应一个log文件,其中会包含全量信息(可以优化),但前端可视化并不需要全量信息,
每个 `tag` 会对应一个 log 文件,其中会包含全量信息(可以优化),但前端可视化并不需要全量信息,
这里后端就可以用 `蓄水池抽样` 来对全量数据进行抽样,组织好数据push给前端。
## 增量更新数据
考虑到前端可视化的动态更新,当前后端的全量数据应该只在第一次访问时才需要push给前端,
考虑到前端可视化的动态更新,后端的全量数据应该只在第一次访问时才需要push给前端。
中间状态,后端前端交互的都只需要传递增量数据,具体增量数据格式类似
```javascript
......@@ -42,9 +39,8 @@
]
```
## 统一的数据表示
上述除了group之外的所有组件的数据,都可以用下述数据格式表示
上述除了 graph 之外的所有组件的数据,都可以用下述数据格式表示
```
[
......@@ -59,7 +55,7 @@
]
// meta info
[
// one of image, text, audio, scalar or histogram
// one of image
"type": "image",
"size": [320, 270],
"tag": "some-name"
......@@ -87,8 +83,7 @@
当然,上面的数据格式在最终存储时,可以折叠为
```
```javascript
[
[23323, 23],
[23325, 13]
......@@ -97,7 +92,7 @@
这里只关注必要的信息,具体的优化暂不考虑,后续不再赘述。
## histogram
histogram 需要得到tensor的分布,因此会把完整的tensor 的数值存下,具体的分布可以后端实时(增量)计算
histogram 需要得到 tensor 的分布,因此会把完整的 tensor 的数值存下,具体的分布可以后端实时(增量)计算
后端存储的数据格式
......@@ -105,23 +100,28 @@ histogram 需要得到tensor的分布,因此会把完整的tensor 的数值存
[
[
"step_id": 12,
"unix_time" : 23326,
"data": [0.12, 0.37, ...]
],
[
"step_id": 13,
"unix_time": 23337,
"data": [0.13, 0.38, ...]
]
]
```
后端会计算好每个时间步的数据分布push给前端,具体数据格式如下
后端会计算好每个时间步的数据分布 push 给前端,具体数据格式如下
```javascript
[
[
"step_id": 12,
// time
23326,
// step_id
12,
// n-dim distribution
"data": [0.12, 0.23, ...]
[0.12, 0.23, ...]
]
]
```
......@@ -150,7 +150,7 @@ histogram 需要得到tensor的分布,因此会把完整的tensor 的数值存
```
## text
后端直接生成 text便可
后端直接生成 text 便可
```javascript
[
......
# 可视化哪些信息(参数)
# 可视化形式
# 交互设计
# 前端增量
# 前端采样
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册