未验证 提交 b15aa0fe 编写于 作者: A abigale Li 提交者: GitHub

modify the data structure doc and delete the visualization doc (#164)

上级 6dffdeb6
# 数据格式抽象 # 基础可视化组件
初版需要支持如下几种基础组件: 初版支持如下几种基础可视化组件:
- 基本组件 - 可视化组件
- scalar - scalar
- histogram - histogram
- image - image
- audio
- text
- 高级组件
- graph - graph
下面将对这些组件的数据类型进行抽象。 下面将对这些组件的数据类型进行抽象。
# 宏观信息 # 宏观信息
后端的日志会在每个周期追加到 `logdir` 中相应的log文件中,在追加信息的过程中, 后端的日志会在每个周期追加到 `logdir` 中相应的 log 文件中,在追加信息的过程中,
除了graph,其他所有组件均需要时间步等信息,依次下面列出这个过程必须的一些元信息: 除了 graph,其他所有组件均需要时间步等信息,下面依次列出这个过程中必须的一些元信息:
- `step_id` 追加的时间步 - `step_id` 追加的时间步
- `UNIX time` 方便追踪速度 - `UNIX time` 方便追踪速度
- `tag` 类似TF,每个参与可视化的信息来源必须有一个唯一的命名(可以系统自动生成) - `tag` 类似 TF,每个参与可视化的信息来源必须有一个唯一的命名(可以系统自动生成)
- tag会作为特定数据流从前端到后端统一的标识 - tag 会作为特定数据流从前端到后端统一的标识,如 `layer1/loss`.
# 各组件数据抽象 # 各组件数据抽象
这里会抽象各组件数据必须存储的信息,为了便于沟通,使用了类似 `JSON` 的格式, 这里会抽象各组件数据必须存储的信息,为了便于沟通,使用了类似 `JSON` 的格式,
实际使用中,前后端可以自由选择数据格式,以及数据压缩。 实际使用中,前后端可以自由选择数据格式,以及数据压缩。
## 抽样 ## 抽样
每个 `tag` 会对应一个log文件,其中会包含全量信息(可以优化),但前端可视化并不需要全量信息, 每个 `tag` 会对应一个 log 文件,其中会包含全量信息(可以优化),但前端可视化并不需要全量信息,
这里后端就可以用 `蓄水池抽样` 来对全量数据进行抽样,组织好数据push给前端。 这里后端就可以用 `蓄水池抽样` 来对全量数据进行抽样,组织好数据push给前端。
## 增量更新数据 ## 增量更新数据
考虑到前端可视化的动态更新,当前后端的全量数据应该只在第一次访问时才需要push给前端, 考虑到前端可视化的动态更新,后端的全量数据应该只在第一次访问时才需要push给前端。
中间状态,后端前端交互的都只需要传递增量数据,具体增量数据格式类似 中间状态,后端前端交互的都只需要传递增量数据,具体增量数据格式类似
```javascript ```javascript
...@@ -42,9 +39,8 @@ ...@@ -42,9 +39,8 @@
] ]
``` ```
## 统一的数据表示 ## 统一的数据表示
上述除了group之外的所有组件的数据,都可以用下述数据格式表示 上述除了 graph 之外的所有组件的数据,都可以用下述数据格式表示
``` ```
[ [
...@@ -59,7 +55,7 @@ ...@@ -59,7 +55,7 @@
] ]
// meta info // meta info
[ [
// one of image, text, audio, scalar or histogram // one of image
"type": "image", "type": "image",
"size": [320, 270], "size": [320, 270],
"tag": "some-name" "tag": "some-name"
...@@ -87,8 +83,7 @@ ...@@ -87,8 +83,7 @@
当然,上面的数据格式在最终存储时,可以折叠为 当然,上面的数据格式在最终存储时,可以折叠为
``` ```javascript
[ [
[23323, 23], [23323, 23],
[23325, 13] [23325, 13]
...@@ -97,7 +92,7 @@ ...@@ -97,7 +92,7 @@
这里只关注必要的信息,具体的优化暂不考虑,后续不再赘述。 这里只关注必要的信息,具体的优化暂不考虑,后续不再赘述。
## histogram ## histogram
histogram 需要得到tensor的分布,因此会把完整的tensor 的数值存下,具体的分布可以后端实时(增量)计算 histogram 需要得到 tensor 的分布,因此会把完整的 tensor 的数值存下,具体的分布可以后端实时(增量)计算
后端存储的数据格式 后端存储的数据格式
...@@ -105,23 +100,28 @@ histogram 需要得到tensor的分布,因此会把完整的tensor 的数值存 ...@@ -105,23 +100,28 @@ histogram 需要得到tensor的分布,因此会把完整的tensor 的数值存
[ [
[ [
"step_id": 12, "step_id": 12,
"unix_time" : 23326,
"data": [0.12, 0.37, ...] "data": [0.12, 0.37, ...]
], ],
[ [
"step_id": 13, "step_id": 13,
"unix_time": 23337,
"data": [0.13, 0.38, ...] "data": [0.13, 0.38, ...]
] ]
] ]
``` ```
后端会计算好每个时间步的数据分布push给前端,具体数据格式如下 后端会计算好每个时间步的数据分布 push 给前端,具体数据格式如下
```javascript ```javascript
[ [
[ [
"step_id": 12, // time
23326,
// step_id
12,
// n-dim distribution // n-dim distribution
"data": [0.12, 0.23, ...] [0.12, 0.23, ...]
] ]
] ]
``` ```
...@@ -150,7 +150,7 @@ histogram 需要得到tensor的分布,因此会把完整的tensor 的数值存 ...@@ -150,7 +150,7 @@ histogram 需要得到tensor的分布,因此会把完整的tensor 的数值存
``` ```
## text ## text
后端直接生成 text便可 后端直接生成 text 便可
```javascript ```javascript
[ [
......
# 可视化哪些信息(参数)
# 可视化形式
# 交互设计
# 前端增量
# 前端采样
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册