diff --git a/docs/Plan.md b/docs/Plan.md deleted file mode 100644 index 64733a66bd8b5437a2a17281d6d92937b287e360..0000000000000000000000000000000000000000 --- a/docs/Plan.md +++ /dev/null @@ -1,21 +0,0 @@ -# 一期规划 - -支持类似TB中summary ops 以及 computation graphs - -- summary ops - - scalar - - histogram - - image - - audio - - text -- computation graphs - - -# TODO List -支持 embedding - - - -# 参考文献 - -1. [tensorboard survey](https://github.com/VisualDL/VisualDL/wiki/tensorboard_survey) diff --git a/docs/backend_architecture.md b/docs/backend_architecture.md new file mode 100644 index 0000000000000000000000000000000000000000..4ef9a6eab8fa95ef0c62ebea4dbe63efa1a6b9f8 --- /dev/null +++ b/docs/backend_architecture.md @@ -0,0 +1,51 @@ +# 后端架构设计 +总体上划分为3层,由上至下分别为: + +- Service Layer + - `Server` 提供服务 + - `Frontend API` 后端前端的交互接口 +- Logic Layer + - SDK, 负责为其他应用提供使用接口 + - python SDK,方便基于 python 的应用的读取 + - C SDK, 方便应用嵌入 + - Information Maintainer, 负责周期性将数据预读到内存中,方便Server直接读取 +- Storage Layer + - 负责Log 的结构化存储 + - Protobuf API, 底层的存储结构 + +具体架构图如下 + +
+ +
+ +以下展开一些基本的想法 +## Service Layer +### server +- 基于简便的server框架实现,提供两种服务 + - 作为main程序,支持一个前端网页 + - 提供一系列的HTTP接口,以JSON格式支持与前端的交互 +### Frontend API +- `Frontend API` 以单独模块的方式封装了与前端交互的接口逻辑,server依赖 `Frontend API` 与前端交互 + +## Logic Layer +### Information Maintainer (IM) +IM提供具体的数据处理以及计算,比如数据抽样,方差计算(histogram)等, +为了支持类似 embedding 等比较计算复杂的可视化,中间的计算结果以异步的方式更新。 + +IM 与 Server 的关系是 + +- IM 异步更新共享内存,Server 直接读取共享内存 +- IM需要提供接口方便Server读取数据 + +### SDK +- Python SDK 用来支持任何Python界面的应用。 + - 比如 Paddle, Tensorflow 等平台能够很方便地使用 Python SDK 初步支持可视化 +- C SDK 用来方便嵌入到 C/C++ 的应用中 + - 类似Paddle的平台可以通过嵌入 C 的方式实现原生可视化 + +## Storage Layer +### Protobuf API +- 决定了底层的数据格式,protobuf 提供了序列化的公共界面 +- SDK通过Protobuf API操作底层数据 + diff --git a/docs/data_structure.md b/docs/data_structure.md index bfa54de59a9a8cae4bd0ece357097de77ed55ddb..32a3abe613daf136875fefba7d02a667aa7633b4 100644 --- a/docs/data_structure.md +++ b/docs/data_structure.md @@ -1 +1,191 @@ # 数据格式抽象 + +初版需要支持如下几种基础组件: + +- 基本组件 + - scalar + - histogram + - image + - audio + - text +- 高级组件 + - graph + +下面将对这些组件的数据类型进行抽象。 + +# 宏观信息 +后端的日志会在每个周期追加到 `logdir` 中相应的log文件中,在追加信息的过程中, +除了graph,其他所有组件均需要时间步等信息,依次下面列出这个过程必须的一些元信息: +- `step_id` 追加的时间步 +- `UNIX time` 方便追踪速度 +- `tag` 类似TF,每个参与可视化的信息来源必须有一个唯一的命名(可以系统自动生成) + - tag会作为特定数据流从前端到后端统一的标识 + +# 各组件数据抽象 +这里会抽象各组件数据必须存储的信息,为了便于沟通,使用了类似 `JSON` 的格式, +实际使用中,前后端可以自由选择数据格式,以及数据压缩。 + +## 抽样 +每个 `tag` 会对应一个log文件,其中会包含全量信息(可以优化),但前端可视化并不需要全量信息, +这里后端就可以用 `蓄水池抽样` 来对全量数据进行抽样,组织好数据push给前端。 + +## 增量更新数据 +考虑到前端可视化的动态更新,当前后端的全量数据应该只在第一次访问时才需要push给前端, +中间状态,后端前端交互的都只需要传递增量数据,具体增量数据格式类似 + +```javascript +[ + [ + "step_id": 200, + "data":