提交 d187cdfa 编写于 作者: G gongweibao

fix bugs

上级 ebdd6bae
# FileManager设计文档 # FileManager设计文档
## 目标 ## 目标
在本文档中,我们设计说明了名为FileManager系统,方便用户上传自己的训练数据以进行分布式训练 在本文档中,我们设计说明了名为FileManager系统,方便用户上传自己的训练数据以进行分布式训练
主要功能包括: 主要功能包括:
...@@ -43,17 +43,17 @@ RESTful API ...@@ -43,17 +43,17 @@ RESTful API
- `DELETE /api/v1/files`: Delete files or directories. - `DELETE /api/v1/files`: Delete files or directories.
- /api/v1/file/chunks - /api/v1/file/chunks
- `GET /api/v1/storage/file/chunks`: Get chunks's attributes in a file. - `GET /api/v1/storage/file/chunks`: Get chunks's attributes of a file.
- /api/v1/storage/files - /api/v1/storage/files
- `GET /api/v1/storage/files`: Download files or directories to local. - `GET /api/v1/storage/files`: Download files or directories.
- `POST /api/v1/storage/files`: Upload files or directories to server. - `POST /api/v1/storage/files`: Upload files or directories.
- /api/v1/storage/file/chunks - /api/v1/storage/file/chunks
- `GET /api/v1/storage/file/chunks`: Upload chunks data. - `GET /api/v1/storage/file/chunks`: Download chunks's data.
- `POST /api/v1/storage/file/chunks`: Download chunks data. - `POST /api/v1/storage/file/chunks`: Upload chunks's data.
``` ```
## 文件传输优化 ## 文件传输优化
### 分块文件传输 ### 分块文件传输
用户文件可能是比较大的,上传到Cloud或者下载到本地的时间可能比较长,而且在传输的过程中也可能出现网络不稳定的情况。为了应对以上的问题,我们提出了Chunk的概念,一个Chunk由所在的文件偏移、数据、数据长度及校验值组成。文件数据内容的上传和下载都是都过Chunk的操作来实现的。由于Chunk比较小(默认256K),完成一个传输动作完成的时间也比较短,不容易出错。PFSClient需要在传输完毕最后一个Chunk的时候检查destination文件的MD5值是否和source文件一致。 用户文件可能是比较大的,上传到Cloud或者下载到本地的时间可能比较长,而且在传输的过程中也可能出现网络不稳定的情况。为了应对以上的问题,我们提出了Chunk的概念,一个Chunk由所在的文件偏移、数据、数据长度及校验值组成。文件数据内容的上传和下载都是都过Chunk的操作来实现的。由于Chunk比较小(默认256K),完成一个传输动作完成的时间也比较短,不容易出错。PFSClient需要在传输完毕最后一个Chunk的时候检查destination文件的MD5值是否和source文件一致。
......
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册