From d187cdfa8eb9d29a347892e066cbc6bb83bd55dc Mon Sep 17 00:00:00 2001 From: gongweibao Date: Sun, 14 May 2017 12:15:17 +0800 Subject: [PATCH] fix bugs --- doc/design/file_manager/README.md | 14 +++++++------- 1 file changed, 7 insertions(+), 7 deletions(-) diff --git a/doc/design/file_manager/README.md b/doc/design/file_manager/README.md index 2bb0af98ae2..f06dee1cf30 100644 --- a/doc/design/file_manager/README.md +++ b/doc/design/file_manager/README.md @@ -1,6 +1,6 @@ # FileManager设计文档 ## 目标 -在本文档中，我们设计说明了名为FileManager系统，方便让用户上传自己的训练数据以进行分布式训练 +在本文档中，我们设计说明了名为FileManager系统，方便用户上传自己的训练数据以进行分布式训练 主要功能包括： @@ -43,17 +43,17 @@ RESTful API - `DELETE /api/v1/files`: Delete files or directories. - /api/v1/file/chunks - - `GET /api/v1/storage/file/chunks`: Get chunks's attributes in a file. + - `GET /api/v1/storage/file/chunks`: Get chunks's attributes of a file. - /api/v1/storage/files - - `GET /api/v1/storage/files`: Download files or directories to local. - - `POST /api/v1/storage/files`: Upload files or directories to server. + - `GET /api/v1/storage/files`: Download files or directories. + - `POST /api/v1/storage/files`: Upload files or directories. - /api/v1/storage/file/chunks - - `GET /api/v1/storage/file/chunks`: Upload chunks data. - - `POST /api/v1/storage/file/chunks`: Download chunks data. + - `GET /api/v1/storage/file/chunks`: Download chunks's data. + - `POST /api/v1/storage/file/chunks`: Upload chunks's data. ``` -## 文件传输优化 +## 大文件传输优化 ### 分块文件传输 用户文件可能是比较大的，上传到Cloud或者下载到本地的时间可能比较长，而且在传输的过程中也可能出现网络不稳定的情况。为了应对以上的问题，我们提出了Chunk的概念，一个Chunk由所在的文件偏移、数据、数据长度及校验值组成。文件数据内容的上传和下载都是都过Chunk的操作来实现的。由于Chunk比较小（默认256K），完成一个传输动作完成的时间也比较短，不容易出错。PFSClient需要在传输完毕最后一个Chunk的时候检查destination文件的MD5值是否和source文件一致。 -- GitLab