Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
PALM
提交
13a3611f
P
PALM
项目概览
PaddlePaddle
/
PALM
通知
5
Star
3
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
10
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
PALM
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
10
Issue
10
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
13a3611f
编写于
12月 03, 2019
作者:
W
wangxiao
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
fix download bugs
上级
c17b1efb
变更
2
隐藏空白更改
内联
并排
Showing
2 changed file
with
15 addition
and
11 deletion
+15
-11
README.md
README.md
+4
-4
download_models.py
download_models.py
+11
-7
未找到文件。
README.md
浏览文件 @
13a3611f
...
@@ -113,16 +113,16 @@ paddlepalm框架的运行原理图如图所示
...
@@ -113,16 +113,16 @@ paddlepalm框架的运行原理图如图所示
我们提供了BERT、ERNIE等主干网络的相关预训练模型。为了加速模型收敛,获得更佳的测试集表现,我们强烈建议用户在多任务学习时尽量在预训练模型的基础上进行(而不是从参数随机初始化开始)。用户可以查看可供下载的预训练模型:
我们提供了BERT、ERNIE等主干网络的相关预训练模型。为了加速模型收敛,获得更佳的测试集表现,我们强烈建议用户在多任务学习时尽量在预训练模型的基础上进行(而不是从参数随机初始化开始)。用户可以查看可供下载的预训练模型:
```
shell
```
shell
python download_models.py
ls
pretrain
python download_models.py
-l
```
```
用户可通过运行
`python download_models.py
downloa
d <model_name>`
下载需要的预训练模型,例如,下载预训练BERT模型(uncased large)的命令如下:
用户可通过运行
`python download_models.py
-
d <model_name>`
下载需要的预训练模型,例如,下载预训练BERT模型(uncased large)的命令如下:
```
shell
```
shell
python download_models.py
downloa
d bert-en-uncased-large
python download_models.py
-
d
bert-en-uncased-large
```
```
此外,用户也可通过运行
`python download_models.py
downloa
d all`
下载已提供的所有预训练模型。
此外,用户也可通过运行
`python download_models.py
-
d all`
下载已提供的所有预训练模型。
脚本会自动在
**当前文件夹**
中创建一个pretrain目录(注:运行DEMO时,需保证pretrain文件夹在PALM项目目录下),并在其中创建bert子目录,里面存放预训练模型(
`params`
文件夹内)、相关的网络参数(
`bert_config.json`
)和字典(
`vocab.txt`
)。除了BERT模型,脚本还提供了ERNIE预训练模型(uncased large)的一键下载,将
`<model_name>`
改成
`ernie-en-uncased-large`
即可。全部可用的预训练模型列表见
[
paddlenlp/lark
](
https://github.com/PaddlePaddle/models/tree/develop/PaddleNLP/PaddleLARK
)
脚本会自动在
**当前文件夹**
中创建一个pretrain目录(注:运行DEMO时,需保证pretrain文件夹在PALM项目目录下),并在其中创建bert子目录,里面存放预训练模型(
`params`
文件夹内)、相关的网络参数(
`bert_config.json`
)和字典(
`vocab.txt`
)。除了BERT模型,脚本还提供了ERNIE预训练模型(uncased large)的一键下载,将
`<model_name>`
改成
`ernie-en-uncased-large`
即可。全部可用的预训练模型列表见
[
paddlenlp/lark
](
https://github.com/PaddlePaddle/models/tree/develop/PaddleNLP/PaddleLARK
)
...
...
download_models.py
浏览文件 @
13a3611f
...
@@ -15,11 +15,15 @@
...
@@ -15,11 +15,15 @@
import
paddlepalm
as
palm
import
paddlepalm
as
palm
import
sys
import
sys
import
argparse
# create parser
parser
=
argparse
.
ArgumentParser
(
description
=
'Download pretrain models for initializing params of backbones. '
)
parser
.
add_argument
(
"-l"
,
"--list"
,
action
=
'store_true'
,
help
=
'show the list of pretrain models'
)
parser
.
add_argument
(
"-d"
,
"--download"
,
action
=
'store'
,
help
=
'download pretrain models'
)
args
=
parser
.
parse_args
()
items
=
[
'ls'
,
'download'
]
if
(
args
.
list
):
assert
len
(
sys
.
argv
)
==
3
,
'please input 2 parameters.'
palm
.
downloader
.
ls
(
'pretrain'
)
assert
sys
.
argv
[
1
]
in
items
,
'{} is not found. Support methods: {}'
.
format
(
sys
.
argv
[
1
],
items
)
if
(
args
.
download
):
if
(
sys
.
argv
[
1
]
==
'ls'
):
palm
.
downloader
.
download
(
'pretrain'
,
args
.
download
)
palm
.
downloader
.
ls
(
sys
.
argv
[
2
])
if
(
sys
.
argv
[
1
]
==
'download'
):
palm
.
downloader
.
download
(
'pretrain'
,
sys
.
argv
[
2
])
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录