Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
PaddleHub
提交
ba49d786
P
PaddleHub
项目概览
PaddlePaddle
/
PaddleHub
大约 1 年 前同步成功
通知
282
Star
12117
Fork
2091
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
200
列表
看板
标记
里程碑
合并请求
4
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
PaddleHub
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
200
Issue
200
列表
看板
标记
里程碑
合并请求
4
合并请求
4
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
未验证
提交
ba49d786
编写于
1月 05, 2021
作者:
K
KP
提交者:
GitHub
1月 05, 2021
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
Remove arg "max_seq_len" in get_embedding method (#1168)
* update get_embedding
上级
7ee2f8a1
变更
18
隐藏空白更改
内联
并排
Showing
18 changed file
with
2 addition
and
41 deletion
+2
-41
modules/text/language_model/bert-base-cased/README.md
modules/text/language_model/bert-base-cased/README.md
+0
-2
modules/text/language_model/bert-base-chinese/README.md
modules/text/language_model/bert-base-chinese/README.md
+0
-2
modules/text/language_model/bert-base-multilingual-cased/README.md
...ext/language_model/bert-base-multilingual-cased/README.md
+0
-2
modules/text/language_model/bert-base-multilingual-uncased/README.md
...t/language_model/bert-base-multilingual-uncased/README.md
+0
-2
modules/text/language_model/bert-base-uncased/README.md
modules/text/language_model/bert-base-uncased/README.md
+0
-2
modules/text/language_model/bert-large-cased/README.md
modules/text/language_model/bert-large-cased/README.md
+0
-2
modules/text/language_model/bert-large-uncased/README.md
modules/text/language_model/bert-large-uncased/README.md
+0
-2
modules/text/language_model/chinese_bert_wwm/README.md
modules/text/language_model/chinese_bert_wwm/README.md
+0
-2
modules/text/language_model/chinese_bert_wwm_ext/README.md
modules/text/language_model/chinese_bert_wwm_ext/README.md
+0
-2
modules/text/language_model/ernie/README.md
modules/text/language_model/ernie/README.md
+0
-2
modules/text/language_model/ernie_tiny/README.md
modules/text/language_model/ernie_tiny/README.md
+0
-2
modules/text/language_model/ernie_v2_eng_base/README.md
modules/text/language_model/ernie_v2_eng_base/README.md
+0
-2
modules/text/language_model/ernie_v2_eng_large/README.md
modules/text/language_model/ernie_v2_eng_large/README.md
+0
-2
modules/text/language_model/rbt3/README.md
modules/text/language_model/rbt3/README.md
+0
-2
modules/text/language_model/rbtl3/README.md
modules/text/language_model/rbtl3/README.md
+0
-2
modules/text/language_model/roberta-wwm-ext-large/README.md
modules/text/language_model/roberta-wwm-ext-large/README.md
+0
-2
modules/text/language_model/roberta-wwm-ext/README.md
modules/text/language_model/roberta-wwm-ext/README.md
+0
-2
paddlehub/module/nlp_module.py
paddlehub/module/nlp_module.py
+2
-7
未找到文件。
modules/text/language_model/bert-base-cased/README.md
浏览文件 @
ba49d786
...
...
@@ -55,7 +55,6 @@ def predict(
```
python
def
get_embedding
(
data
,
max_seq_len
=
128
,
use_gpu
=
False
)
```
...
...
@@ -65,7 +64,6 @@ def get_embedding(
**参数**
*
`data`
:输入文本列表,格式为
\[\[
sample
\_
a
\_
text
\_
a, sample
\_
a
\_
text
\_
b
\]
,
\[
sample
\_
b
\_
text
\_
a, sample
\_
b
\_
text
\_
b
\]
,…,
\]
,其中每个元素都是一个样例,每个样例可以包含text
\_
a与text
\_
b。
*
`max_seq_len`
:模型处理文本的最大长度。
*
`use_gpu`
:是否使用gpu,默认为False。对于GPU用户,建议开启use_gpu。
**返回**
...
...
modules/text/language_model/bert-base-chinese/README.md
浏览文件 @
ba49d786
...
...
@@ -54,7 +54,6 @@ def predict(
```
python
def
get_embedding
(
data
,
max_seq_len
=
128
,
use_gpu
=
False
)
```
...
...
@@ -64,7 +63,6 @@ def get_embedding(
**参数**
*
`data`
:输入文本列表,格式为
\[\[
sample
\_
a
\_
text
\_
a, sample
\_
a
\_
text
\_
b
\]
,
\[
sample
\_
b
\_
text
\_
a, sample
\_
b
\_
text
\_
b
\]
,…,
\]
,其中每个元素都是一个样例,每个样例可以包含text
\_
a与text
\_
b。
*
`max_seq_len`
:模型处理文本的最大长度。
*
`use_gpu`
:是否使用gpu,默认为False。对于GPU用户,建议开启use_gpu。
**返回**
...
...
modules/text/language_model/bert-base-multilingual-cased/README.md
浏览文件 @
ba49d786
...
...
@@ -54,7 +54,6 @@ def predict(
```
python
def
get_embedding
(
data
,
max_seq_len
=
128
,
use_gpu
=
False
)
```
...
...
@@ -64,7 +63,6 @@ def get_embedding(
**参数**
*
`data`
:输入文本列表,格式为
\[\[
sample
\_
a
\_
text
\_
a, sample
\_
a
\_
text
\_
b
\]
,
\[
sample
\_
b
\_
text
\_
a, sample
\_
b
\_
text
\_
b
\]
,…,
\]
,其中每个元素都是一个样例,每个样例可以包含text
\_
a与text
\_
b。
*
`max_seq_len`
:模型处理文本的最大长度。
*
`use_gpu`
:是否使用gpu,默认为False。对于GPU用户,建议开启use_gpu。
**返回**
...
...
modules/text/language_model/bert-base-multilingual-uncased/README.md
浏览文件 @
ba49d786
...
...
@@ -54,7 +54,6 @@ def predict(
```
python
def
get_embedding
(
data
,
max_seq_len
=
128
,
use_gpu
=
False
)
```
...
...
@@ -64,7 +63,6 @@ def get_embedding(
**参数**
*
`data`
:输入文本列表,格式为
\[\[
sample
\_
a
\_
text
\_
a, sample
\_
a
\_
text
\_
b
\]
,
\[
sample
\_
b
\_
text
\_
a, sample
\_
b
\_
text
\_
b
\]
,…,
\]
,其中每个元素都是一个样例,每个样例可以包含text
\_
a与text
\_
b。
*
`max_seq_len`
:模型处理文本的最大长度。
*
`use_gpu`
:是否使用gpu,默认为False。对于GPU用户,建议开启use_gpu。
**返回**
...
...
modules/text/language_model/bert-base-uncased/README.md
浏览文件 @
ba49d786
...
...
@@ -54,7 +54,6 @@ def predict(
```
python
def
get_embedding
(
data
,
max_seq_len
=
128
,
use_gpu
=
False
)
```
...
...
@@ -64,7 +63,6 @@ def get_embedding(
**参数**
*
`data`
:输入文本列表,格式为
\[\[
sample
\_
a
\_
text
\_
a, sample
\_
a
\_
text
\_
b
\]
,
\[
sample
\_
b
\_
text
\_
a, sample
\_
b
\_
text
\_
b
\]
,…,
\]
,其中每个元素都是一个样例,每个样例可以包含text
\_
a与text
\_
b。
*
`max_seq_len`
:模型处理文本的最大长度。
*
`use_gpu`
:是否使用gpu,默认为False。对于GPU用户,建议开启use_gpu。
**返回**
...
...
modules/text/language_model/bert-large-cased/README.md
浏览文件 @
ba49d786
...
...
@@ -54,7 +54,6 @@ def predict(
```
python
def
get_embedding
(
data
,
max_seq_len
=
128
,
use_gpu
=
False
)
```
...
...
@@ -64,7 +63,6 @@ def get_embedding(
**参数**
*
`data`
:输入文本列表,格式为
\[\[
sample
\_
a
\_
text
\_
a, sample
\_
a
\_
text
\_
b
\]
,
\[
sample
\_
b
\_
text
\_
a, sample
\_
b
\_
text
\_
b
\]
,…,
\]
,其中每个元素都是一个样例,每个样例可以包含text
\_
a与text
\_
b。
*
`max_seq_len`
:模型处理文本的最大长度。
*
`use_gpu`
:是否使用gpu,默认为False。对于GPU用户,建议开启use_gpu。
**返回**
...
...
modules/text/language_model/bert-large-uncased/README.md
浏览文件 @
ba49d786
...
...
@@ -54,7 +54,6 @@ def predict(
```
python
def
get_embedding
(
data
,
max_seq_len
=
128
,
use_gpu
=
False
)
```
...
...
@@ -64,7 +63,6 @@ def get_embedding(
**参数**
*
`data`
:输入文本列表,格式为
\[\[
sample
\_
a
\_
text
\_
a, sample
\_
a
\_
text
\_
b
\]
,
\[
sample
\_
b
\_
text
\_
a, sample
\_
b
\_
text
\_
b
\]
,…,
\]
,其中每个元素都是一个样例,每个样例可以包含text
\_
a与text
\_
b。
*
`max_seq_len`
:模型处理文本的最大长度。
*
`use_gpu`
:是否使用gpu,默认为False。对于GPU用户,建议开启use_gpu。
**返回**
...
...
modules/text/language_model/chinese_bert_wwm/README.md
浏览文件 @
ba49d786
...
...
@@ -52,7 +52,6 @@ def predict(
```
python
def
get_embedding
(
data
,
max_seq_len
=
128
,
use_gpu
=
False
)
```
...
...
@@ -62,7 +61,6 @@ def get_embedding(
**参数**
*
`data`
:输入文本列表,格式为
\[\[
sample
\_
a
\_
text
\_
a, sample
\_
a
\_
text
\_
b
\]
,
\[
sample
\_
b
\_
text
\_
a, sample
\_
b
\_
text
\_
b
\]
,…,
\]
,其中每个元素都是一个样例,每个样例可以包含text
\_
a与text
\_
b。
*
`max_seq_len`
:模型处理文本的最大长度。
*
`use_gpu`
:是否使用gpu,默认为False。对于GPU用户,建议开启use_gpu。
**返回**
...
...
modules/text/language_model/chinese_bert_wwm_ext/README.md
浏览文件 @
ba49d786
...
...
@@ -52,7 +52,6 @@ def predict(
```
python
def
get_embedding
(
data
,
max_seq_len
=
128
,
use_gpu
=
False
)
```
...
...
@@ -62,7 +61,6 @@ def get_embedding(
**参数**
*
`data`
:输入文本列表,格式为
\[\[
sample
\_
a
\_
text
\_
a, sample
\_
a
\_
text
\_
b
\]
,
\[
sample
\_
b
\_
text
\_
a, sample
\_
b
\_
text
\_
b
\]
,…,
\]
,其中每个元素都是一个样例,每个样例可以包含text
\_
a与text
\_
b。
*
`max_seq_len`
:模型处理文本的最大长度。
*
`use_gpu`
:是否使用gpu,默认为False。对于GPU用户,建议开启use_gpu。
**返回**
...
...
modules/text/language_model/ernie/README.md
浏览文件 @
ba49d786
...
...
@@ -64,7 +64,6 @@ def predict(
```
python
def
get_embedding
(
data
,
max_seq_len
=
128
,
use_gpu
=
False
)
```
...
...
@@ -74,7 +73,6 @@ def get_embedding(
**参数**
*
`data`
:输入文本列表,格式为
\[\[
sample
\_
a
\_
text
\_
a, sample
\_
a
\_
text
\_
b
\]
,
\[
sample
\_
b
\_
text
\_
a, sample
\_
b
\_
text
\_
b
\]
,…,
\]
,其中每个元素都是一个样例,每个样例可以包含text
\_
a与text
\_
b。
*
`max_seq_len`
:模型处理文本的最大长度。
*
`use_gpu`
:是否使用gpu,默认为False。对于GPU用户,建议开启use_gpu。
**返回**
...
...
modules/text/language_model/ernie_tiny/README.md
浏览文件 @
ba49d786
...
...
@@ -64,7 +64,6 @@ def predict(
```
python
def
get_embedding
(
data
,
max_seq_len
=
128
,
use_gpu
=
False
)
```
...
...
@@ -74,7 +73,6 @@ def get_embedding(
**参数**
*
`data`
:输入文本列表,格式为
\[\[
sample
\_
a
\_
text
\_
a, sample
\_
a
\_
text
\_
b
\]
,
\[
sample
\_
b
\_
text
\_
a, sample
\_
b
\_
text
\_
b
\]
,…,
\]
,其中每个元素都是一个样例,每个样例可以包含text
\_
a与text
\_
b。
*
`max_seq_len`
:模型处理文本的最大长度。
*
`use_gpu`
:是否使用gpu,默认为False。对于GPU用户,建议开启use_gpu。
**返回**
...
...
modules/text/language_model/ernie_v2_eng_base/README.md
浏览文件 @
ba49d786
...
...
@@ -60,7 +60,6 @@ def predict(
```
python
def
get_embedding
(
data
,
max_seq_len
=
128
,
use_gpu
=
False
)
```
...
...
@@ -70,7 +69,6 @@ def get_embedding(
**参数**
*
`data`
:输入文本列表,格式为
\[\[
sample
\_
a
\_
text
\_
a, sample
\_
a
\_
text
\_
b
\]
,
\[
sample
\_
b
\_
text
\_
a, sample
\_
b
\_
text
\_
b
\]
,…,
\]
,其中每个元素都是一个样例,每个样例可以包含text
\_
a与text
\_
b。
*
`max_seq_len`
:模型处理文本的最大长度。
*
`use_gpu`
:是否使用gpu,默认为False。对于GPU用户,建议开启use_gpu。
**返回**
...
...
modules/text/language_model/ernie_v2_eng_large/README.md
浏览文件 @
ba49d786
...
...
@@ -59,7 +59,6 @@ def predict(
```
python
def
get_embedding
(
data
,
max_seq_len
=
128
,
use_gpu
=
False
)
```
...
...
@@ -69,7 +68,6 @@ def get_embedding(
**参数**
*
`data`
:输入文本列表,格式为
\[\[
sample
\_
a
\_
text
\_
a, sample
\_
a
\_
text
\_
b
\]
,
\[
sample
\_
b
\_
text
\_
a, sample
\_
b
\_
text
\_
b
\]
,…,
\]
,其中每个元素都是一个样例,每个样例可以包含text
\_
a与text
\_
b。
*
`max_seq_len`
:模型处理文本的最大长度。
*
`use_gpu`
:是否使用gpu,默认为False。对于GPU用户,建议开启use_gpu。
**返回**
...
...
modules/text/language_model/rbt3/README.md
浏览文件 @
ba49d786
...
...
@@ -52,7 +52,6 @@ def predict(
```
python
def
get_embedding
(
data
,
max_seq_len
=
128
,
use_gpu
=
False
)
```
...
...
@@ -62,7 +61,6 @@ def get_embedding(
**参数**
*
`data`
:输入文本列表,格式为
\[\[
sample
\_
a
\_
text
\_
a, sample
\_
a
\_
text
\_
b
\]
,
\[
sample
\_
b
\_
text
\_
a, sample
\_
b
\_
text
\_
b
\]
,…,
\]
,其中每个元素都是一个样例,每个样例可以包含text
\_
a与text
\_
b。
*
`max_seq_len`
:模型处理文本的最大长度。
*
`use_gpu`
:是否使用gpu,默认为False。对于GPU用户,建议开启use_gpu。
**返回**
...
...
modules/text/language_model/rbtl3/README.md
浏览文件 @
ba49d786
...
...
@@ -52,7 +52,6 @@ def predict(
```
python
def
get_embedding
(
data
,
max_seq_len
=
128
,
use_gpu
=
False
)
```
...
...
@@ -62,7 +61,6 @@ def get_embedding(
**参数**
*
`data`
:输入文本列表,格式为
\[\[
sample
\_
a
\_
text
\_
a, sample
\_
a
\_
text
\_
b
\]
,
\[
sample
\_
b
\_
text
\_
a, sample
\_
b
\_
text
\_
b
\]
,…,
\]
,其中每个元素都是一个样例,每个样例可以包含text
\_
a与text
\_
b。
*
`max_seq_len`
:模型处理文本的最大长度。
*
`use_gpu`
:是否使用gpu,默认为False。对于GPU用户,建议开启use_gpu。
**返回**
...
...
modules/text/language_model/roberta-wwm-ext-large/README.md
浏览文件 @
ba49d786
...
...
@@ -53,7 +53,6 @@ def predict(
```
python
def
get_embedding
(
data
,
max_seq_len
=
128
,
use_gpu
=
False
)
```
...
...
@@ -63,7 +62,6 @@ def get_embedding(
**参数**
*
`data`
:输入文本列表,格式为
\[\[
sample
\_
a
\_
text
\_
a, sample
\_
a
\_
text
\_
b
\]
,
\[
sample
\_
b
\_
text
\_
a, sample
\_
b
\_
text
\_
b
\]
,…,
\]
,其中每个元素都是一个样例,每个样例可以包含text
\_
a与text
\_
b。
*
`max_seq_len`
:模型处理文本的最大长度。
*
`use_gpu`
:是否使用gpu,默认为False。对于GPU用户,建议开启use_gpu。
**返回**
...
...
modules/text/language_model/roberta-wwm-ext/README.md
浏览文件 @
ba49d786
...
...
@@ -53,7 +53,6 @@ def predict(
```
python
def
get_embedding
(
data
,
max_seq_len
=
128
,
use_gpu
=
False
)
```
...
...
@@ -63,7 +62,6 @@ def get_embedding(
**参数**
*
`data`
:输入文本列表,格式为
\[\[
sample
\_
a
\_
text
\_
a, sample
\_
a
\_
text
\_
b
\]
,
\[
sample
\_
b
\_
text
\_
a, sample
\_
b
\_
text
\_
b
\]
,…,
\]
,其中每个元素都是一个样例,每个样例可以包含text
\_
a与text
\_
b。
*
`max_seq_len`
:模型处理文本的最大长度。
*
`use_gpu`
:是否使用gpu,默认为False。对于GPU用户,建议开启use_gpu。
**返回**
...
...
paddlehub/module/nlp_module.py
浏览文件 @
ba49d786
...
...
@@ -390,7 +390,7 @@ class TextServing(object):
]
return
results
elif
self
.
task
is
None
:
# embedding service
results
=
self
.
get_embedding
(
data
,
max_seq_len
,
use_gpu
)
results
=
self
.
get_embedding
(
data
,
use_gpu
)
return
results
else
:
# unknown service
logger
.
error
(
...
...
@@ -477,14 +477,11 @@ class TransformerModule(RunModule, TextServing):
predictions
,
avg_loss
,
metric
=
self
(
input_ids
=
batch
[
0
],
token_type_ids
=
batch
[
1
],
seq_lengths
=
batch
[
2
],
labels
=
batch
[
3
])
return
{
'metrics'
:
metric
}
def
get_embedding
(
self
,
data
:
List
[
List
[
str
]],
max_seq_len
=
128
,
use_gpu
=
False
):
def
get_embedding
(
self
,
data
:
List
[
List
[
str
]],
use_gpu
=
False
):
"""
Get token level embeddings and sentence level embeddings from model.
Args:
data (obj:`List(List(str))`): The processed data whose each element is the list of a single text or a pair of texts.
max_seq_len (:obj:`int`, `optional`, defaults to :int:`None`):
If set to a number, will limit the total sequence returned so that it has a maximum length.
batch_size(obj:`int`, defaults to 1): The number of batch.
use_gpu(obj:`bool`, defaults to `False`): Whether to use gpu to run or not.
Returns:
...
...
@@ -495,8 +492,6 @@ class TransformerModule(RunModule, TextServing):
return
self
.
predict
(
data
=
data
,
max_seq_len
=
max_seq_len
,
batch_size
=
1
,
use_gpu
=
use_gpu
)
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录