Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
PaddlePaddle
PaddleHub
提交
44d72c89
P
PaddleHub
项目概览
PaddlePaddle
/
PaddleHub
大约 1 年 前同步成功
通知
282
Star
12117
Fork
2091
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
200
列表
看板
标记
里程碑
合并请求
4
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
PaddleHub
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
200
Issue
200
列表
看板
标记
里程碑
合并请求
4
合并请求
4
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
未验证
提交
44d72c89
编写于
10月 11, 2021
作者:
L
linjieccc
提交者:
GitHub
10月 11, 2021
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
update readme for pretrained models (#1647)
上级
b8249cc1
变更
22
隐藏空白更改
内联
并排
Showing
22 changed file
with
370 addition
and
315 deletion
+370
-315
modules/text/language_model/bert-base-cased/README.md
modules/text/language_model/bert-base-cased/README.md
+1
-1
modules/text/language_model/bert-base-chinese/README.md
modules/text/language_model/bert-base-chinese/README.md
+1
-1
modules/text/language_model/bert-base-multilingual-cased/README.md
...ext/language_model/bert-base-multilingual-cased/README.md
+1
-1
modules/text/language_model/bert-base-multilingual-uncased/README.md
...t/language_model/bert-base-multilingual-uncased/README.md
+1
-1
modules/text/language_model/bert-base-uncased/README.md
modules/text/language_model/bert-base-uncased/README.md
+1
-1
modules/text/language_model/bert-large-cased/README.md
modules/text/language_model/bert-large-cased/README.md
+1
-1
modules/text/language_model/bert-large-uncased/README.md
modules/text/language_model/bert-large-uncased/README.md
+1
-1
modules/text/language_model/chinese_bert_wwm/README.md
modules/text/language_model/chinese_bert_wwm/README.md
+117
-99
modules/text/language_model/chinese_bert_wwm_ext/README.md
modules/text/language_model/chinese_bert_wwm_ext/README.md
+117
-99
modules/text/language_model/chinese_electra_base/README.md
modules/text/language_model/chinese_electra_base/README.md
+1
-1
modules/text/language_model/chinese_electra_small/README.md
modules/text/language_model/chinese_electra_small/README.md
+1
-1
modules/text/language_model/electra_base/README.md
modules/text/language_model/electra_base/README.md
+1
-1
modules/text/language_model/electra_large/README.md
modules/text/language_model/electra_large/README.md
+1
-1
modules/text/language_model/electra_small/README.md
modules/text/language_model/electra_small/README.md
+1
-1
modules/text/language_model/ernie/README.md
modules/text/language_model/ernie/README.md
+1
-1
modules/text/language_model/ernie_tiny/README.md
modules/text/language_model/ernie_tiny/README.md
+1
-1
modules/text/language_model/ernie_v2_eng_base/README.md
modules/text/language_model/ernie_v2_eng_base/README.md
+1
-1
modules/text/language_model/ernie_v2_eng_large/README.md
modules/text/language_model/ernie_v2_eng_large/README.md
+1
-1
modules/text/language_model/rbt3/README.md
modules/text/language_model/rbt3/README.md
+1
-1
modules/text/language_model/rbtl3/README.md
modules/text/language_model/rbtl3/README.md
+1
-1
modules/text/language_model/roberta-wwm-ext-large/README.md
modules/text/language_model/roberta-wwm-ext-large/README.md
+117
-98
modules/text/language_model/roberta-wwm-ext/README.md
modules/text/language_model/roberta-wwm-ext/README.md
+1
-1
未找到文件。
modules/text/language_model/bert-base-cased/README.md
浏览文件 @
44d72c89
...
...
@@ -130,7 +130,7 @@ text = [["今天是个好日子"], ["天气预报说今天要下雨"]]
# 对应本地部署,则为module.get_embedding(data=text)
data
=
{
"data"
:
text
}
# 发送post请求,content-type类型应指定json方式,url中的ip地址需改为对应机器的ip
url
=
"http://1
0.12.121.132
:8866/predict/bert-base-cased"
url
=
"http://1
27.0.0.1
:8866/predict/bert-base-cased"
# 指定post请求的headers为application/json方式
headers
=
{
"Content-Type"
:
"application/json"
}
...
...
modules/text/language_model/bert-base-chinese/README.md
浏览文件 @
44d72c89
...
...
@@ -156,7 +156,7 @@ for idx, text in enumerate(data):
# 对应本地部署,则为module.get_embedding(data=text)
data = {"data": text}
# 发送post请求,content-type类型应指定json方式,url中的ip地址需改为对应机器的ip
url = "http://1
0.12.121.132
:8866/predict/bert-base-chinese"
url = "http://1
27.0.0.1
:8866/predict/bert-base-chinese"
# 指定post请求的headers为application/json方式
headers = {"Content-Type": "application/json"}
...
...
modules/text/language_model/bert-base-multilingual-cased/README.md
浏览文件 @
44d72c89
...
...
@@ -129,7 +129,7 @@ text = [["今天是个好日子"], ["天气预报说今天要下雨"]]
# 对应本地部署,则为module.get_embedding(data=text)
data
=
{
"data"
:
text
}
# 发送post请求,content-type类型应指定json方式,url中的ip地址需改为对应机器的ip
url
=
"http://1
0.12.121.132
:8866/predict/bert-base-multilingual-cased"
url
=
"http://1
27.0.0.1
:8866/predict/bert-base-multilingual-cased"
# 指定post请求的headers为application/json方式
headers
=
{
"Content-Type"
:
"application/json"
}
...
...
modules/text/language_model/bert-base-multilingual-uncased/README.md
浏览文件 @
44d72c89
...
...
@@ -129,7 +129,7 @@ text = [["今天是个好日子"], ["天气预报说今天要下雨"]]
# 对应本地部署,则为module.get_embedding(data=text)
data
=
{
"data"
:
text
}
# 发送post请求,content-type类型应指定json方式,url中的ip地址需改为对应机器的ip
url
=
"http://1
0.12.121.132
:8866/predict/bert-base-multilingual-uncased"
url
=
"http://1
27.0.0.1
:8866/predict/bert-base-multilingual-uncased"
# 指定post请求的headers为application/json方式
headers
=
{
"Content-Type"
:
"application/json"
}
...
...
modules/text/language_model/bert-base-uncased/README.md
浏览文件 @
44d72c89
...
...
@@ -130,7 +130,7 @@ text = [["今天是个好日子"], ["天气预报说今天要下雨"]]
# 对应本地部署,则为module.get_embedding(data=text)
data
=
{
"data"
:
text
}
# 发送post请求,content-type类型应指定json方式,url中的ip地址需改为对应机器的ip
url
=
"http://1
0.12.121.132
:8866/predict/bert-base-uncased"
url
=
"http://1
27.0.0.1
:8866/predict/bert-base-uncased"
# 指定post请求的headers为application/json方式
headers
=
{
"Content-Type"
:
"application/json"
}
...
...
modules/text/language_model/bert-large-cased/README.md
浏览文件 @
44d72c89
...
...
@@ -130,7 +130,7 @@ text = [["今天是个好日子"], ["天气预报说今天要下雨"]]
# 对应本地部署,则为module.get_embedding(data=text)
data
=
{
"data"
:
text
}
# 发送post请求,content-type类型应指定json方式,url中的ip地址需改为对应机器的ip
url
=
"http://1
0.12.121.132
:8866/predict/bert-large-cased"
url
=
"http://1
27.0.0.1
:8866/predict/bert-large-cased"
# 指定post请求的headers为application/json方式
headers
=
{
"Content-Type"
:
"application/json"
}
...
...
modules/text/language_model/bert-large-uncased/README.md
浏览文件 @
44d72c89
...
...
@@ -130,7 +130,7 @@ text = [["今天是个好日子"], ["天气预报说今天要下雨"]]
# 对应本地部署,则为module.get_embedding(data=text)
data
=
{
"data"
:
text
}
# 发送post请求,content-type类型应指定json方式,url中的ip地址需改为对应机器的ip
url
=
"http://1
0.12.121.132
:8866/predict/bert-large-uncased"
url
=
"http://1
27.0.0.1
:8866/predict/bert-large-uncased"
# 指定post请求的headers为application/json方式
headers
=
{
"Content-Type"
:
"application/json"
}
...
...
modules/text/language_model/chinese_bert_wwm/README.md
浏览文件 @
44d72c89
```
shell
$
hub
install
chinese-bert-wwm
==
2.0.1
```
# chinese-bert-wwm
|模型名称|chinese-bert-wwm|
| :--- | :---: |
|类别|文本-语义模型|
|网络|chinese-bert-wwm|
|数据集|百度自建数据集|
|是否支持Fine-tuning|是|
|模型大小|391MB|
|最新更新日期|2021-03-16|
|贡献者|
[
ymcui
](
https://github.com/ymcui
)
|
|数据指标|-|
## 一、模型基本信息
-
### 模型介绍
<p
align=
"center"
>
<img
src=
"https://bj.bcebos.com/paddlehub/paddlehub-img/bert_network.png"
hspace=
'10'
/>
<br
/>
</p>
更多详情请参考
[
BERT论文
](
https://arxiv.org/abs/1810.04805
)
,
[
Chinese-BERT-wwm技术报告
](
https://arxiv.org/abs/1906.08101
)
## API
```
python
def
__init__
(
task
=
None
,
load_checkpoint
=
None
,
label_map
=
None
,
num_classes
=
2
,
suffix
=
False
,
**
kwargs
,
)
```
创建Module对象(动态图组网版本)。
**参数**
*
`task`
: 任务名称,可为
`seq-cls`
(文本分类任务,原来的
`sequence_classification`
在未来会被弃用)或
`token-cls`
(序列标注任务)。
*
`load_checkpoint`
:使用PaddleHub Fine-tune api训练保存的模型参数文件路径。
*
`label_map`
:预测时的类别映射表。
*
`num_classes`
:分类任务的类别数,如果指定了
`label_map`
,此参数可不传,默认2分类。
*
`suffix`
: 序列标注任务的标签格式,如果设定为
`True`
,标签以'-B', '-I', '-E' 或者 '-S'为结尾,此参数默认为
`False`
。
*
`**kwargs`
:用户额外指定的关键字字典类型的参数。
```
python
def
predict
(
data
,
max_seq_len
=
128
,
batch_size
=
1
,
use_gpu
=
False
)
```
**参数**
*
`data`
: 待预测数据,格式为
\[\[
sample
\_
a
\_
text
\_
a, sample
\_
a
\_
text
\_
b
\]
,
\[
sample
\_
b
\_
text
\_
a, sample
\_
b
\_
text
\_
b
\]
,…,
\]
,其中每个元素都是一个样例,每个样例可以包含text
\_
a与text
\_
b。每个样例文本数量(1个或者2个)需和训练时保持一致。
*
`max_seq_len`
:模型处理文本的最大长度
*
`batch_size`
:模型批处理大小
*
`use_gpu`
:是否使用gpu,默认为False。对于GPU用户,建议开启use_gpu。
**返回**
*
`results`
:list类型,不同任务类型的返回结果如下
*
文本分类:列表里包含每个句子的预测标签,格式为
\[
label
\_
1, label
\_
2, …,
\]
*
序列标注:列表里包含每个句子每个token的预测标签,格式为
\[\[
token
\_
1, token
\_
2, …,
\]
,
\[
token
\_
1, token
\_
2, …,
\]
, …,
\]
```
python
def
get_embedding
(
data
,
use_gpu
=
False
)
```
## 二、安装
用于获取输入文本的句子粒度特征与字粒度特征
-
### 1、环境依赖
**参数**
-
paddlepaddle >= 2.0.0
*
`data`
:输入文本列表,格式为
\[\[
sample
\_
a
\_
text
\_
a, sample
\_
a
\_
text
\_
b
\]
,
\[
sample
\_
b
\_
text
\_
a, sample
\_
b
\_
text
\_
b
\]
,…,
\]
,其中每个元素都是一个样例,每个样例可以包含text
\_
a与text
\_
b。
*
`use_gpu`
:是否使用gpu,默认为False。对于GPU用户,建议开启use_gpu。
-
paddlehub >= 2.0.0 |
[
如何安装PaddleHub
](
../../../../docs/docs_ch/get_start/installation.rst
)
**返回**
-
### 2、安装
*
`results`
:list类型,格式为
\[\[
sample
\_
a
\_
pooled
\_
feature, sample
\_
a
\_
seq
\_
feature
\]
,
\[
sample
\_
b
\_
pooled
\_
feature, sample
\_
b
\_
seq
\_
feature
\]
,…,
\]
,其中每个元素都是对应样例的特征输出,每个样例都有句子粒度特征pooled
\_
feature与字粒度特征seq
\_
feature。
-
```shell
$ hub install chinese-bert-wwm
```
-
如您安装时遇到问题,可参考:
[
零基础windows安装
](
../../../../docs/docs_ch/get_start/windows_quickstart.md
)
|
[
零基础Linux安装
](
../../../../docs/docs_ch/get_start/linux_quickstart.md
)
|
[
零基础MacOS安装
](
../../../../docs/docs_ch/get_start/mac_quickstart.md
)
## 三、模型API预测
**代码示例**
-
### 1、预测代码示例
```
python
import
paddlehub
as
hub
...
...
@@ -95,62 +62,110 @@ for idx, text in enumerate(data):
```
详情可参考PaddleHub示例:
-
[
文本分类
](
https://github.com/PaddlePaddle/PaddleHub/tree/release/v2.0.0-beta
/demo/text_classification
)
-
[
序列标注
](
https://github.com/PaddlePaddle/PaddleHub/tree/release/v2.0.0-beta
/demo/sequence_labeling
)
-
[
文本分类
](
../../../..
/demo/text_classification
)
-
[
序列标注
](
../../../..
/demo/sequence_labeling
)
## 服务部署
-
### 2、API
PaddleHub Serving可以部署一个在线获取预训练词向量。
-
```python
def __init__(
task=None,
load_checkpoint=None,
label_map=None,
num_classes=2,
suffix=False,
**kwargs,
)
```
### Step1: 启动PaddleHub Serving
- 创建Module对象(动态图组网版本)
运行启动命令:
- **参数**
```
shell
$
hub serving start
-m
chinese-bert-wwm
```
- `task`: 任务名称,可为`seq-cls`(文本分类任务)或`token-cls`(序列标注任务)。
- `load_checkpoint`:使用PaddleHub Fine-tune api训练保存的模型参数文件路径。
- `label_map`:预测时的类别映射表。
- `num_classes`:分类任务的类别数,如果指定了`label_map`,此参数可不传,默认2分类。
- `suffix`: 序列标注任务的标签格式,如果设定为`True`,标签以'-B', '-I', '-E' 或者 '-S'为结尾,此参数默认为`False`。
- `**kwargs`:用户额外指定的关键字字典类型的参数。
这样就完成了一个获取预训练词向量服务化API的部署,默认端口号为8866。
-
```python
def predict(
data,
max_seq_len=128,
batch_size=1,
use_gpu=False
)
```
**NOTE:**
如使用GPU预测,则需要在启动服务之前,请设置CUDA_VISIBLE_DEVICES环境变量,否则不用设置。
- **参数**
### Step2: 发送预测请求
- `data`: 待预测数据,格式为\[\[sample\_a\_text\_a, sample\_a\_text\_b\], \[sample\_b\_text\_a, sample\_b\_text\_b\],…,\],其中每个元素都是一个样例,每个样例可以包含text\_a与text\_b。每个样例文本数量(1个或者2个)需和训练时保持一致。
- `max_seq_len`:模型处理文本的最大长度
- `batch_size`:模型批处理大小
- `use_gpu`:是否使用gpu,默认为False。对于GPU用户,建议开启use_gpu。
配置好服务端,以下数行代码即可实现发送预测请求,获取预测结果
- **返回**
```
python
import
requests
import
json
# 指定用于获取embedding的文本[[text_1], [text_2], ... ]}
text
=
[[
"今天是个好日子"
],
[
"天气预报说今天要下雨"
]]
# 以key的方式指定text传入预测方法的时的参数,此例中为"data"
# 对应本地部署,则为module.get_embedding(data=text)
data
=
{
"data"
:
text
}
# 发送post请求,content-type类型应指定json方式,url中的ip地址需改为对应机器的ip
url
=
"http://10.12.121.132:8866/predict/chinese-bert-wwm"
# 指定post请求的headers为application/json方式
headers
=
{
"Content-Type"
:
"application/json"
}
r
=
requests
.
post
(
url
=
url
,
headers
=
headers
,
data
=
json
.
dumps
(
data
))
print
(
r
.
json
())
```
- `results`:list类型,不同任务类型的返回结果如下
- 文本分类:列表里包含每个句子的预测标签,格式为\[label\_1, label\_2, …,\]
- 序列标注:列表里包含每个句子每个token的预测标签,格式为\[\[token\_1, token\_2, …,\], \[token\_1, token\_2, …,\], …,\]
-
```python
def get_embedding(
data,
use_gpu=False
)
```
- 用于获取输入文本的句子粒度特征与字粒度特征
- **参数**
- `data`:输入文本列表,格式为\[\[sample\_a\_text\_a, sample\_a\_text\_b\], \[sample\_b\_text\_a, sample\_b\_text\_b\],…,\],其中每个元素都是一个样例,每个样例可以包含text\_a与text\_b。
- `use_gpu`:是否使用gpu,默认为False。对于GPU用户,建议开启use_gpu。
- **返回**
- `results`:list类型,格式为\[\[sample\_a\_pooled\_feature, sample\_a\_seq\_feature\], \[sample\_b\_pooled\_feature, sample\_b\_seq\_feature\],…,\],其中每个元素都是对应样例的特征输出,每个样例都有句子粒度特征pooled\_feature与字粒度特征seq\_feature。
## 四、服务部署
-
PaddleHub Serving可以部署一个在线获取预训练词向量。
-
### 第一步:启动PaddleHub Serving
-
```shell
$ hub serving start -m chinese_bert_wwm
```
## 查看代码
https://github.com/ymcui/Chinese-BERT-wwm
-
这样就完成了一个获取预训练词向量服务化API的部署,默认端口号为8866。
-
**NOTE:**
如使用GPU预测,则需要在启动服务之前,请设置CUDA_VISIBLE_DEVICES环境变量,否则不用设置。
## 贡献者
-
### 第二步:发送预测请求
[
ymcui
](
https://github.com/ymcui
)
-
配置好服务端,以下数行代码即可实现发送预测请求,获取预测结果
## 依赖
-
```python
import requests
import json
paddlepaddle >= 2.0.0
# 指定用于获取embedding的文本[[text_1], [text_2], ... ]}
text = [["今天是个好日子"], ["天气预报说今天要下雨"]]
# 以key的方式指定text传入预测方法的时的参数,此例中为"data"
# 对应本地部署,则为module.get_embedding(data=text)
data = {"data": text}
# 发送post请求,content-type类型应指定json方式,url中的ip地址需改为对应机器的ip
url = "http://127.0.0.1:8866/predict/chinese_bert_wwm"
# 指定post请求的headers为application/json方式
headers = {"Content-Type": "application/json"}
paddlehub >= 2.0.0
r = requests.post(url=url, headers=headers, data=json.dumps(data))
print(r.json())
```
## 更新历史
##
五、
更新历史
*
1.0.0
...
...
@@ -163,3 +178,6 @@ paddlehub >= 2.0.0
*
2.0.1
增加文本匹配任务
`text-matching`
```
shell
$
hub
install
chinese-bert-wwm
==
2.0.1
```
modules/text/language_model/chinese_bert_wwm_ext/README.md
浏览文件 @
44d72c89
```
shell
$
hub
install
chinese-bert-wwm-ext
==
2.0.1
```
# chinese-bert-wwm-ext
|模型名称|chinese-bert-wwm-ext|
| :--- | :---: |
|类别|文本-语义模型|
|网络|chinese-bert-wwm-ext|
|数据集|百度自建数据集|
|是否支持Fine-tuning|是|
|模型大小|391MB|
|最新更新日期|2021-03-16|
|贡献者|
[
ymcui
](
https://github.com/ymcui
)
|
|数据指标|-|
## 一、模型基本信息
-
### 模型介绍
<p
align=
"center"
>
<img
src=
"https://bj.bcebos.com/paddlehub/paddlehub-img/bert_network.png"
hspace=
'10'
/>
<br
/>
</p>
更多详情请参考
[
BERT论文
](
https://arxiv.org/abs/1810.04805
)
,
[
Chinese-BERT-wwm技术报告
](
https://arxiv.org/abs/1906.08101
)
## API
```
python
def
__init__
(
task
=
None
,
load_checkpoint
=
None
,
label_map
=
None
,
num_classes
=
2
,
suffix
=
False
,
**
kwargs
,
)
```
创建Module对象(动态图组网版本)。
**参数**
*
`task`
: 任务名称,可为
`seq-cls`
(文本分类任务,原来的
`sequence_classification`
在未来会被弃用)或
`token-cls`
(序列标注任务)。
*
`load_checkpoint`
:使用PaddleHub Fine-tune api训练保存的模型参数文件路径。
*
`label_map`
:预测时的类别映射表。
*
`num_classes`
:分类任务的类别数,如果指定了
`label_map`
,此参数可不传,默认2分类。
*
`suffix`
: 序列标注任务的标签格式,如果设定为
`True`
,标签以'-B', '-I', '-E' 或者 '-S'为结尾,此参数默认为
`False`
。
*
`**kwargs`
:用户额外指定的关键字字典类型的参数。
```
python
def
predict
(
data
,
max_seq_len
=
128
,
batch_size
=
1
,
use_gpu
=
False
)
```
**参数**
*
`data`
: 待预测数据,格式为
\[\[
sample
\_
a
\_
text
\_
a, sample
\_
a
\_
text
\_
b
\]
,
\[
sample
\_
b
\_
text
\_
a, sample
\_
b
\_
text
\_
b
\]
,…,
\]
,其中每个元素都是一个样例,每个样例可以包含text
\_
a与text
\_
b。每个样例文本数量(1个或者2个)需和训练时保持一致。
*
`max_seq_len`
:模型处理文本的最大长度
*
`batch_size`
:模型批处理大小
*
`use_gpu`
:是否使用gpu,默认为False。对于GPU用户,建议开启use_gpu。
**返回**
*
`results`
:list类型,不同任务类型的返回结果如下
*
文本分类:列表里包含每个句子的预测标签,格式为
\[
label
\_
1, label
\_
2, …,
\]
*
序列标注:列表里包含每个句子每个token的预测标签,格式为
\[\[
token
\_
1, token
\_
2, …,
\]
,
\[
token
\_
1, token
\_
2, …,
\]
, …,
\]
```
python
def
get_embedding
(
data
,
use_gpu
=
False
)
```
## 二、安装
用于获取输入文本的句子粒度特征与字粒度特征
-
### 1、环境依赖
**参数**
-
paddlepaddle >= 2.0.0
*
`data`
:输入文本列表,格式为
\[\[
sample
\_
a
\_
text
\_
a, sample
\_
a
\_
text
\_
b
\]
,
\[
sample
\_
b
\_
text
\_
a, sample
\_
b
\_
text
\_
b
\]
,…,
\]
,其中每个元素都是一个样例,每个样例可以包含text
\_
a与text
\_
b。
*
`use_gpu`
:是否使用gpu,默认为False。对于GPU用户,建议开启use_gpu。
-
paddlehub >= 2.0.0 |
[
如何安装PaddleHub
](
../../../../docs/docs_ch/get_start/installation.rst
)
**返回**
-
### 2、安装
*
`results`
:list类型,格式为
\[\[
sample
\_
a
\_
pooled
\_
feature, sample
\_
a
\_
seq
\_
feature
\]
,
\[
sample
\_
b
\_
pooled
\_
feature, sample
\_
b
\_
seq
\_
feature
\]
,…,
\]
,其中每个元素都是对应样例的特征输出,每个样例都有句子粒度特征pooled
\_
feature与字粒度特征seq
\_
feature。
-
```shell
$ hub install chinese-bert-wwm-ext
```
-
如您安装时遇到问题,可参考:
[
零基础windows安装
](
../../../../docs/docs_ch/get_start/windows_quickstart.md
)
|
[
零基础Linux安装
](
../../../../docs/docs_ch/get_start/linux_quickstart.md
)
|
[
零基础MacOS安装
](
../../../../docs/docs_ch/get_start/mac_quickstart.md
)
## 三、模型API预测
**代码示例**
-
### 1、预测代码示例
```
python
import
paddlehub
as
hub
...
...
@@ -95,62 +62,110 @@ for idx, text in enumerate(data):
```
详情可参考PaddleHub示例:
-
[
文本分类
](
https://github.com/PaddlePaddle/PaddleHub/tree/release/v2.0.0-beta
/demo/text_classification
)
-
[
序列标注
](
https://github.com/PaddlePaddle/PaddleHub/tree/release/v2.0.0-beta
/demo/sequence_labeling
)
-
[
文本分类
](
../../../..
/demo/text_classification
)
-
[
序列标注
](
../../../..
/demo/sequence_labeling
)
## 服务部署
-
### 2、API
PaddleHub Serving可以部署一个在线获取预训练词向量。
-
```python
def __init__(
task=None,
load_checkpoint=None,
label_map=None,
num_classes=2,
suffix=False,
**kwargs,
)
```
### Step1: 启动PaddleHub Serving
- 创建Module对象(动态图组网版本)
运行启动命令:
- **参数**
```
shell
$
hub serving start
-m
chinese-bert-wwm-ext
```
- `task`: 任务名称,可为`seq-cls`(文本分类任务)或`token-cls`(序列标注任务)。
- `load_checkpoint`:使用PaddleHub Fine-tune api训练保存的模型参数文件路径。
- `label_map`:预测时的类别映射表。
- `num_classes`:分类任务的类别数,如果指定了`label_map`,此参数可不传,默认2分类。
- `suffix`: 序列标注任务的标签格式,如果设定为`True`,标签以'-B', '-I', '-E' 或者 '-S'为结尾,此参数默认为`False`。
- `**kwargs`:用户额外指定的关键字字典类型的参数。
这样就完成了一个获取预训练词向量服务化API的部署,默认端口号为8866。
-
```python
def predict(
data,
max_seq_len=128,
batch_size=1,
use_gpu=False
)
```
**NOTE:**
如使用GPU预测,则需要在启动服务之前,请设置CUDA_VISIBLE_DEVICES环境变量,否则不用设置。
- **参数**
### Step2: 发送预测请求
- `data`: 待预测数据,格式为\[\[sample\_a\_text\_a, sample\_a\_text\_b\], \[sample\_b\_text\_a, sample\_b\_text\_b\],…,\],其中每个元素都是一个样例,每个样例可以包含text\_a与text\_b。每个样例文本数量(1个或者2个)需和训练时保持一致。
- `max_seq_len`:模型处理文本的最大长度
- `batch_size`:模型批处理大小
- `use_gpu`:是否使用gpu,默认为False。对于GPU用户,建议开启use_gpu。
配置好服务端,以下数行代码即可实现发送预测请求,获取预测结果
- **返回**
```
python
import
requests
import
json
# 指定用于获取embedding的文本[[text_1], [text_2], ... ]}
text
=
[[
"今天是个好日子"
],
[
"天气预报说今天要下雨"
]]
# 以key的方式指定text传入预测方法的时的参数,此例中为"data"
# 对应本地部署,则为module.get_embedding(data=text)
data
=
{
"data"
:
text
}
# 发送post请求,content-type类型应指定json方式,url中的ip地址需改为对应机器的ip
url
=
"http://10.12.121.132:8866/predict/chinese-bert-wwm-ext"
# 指定post请求的headers为application/json方式
headers
=
{
"Content-Type"
:
"application/json"
}
r
=
requests
.
post
(
url
=
url
,
headers
=
headers
,
data
=
json
.
dumps
(
data
))
print
(
r
.
json
())
```
- `results`:list类型,不同任务类型的返回结果如下
- 文本分类:列表里包含每个句子的预测标签,格式为\[label\_1, label\_2, …,\]
- 序列标注:列表里包含每个句子每个token的预测标签,格式为\[\[token\_1, token\_2, …,\], \[token\_1, token\_2, …,\], …,\]
-
```python
def get_embedding(
data,
use_gpu=False
)
```
- 用于获取输入文本的句子粒度特征与字粒度特征
- **参数**
- `data`:输入文本列表,格式为\[\[sample\_a\_text\_a, sample\_a\_text\_b\], \[sample\_b\_text\_a, sample\_b\_text\_b\],…,\],其中每个元素都是一个样例,每个样例可以包含text\_a与text\_b。
- `use_gpu`:是否使用gpu,默认为False。对于GPU用户,建议开启use_gpu。
- **返回**
- `results`:list类型,格式为\[\[sample\_a\_pooled\_feature, sample\_a\_seq\_feature\], \[sample\_b\_pooled\_feature, sample\_b\_seq\_feature\],…,\],其中每个元素都是对应样例的特征输出,每个样例都有句子粒度特征pooled\_feature与字粒度特征seq\_feature。
## 四、服务部署
-
PaddleHub Serving可以部署一个在线获取预训练词向量。
-
### 第一步:启动PaddleHub Serving
-
```shell
$ hub serving start -m chinese_bert_wwm_ext
```
## 查看代码
https://github.com/ymcui/Chinese-BERT-wwm
-
这样就完成了一个获取预训练词向量服务化API的部署,默认端口号为8866。
-
**NOTE:**
如使用GPU预测,则需要在启动服务之前,请设置CUDA_VISIBLE_DEVICES环境变量,否则不用设置。
## 贡献者
-
### 第二步:发送预测请求
[
ymcui
](
https://github.com/ymcui
)
-
配置好服务端,以下数行代码即可实现发送预测请求,获取预测结果
## 依赖
-
```python
import requests
import json
paddlepaddle >= 2.0.0
# 指定用于获取embedding的文本[[text_1], [text_2], ... ]}
text = [["今天是个好日子"], ["天气预报说今天要下雨"]]
# 以key的方式指定text传入预测方法的时的参数,此例中为"data"
# 对应本地部署,则为module.get_embedding(data=text)
data = {"data": text}
# 发送post请求,content-type类型应指定json方式,url中的ip地址需改为对应机器的ip
url = "http://127.0.0.1:8866/predict/chinese_bert_wwm_ext"
# 指定post请求的headers为application/json方式
headers = {"Content-Type": "application/json"}
paddlehub >= 2.0.0
r = requests.post(url=url, headers=headers, data=json.dumps(data))
print(r.json())
```
## 更新历史
##
五、
更新历史
*
1.0.0
...
...
@@ -163,3 +178,6 @@ paddlehub >= 2.0.0
*
2.0.1
增加文本匹配任务
`text-matching`
```
shell
$
hub
install
chinese-bert-wwm-ext
==
2.0.1
```
modules/text/language_model/chinese_electra_base/README.md
浏览文件 @
44d72c89
...
...
@@ -129,7 +129,7 @@ text = [["今天是个好日子"], ["天气预报说今天要下雨"]]
# 对应本地部署,则为module.get_embedding(data=text)
data
=
{
"data"
:
text
}
# 发送post请求,content-type类型应指定json方式,url中的ip地址需改为对应机器的ip
url
=
"http://1
0.12.121.132
:8866/predict/chinese-electra-base"
url
=
"http://1
27.0.0.1
:8866/predict/chinese-electra-base"
# 指定post请求的headers为application/json方式
headers
=
{
"Content-Type"
:
"application/json"
}
...
...
modules/text/language_model/chinese_electra_small/README.md
浏览文件 @
44d72c89
...
...
@@ -129,7 +129,7 @@ text = [["今天是个好日子"], ["天气预报说今天要下雨"]]
# 对应本地部署,则为module.get_embedding(data=text)
data
=
{
"data"
:
text
}
# 发送post请求,content-type类型应指定json方式,url中的ip地址需改为对应机器的ip
url
=
"http://1
0.12.121.132
:8866/predict/chinese-electra-small"
url
=
"http://1
27.0.0.1
:8866/predict/chinese-electra-small"
# 指定post请求的headers为application/json方式
headers
=
{
"Content-Type"
:
"application/json"
}
...
...
modules/text/language_model/electra_base/README.md
浏览文件 @
44d72c89
...
...
@@ -129,7 +129,7 @@ text = [["今天是个好日子"], ["天气预报说今天要下雨"]]
# 对应本地部署,则为module.get_embedding(data=text)
data
=
{
"data"
:
text
}
# 发送post请求,content-type类型应指定json方式,url中的ip地址需改为对应机器的ip
url
=
"http://1
0.12.121.132
:8866/predict/electra-base"
url
=
"http://1
27.0.0.1
:8866/predict/electra-base"
# 指定post请求的headers为application/json方式
headers
=
{
"Content-Type"
:
"application/json"
}
...
...
modules/text/language_model/electra_large/README.md
浏览文件 @
44d72c89
...
...
@@ -129,7 +129,7 @@ text = [["今天是个好日子"], ["天气预报说今天要下雨"]]
# 对应本地部署,则为module.get_embedding(data=text)
data
=
{
"data"
:
text
}
# 发送post请求,content-type类型应指定json方式,url中的ip地址需改为对应机器的ip
url
=
"http://1
0.12.121.132
:8866/predict/electra-large"
url
=
"http://1
27.0.0.1
:8866/predict/electra-large"
# 指定post请求的headers为application/json方式
headers
=
{
"Content-Type"
:
"application/json"
}
...
...
modules/text/language_model/electra_small/README.md
浏览文件 @
44d72c89
...
...
@@ -129,7 +129,7 @@ text = [["今天是个好日子"], ["天气预报说今天要下雨"]]
# 对应本地部署,则为module.get_embedding(data=text)
data
=
{
"data"
:
text
}
# 发送post请求,content-type类型应指定json方式,url中的ip地址需改为对应机器的ip
url
=
"http://1
0.12.121.132
:8866/predict/electra-small"
url
=
"http://1
27.0.0.1
:8866/predict/electra-small"
# 指定post请求的headers为application/json方式
headers
=
{
"Content-Type"
:
"application/json"
}
...
...
modules/text/language_model/ernie/README.md
浏览文件 @
44d72c89
...
...
@@ -165,7 +165,7 @@ for idx, text in enumerate(data):
# 对应本地部署,则为module.get_embedding(data=text)
data = {"data": text}
# 发送post请求,content-type类型应指定json方式,url中的ip地址需改为对应机器的ip
url = "http://1
0.12.121.132
:8866/predict/ernie"
url = "http://1
27.0.0.1
:8866/predict/ernie"
# 指定post请求的headers为application/json方式
headers = {"Content-Type": "application/json"}
...
...
modules/text/language_model/ernie_tiny/README.md
浏览文件 @
44d72c89
...
...
@@ -167,7 +167,7 @@ for idx, text in enumerate(data):
# 对应本地部署,则为module.get_embedding(data=text)
data = {"data": text}
# 发送post请求,content-type类型应指定json方式,url中的ip地址需改为对应机器的ip
url = "http://1
0.12.121.132
:8866/predict/ernie_tiny"
url = "http://1
27.0.0.1
:8866/predict/ernie_tiny"
# 指定post请求的headers为application/json方式
headers = {"Content-Type": "application/json"}
...
...
modules/text/language_model/ernie_v2_eng_base/README.md
浏览文件 @
44d72c89
...
...
@@ -162,7 +162,7 @@ for idx, text in enumerate(data):
# 对应本地部署,则为module.get_embedding(data=text)
data = {"data": text}
# 发送post请求,content-type类型应指定json方式,url中的ip地址需改为对应机器的ip
url = "http://1
0.12.121.132
:8866/predict/ernie_v2_eng_base"
url = "http://1
27.0.0.1
:8866/predict/ernie_v2_eng_base"
# 指定post请求的headers为application/json方式
headers = {"Content-Type": "application/json"}
...
...
modules/text/language_model/ernie_v2_eng_large/README.md
浏览文件 @
44d72c89
...
...
@@ -162,7 +162,7 @@ for idx, text in enumerate(data):
# 对应本地部署,则为module.get_embedding(data=text)
data = {"data": text}
# 发送post请求,content-type类型应指定json方式,url中的ip地址需改为对应机器的ip
url = "http://1
0.12.121.132
:8866/predict/ernie_v2_eng_large"
url = "http://1
27.0.0.1
:8866/predict/ernie_v2_eng_large"
# 指定post请求的headers为application/json方式
headers = {"Content-Type": "application/json"}
...
...
modules/text/language_model/rbt3/README.md
浏览文件 @
44d72c89
...
...
@@ -128,7 +128,7 @@ text = [["今天是个好日子"], ["天气预报说今天要下雨"]]
# 对应本地部署,则为module.get_embedding(data=text)
data
=
{
"data"
:
text
}
# 发送post请求,content-type类型应指定json方式,url中的ip地址需改为对应机器的ip
url
=
"http://1
0.12.121.132
:8866/predict/rtb3"
url
=
"http://1
27.0.0.1
:8866/predict/rtb3"
# 指定post请求的headers为application/json方式
headers
=
{
"Content-Type"
:
"application/json"
}
...
...
modules/text/language_model/rbtl3/README.md
浏览文件 @
44d72c89
...
...
@@ -128,7 +128,7 @@ text = [["今天是个好日子"], ["天气预报说今天要下雨"]]
# 对应本地部署,则为module.get_embedding(data=text)
data
=
{
"data"
:
text
}
# 发送post请求,content-type类型应指定json方式,url中的ip地址需改为对应机器的ip
url
=
"http://1
0.12.121.132
:8866/predict/rbtl3"
url
=
"http://1
27.0.0.1
:8866/predict/rbtl3"
# 指定post请求的headers为application/json方式
headers
=
{
"Content-Type"
:
"application/json"
}
...
...
modules/text/language_model/roberta-wwm-ext-large/README.md
浏览文件 @
44d72c89
```
shell
$
hub
install
roberta-wwm-ext-large
==
2.0.2
```
# roberta-wwm-ext-large
|模型名称|roberta-wwm-ext-large|
| :--- | :---: |
|类别|文本-语义模型|
|网络|roberta-wwm-ext-large|
|数据集|百度自建数据集|
|是否支持Fine-tuning|是|
|模型大小|1.3GB|
|最新更新日期|2021-03-16|
|数据指标|-|
## 一、模型基本信息
-
### 模型介绍
<p
align=
"center"
>
<img
src=
"https://bj.bcebos.com/paddlehub/paddlehub-img/bert_network.png"
hspace=
'10'
/>
<br
/>
</p>
更多详情请参考
[
RoBERTa论文
](
https://arxiv.org/abs/1907.11692
)
、
[
Chinese-BERT-wwm技术报告
](
https://arxiv.org/abs/1906.08101
)
## API
```
python
def
__init__
(
task
=
None
,
load_checkpoint
=
None
,
label_map
=
None
,
num_classes
=
2
,
suffix
=
False
,
**
kwargs
,
)
```
创建Module对象(动态图组网版本)。
**参数**
*
`task`
: 任务名称,可为
`seq-cls`
(文本分类任务,原来的
`sequence_classification`
在未来会被弃用)或
`token-cls`
(序列标注任务)。
*
`load_checkpoint`
:使用PaddleHub Fine-tune api训练保存的模型参数文件路径。
*
`label_map`
:预测时的类别映射表。
*
`num_classes`
:分类任务的类别数,如果指定了
`label_map`
,此参数可不传,默认2分类。
*
`suffix`
: 序列标注任务的标签格式,如果设定为
`True`
,标签以'-B', '-I', '-E' 或者 '-S'为结尾,此参数默认为
`False`
。
*
`**kwargs`
:用户额外指定的关键字字典类型的参数。
```
python
def
predict
(
data
,
max_seq_len
=
128
,
batch_size
=
1
,
use_gpu
=
False
)
```
**参数**
*
`data`
: 待预测数据,格式为
\[\[
sample
\_
a
\_
text
\_
a, sample
\_
a
\_
text
\_
b
\]
,
\[
sample
\_
b
\_
text
\_
a, sample
\_
b
\_
text
\_
b
\]
,…,
\]
,其中每个元素都是一个样例,每个样例可以包含text
\_
a与text
\_
b。每个样例文本数量(1个或者2个)需和训练时保持一致。
*
`max_seq_len`
:模型处理文本的最大长度
*
`batch_size`
:模型批处理大小
*
`use_gpu`
:是否使用gpu,默认为False。对于GPU用户,建议开启use_gpu。
**返回**
*
`results`
:list类型,不同任务类型的返回结果如下
*
文本分类:列表里包含每个句子的预测标签,格式为
\[
label
\_
1, label
\_
2, …,
\]
*
序列标注:列表里包含每个句子每个token的预测标签,格式为
\[\[
token
\_
1, token
\_
2, …,
\]
,
\[
token
\_
1, token
\_
2, …,
\]
, …,
\]
## 二、安装
```
python
def
get_embedding
(
data
,
use_gpu
=
False
)
```
用于获取输入文本的句子粒度特征与字粒度特征
-
### 1、环境依赖
**参数**
-
paddlepaddle >= 2.0.0
*
`data`
:输入文本列表,格式为
\[\[
sample
\_
a
\_
text
\_
a, sample
\_
a
\_
text
\_
b
\]
,
\[
sample
\_
b
\_
text
\_
a, sample
\_
b
\_
text
\_
b
\]
,…,
\]
,其中每个元素都是一个样例,每个样例可以包含text
\_
a与text
\_
b。
*
`use_gpu`
:是否使用gpu,默认为False。对于GPU用户,建议开启use_gpu。
-
paddlehub >= 2.0.0 |
[
如何安装PaddleHub
](
../../../../docs/docs_ch/get_start/installation.rst
)
**返回**
-
### 2、安装
*
`results`
:list类型,格式为
\[\[
sample
\_
a
\_
pooled
\_
feature, sample
\_
a
\_
seq
\_
feature
\]
,
\[
sample
\_
b
\_
pooled
\_
feature, sample
\_
b
\_
seq
\_
feature
\]
,…,
\]
,其中每个元素都是对应样例的特征输出,每个样例都有句子粒度特征pooled
\_
feature与字粒度特征seq
\_
feature。
-
```shell
$ hub install roberta-wwm-ext-large
```
-
如您安装时遇到问题,可参考:
[
零基础windows安装
](
../../../../docs/docs_ch/get_start/windows_quickstart.md
)
|
[
零基础Linux安装
](
../../../../docs/docs_ch/get_start/linux_quickstart.md
)
|
[
零基础MacOS安装
](
../../../../docs/docs_ch/get_start/mac_quickstart.md
)
## 三、模型API预测
**代码示例**
-
### 1、预测代码示例
```
python
import
paddlehub
as
hub
...
...
@@ -96,59 +61,110 @@ for idx, text in enumerate(data):
```
详情可参考PaddleHub示例:
-
[
文本分类
](
https://github.com/PaddlePaddle/PaddleHub/tree/release/v2.0.0-beta
/demo/text_classification
)
-
[
序列标注
](
https://github.com/PaddlePaddle/PaddleHub/tree/release/v2.0.0-beta
/demo/sequence_labeling
)
-
[
文本分类
](
../../../..
/demo/text_classification
)
-
[
序列标注
](
../../../..
/demo/sequence_labeling
)
## 服务部署
-
### 2、API
PaddleHub Serving可以部署一个在线获取预训练词向量。
-
```python
def __init__(
task=None,
load_checkpoint=None,
label_map=None,
num_classes=2,
suffix=False,
**kwargs,
)
```
### Step1: 启动PaddleHub Serving
- 创建Module对象(动态图组网版本)
运行启动命令:
- **参数**
```
shell
$
hub serving start
-m
roberta-wwm-ext-large
```
- `task`: 任务名称,可为`seq-cls`(文本分类任务)或`token-cls`(序列标注任务)。
- `load_checkpoint`:使用PaddleHub Fine-tune api训练保存的模型参数文件路径。
- `label_map`:预测时的类别映射表。
- `num_classes`:分类任务的类别数,如果指定了`label_map`,此参数可不传,默认2分类。
- `suffix`: 序列标注任务的标签格式,如果设定为`True`,标签以'-B', '-I', '-E' 或者 '-S'为结尾,此参数默认为`False`。
- `**kwargs`:用户额外指定的关键字字典类型的参数。
这样就完成了一个获取预训练词向量服务化API的部署,默认端口号为8866。
-
```python
def predict(
data,
max_seq_len=128,
batch_size=1,
use_gpu=False
)
```
**NOTE:**
如使用GPU预测,则需要在启动服务之前,请设置CUDA_VISIBLE_DEVICES环境变量,否则不用设置。
- **参数**
### Step2: 发送预测请求
- `data`: 待预测数据,格式为\[\[sample\_a\_text\_a, sample\_a\_text\_b\], \[sample\_b\_text\_a, sample\_b\_text\_b\],…,\],其中每个元素都是一个样例,每个样例可以包含text\_a与text\_b。每个样例文本数量(1个或者2个)需和训练时保持一致。
- `max_seq_len`:模型处理文本的最大长度
- `batch_size`:模型批处理大小
- `use_gpu`:是否使用gpu,默认为False。对于GPU用户,建议开启use_gpu。
配置好服务端,以下数行代码即可实现发送预测请求,获取预测结果
- **返回**
```
python
import
requests
import
json
# 指定用于获取embedding的文本[[text_1], [text_2], ... ]}
text
=
[[
"今天是个好日子"
],
[
"天气预报说今天要下雨"
]]
# 以key的方式指定text传入预测方法的时的参数,此例中为"data"
# 对应本地部署,则为module.get_embedding(data=text)
data
=
{
"data"
:
text
}
# 发送post请求,content-type类型应指定json方式,url中的ip地址需改为对应机器的ip
url
=
"http://10.12.121.132:8866/predict/roberta-wwm-ext-large"
# 指定post请求的headers为application/json方式
headers
=
{
"Content-Type"
:
"application/json"
}
r
=
requests
.
post
(
url
=
url
,
headers
=
headers
,
data
=
json
.
dumps
(
data
))
print
(
r
.
json
())
```
- `results`:list类型,不同任务类型的返回结果如下
- 文本分类:列表里包含每个句子的预测标签,格式为\[label\_1, label\_2, …,\]
- 序列标注:列表里包含每个句子每个token的预测标签,格式为\[\[token\_1, token\_2, …,\], \[token\_1, token\_2, …,\], …,\]
-
```python
def get_embedding(
data,
use_gpu=False
)
```
- 用于获取输入文本的句子粒度特征与字粒度特征
- **参数**
- `data`:输入文本列表,格式为\[\[sample\_a\_text\_a, sample\_a\_text\_b\], \[sample\_b\_text\_a, sample\_b\_text\_b\],…,\],其中每个元素都是一个样例,每个样例可以包含text\_a与text\_b。
- `use_gpu`:是否使用gpu,默认为False。对于GPU用户,建议开启use_gpu。
- **返回**
- `results`:list类型,格式为\[\[sample\_a\_pooled\_feature, sample\_a\_seq\_feature\], \[sample\_b\_pooled\_feature, sample\_b\_seq\_feature\],…,\],其中每个元素都是对应样例的特征输出,每个样例都有句子粒度特征pooled\_feature与字粒度特征seq\_feature。
## 四、服务部署
-
PaddleHub Serving可以部署一个在线获取预训练词向量。
-
### 第一步:启动PaddleHub Serving
-
```shell
$ hub serving start -m roberta-wwm-ext-large
```
-
这样就完成了一个获取预训练词向量服务化API的部署,默认端口号为8866。
## 查看代码
-
**NOTE:**
如使用GPU预测,则需要在启动服务之前,请设置CUDA_VISIBLE_DEVICES环境变量,否则不用设置。
https://github.com/PaddlePaddle/models/tree/develop/PaddleNLP/paddlenlp/transformers/roberta
-
### 第二步:发送预测请求
-
配置好服务端,以下数行代码即可实现发送预测请求,获取预测结果
## 依赖
-
```python
import requests
import json
paddlepaddle >= 2.0.0
# 指定用于获取embedding的文本[[text_1], [text_2], ... ]}
text = [["今天是个好日子"], ["天气预报说今天要下雨"]]
# 以key的方式指定text传入预测方法的时的参数,此例中为"data"
# 对应本地部署,则为module.get_embedding(data=text)
data = {"data": text}
# 发送post请求,content-type类型应指定json方式,url中的ip地址需改为对应机器的ip
url = "http://127.0.0.1:8866/predict/roberta-wwm-ext-large"
# 指定post请求的headers为application/json方式
headers = {"Content-Type": "application/json"}
paddlehub >= 2.0.0
r = requests.post(url=url, headers=headers, data=json.dumps(data))
print(r.json())
```
## 更新历史
##
五、
更新历史
*
1.0.0
...
...
@@ -165,3 +181,6 @@ paddlehub >= 2.0.0
*
2.0.2
增加文本匹配任务
`text-matching`
```
shell
$
hub
install
roberta-wwm-ext-large
==
2.0.2
```
modules/text/language_model/roberta-wwm-ext/README.md
浏览文件 @
44d72c89
...
...
@@ -156,7 +156,7 @@ for idx, text in enumerate(data):
# 对应本地部署,则为module.get_embedding(data=text)
data = {"data": text}
# 发送post请求,content-type类型应指定json方式,url中的ip地址需改为对应机器的ip
url = "http://1
0.12.121.132
:8866/predict/roberta-wwm-ext"
url = "http://1
27.0.0.1
:8866/predict/roberta-wwm-ext"
# 指定post请求的headers为application/json方式
headers = {"Content-Type": "application/json"}
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录