Skip to content
体验新版
项目
组织
正在加载...
登录
切换导航
打开侧边栏
BaiXuePrincess
PaddleRec
提交
0e9c4fd6
P
PaddleRec
项目概览
BaiXuePrincess
/
PaddleRec
与 Fork 源项目一致
Fork自
PaddlePaddle / PaddleRec
通知
1
Star
0
Fork
0
代码
文件
提交
分支
Tags
贡献者
分支图
Diff
Issue
0
列表
看板
标记
里程碑
合并请求
0
Wiki
0
Wiki
分析
仓库
DevOps
项目成员
Pages
P
PaddleRec
项目概览
项目概览
详情
发布
仓库
仓库
文件
提交
分支
标签
贡献者
分支图
比较
Issue
0
Issue
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
Pages
分析
分析
仓库分析
DevOps
Wiki
0
Wiki
成员
成员
收起侧边栏
关闭侧边栏
动态
分支图
创建新Issue
提交
Issue看板
提交
0e9c4fd6
编写于
5月 15, 2020
作者:
W
wuzhihua
提交者:
tangwei
5月 18, 2020
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
refine readme for cu
上级
183ff0ad
变更
8
显示空白变更内容
内联
并排
Showing
8 changed file
with
18 addition
and
9 deletion
+18
-9
doc/imgs/cnn-ckim2014.JPG
doc/imgs/cnn-ckim2014.JPG
+0
-0
doc/imgs/tagspace.JPG
doc/imgs/tagspace.JPG
+0
-0
models/contentunderstanding/classification/config.yaml
models/contentunderstanding/classification/config.yaml
+0
-0
models/contentunderstanding/classification/model.py
models/contentunderstanding/classification/model.py
+0
-0
models/contentunderstanding/classification/reader.py
models/contentunderstanding/classification/reader.py
+0
-0
models/contentunderstanding/classification/train_data/part-0
models/contentunderstanding/classification/train_data/part-0
+0
-0
models/contentunderstanding/readme.md
models/contentunderstanding/readme.md
+16
-7
readme.md
readme.md
+2
-2
未找到文件。
doc/imgs/cnn-ckim2014.JPG
0 → 100644
浏览文件 @
0e9c4fd6
270 字节
doc/imgs/tagspace.JPG
0 → 100644
浏览文件 @
0e9c4fd6
270 字节
models/contentunderstanding/
text_
classification/config.yaml
→
models/contentunderstanding/classification/config.yaml
浏览文件 @
0e9c4fd6
文件已移动
models/contentunderstanding/
text_
classification/model.py
→
models/contentunderstanding/classification/model.py
浏览文件 @
0e9c4fd6
文件已移动
models/contentunderstanding/
text_
classification/reader.py
→
models/contentunderstanding/classification/reader.py
浏览文件 @
0e9c4fd6
文件已移动
models/contentunderstanding/
text_
classification/train_data/part-0
→
models/contentunderstanding/classification/train_data/part-0
浏览文件 @
0e9c4fd6
文件已移动
models/contentunderstanding/readme.md
浏览文件 @
0e9c4fd6
# 内容理解模型库
# 内容理解模型库
## 简介
## 简介
我们提供了常见的内容理解任务中使用的模型算法的PaddleRec实现, 单机训练&预测效果指标以及分布式训练&预测性能指标等。实现的内容理解模型包括
[
Tagspace
](
http://gitlab.baidu.com/xujiaqi01/paddlerec/tree/develop/models/contentunderstanding/tagspace
)
、
[
文本分类
](
http://gitlab.baidu.com/xujiaqi01/paddlerec/tree/develop/models/contentunderstanding/
text_
classification
)
。
我们提供了常见的内容理解任务中使用的模型算法的PaddleRec实现, 单机训练&预测效果指标以及分布式训练&预测性能指标等。实现的内容理解模型包括
[
Tagspace
](
http://gitlab.baidu.com/xujiaqi01/paddlerec/tree/develop/models/contentunderstanding/tagspace
)
、
[
文本分类
](
http://gitlab.baidu.com/xujiaqi01/paddlerec/tree/develop/models/contentunderstanding/classification
)
。
模型算法库在持续添加中,欢迎关注。
模型算法库在持续添加中,欢迎关注。
...
@@ -22,9 +22,18 @@
...
@@ -22,9 +22,18 @@
| 模型 | 简介 | 论文 |
| 模型 | 简介 | 论文 |
| :------------------: | :--------------------: | :---------: |
| :------------------: | :--------------------: | :---------: |
| TagSpace | 标签推荐 |
[
TagSpace: Semantic Embeddings from Hashtags
](
https://research.fb.com/publications/tagspace-semantic-embeddings-from-hashtags/
)
|
| TagSpace | 标签推荐 |
[
TagSpace: Semantic Embeddings from Hashtags
(2014)
](
https://research.fb.com/publications/tagspace-semantic-embeddings-from-hashtags/
)
|
|
TextClassification | 文本分类 | --
|
|
Classification | 文本分类 |
[
Convolutional neural networks for sentence classication (2014)
](
https://www.aclweb.org/anthology/D14-1181.pdf
)
|
TagSpace模型
<p
align=
"center"
>
<img
align=
"center"
src=
"../../doc/imgs/tagspace.JPG"
>
<p>
文本分类CNN模型
<p
align=
"center"
>
<img
align=
"center"
src=
"../../doc/imgs/cnn-ckim2014.JPG"
>
<p>
## 使用教程
## 使用教程
### 数据处理
### 数据处理
...
@@ -53,7 +62,7 @@ mv test.csv raw_big_test_data
...
@@ -53,7 +62,7 @@ mv test.csv raw_big_test_data
python text2paddle.py raw_big_train_data/ raw_big_test_data/ train_big_data test_big_data big_vocab_text.txt big_vocab_tag.txt
python text2paddle.py raw_big_train_data/ raw_big_test_data/ train_big_data test_big_data big_vocab_text.txt big_vocab_tag.txt
```
```
**(2)
Text
Classification**
**(2)Classification**
无
无
...
@@ -66,7 +75,7 @@ python text2paddle.py raw_big_train_data/ raw_big_test_data/ train_big_data test
...
@@ -66,7 +75,7 @@ python text2paddle.py raw_big_train_data/ raw_big_test_data/ train_big_data test
| 数据集 | 模型 | loss | auc | acc | mae |
| 数据集 | 模型 | loss | auc | acc | mae |
| :------------------: | :--------------------: | :---------: |:---------: | :---------: |:---------: |
| :------------------: | :--------------------: | :---------: |:---------: | :---------: |:---------: |
| -- | TagSpace | -- | -- | -- | -- |
| -- | TagSpace | -- | -- | -- | -- |
| -- |
Text
Classification | -- | -- | -- | -- |
| -- | Classification | -- | -- | -- | -- |
## 分布式
## 分布式
...
@@ -74,7 +83,7 @@ python text2paddle.py raw_big_train_data/ raw_big_test_data/ train_big_data test
...
@@ -74,7 +83,7 @@ python text2paddle.py raw_big_train_data/ raw_big_test_data/ train_big_data test
| 数据集 | 模型 | 单机 | 同步 (4节点) | 同步 (8节点) | 同步 (16节点) | 同步 (32节点) |
| 数据集 | 模型 | 单机 | 同步 (4节点) | 同步 (8节点) | 同步 (16节点) | 同步 (32节点) |
| :------------------: | :--------------------: | :---------: |:---------: |:---------: |:---------: |:---------: |
| :------------------: | :--------------------: | :---------: |:---------: |:---------: |:---------: |:---------: |
| -- | TagSpace | -- | -- | -- | -- | -- |
| -- | TagSpace | -- | -- | -- | -- | -- |
| -- |
Text
Classification | -- | -- | -- | -- | -- |
| -- | Classification | -- | -- | -- | -- | -- |
----
----
...
@@ -82,4 +91,4 @@ python text2paddle.py raw_big_train_data/ raw_big_test_data/ train_big_data test
...
@@ -82,4 +91,4 @@ python text2paddle.py raw_big_train_data/ raw_big_test_data/ train_big_data test
| 数据集 | 模型 | 单机 | 异步 (4节点) | 异步 (8节点) | 异步 (16节点) | 异步 (32节点) |
| 数据集 | 模型 | 单机 | 异步 (4节点) | 异步 (8节点) | 异步 (16节点) | 异步 (32节点) |
| :------------------: | :--------------------: | :---------: |:---------: |:---------: |:---------: |:---------: |
| :------------------: | :--------------------: | :---------: |:---------: |:---------: |:---------: |:---------: |
| -- | TagSpace | -- | -- | -- | -- | -- |
| -- | TagSpace | -- | -- | -- | -- | -- |
| -- | TextClassification | -- | -- | -- | -- | -- |
| -- | Classification | -- | -- | -- | -- | -- |
\ No newline at end of file
readme.md
浏览文件 @
0e9c4fd6
...
@@ -108,7 +108,7 @@ python -m paddlerec.run -m ./models/rank/dnn/config.yaml -e single
...
@@ -108,7 +108,7 @@ python -m paddlerec.run -m ./models/rank/dnn/config.yaml -e single
| 方向 | 模型 | 单机CPU训练 | 单机GPU训练 | 分布式CPU训练 |
| 方向 | 模型 | 单机CPU训练 | 单机GPU训练 | 分布式CPU训练 |
| :------: | :----------------------------------------------------------------------------: | :---------: | :---------: | :-----------: |
| :------: | :----------------------------------------------------------------------------: | :---------: | :---------: | :-----------: |
| 内容理解 |
[
Text-Classifcation
](
models/contentunderstanding/
text_
classification/model.py
)
| ✓ | x | ✓ |
| 内容理解 |
[
Text-Classifcation
](
models/contentunderstanding/classification/model.py
)
| ✓ | x | ✓ |
| 内容理解 |
[
TagSpace
](
models/contentunderstanding/tagspace/model.py
)
| ✓ | x | ✓ |
| 内容理解 |
[
TagSpace
](
models/contentunderstanding/tagspace/model.py
)
| ✓ | x | ✓ |
| 召回 |
[
TDM
](
models/treebased/tdm/model.py
)
| ✓ | x | ✓ |
| 召回 |
[
TDM
](
models/treebased/tdm/model.py
)
| ✓ | x | ✓ |
| 召回 |
[
Word2Vec
](
models/recall/word2vec/model.py
)
| ✓ | x | ✓ |
| 召回 |
[
Word2Vec
](
models/recall/word2vec/model.py
)
| ✓ | x | ✓ |
...
...
编辑
预览
Markdown
is supported
0%
请重试
或
添加新附件
.
添加附件
取消
You are about to add
0
people
to the discussion. Proceed with caution.
先完成此消息的编辑!
取消
想要评论请
注册
或
登录