提交 07456ac1 编写于 作者: Z zengkai

refine readme for cu

上级 183ff0ad
# 内容理解模型库 # 内容理解模型库
## 简介 ## 简介
我们提供了常见的内容理解任务中使用的模型算法的PaddleRec实现, 单机训练&预测效果指标以及分布式训练&预测性能指标等。实现的内容理解模型包括 [Tagspace](http://gitlab.baidu.com/xujiaqi01/paddlerec/tree/develop/models/contentunderstanding/tagspace)[文本分类](http://gitlab.baidu.com/xujiaqi01/paddlerec/tree/develop/models/contentunderstanding/text_classification) 我们提供了常见的内容理解任务中使用的模型算法的PaddleRec实现, 单机训练&预测效果指标以及分布式训练&预测性能指标等。实现的内容理解模型包括 [Tagspace](http://gitlab.baidu.com/xujiaqi01/paddlerec/tree/develop/models/contentunderstanding/tagspace)[文本分类](http://gitlab.baidu.com/xujiaqi01/paddlerec/tree/develop/models/contentunderstanding/classification)
模型算法库在持续添加中,欢迎关注。 模型算法库在持续添加中,欢迎关注。
...@@ -22,9 +22,18 @@ ...@@ -22,9 +22,18 @@
| 模型 | 简介 | 论文 | | 模型 | 简介 | 论文 |
| :------------------: | :--------------------: | :---------: | | :------------------: | :--------------------: | :---------: |
| TagSpace | 标签推荐 | [TagSpace: Semantic Embeddings from Hashtags](https://research.fb.com/publications/tagspace-semantic-embeddings-from-hashtags/) | | TagSpace | 标签推荐 | [TagSpace: Semantic Embeddings from Hashtags (2014)](https://research.fb.com/publications/tagspace-semantic-embeddings-from-hashtags/) |
| TextClassification | 文本分类 | -- | | Classification | 文本分类 | [Convolutional neural networks for sentence classication (2014)](https://www.aclweb.org/anthology/D14-1181.pdf) |
TagSpace模型
<p align="center">
<img align="center" src="../../doc/imgs/tagspace.JPG">
<p>
文本分类CNN模型
<p align="center">
<img align="center" src="../../doc/imgs/cnn-ckim2014.JPG">
<p>
## 使用教程 ## 使用教程
### 数据处理 ### 数据处理
...@@ -53,7 +62,7 @@ mv test.csv raw_big_test_data ...@@ -53,7 +62,7 @@ mv test.csv raw_big_test_data
python text2paddle.py raw_big_train_data/ raw_big_test_data/ train_big_data test_big_data big_vocab_text.txt big_vocab_tag.txt python text2paddle.py raw_big_train_data/ raw_big_test_data/ train_big_data test_big_data big_vocab_text.txt big_vocab_tag.txt
``` ```
**(2)TextClassification** **(2)Classification**
...@@ -66,7 +75,7 @@ python text2paddle.py raw_big_train_data/ raw_big_test_data/ train_big_data test ...@@ -66,7 +75,7 @@ python text2paddle.py raw_big_train_data/ raw_big_test_data/ train_big_data test
| 数据集 | 模型 | loss | auc | acc | mae | | 数据集 | 模型 | loss | auc | acc | mae |
| :------------------: | :--------------------: | :---------: |:---------: | :---------: |:---------: | | :------------------: | :--------------------: | :---------: |:---------: | :---------: |:---------: |
| -- | TagSpace | -- | -- | -- | -- | | -- | TagSpace | -- | -- | -- | -- |
| -- | TextClassification | -- | -- | -- | -- | | -- | Classification | -- | -- | -- | -- |
## 分布式 ## 分布式
...@@ -74,7 +83,7 @@ python text2paddle.py raw_big_train_data/ raw_big_test_data/ train_big_data test ...@@ -74,7 +83,7 @@ python text2paddle.py raw_big_train_data/ raw_big_test_data/ train_big_data test
| 数据集 | 模型 | 单机 | 同步 (4节点) | 同步 (8节点) | 同步 (16节点) | 同步 (32节点) | | 数据集 | 模型 | 单机 | 同步 (4节点) | 同步 (8节点) | 同步 (16节点) | 同步 (32节点) |
| :------------------: | :--------------------: | :---------: |:---------: |:---------: |:---------: |:---------: | | :------------------: | :--------------------: | :---------: |:---------: |:---------: |:---------: |:---------: |
| -- | TagSpace | -- | -- | -- | -- | -- | | -- | TagSpace | -- | -- | -- | -- | -- |
| -- | TextClassification | -- | -- | -- | -- | -- | | -- | Classification | -- | -- | -- | -- | -- |
---- ----
...@@ -82,4 +91,4 @@ python text2paddle.py raw_big_train_data/ raw_big_test_data/ train_big_data test ...@@ -82,4 +91,4 @@ python text2paddle.py raw_big_train_data/ raw_big_test_data/ train_big_data test
| 数据集 | 模型 | 单机 | 异步 (4节点) | 异步 (8节点) | 异步 (16节点) | 异步 (32节点) | | 数据集 | 模型 | 单机 | 异步 (4节点) | 异步 (8节点) | 异步 (16节点) | 异步 (32节点) |
| :------------------: | :--------------------: | :---------: |:---------: |:---------: |:---------: |:---------: | | :------------------: | :--------------------: | :---------: |:---------: |:---------: |:---------: |:---------: |
| -- | TagSpace | -- | -- | -- | -- | -- | | -- | TagSpace | -- | -- | -- | -- | -- |
| -- | TextClassification | -- | -- | -- | -- | -- | | -- | Classification | -- | -- | -- | -- | -- |
\ No newline at end of file
...@@ -108,7 +108,7 @@ python -m paddlerec.run -m ./models/rank/dnn/config.yaml -e single ...@@ -108,7 +108,7 @@ python -m paddlerec.run -m ./models/rank/dnn/config.yaml -e single
| 方向 | 模型 | 单机CPU训练 | 单机GPU训练 | 分布式CPU训练 | | 方向 | 模型 | 单机CPU训练 | 单机GPU训练 | 分布式CPU训练 |
| :------: | :----------------------------------------------------------------------------: | :---------: | :---------: | :-----------: | | :------: | :----------------------------------------------------------------------------: | :---------: | :---------: | :-----------: |
| 内容理解 | [Text-Classifcation](models/contentunderstanding/text_classification/model.py) | ✓ | x | ✓ | | 内容理解 | [Text-Classifcation](models/contentunderstanding/classification/model.py) | ✓ | x | ✓ |
| 内容理解 | [TagSpace](models/contentunderstanding/tagspace/model.py) | ✓ | x | ✓ | | 内容理解 | [TagSpace](models/contentunderstanding/tagspace/model.py) | ✓ | x | ✓ |
| 召回 | [TDM](models/treebased/tdm/model.py) | ✓ | x | ✓ | | 召回 | [TDM](models/treebased/tdm/model.py) | ✓ | x | ✓ |
| 召回 | [Word2Vec](models/recall/word2vec/model.py) | ✓ | x | ✓ | | 召回 | [Word2Vec](models/recall/word2vec/model.py) | ✓ | x | ✓ |
......
Markdown is supported
0% .
You are about to add 0 people to the discussion. Proceed with caution.
先完成此消息的编辑!
想要评论请 注册