SKEP模型可指定GPU,批量预测
Created by: izhx
欢迎您对PaddleHub提出建议,非常感谢您对PaddleHub的贡献! 在留下您的建议时,辛苦您同步提供如下信息:
- 您想要增加什么新特性?
- SKEP模型可以在指定GPU运行。现在只能在
CUDA_VISIBLE_DEVICES
的第0个,且方式很简陋。 - SKEP模型批量预测。现在的
predict_sentiment
方法输入是句子list,方法内部竟然又遍历list单个预测?没懂这操作,如果有什么特殊限制麻烦告知,有点好奇
- SKEP模型可以在指定GPU运行。现在只能在
- 什么样的场景下需要该特性?
- 大量文本的情感分析加速,一个项目有百万级句子,要多张卡一起跑。
- 没有该特性的条件下,PaddleHub目前是否能间接满足该需求?
- 能,太慢了,显存利用太少。
- 增加该特性,PaddleHub可能需要变化的部分。
- 文件
PaddleHub/hub_module/modules/text/sentiment_analysis/ernie_skep_sentiment_analysis/module.py
,ErnieSkepSentimentAnalysis
类。
- 文件
- 如果可以的话,简要描述下您的解决方案
- 指定GPU的,貌似在
_set_config
方法增加个参数即可,就别int(os.environ["CUDA_VISIBLE_DEVICES"][0])
了。。。然后,把GPU ID绑定在实例上,predict_sentiment
的额外检查也相应更改。 - batch预测的不知道,需要学学paddle。
- 指定GPU的,貌似在