Skip to content

  • 体验新版
    • 正在加载...
  • 登录
  • PaddlePaddle
  • PaddleHub
  • Issue
  • #223

P
PaddleHub
  • 项目概览

PaddlePaddle / PaddleHub
大约 2 年 前同步成功

通知 285
Star 12117
Fork 2091
  • 代码
    • 文件
    • 提交
    • 分支
    • Tags
    • 贡献者
    • 分支图
    • Diff
  • Issue 200
    • 列表
    • 看板
    • 标记
    • 里程碑
  • 合并请求 4
  • Wiki 0
    • Wiki
  • 分析
    • 仓库
    • DevOps
  • 项目成员
  • Pages
P
PaddleHub
  • 项目概览
    • 项目概览
    • 详情
    • 发布
  • 仓库
    • 仓库
    • 文件
    • 提交
    • 分支
    • 标签
    • 贡献者
    • 分支图
    • 比较
  • Issue 200
    • Issue 200
    • 列表
    • 看板
    • 标记
    • 里程碑
  • 合并请求 4
    • 合并请求 4
  • Pages
  • 分析
    • 分析
    • 仓库分析
    • DevOps
  • Wiki 0
    • Wiki
  • 成员
    • 成员
  • 收起侧边栏
  • 动态
  • 分支图
  • 创建新Issue
  • 提交
  • Issue看板
已关闭
开放中
Opened 11月 13, 2019 by saxon_zh@saxon_zhGuest

预测时内存一直增长,直到溢出

Created by: Black-cup

使用的模型是ernie,模型已经训练好了,按照text-classification的demo写了一个预测demo,通过这个函数得到cls_task,之后for循环cls_task.predict(data=data),循环预测每个句子,但是执行之后发现内存持续在增长,不预测就不会增长,请问这是哪里出了问题呢? def loading_neg(module): dataset_neg = ChnSentiCorp_neg() inputs_neg, outputs_neg, program_neg = module.context( trainable=True, max_seq_len=128) reader = hub.reader.ClassifyReader( dataset=dataset_neg, vocab_path=module.get_vocab_path(), max_seq_len=128, use_task_id=False)

pooled_output = outputs_neg["pooled_output"]

# Setup feed list for data feeder
# Must feed all the tensor of ERNIE's module need
feed_list = [
    inputs_neg["input_ids"].name,
    inputs_neg["position_ids"].name,
    inputs_neg["segment_ids"].name,
    inputs_neg["input_mask"].name,
]

neg_config = hub.RunConfig(
    use_data_parallel=False,
    use_pyreader=True,
    use_cuda=False,
    batch_size=1,
    enable_memory_optim=False,
    checkpoint_dir=checkpoint_dir_neg,
    strategy=hub.finetune.strategy.DefaultFinetuneStrategy())

neg_cls_task = hub.TextClassifierTask(
    data_reader=reader,
    feature=pooled_output,
    feed_list=feed_list,
    num_classes=dataset_neg.num_labels,
    config=neg_config)
return neg_cls_task
指派人
分配到
无
里程碑
无
分配里程碑
工时统计
无
截止日期
无
标识: paddlepaddle/PaddleHub#223
渝ICP备2023009037号

京公网安备11010502055752号

网络110报警服务 Powered by GitLab CE v13.7
开源知识
Git 入门 Pro Git 电子书 在线学 Git
Markdown 基础入门 IT 技术知识开源图谱
帮助
使用手册 反馈建议 博客
《GitCode 隐私声明》 《GitCode 服务条款》 关于GitCode
Powered by GitLab CE v13.7