使用NumpyArrayInitializer初始化embedding层爆内存
Created by: cchan19
-
标题:使用NumpyArrayInitializer初始化embedding层爆内存
-
版本、环境信息: 1)PaddlePaddle版本:PaddlePaddle 1.8.0 2)AIStudio
-
问题描述:使用NumpyArrayInitializer初始化embedding层爆内存 用来初始化的数组大小为200w*300,也就5G大小,但是创建embedding的时候内存激增直到被killed(aistudio内存大小32G)
embedding_params = fluid.ParamAttr(name='emb', initializer=fluid.initializer.NumpyArrayInitializer(We), trainable=False)
emb = fluid.embedding( input=data, size=[input_dim, emb_dim], is_sparse=True, param_attr=embedding_params)
其中We的shape为200w*300