句子相似度 使用自己数据 finetune效果不好
Created by: daidaidal
使用run_lcqmc.sh对数据进行finetune具体设置如下
1 set -eux
2
3 export FLAGS_sync_nccl_allreduce=1
4 export CUDA_VISIBLE_DEVICES=7
5
6 python -u run_classifier.py
7 --use_cuda true
8 --verbose true
9 --do_train true
10 --do_val true
11 --do_test true
12 --batch_size 32
13 --init_pretraining_params model_para/params
14 --train_set task_data/task_data/mydata/train_badcase.tsv
15 --dev_set task_data/task_data/mydata/dev_badcase.tsv
16 --test_set task_data/task_data/mydata/test_badcase.tsv
17 --vocab_path config/vocab.txt
18 --checkpoints ./checkpoints
19 --save_steps 10000
20 --weight_decay 0.0
21 --warmup_proportion 0.0
22 --validation_steps 10900
23 --epoch 200
24 --max_seq_len 128
25 --ernie_config_path config/ernie_config.json
26 --learning_rate 2e-5 \
27 --skip_steps 10
28 --num_iteration_per_drop_scope 1
29 --num_labels 2
30 --random_seed 1