## 数据准备 BQ是一个智能客服中文问句匹配数据集，该数据集是自动问答系统语料，共有120,000对句子对，并标注了句子对相似度值。数据中存在错别字、语法不规范等问题，但更加贴近工业场景。执行以下命令可以获取上述数据集。 ``` wget https://paddlerec.bj.bcebos.com/dssm%2Fbq.tar.gz tar xzf dssm%2Fbq.tar.gz rm -f dssm%2Fbq.tar.gz ``` 数据集样例： ``` 请问一天是否都是限定只能转入或转出都是五万。 微众多少可以赎回短期理财 0 微粒咨询电话号码多少 你们的人工客服电话是多少 1 已经在银行换了新预留号码。 我现在换了电话号码，这个需要更换吗 1 每个字段以tab键分隔，第1，2列表示两个文本。第3列表示类别（0或1，0表示两个文本不相似，1表示两个文本相似）。 ``` 最终输出的数据格式为一个标识句子的slot，后跟一个句子中词的token。两者形成{slot：token}的形式标识一个词： ``` 0:358 0:206 0:205 0:250 0:9 0:3 0:207 0:10 0:330 0:164 1:1144 1:217 1:206 1:9 1:3 1:207 1:10 1:398 1:2 2:217 2:206 2:9 2:3 2:207 2:10 2:398 2:2 0:358 0:206 0:205 0:250 0:9 0:3 0:207 0:10 0:330 0:164 1:951 1:952 1:206 1:9 1:3 1:207 1:10 1:398 2:217 2:206 2:9 2:3 2:207 2:10 2:398 2:2 ``` 在本例中需要调用jieba库和sklearn库，如环境中没有提前安装，可以使用以下命令安装。 ``` pip install sklearn pip install jieba ``` ## 运行环境 PaddlePaddle>=1.7.2 python 2.7 PaddleRec >=0.1 os : linux ## 快速开始 本文提供了样例数据可以供您快速体验，在paddlerec目录下直接执行下面的命令即可启动训练： ``` python -m paddlerec.run -m models/match/multiview-simnet/config.yaml ``` ## 效果复现 为了方便使用者能够快速的跑通每一个模型，我们在每个模型下都提供了样例数据。如果需要复现readme中的效果,请按如下步骤依次操作即可。 1. 确认您当前所在目录为PaddleRec/models/match/multiview-simnet 2. 在data目录下载并解压数据集，命令如下： ``` cd data wget https://paddlerec.bj.bcebos.com/dssm%2Fbq.tar.gz tar xzf dssm%2Fbq.tar.gz rm -f dssm%2Fbq.tar.gz mv bq/train.txt ./raw_data.txt ``` 3. 本文提供了快速将数据集中的汉字数据处理为可训练格式数据的脚本，您在解压数据集后，可以看见目录中存在一个名为bq的目录。将其中的train.txt文件移动到data目录下。然后可以在python3环境下运行我们提供的preprocess.py文件。即可生成可以直接用于训练的数据目录test.txt,train.txt,label.txt和testquery.txt。将其放入train和test目录下以备训练时调用。生成时间较长，请耐心等待。命令如下： ``` python3 preprocess.py mkdir big_train mv train.txt ./big_train mkdir big_test mv test.txt ./big_test cd .. ``` 也可以使用我们提供的一键数据处理脚本data_process.sh ``` sh data_process.sh ``` 4. 退回multiview-simnet目录中，打开文件config.yaml,更改其中的参数 将workspace改为您当前的绝对路径。（可用pwd命令获取绝对路径） 将dataset_train中的data_path改为{workspace}/data/big_train 将dataset_infer中的data_path改为{workspace}/data/big_test 5. 执行脚本，开始训练.脚本会运行python -m paddlerec.run -m ./config.yaml启动训练，并将结果输出到result文件中。然后启动格式整理程序transform，最后计算正逆序比： ``` sh run.sh ``` 运行结果大致如下： ``` ................run................. 8902 pnr: 13.6785350966 query_num: 1371 pair_num: 14429 14429 equal_num: 0 正序率： 0.931873310694 13446 983 ``` ## 进阶使用 ## FAQ