Reformer-chinese中文生成模型

reformer-pytorch中文版本,简单高效的生成模型。类似GPT2的效果

reformer-chinese

使用reformer训练续写模型。

GTP2的参数越来越大,显存实在是开销不起,还好Google又开源了reformer,让我们用小的显存也可以做生成了。

reformer可以做的东西很多

训练

示例

python3 train.py --epochs 1 --device cpu --batch_size 320 --gradient_accumulation 1 --lr 0.01 --num_pieces 10 --depth 6  --full_attn_thres 128 --dim 128  --stride 60 --pretrained_model  model/

参数

模型输出到model目录下

数据

数据放在/data目录下命名为train.txt的纯文本即可 一行一段

测试

示例1 知识提取

尝试使用reformer做知识提取,先看一看效果 使用百度AI开源的知识提取数据做的训练。下面是效果

原始语句: 《你的嘴》收录于歌手金莎的音乐专辑《星月神话》,由许嵩作词作曲,2010年10月15日首发

正确知识: [KG] 你的嘴,所属专辑,星月神话 [/KG] [KG] 你的嘴,作词,许嵩 [/KG] [KG] 你的嘴,作曲,许嵩 [/KG] [KG] 你的嘴,歌手,金莎 [/KG]

提取知识:[[‘你的嘴’, ‘所属专辑’, ‘星月神话’], [‘你的嘴’, ‘作曲’, ‘许嵩’], [‘你的嘴’, ‘作曲’, ‘许嵩’], [‘你的嘴’, ‘歌手’, ‘金莎’]]

当然这是其中比较好的,大体还是不错的。

和使用mark模式不同的是,使用生成模型做训练的结果是可以提取出原文不存在的一些知识。比如所属专辑这种,不是原文中存在的文字,显然使用mark模式是做不到的。不过生成模型也有时候会出现太过放飞自我的问题,比如出现不存在的名字或者实体描述等等。

感谢

  1. reformer-pytorch - https://github.com/lucidrains/reformer-pytorch

ME

我的博客: https://www.terrychan.org/