menu

reformer生成内容确实很强

不得不说谷歌新推出这个模型确实在生成文本方面确实很强。不过也存在的问题,就是感觉在生存速度上会比之前gpt2模型要慢一些。这这速度我估计让人很崩溃,有收获。 我我正在尝试使用这个模型训练下中文生成。确实在生成长文本方面会比模之前的模型要强的很多。

示例1 知识提取

我尝试使用reformer做知识提取,先看一看效果 使用百度AI开源的知识提取数据做的训练。下面是效果

原始语句: 《你的嘴》收录于歌手金莎的音乐专辑《星月神话》,由许嵩作词作曲,2010年10月15日首发

正确知识: [KG] 你的嘴,所属专辑,星月神话 [/KG] [KG] 你的嘴,作词,许嵩 [/KG] [KG] 你的嘴,作曲,许嵩 [/KG] [KG] 你的嘴,歌手,金莎 [/KG]

提取知识:[[‘你的嘴’, ‘所属专辑’, ‘星月神话’], [‘你的嘴’, ‘作曲’, ‘许嵩’], [‘你的嘴’, ‘作曲’, ‘许嵩’], [‘你的嘴’, ‘歌手’, ‘金莎’]]

当然这是其中比较好的,大体还是不错的。

更多详细可以看这里 Reformer-chinese中文生成模型

编辑