基于Bert的关系抽取SelfORE

基于Bert的关系抽取SelfORE 基本没错了就是分类，ｂｅｒｔ处理语言，任何任务都可以转化成为语言来做。 

pytorch冻结模型某层参数

### pytorch如何冻结某层参数 bert模型12层，参数量达一亿，bert模型做微调有的时候就需要只训练部分参数，那么就需要把其他的参数冻结掉就可以 ``` import torch.nn as nn from transformers import BertModel import torch model = BertModel() …

bert tokenizer 添加词典操作测试 add special tokens code…

Examples: ``` from transformers import BertTokenizer, BertModel tokenizer = BertTokenizer.from_pretrained('uer/chinese_roberta_L-8_H-512') model = BertModel.from_pretrained("u…

如何解决自然语言模型训练中数据不足？进行文本数据增强方法分享

句自然语言任务中数据标注的成本一般都比较高，所以获取高质量数据集便成了最大的难题. 虽然最近几年各种预训练模型大行其道，但是如果能够有足够好的数据集也是能够解决问题的关键。 Mask ---- 如果使用bert作为模型一部分微调数据，mask方案没准是最廉价的创造数据的方法。之前看到有人说用mlm做内容替换生成训练，为什么不直接搞个动态mask呢？…

尝试修改Bert模型为相对位置

``` # This Python 3 environment comes with many helpful analytics libraries installed # It is defined by the kaggle/python Docker image: https://github.com/kaggle/docker-python #…

Bert用于主题建模 ( Bert vs LDA )

在这篇文章中，将用LDA（Latent Dirichlet Allocation，专门用于此目的）和使用词嵌入来进行主题建模。我将尝试用不同的算法组合（TF-IDF、LDA和Bert）和不同的降维（PCA、TSNE、UMAP）来进行主题建模。 原始地址