mlflow服务器Docker快速启动

mlflow-server ============= mlflow服务器快速启动 mlflow项目地址 启动 == ``` # 下载 #docker push nap…

labelstudio ml_backend simple text classifier文本…

关于 == labelstudio 分类v1 可以作为后端的预训练服务，可以方便文本分类任务使用。 虽然使用了performer这种局部注意力作为核心方案，不过速度上还是很难达到很理想，后期会尝试再做一个机器学习版本，速度应该会快很多。 获取labelstudio 一键启动后端服务： ======…

pytorch冻结模型某层参数

### pytorch如何冻结某层参数 bert模型12层，参数量达一亿，bert模型做微调有的时候就需要只训练部分参数，那么就需要把其他的参数冻结掉就可以 ``` import torch.nn as nn from transformers import BertModel import torch model = BertModel() …

SentencePiece一个google开源的自然语言处理工具包

SentencePiece是一个google开源的自然语言处理工具包。数据驱动、跨语言、高性能、轻量级——面向神经网络文本生成系统的无监督文本词条化工具 SentencePiece的用途不限于自然语言处理，，蛋白质的一级结构是氨基酸序列，需要研究氨基酸序列片断，片断的长度又是不固定的，就可以用SentencePiece进行切分。 官方网站

如何解决自然语言模型训练中数据不足？进行文本数据增强方法分享

句自然语言任务中数据标注的成本一般都比较高，所以获取高质量数据集便成了最大的难题. 虽然最近几年各种预训练模型大行其道，但是如果能够有足够好的数据集也是能够解决问题的关键。 Mask ---- 如果使用bert作为模型一部分微调数据，mask方案没准是最廉价的创造数据的方法。之前看到有人说用mlm做内容替换生成训练，为什么不直接搞个动态mask呢？…

甲骨自然语言工具包

甲骨自然语言工具包 --------- [](https://github.com/ownthink/Jiagu) ``` pip install -U jiagu ``` ``` Collecting jiagu Downloading jiagu-0.2.3.tar…