Span模式做内容提取

**CRF**基本是做命名实体提取过程的必备，不过面对长序列会很让模型崩溃。使用**Span**做内容提取也是不错的方案。 Span-based Joint Entity and Relation Extraction with Transformer Pre-training

深度学习优选资源

深度学习优选资源 ======== 深度学习优选资源 多头注意力模型 performer reformer 分词词典 CLUE > > 中文词典 总大小只有8021，远远小于google的21128https://github.com/CLUEbenchmark/CLUECorpus2020#%E8%AF%8D%E8%A1%A8%E4…

Bigru.py

还是建议使用pytorchlightning做框架开发，速度优化什么的都没得说。 ``` import torch import torch.nn as nn class Bigru(nn.Module): def __init__(self, num_classes, input_size, hidden_size=256, num_embedd…

基于Bert的关系抽取SelfORE

基于Bert的关系抽取SelfORE 基本没错了就是分类，ｂｅｒｔ处理语言，任何任务都可以转化成为语言来做。 

Wandb

wandb。ai 用于模型训练监控和优化

tkitSeg多领域中文分词工具

tkitSeg ======= 多领域中文分词工具 安装 ``` pip install tkitSeg ``` 或者从源码安装 ``` pip install git+https://github.com/napoler/tkit-seg.git ``` ``` # 使用示例 from tkitSeg import tkitS…

mlflow服务器Docker快速启动

mlflow-server ============= mlflow服务器快速启动 mlflow项目地址 启动 == ``` # 下载 #docker push nap…

torch KLDivLoss计算损失出现负数

KLDivLoss损失出现负数 --------------- 1. KL散度的input部分需要经过log的计算 2. 分布结果相加需要为1 用于连续分布的距离度量；并且对离散采用的连续输出空间分布进行回归通常很有用；用label\_smoothing就采用这个；另外知识蒸馏更是需要依赖它。 官方文档

pytorch冻结模型某层参数

### pytorch如何冻结某层参数 bert模型12层，参数量达一亿，bert模型做微调有的时候就需要只训练部分参数，那么就需要把其他的参数冻结掉就可以 ``` import torch.nn as nn from transformers import BertModel import torch model = BertModel() …

Youtube频道

●数学 ●数学家 ●3Blue1Brown 最好的基础数学 ​ ●数学爱好者