Span模式做内容提取

**CRF**基本是做命名实体提取过程的必备，不过面对长序列会很让模型崩溃。使用**Span**做内容提取也是不错的方案。 Span-based Joint Entity and Relation Extraction with Transformer Pre-training

2021-06-14 记事训练seq2seq

2021-06-14 记事 使用 #transformers 的各种模型训练 #seq2seq ，参考这里： 摘要生成 摘要生成核心…

"pytorch版本的reformer库推荐 中文实现也很轻松reformer-pytorch…

Transformer很强大但是消耗资源有点多，还好google又搞出来了reformer在资源消耗上做了很大的优化，这也让我们能够以更小的代价进行尝试，毕竟GPU真的不便宜。 [reformer-pytorch](https://github.com/lucidrains/reformer-pytorch)可以试用下

使用Focal Loss损失函数解决样本不均衡问题 对于少数类别的样本赋予更高的权重。

Focal Loss的定义 ------------- 理论定义:Focal Loss可以看作是一个损失函数，它使容易分类的样本权重降低，而对难分类的样本权重增加。 Focal Loss基本上是交叉熵损失的延伸。它足够具体地处理阶级不平衡的问题。 https://github.com/yatengLG/Focal-Loss-Pytorch http…

TextCNN.py示例

``` import torch import torch.nn as nn class TextCNN(nn.Module): def __init__(self, num_classes, num_embeddings, embedding_dim, hidden_size, dropout_prob=0.5): supe…

Bigru.py

还是建议使用pytorchlightning做框架开发，速度优化什么的都没得说。 ``` import torch import torch.nn as nn class Bigru(nn.Module): def __init__(self, num_classes, input_size, hidden_size=256, num_embedd…

torch模型导出到onnx问题 expected 1 dims but tensor ha…

导出过程中出现如下错误 ``` expected 1 dims but tensor has 2 ``` torch 1.5.0 must be used for the export because the following error occurs intorch 1.6.0 caused by the internal optimization…

onnx runtime fastapi模型部署

fastapi 模型部署大体流程如下： * torch-> onnx * fastapi做为接口服务，后端使用onnx推理 * Docker打包部署 fastapi官…

reformer-pytorch中文版本 高效的生成模型 类似GPT2的效果

reformer-chinese-pytorch ======================== reformer-pytorch中文版本，简单高效的生成模型。类似GPT2的效果。 之前做过一个类似项目，这次重新写了，各方面都做了很多的优化，训练也更加便捷了。 reformer最大的优点就是节省资源，而且对于长文本更加有效。 之后有时间会做一个基于P…

torch KLDivLoss计算损失出现负数

KLDivLoss损失出现负数 --------------- 1. KL散度的input部分需要经过log的计算 2. 分布结果相加需要为1 用于连续分布的距离度量；并且对离散采用的连续输出空间分布进行回归通常很有用；用label\_smoothing就采用这个；另外知识蒸馏更是需要依赖它。 官方文档