LSTM+Attention demo

``` #!/usr/bin/python # -*- coding: utf-8 -*- import torch from torch import nn import torch.nn.functional as F # 定义 单双向LSTM 模型 class Rnn(nn.Module): ”“” 双向lstm “”“ …

缩放的点乘注意力ScaledDotProductAttention

缩放的点乘注意力ScaledDotProductAttention 就是Transformer中使用的注意力 ``` import math import torch import torch.nn as nn import torch.nn.functional as F from torch import Tensor import numpy …