nlp-tutorial各种nlp示例合集
原始地址
nlp-tutorial
nlp-tutorial
是一个使用Pytorch学习NLP(自然语言处理)的教程。NLP中的大部分模型都是用不到100行的代码实现的(注释或空行除外)。
- [08-14-2020]旧的TensorFlow v1代码在存档文件夹中存档。为了方便初学者阅读,只支持pytorch 1.0以上版本。
Curriculum - (Example Purpose)
1. 基本嵌入模型
- 1-1. NNLM(Neural Network Language Model) - *预测下一个词
- Paper - A Neural Probabilistic Language Model(2003)
- Colab - NNLM.ipynb
- 1-2. Word2Vec(Skip-gram) - 嵌入词语和图表展示
- 1-3. FastText(Application Level) - 文本分类
- Paper - Bag of Tricks for Efficient Text Classification(2016)
- Colab - FastText.ipynb
2. CNN(Convolutional Neural Network)
- 2-1. TextCNN - 二元情绪分类
3. RNN(Recurrent Neural Network)
- 3-1. TextRNN - 预测下一步
- Paper - Finding Structure in Time(1990)
- Colab - TextRNN.ipynb
- 3-2. TextLSTM - 自动完成
- Paper - LONG SHORT-TERM MEMORY(1997)
- Colab - TextLSTM.ipynb
- 3-3. Bi-LSTM - 预测长句中的下一个单词
- Colab - Bi_LSTM.ipynb
4. Attention Mechanism
- 4-1. Seq2Seq - 更改字词
- 4-2. Seq2Seq with Attention - 翻译
- 4-3. Bi-LSTM with Attention - 二元情绪分类
- Colab - Bi_LSTM(Attention).ipynb
5. Model based on Transformer
- 5-1. The Transformer - 翻译
- 5-2. BERT - 分类下句与预测遮蔽的Tokens
依赖
- Python 3.5+
- Pytorch 1.0.0+
Author
- 郑太焕(Jeff Jung) @graykode
- 作者邮箱:[email protected]
- 感谢mojitok作为NLP研究实习生。
By Terry Chan