menu

2021-06-15 记事docker边测试边开发

2021-06-15 记事

docker测试效果

docker run --rm -it --entrypoint bash <image-name-or-id>

#示例
docker run --rm  -p 8097:80 -it benchmark  bash
docker exec -it <container-name-or-id> bash

微调 #Bart 做 #知识提取

学习率貌似真的不能够很大,不然很容易走向不归路。

自动寻找学习率靠谱吗? 话说每次出来的 #学习率 差距都很大怎么选?

9e-6是不是太小了,不过好像表现最好。

腾讯 #uer 家的 #预训练 还是不错的。 https://huggingface.co/uer

#huggingface bart 训练参考

https://huggingface.co/transformers/model_doc/bart.html

训练cnn_dailymail示例;

https://github.com/huggingface/transformers/tree/master/examples/pytorch/summarization

https://github.com/ohmeow/ohmeow_website/blob/master/_notebooks/2020-05-23-text-generation-with-blurr.ipynb

代码 https://github.com/huggingface/transformers/blob/master/examples/pytorch/summarization/run_summarization.py

# 这里需要关注

from transformers import (

AutoConfig,

AutoModelForSeq2SeqLM,

AutoTokenizer,

DataCollatorForSeq2Seq,

HfArgumentParser,

Seq2SeqTrainer,

Seq2SeqTrainingArguments,

set\_seed,

)

还是使用 #pytorch-lightning 重写下比较好,条理会更加清晰。

#Git LFS

每个使用 Git Large File Storage 的帐户都会获得 1 GB 的免费存储空间和一个月的免费带宽 1 GB。 如果带宽和存储配额不够,您可以选择为 Git LFS 购买额外配额。

https://docs.github.com/cn/github/managing-large-files/versioning-large-files/about-storage-and-bandwidth-usage

对于大文件是不是有点鸡肋了?

#Transformers #Notebooks

这里绝对的宝藏 #nlp https://huggingface.co/transformers/v3.0.2/notebooks.html

#Pipelines 绝对需要关注下 How to use Pipelines

#pytorch-lightning-bolts

这个需要关注下

pip install pytorch-lightning-bolts

Pretrained SOTA Deep Learning models, callbacks and more for research and production with PyTorch Lightning and PyTorch

集成了好多模型,直接拿来就ok,另外自己定制也可以参考或者作为基础都可以。

https://github.com/PyTorchLightning/lightning-bolts

https://pytorch-lightning-bolts.readthedocs.io/

线性预热 #余弦退火 #学习率 调度器

https://pytorch-lightning-bolts.readthedocs.io/en/latest/learning_rate_schedulers.html

各种建议

https://pytorch-lightning-bolts.readthedocs.io/en/latest/models.html

创建## Create a Callback #pytorch_lightning

https://pytorch-lightning-bolts.readthedocs.io/en/latest/callbacks.html

#线性回归 和 #逻辑回归

线性回归和逻辑回归是机器学习中基础又比较常用的内容。线性回归主要用来解决连续值预测的问题,而逻辑回归用来解决 #分类的问题 ,输出的属于某个类别的概率。

#Neptune.AI

#调参数 Neptune.AI 提供关于机器学习建模、超参数优化、模型评估、数据探索、生成模型、机器学习工具等的相关教程。Neptune.AI 还提供了一个框架,可以更容易地跟踪您的jupiter笔记本的版本,帮助管理您的实验过程,并集成到您的团队的工作流程。

pytorchlightning+NeptuneLogger

https://www.pytorchlightning.ai/blog/neptune-pytorch-lightning-integration

编辑