Default / 默认 · August 31, 2021

Compacter更高效的训练方案

Table of Content

通过仅训练 0.047% 的预训练模型参数,Compacter 在 GLUE 上的性能与标准微调相当,并且在低资源设置中优于微调。我们的代码在此 https URL 中公开可用

不得不说这个太厉害了。

https://arxiv.org/abs/2106.04647

%d bloggers like this: