预训练语言模型进阶

约 71 个字 预计阅读时间不到 1 分钟

1.模型优化

1.1 XLNet

1.2 RoBERTa

1.3 ALBERT

1.4 ELECTRA

1.5 MacBERT

2.长文本处理

2.1 Transformer-XL

2.2 Reformer

2.3 Longformer

2.4 BigBird

3.模型蒸馏与压缩

3.1 DistilBERT

3.2 TinyBERT

3.3 MobileBERT

3.4 TextBrewer

4.生成模型

4.1 BART

4.2 UniLM

4.3 T5: Text-to-Text Transfer Transformer

4.4 GPT-3: Language Models are Few-Shot Learners