章节简介
在 第三章 ,你了解了如何微调文本分类模型。在本章中,我们将处理以下常见的 NLP 任务:
- Token 分类
- 掩码语言建模(如 BERT)
- 文本摘要
- 翻译
- 因果语言建模预训练(如 GPT-2)
- 问答
为此,你需要充分利用在 第三章 中学到的有关 Trainer
API 和 🤗 Accelerate 库的知识,以及在 第五章 中学到的 🤗 Datasets 库和 第六章 中学到的 🤗 Tokenizers 库的知识。我们还会像在 第四章 中那样将结果上传到 Model Hub,所以这真的是所有所学内容融会贯通的一章!
本章的每个部分都可以独立阅读,它们将向你展示如何使用 Trainer
API 或自己的训练循环来训练模型,同时使用 🤗 Accelerate 加速。你可以随意跳过其中任意部分,重点关注你最感兴趣的部分: Trainer
API 非常适合微调(fine-tuning)或训练模型,而无需关注内部的实现细节,而使用 Accelerate
的训练循环将使你更容易自定义所需的任何结构。
如果你按顺序阅读这些部分,你会注意到各小节在代码和描述上有许多相似之处。这种重复是有意为之的,让你可以随时钻研或对比学习任何感兴趣的任务,并且在每个任务中都可以找到一个完整的可运行示例。