NLP Course documentation

章节简介

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

章节简介

第三章 ,你了解了如何微调文本分类模型。在本章中,我们将处理以下常见的 NLP 任务:

  • Token 分类
  • 掩码语言建模(如 BERT)
  • 文本摘要
  • 翻译
  • 因果语言建模预训练(如 GPT-2)
  • 问答

为此,你需要充分利用在 第三章 中学到的有关 Trainer API 和 🤗 Accelerate 库的知识,以及在 第五章 中学到的 🤗 Datasets 库和 第六章 中学到的 🤗 Tokenizers 库的知识。我们还会像在 第四章 中那样将结果上传到 Model Hub,所以这真的是所有所学内容融会贯通的一章!

本章的每个部分都可以独立阅读,它们将向你展示如何使用 Trainer API 或自己的训练循环来训练模型,同时使用 🤗 Accelerate 加速。你可以随意跳过其中任意部分,重点关注你最感兴趣的部分: Trainer API 非常适合微调(fine-tuning)或训练模型,而无需关注内部的实现细节,而使用 Accelerate 的训练循环将使你更容易自定义所需的任何结构。

如果你按顺序阅读这些部分,你会注意到各小节在代码和描述上有许多相似之处。这种重复是有意为之的,让你可以随时钻研或对比学习任何感兴趣的任务,并且在每个任务中都可以找到一个完整的可运行示例。

< > Update on GitHub